CN116665896A - 预测乳腺癌腋窝淋巴结转移的模型建立方法 - Google Patents

预测乳腺癌腋窝淋巴结转移的模型建立方法 Download PDF

Info

Publication number
CN116665896A
CN116665896A CN202310486723.6A CN202310486723A CN116665896A CN 116665896 A CN116665896 A CN 116665896A CN 202310486723 A CN202310486723 A CN 202310486723A CN 116665896 A CN116665896 A CN 116665896A
Authority
CN
China
Prior art keywords
dce
mri
feature
breast cancer
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310486723.6A
Other languages
English (en)
Inventor
马文娟
郭一君
尹蕊
豆兆祥
路红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Medical University Cancer Institute and Hospital
Original Assignee
Tianjin Medical University Cancer Institute and Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Medical University Cancer Institute and Hospital filed Critical Tianjin Medical University Cancer Institute and Hospital
Priority to CN202310486723.6A priority Critical patent/CN116665896A/zh
Publication of CN116665896A publication Critical patent/CN116665896A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312—Breast evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Reproductive Health (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种预测乳腺癌腋窝淋巴结转移的模型建立方法，包括下列步骤：采集乳腺癌患者的DCE‑MRI图像并进行靶病灶增强图像的分割；DCE‑MRI图像预处理，得到经过预处理的DCE‑MRI增强图像序列；采集DCE‑MRI报告语义特征；构建ConvRNN模型，使用多尺度动态卷积神经网络MSCNN提取DCE‑MRI图像序列各个增强期的空间特征；使用门控循环单元对基于经过预处理的DCE‑MRI增强图像序列中逐期提取到的强化图像空间特征进行时序整合，门控循环单元的输出即序列的整体特征；使用包含一个语义特征提取全连接层和一个分类全连接层的输出模块进行分类，得到对乳腺癌患者是否发生淋巴结转移的预测。

Description

预测乳腺癌腋窝淋巴结转移的模型建立方法
技术领域
本发明涉及图像处理与深度学习技术，具体涉及一种基于DCE-MRI图像对乳腺癌腋窝淋巴结转移预测模型的建立方法。
背景技术
准确识别乳腺癌腋窝淋巴结(axillary lymph node,ALN)转移对患者病理分期、预后和指导临床治疗至关重要。目前，临床用于诊断腋窝淋巴结转移的方式为腋窝淋巴结穿刺、前哨淋巴结清扫及腋窝淋巴结清扫术；然而，据研究报告，高达43-70％的乳腺癌患者在淋巴结清扫时并未发生ALN转移，因而导致患者遭受了不必要的手术及术后并发症。因此，术前准确评估乳腺癌患者腋窝淋巴结状态对确定患者手术方案具有重要意义。
血管生成是肿瘤进展和转移的前提条件，此外，肿瘤的恶性程度及患者预后与肿瘤异质性密切相关。有研究表明，动态增强磁共振检查(dynamic contrast enhanced MRimages，DCE-MRI)可以无创反应肿瘤异质性，揭示肿瘤的具体形态特征，并能借助动态增强过程反应肿瘤血管生成情况。就现有数据而言，通过DCE-MRI图像诊断乳腺癌ALN转移尚未满足临床预期。
随着人工智能技术的发展，时间及空间异质性可以通过各种分析技术定量描述。深度学习是一种从医学图像中提取信息的强大方法，并被越来越多地用于医学领域的个体水平分类，包括区分良恶性肿瘤，预测患者预后以及预测药物治疗反应。目前，大多数乳腺癌腋窝淋巴结转移研究只是考虑不同医学图像中隐藏的空间特征，并未将时间依赖性动态特征纳入考虑。Nguyen等人开发了一个深度4D Convolutional Neural Networks(4D CNN)模型，通过融合DCE-MRI中可见的原发肿瘤的空间特征来预测ALN转移。Gao等人提出了一个包含三维深度残差网络(ResNet)架构和卷积块注意模块的深度学习模型，称为RCNet，用于预测ALN转移。基于图像上的肿瘤、ALN和肿瘤-ALN组合区域，建立了三个RCNet模型。尽管这两项研究都使用了多参数MRI图像或多个扫描点图像，但模型均没有考虑不同图像之间存在的时间关系。
发明内容
本发明所要解决的技术问题是，提供一种更为精准地预测乳腺癌腋窝淋巴结转移的建模方法。技术方案如下：
一种预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，包括下列步骤：
(7)采集乳腺癌患者的DCE-MRI图像并进行靶病灶增强图像的分割；
(8)DCE-MRI图像预处理，得到经过预处理的DCE-MRI增强图像序列；
(9)采集DCE-MRI报告语义特征；
(10)构建ConvRNN模型，使用多尺度动态卷积神经网络MSCNN提取DCE-MRI图像序列各个增强期的空间特征，多尺度动态卷积神经网络MSCNN由以多个尺度卷积模块组成的特征提取器和全局池化层，多尺度动态卷积神经网络MSCNN的每个尺度卷积模块包含一个动态卷积模块；
多尺度动态卷积神经网络MSCNN的输入为一帧经过预处理的DCE-MRI增强图像，实现对其多尺度的特征提取；尺度卷积模块的最大池化层利用上一个尺度卷积模块的输出进行跨尺度的信息交互，即当前尺度卷积模块的输入特征与上一个尺度卷积模块的输出特征在通道维度上进行拼接，进行最大池化，实现多尺度的融合；在所有的尺度卷积模块中都提取完特征后，将各个尺度卷积模块的特征进行全局池化，拼接在一起，得到整张图像的特征表达，称此特征为其为强化图像空间特征；
(11)使用门控循环单元对基于经过预处理的DCE-MRI增强图像序列中逐期提取到的强化图像空间特征进行时序整合，门控循环单元的输出即序列的整体特征；使用包含一个语义特征提取全连接层和一个分类全连接层的输出模块进行分类，得到对乳腺癌患者是否发生淋巴结转移的预测，方法如下：
12)对于经过预处理的DCE-MRI增强图像序列S＝{s0，s1，s2，s3，s4，s5}，包含增强前到增强N期的N+1张图像，其中，第i期增强图像表示为si；
13)对患者来自DCE-MRI报告中的语义特征进行独热编码，得到语义特征SEM；
14)将增强图像序列S逐期输入到含有N个尺度卷积模块的多尺度动态卷积神经网络进行处理；
15)对增强图像序列S中的N+1张图像处理完毕后，得到序列的空间特征序列F＝{fi}，0≤i＜N+1；
16)将第i期增强图像si中提取到的空间特征fi作为输入向量，输入到门控循环单元；
17)在门控循环单元中，图像空间特征fi通过tanh激活函数更新候选状态向量ci，表示为：ci＝tanh(Wnfi+Un(ri⊙hi-1)+bn)，其中hi-1表示第i-1期图像对应的隐状态向量，ri为hi-1对应的权重，Wn、Un和bn为门控循环单元的网络参数；
18)在门控循环单元中，根据hi-1和ci生成第i期图像对应的隐状态向量hi，并且表示为：hi＝zihi-1+(1-zi)ci，zi为组合hi-1和ci的权重；
19)在增强第N期图像的空间特征fN通过门控循环单元处理后，得到已包含序列的空间特征序列F中有效信息的隐状态向量hN作为增强图像序列S的特征；
20)将语义特征SEM输入通过语义特征提取全连接层得到语义特征向量；
21)将该语义特征向量与增强图像序列S的特征向量拼接得到患者的预测向量，通过分类全连接层对预测向量进行线性映射，得到长度为2的向量p；
22)将向量p经过Softmax函数进行归一化处理，p的第二位数字p[1]即该乳腺癌患者发生腋下淋巴结转移的概率；
(12)输出模型预测值并可视化模型关注区域：对乳腺癌腋窝淋巴结转移进行预测，形成乳腺癌腋窝淋巴结转移概率值；使用梯度加权类激活映射方法，调查图像中对预测重要的关注区域，并可视化。
进一步地，步骤(1)中，收集乳腺癌患者的DCE-MRI图像以及对应的病理结果，基于矢状位TI动态增强第一期图像分割靶病灶，转化为二值图像；
进一步地，步骤(2)具体如下：
利用静止速度场与标量动量参数化SVF算法对DCE-MRI图像进行配准；
基于配准各时期图像将原发靶病灶以外区域通过边界框进行裁剪；
将靶病灶区域转换为三通道RGB格式，并进行归一化和Z-score标准化处理；
获得经过预处理的DCE-MRI增强图像序列；
进一步地，步骤(3)具体如下：采用正则表达式匹配DCE-MRI报告中特征的描述；对特征描述的关键词进行分类并编码。
进一步地，步骤(3)中，所提取的语义特征包括报告中所描述的乳腺密度、实质背景增强情况、时间强度曲线、弥散加权成像(DWI)表现、有无皮肤侵犯、腋窝淋巴结状态和肿瘤的增强模式。
进一步地，步骤(4)中所述的动态卷积模块包括：卷积层；批归一化层，用于对所述卷积层的输出进行批归一化处理；一个整流线性单元，由LeakyReLU函数实现，对进行批归一化处理后的输出进行激活；一个自适应平均池化层，将输出特征图池化成一个1×1的特征图，之后展平；两个全连接层，用于计算注意力向量；一个softmax层，用于将注意力向量归一化到[0,1]区间；一个加权池化操作，对输入特征图中的每个通道，都乘以其对应的通道权重，再对所有通道求和，得到一个加权后的特征图输出；单个尺度卷积模块包括：最大池化层；卷积层，用于提取特征；所述的动态卷积模块；输入数据通过最大池化层和卷积层进行处理，生成特征图；如果某个尺度卷积模块不是输入层，则将上一层的特征图也通过最大池化层进行处理，然后将其与当前特征图级联起来；级联后的特征图通过动态卷积模块进行注意力加权，得到输出特征图；此输出特征图作为下一层尺度卷积模块的输入。
进一步地，所述ConvRNN模型训练过程如下：将数据集中经过预处理的DCE-MRI增强图像序列输入到ConvRNN模型中，通过正向传播得到对乳腺癌患者是否发生腋下淋巴结转移的预测；把乳腺癌患者发生腋下淋巴结转移的真实情况经过独热编码做为标签，通过CrossEntropy函数计算预测与标签之间的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAMW优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为ConvRNN模型。
本发明同时提供一种乳腺癌腋窝淋巴结转移预测装置，其特征在于，所述预测装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行所述的方法步骤。
本发明使用一种CNN+RNN架构的模型处理DCE-MRI图像序列，相对于使用影像组学、卷积神经网络或其他机器视觉方法处理某一时间点或多个时间点的图像，更好地提取了DCE-MRI图像序列的时空信息。另外，使用多尺度卷积神经网络模型和门控循环神经网络的组合处理时序图像。MRI图像的肿块区域像素较少，多尺度卷积神经网络相对于常见的卷积神经网络在图像像素较少的情况下性能更好。
附图说明
图1：本发明的结构框图
图2：本发明采用的ConvRNN的网络结构图
图3：本发明采用的多尺度动态卷积神经网络结构图
图4：本发明采用的动态卷积神经网络结构图
图5：最终预测乳腺癌腋下淋巴结转移结果图，A为发生腋下淋巴结转移的乳腺癌患者，B为未发生腋下淋巴结转移的乳腺癌患者
具体实施方式
为了对本发明进行详细阐述，现结合附图实施案例对本发明的具体实施过程作进一步描述分析，从而突出本发明相较于常规临床医师主观诊断的优势。本发明提供了一种针对乳腺癌腋窝淋巴结转移预测的智能装置，其实施流程图如图1所示，具体步骤包括：
步骤1：采集DCE-MRI图像并分割靶病灶
在本实施例中，数据来源于天津医科大学肿瘤医院、保定市第一中心医院以及青岛大学附属医院，共包括2063名乳腺癌患者的DCE-MRI图像。在收集乳腺癌DCE-MRI图像时，由三名专业医生通过常用标注工具3D Slicer对乳腺癌病灶进行人为勾画注释，并将结果以nrrd格式保存数据。最终转化分割图像为二值图像形成肿瘤对应mask。
具体方法为:收集医院数据库中具有穿刺或术中病理结果的过往病理的MRI图像，由三位阅片经验丰富的影像科医生对每个病例的结节边界进行勾画(绘制肿瘤的ROI区域)。标注软件采用3D Slicer,DCE-MRI图像文件格式为DICOM，标注文件格式为nrrd。该nrrd文件包含了乳腺癌边界的坐标点集。为了确保标注结果的准确性，采用两位医师勾画并经过一位高年资医师确定的过程，获得最终的肿瘤标签文件。
步骤2：DCE-MRI图像预处理
本数据集涉及同一患者多个时期的DCE-MRI图像，尽管在所有MRI操作前嘱患者保持静止不动状态，但仍存在因呼吸运动而造成的运动位移。为了不影响网络的输入，本发明采用EasyReg的SVF(静止速度场与标量动量参数化)算法(工具)对DCE-MRI图像进行配准，以消除呼吸运动引起的焦点位置偏差，程序的具体使用方法如下：
1)从github安装EasyReg程序包(uncbiag/easyreg:an imageregistration/ augmentation/segmentation package(github.com))。
2)导入需要的Python包：
import mermaid.simple_interface as SI
import mermaid.example_generation as EG
Import imageio
3)获取配准算法的输入：
I0_real,I1_real,spacing_real＝EG.CreateRealExampleImages(dim,s_path＝spth,t_path＝tpth).create_image_pair()
其中spth为基准图像路径，tpth待配准图像路径。
4)从RegisterImagePair类创建实例si＝SI.RegisterImagePair()
5)使用si实例方法register_images()进行图像配准：
si.register_images(I0_real,I1_real,spacing_real,
model_name＝'svf_scalar_momentum_map',
nr_of_iterations＝50,
use_multi_scale＝False,
visualize_step＝None,
optimizer_name＝'sgd',
learning_rate＝0.01,
rel_ftol＝1e-7,
recording_step＝1)
6)保存配准结果：
h＝si.get_history()
imageio.imsave(file_name,h['recording'][-1]['iW'])
其中file_name为保存图片的文件名
并在配准各时期图像的基础上将原发靶病灶的ROI应用于不同增强时期图像上，将各时期原发靶病灶以外区域通过边界框进行裁剪。此外，本数据集的乳腺癌DCE-MRI靶病灶图像大小不一，本发明将所有靶病灶区域转换为三通道RGB格式，大小统一归一化到224x224(3*224*224)。此外，对所有图像进行最大最小值归一化和Z-score标准化；其中，最大最小值归一化的公式为：
p＝p/(Max-Min)
p为图中的某个像素值，Max为图像中所有像素值的最大值，Min为图像中所有像素值的最小值。
Z-score标准化的公式为：
p＝(p-Mean)/STD
p为图中的某个像素值,Mean为图像中所有像素值的最大值,STD为图像中所有像素值的标准差。
最后，将归一化后图像采用随机水平和垂直翻转进行数据增强。
步骤3：采集DCE-MRI报告语义特征
MRI语义特征是通过收集影像报告系统中MRI并使用关键词提取相关描述获得的。本发明采用正则表达式匹配DCE-MRI报告中特征的描述，然后根据其中的关键词对描述进行分类，并进行one-hot编码。所提取的语义特征包括报告中所描述的乳腺密度、实质背景增强情况、时间强度曲线、弥散加权成像(DWI)表现、有无皮肤侵犯、腋窝淋巴结状态和肿瘤的增强模式7个方面。当存在报告中相关描述缺失的情况时，则由一位低年资影像科医师和一位高年资影像科医师通过讨论达成共识补充。
步骤4：构建ConvRNN模型，将所述DCE-MRI图像及语义特征输入所述ConvRNN网络
所述ConvRNN模型如图2，首先，使用多尺度动态卷积神经网络(Muti-scalefusion CNN，MSCNN)提取DCE-MRI图像序列各个增强期的空间特征，如图3所示，其中，单一尺度动态卷积神经网络结构如图4所示；首先，搭建多尺度动态卷积神经网络，多尺度动态卷积神经网络模型包括若干个尺度卷积模块，每个尺度卷积模块中包含一个动态卷积模块：
1)动态卷积模块的构成如下：一个卷积层，卷积核大小为3×3，填充为1。一个批归一化层，对该层的输出进行批归一化处理。一个整流线性单元，由LeakyReLU函数实现，对归一化后的输出进行激活。一个自适应平均池化层，将输出特征图池化成一个1×1的特征图，之后展平。两个全连接层，用于计算注意力向量。一个softmax层，用于将注意力向量归一化到[0,1]区间。一个加权池化操作，对输入特征图中的每个通道，都乘以其对应的通道权重，再对所有通道求和，得到一个加权特征图。具体地，在前向传播过程中，首先对输入特征图进行自适应平均池化，然后将其压缩成一个1×1的张量，并经过两个全连接层和softmax层，得到每个通道权重。然后，对于输入特征图的每个通道，都乘以其对应的通道权重，得到加权的特征图。最后，将所有通道的加权特征图求和，得到最终的输出特征图。
2)单个尺度卷积模块的构成如下：一个最大池化层；一个卷积层，用于提取特征；一个动态卷积模块。在运算过程中，输入数据通过最大池化层和卷积层进行处理，生成特征图。如果该尺度卷积模块不是输入层，则将上一层的特征图也通过最大池化层进行处理，然后将其与当前特征图级联起来。级联后的特征图通过动态卷积模块进行注意力加权，得到最终的输出特征图。最终的输出特征图将作为下一层尺度卷积模块的输入。
3)多尺度动态卷积神经网络模型由以多个尺度卷积模块组成的特征提取器和全局池化层组成，输入为一张预处理后的图片：模型首先将输入传入多个尺度卷积模块中进行特征提取。每个尺度卷积模块在执行特征提取时，首先对输入进行最大池化，缩小特征图的尺寸；然后通过一个卷积层，对特征图进行特征提取；最后，通过动态卷积层，对卷积层输出的特征进行动态加权聚合，得到当前尺度卷积模块的特征表达。这个过程可以看作是一个多尺度的特征提取过程。尺度卷积模块的最大池化层可以利用上一个尺度卷积模块的输出进行跨尺度的信息交互，即当前尺度卷积模块的输入特征与上一个尺度卷积模块的输出特征在通道维度上进行拼接，然后再进行最大池化，从而实现多尺度的融合。在所有的尺度卷积模块中都提取完特征后，将各个尺度卷积模块的特征进行全局池化，并将它们拼接在一起，得到整张图片的特征表达。
多尺度动态卷积神经网络搭建完毕，相对于传统的多尺度卷积网络，我们使用的多尺度卷积引入了注意力机制，从而使模型具有尺度上的注意力，而不是把多尺度特征单纯拼接。然后，搭建完整的ConvRNN模型，使用门控循环单元对序列中逐期提取到的强化图像空间特征进行时序整合，门控循环单元的输出即序列的整体特征；使用包含一个语义特征提取全连接层和一个分类全连接层的输出模块进行分类，得到对乳腺癌患者是否发生淋巴结转移的预测：
1)对于经过预处理的DCE-MRI增强图像序列S＝{s0，s1，s2，s3，s4，s5}，包含增强前到增强5期六张图像，其中，第i期增强图像表示为si；
2)对患者来自DCE-MRI报告中的语义特征进行独热编码，得到语义特征SEM；
3)将增强序列S逐期输入到一个含有五个尺度卷积模块的多尺度动态卷积神经网络进行处理；
4)对增强序列S中的六期图像处理完毕后，得到序列的空间特征序列F＝{fi}，0≤i＜6；
5)将第i期增强图像si中提取到的空间特征fi作为输入向量，输入到门控循环单元；
6)在门控循环单元中，图像空间特征fi通过tanh激活函数更新候选状态向量ci，表示为：ci＝tanh(Wnfi+Un(ri⊙hi-1)+bn)，其中hi-1表示第i-1期图像对应的隐状态向量，ri为hi-1对应的权重，Wn、Un和bn为门控循环单元的网络参数；
7)在门控循环单元中，根据hi-1和ci生成第i期图像对应的隐状态向量hi，并且表示为：hi＝zihi-1+(1-zi)ci，zi为组合hi-1和ci的权重；
8)在增强第五期图像的空间特征f5通过门控循环单元处理后，得到已包含F有效信息的隐状态向量h5作为增强图像序列S的特征；
9)将语义特征SEM输入通过语义特征提取全连接层得到语义特征向量。
10)将该语义特征向量与增强图像序列S的特征向量拼接得到患者的预测向量，通过分类全连接层对预测向量进行线性映射，得到长度为2的向量p；
11)将向量p经过Softmax函数进行归一化处理，p的第二位数字p[1]即该乳腺癌患者发生腋下淋巴结转移的概率。
之后进行模型训练：ConvRNN的模型的正向传播过程在上文中已进行详细说明。数据集中经过预处理的DCE-MRI增强图像序列输入到ConvRNN模型中，通过正向传播得到对乳腺癌患者是否发生腋下淋巴结转移的预测；把该乳腺癌患者发生腋下淋巴结转移的真实情况经过独热编码做为标签，通过CrossEntropy函数计算预测与标签之间的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAMW优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；
最后，输入DCE-MRI增强图像序列，加载加载训练好的模型，输出对乳腺癌患者是否发生腋下淋巴结转移的预测。
步骤5：输出模型预测值并可视化模型关注区域
利用所述网络自动定量分析DCE-MRI图像中肿瘤包含的信息，对乳腺癌腋窝淋巴结转移进行预测，形成乳腺癌腋窝淋巴结转移概率值。使用梯度加权类激活映射方法，调查图像中哪些区域对预测重要。其中Grad-CAM的公式为：
对于CAM上坐标为(i，j)的像素，它表示CNN对于具有相同坐标的特征图上的像素的关注度，表示第k个通道上像素的值。而表示第k个通道特征图梯度的均值，K是特征图通道数。值和梯度是通过前向和后向钩子(hook)获得的。最后，将CAM调整为输入图像的大小，并叠加以获得热图。
下面结合具体实施例展开说明。
图5为六位乳腺癌患者的注意力图谱实例。每行图像从左到右显示：矢状面第一阶段的T1加权DCE图像，DCE-MRI1-5期图像，以及相应的感兴趣区域的注意力图谱。在每一行中，A图代表成功预测的发生ALN转移的乳腺癌患者，B图代表成功预测的无ALN转移的乳腺癌患者。
表1ConvRNN，CNN以及MRI报告在训练组，测试组、外部验证组1、外部验证组2集合中的表现
参见表1，本实施例收集来自三家大型医疗机构的2063例患者的DCE-MRI数据集，来自机构1的患者按照8:2随机分为训练集和测试集，来自机构2的患者为外部验证集1,来自机构3的患者为外部验证集2。结果显示，本项目ConvRNN模型在训练、测试、外部验证1及外部验证2的AUC分别为0.814(0.770-0.844)、0.804(0.755-0.837)、0.797(0.754-0.837)及0.761(0.731-0.800)，展示出了较好的预测乳腺癌淋巴结转移性能。
表2ConvRNN联合超声报告在训练组及测试组对应高敏感性及高特异性临床操作点
表2为训练集和测试集中本项目模型联合超声报告预测腋窝淋巴结转移的95％敏感性95％特异性对应的各项指标，根据临床情况，可以选择不同的治疗方案。其中95％的高灵敏度点可获得51％的特异性(95％CI：47％-55％)，92％的阴性预测值(95％CI：88％-95％)，以及19.8的比值比(95％CI：12.0-29.8)，提示此类患者发生腋下淋巴结转移的风险较高，推荐行腋窝淋巴结清扫。此外，高特异性点提示腋窝淋巴结转移的低风险患者可考虑进行保乳手术和/或前哨结活检，其中固定的95％特异性产生的敏感性为45％(95％CI：40％-49％)，阳性预测值为88％(95％CI：84％-92％)，比值比为15.6(95％CI：10.0-24.0)。

Claims (8)

1.一种预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，包括下列步骤：
(1)采集乳腺癌患者的DCE-MRI图像并进行靶病灶增强图像的分割；
(2)DCE-MRI图像预处理，得到经过预处理的DCE-MRI增强图像序列；
(3)采集DCE-MRI报告语义特征；
(4)构建ConvRNN模型，使用多尺度动态卷积神经网络MSCNN提取DCE-MRI图像序列各个增强期的空间特征，多尺度动态卷积神经网络MSCNN由以多个尺度卷积模块组成的特征提取器和全局池化层，多尺度动态卷积神经网络MSCNN的每个尺度卷积模块包含一个动态卷积模块；
多尺度动态卷积神经网络MSCNN的输入为一帧经过预处理的DCE-MRI增强图像，实现对其多尺度的特征提取；尺度卷积模块的最大池化层利用上一个尺度卷积模块的输出进行跨尺度的信息交互，即当前尺度卷积模块的输入特征与上一个尺度卷积模块的输出特征在通道维度上进行拼接，进行最大池化，实现多尺度的融合；在所有的尺度卷积模块中都提取完特征后，将各个尺度卷积模块的特征进行全局池化，拼接在一起，得到整张图像的特征表达，称此特征为其为强化图像空间特征；
(5)使用门控循环单元对基于经过预处理的DCE-MRI增强图像序列中逐期提取到的强化图像空间特征进行时序整合，门控循环单元的输出即序列的整体特征；使用包含一个语义特征提取全连接层和一个分类全连接层的输出模块进行分类，得到对乳腺癌患者是否发生淋巴结转移的预测，方法如下：
1)对于经过预处理的DCE-MRI增强图像序列S＝{s0，s1，s2，s3，s4，s5}，包含增强前到增强N期的N+1张图像，其中，第i期增强图像表示为si；
2)对患者来自DCE-MRI报告中的语义特征进行独热编码，得到语义特征SEM；
3)将增强图像序列S逐期输入到含有N个尺度卷积模块的多尺度动态卷积神经网络进行处理；
4)对增强图像序列S中的N+1张图像处理完毕后，得到序列的空间特征序列F＝{fi}，0≤i＜N+1；
5)将第i期增强图像si中提取到的空间特征fi作为输入向量，输入到门控循环单元；
6)在门控循环单元中，图像空间特征fi通过tanh激活函数更新候选状态向量ci，表示为：ci＝tanh(Wnfi+Un(ri⊙hi-1)+bn)，其中hi-1表示第i-1期图像对应的隐状态向量，ri为hi-1对应的权重，Wn、Un和bn为门控循环单元的网络参数；
7)在门控循环单元中，根据hi-1和ci生成第i期图像对应的隐状态向量hi，并且表示为：hi＝zihi-1+(1-zi)ci，zi为组合hi-1和ci的权重；
8)在增强第N期图像的空间特征fN通过门控循环单元处理后，得到已包含序列的空间特征序列F中有效信息的隐状态向量hN作为增强图像序列S的特征；
9)将语义特征SEM输入通过语义特征提取全连接层得到语义特征向量；
10)将该语义特征向量与增强图像序列S的特征向量拼接得到患者的预测向量，通过分类全连接层对预测向量进行线性映射，得到长度为2的向量p；
11)将向量p经过Softmax函数进行归一化处理，p的第二位数字p[1]即该乳腺癌患者发生腋下淋巴结转移的概率；
(6)输出模型预测值并可视化模型关注区域：对乳腺癌腋窝淋巴结转移进行预测，形成乳腺癌腋窝淋巴结转移概率值；使用梯度加权类激活映射方法，调查图像中对预测重要的关注区域，并可视化。
2.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，步骤(1)中，收集乳腺癌患者的DCE-MRI图像以及对应的病理结果，基于矢状位TI动态增强第一期图像分割靶病灶，转化为二值图像。
3.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，步骤(2)具体如下：
利用静止速度场与标量动量参数化SVF算法对DCE-MRI图像进行配准；
基于配准各时期图像将原发靶病灶以外区域通过边界框进行裁剪；
将靶病灶区域转换为三通道RGB格式，并进行归一化和Z-score标准化处理；
获得经过预处理的DCE-MRI增强图像序列。
4.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，步骤(3)具体如下：采用正则表达式匹配DCE-MRI报告中特征的描述；对特征描述的关键词进行分类并编码。
5.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，步骤(3)中，所提取的语义特征包括报告中所描述的乳腺密度、实质背景增强情况、时间强度曲线、弥散加权成像(DWI)表现、有无皮肤侵犯、腋窝淋巴结状态和肿瘤的增强模式。
6.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，步骤(4)中所述的动态卷积模块包括：卷积层；批归一化层，用于对所述卷积层的输出进行批归一化处理；一个整流线性单元，由LeakyReLU函数实现，对进行批归一化处理后的输出进行激活；一个自适应平均池化层，将输出特征图池化成一个1×1的特征图，之后展平；两个全连接层，用于计算注意力向量；一个softmax层，用于将注意力向量归一化到[0,1]区间；一个加权池化操作，对输入特征图中的每个通道，都乘以其对应的通道权重，再对所有通道求和，得到一个加权后的特征图输出；单个尺度卷积模块包括：最大池化层；卷积层，用于提取特征；所述的动态卷积模块；输入数据通过最大池化层和卷积层进行处理，生成特征图；如果某个尺度卷积模块不是输入层，则将上一层的特征图也通过最大池化层进行处理，然后将其与当前特征图级联起来；级联后的特征图通过动态卷积模块进行注意力加权，得到输出特征图；此输出特征图作为下一层尺度卷积模块的输入。
7.根据权利要求1所述的预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，所述ConvRNN模型训练过程如下：将数据集中经过预处理的DCE-MRI增强图像序列输入到ConvRNN模型中，通过正向传播得到对乳腺癌患者是否发生腋下淋巴结转移的预测；把乳腺癌患者发生腋下淋巴结转移的真实情况经过独热编码做为标签，通过CrossEntropy函数计算预测与标签之间的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAMW优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为ConvRNN模型。
8.一种乳腺癌腋窝淋巴结转移预测装置，其特征在于，所述预测装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-7中的任一项所述的方法步骤。
CN202310486723.6A 2023-04-28 2023-04-28 预测乳腺癌腋窝淋巴结转移的模型建立方法 Pending CN116665896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310486723.6A CN116665896A (zh) 2023-04-28 2023-04-28 预测乳腺癌腋窝淋巴结转移的模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310486723.6A CN116665896A (zh) 2023-04-28 2023-04-28 预测乳腺癌腋窝淋巴结转移的模型建立方法

Publications (1)

Publication Number Publication Date
CN116665896A true CN116665896A (zh) 2023-08-29

Family

ID=87714385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310486723.6A Pending CN116665896A (zh) 2023-04-28 2023-04-28 预测乳腺癌腋窝淋巴结转移的模型建立方法

Country Status (1)

Country Link
CN (1) CN116665896A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351183A (zh) * 2023-10-09 2024-01-05 广州医科大学附属第一医院（广州呼吸中心） 子宫内膜癌淋巴结转移智能识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351183A (zh) * 2023-10-09 2024-01-05 广州医科大学附属第一医院（广州呼吸中心） 子宫内膜癌淋巴结转移智能识别方法及系统
CN117351183B (zh) * 2023-10-09 2024-06-04 广州医科大学附属第一医院（广州呼吸中心） 子宫内膜癌淋巴结转移智能识别方法及系统

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Khan et al. Deep neural architectures for medical image semantic segmentation
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
Zhang et al. Review of breast cancer pathologigcal image processing
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
Shi et al. Automatic segmentation of cardiac magnetic resonance images based on multi-input fusion network
Yang et al. A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
Du et al. Segmentation and visualization of left atrium through a unified deep learning framework
Yuan et al. ResD-Unet research and application for pulmonary artery segmentation
Wang et al. Left ventricle landmark localization and identification in cardiac MRI by deep metric learning-assisted CNN regression
Zhao et al. A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection
Sadeghibakhi et al. Multiple sclerosis lesions segmentation using attention-based CNNs in FLAIR images
CN116665896A (zh) 预测乳腺癌腋窝淋巴结转移的模型建立方法
Ali et al. Multi-level Kronecker Convolutional Neural Network (ML-KCNN) for glioma segmentation from multi-modal MRI volumetric data
CN115564756A (zh) 医学图像病灶定位显示方法与系统
Khademi et al. Spatio-temporal hybrid fusion of cae and swin transformers for lung cancer malignancy prediction
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
Hou et al. Cross attention densely connected networks for multiple sclerosis lesion segmentation
Xia et al. Cross-domain brain CT image smart segmentation via shared hidden space transfer FCM clustering
Alshehri et al. A few-shot learning-based ischemic stroke segmentation system using weighted MRI fusion
Zhao et al. Focal U-Net: A focal self-attention based U-Net for breast lesion segmentation in ultrasound images
Zhou et al. MCFA-UNet: multiscale cascaded feature attention U-Net for liver segmentation
Khalifa et al. Deep learning for image segmentation: a focus on medical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination