CN116740435A - 基于多模态深度学习影像组学的乳腺癌超声图像分类方法 - Google Patents

基于多模态深度学习影像组学的乳腺癌超声图像分类方法 Download PDF

Info

Publication number
CN116740435A
CN116740435A CN202310688889.6A CN202310688889A CN116740435A CN 116740435 A CN116740435 A CN 116740435A CN 202310688889 A CN202310688889 A CN 202310688889A CN 116740435 A CN116740435 A CN 116740435A
Authority
CN
China
Prior art keywords
deep learning
image
ultrasonic
histology
breast cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310688889.6A
Other languages
English (en)
Inventor
吴佩彦
吴兴隆
姜炎
李梦萤
邢涵硕
徐国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202310688889.6A priority Critical patent/CN116740435A/zh
Publication of CN116740435A publication Critical patent/CN116740435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于多模态深度学习影像组学的乳腺癌超声图像分类方法，涉及深度神经网络，多模态深度学习，数据分析和人工智能技术；通过深度学习和影像组学技术，从图片视频文本等多模态数据中提取大量特征，并结合这些多模态信息构建诺莫图，实现了识别和分类良恶性乳腺肿瘤超声图像的功能。本发明结合多模态图像和深度学习影像组学临床特征构建了一个直观识别分类图像的诺莫图模型，支持模型预测过程和结果的可视化，提供了可视化的、易解释性的预测结果，解决了现有技术存在的问题；提高了对良恶性乳腺肿瘤超声图像识别分类的准确率，直观地反映图像的性质，对于采取个性化的措施具有重大意义与价值。

Description

基于多模态深度学习影像组学的乳腺癌超声图像分类方法
技术领域
本发明属于深度学习技术领域，具体涉及基于多模态深度学习影像组学的乳腺癌超声图像分类方法。
背景技术
传统的乳腺检查通过超声仪器进行诊断，然而由于超声仪器分辨超声图像的分辨率低、信噪比低且依赖于放射科医生的专业辨别能力，无法对患部的进展程度实现精准图像识别；目前实现精准医疗的核心手段是全面完整的解析患者的基因组学信息，但是在临床实践中，由于技术手段、数据隐私和诊疗费用的等诸多问题，乳腺癌患者的精准治疗还难以大规模的实现。在医学领域中，影像组学是一门先进的提取医学图像特征的技术，可以从超声图像的感兴趣区域(ROI)中自动提取特征(如一阶统计学特征，二阶纹理特征或小波特征等)，然后选择定量特征作为识别分类癌症影像的特征。虽然这些特征能够量化肿瘤内部的纹理模式或组织分布等难以被视觉简单感知的信息，但影像组学依赖于放射医师标记的肿瘤边界，使用影像学技术也不足以准确按良恶性对乳腺肿瘤超声图像进行识别和分类。
近年来，随着人工智能的发展，深度学习算法在图像、视频、文本等识别任务中表现突出，引起了人们的极大关注。如深度卷积神经网络，通过逐层堆叠的采样层对数据进行分层特征提取，并运用反向传播算法对模型参数进行更新，可以自动地从图像中学习层次更为丰富的表征。然而，仅基于人工智能分类模型的泛化能力依然存疑，主要原因是在医师的对肿瘤超声图像的人工识别分类过程中，除观察各类超声图像、超声视频外，还会参考各类临床数据，比如肿瘤的形态大小、患者年龄与各项病理指标等。因此，将影像组学与深度学习技术提取的特征结合临床各项指标数据进行多模态特征的分析与推理，已经成为医学影像组学结合人工智能分析的一项新技术。目前来看，这项技术能够在样本量不变的前提下提高智能化程度，改善特征提取结果和提升预测模型的准确性。遗憾的是，虽然每一个特征都会与数据之间存在各种依赖关系，但特征数量庞大抽象，无论是研究者还是医师都无法理解这些特征所带来的含义。
诺莫图作为一种形象直观的模型，在医学影像分析中受到了广泛的使用。对于生化研究和临床诊断人员来说，诺莫图能够将每个模态预测的概率结果转为分数，使得研究人员可以直观地看到人工智能这个黑匣子能为最终的分类结果带来多少贡献。因此，为了更加准确地预测以及更方便真实地临床运用，需要一种多模态的诺莫图分类模型提供决策支持和帮助。
发明内容
本发明要解决的技术问题是：提供基于多模态深度学习影像组学的乳腺癌超声图像分类方法，用于按照良恶性识别和分类乳腺肿瘤超声图像。
本发明为解决上述技术问题所采取的技术方案为：基于多模态深度学习影像组学的乳腺癌超声图像分类方法，包括以下步骤：
S0：建立基于多模态深度学习影像组学的乳腺癌超声图像分类系统，包括深度学习模块、影像组学模块、临床数据模块和诺莫图构建模块；
深度学习模块包括双输入深度学习二分类网络，用于同时提取、融合并抽象灰度超声图片和彩色超声图片的深度学习特征，得到深度学习分数；
影像组学模块用于从灰度超声图片的感兴趣区域ROI中提取影像组学特征，通过降维筛选特征，并利用逻辑回归公式计算得到影像组学分数；
临床数据模块用于分析患者的临床数据、构建多变量逻辑回归模型，并筛选有显著性的临床特征；
诺莫图构建模块用于将上述三种模块的输出进行归一化处理，筛选出与良恶性肿瘤超声图像分类结果相关的预测因子，并构建诺莫图；
S1：深度学习模块向双输入深度学习二分类网络的灰度分支输入肿瘤的灰度超声图片，向彩超分支输入肿瘤的彩色超声图片，提取并融合特征后得到深度学习特征；
S2：影像组学模块提取灰度超声图片的ROI影像学特征并进行特征降维，得到影像组学特征；
S3：临床数据模块分析并对患者的临床数据特征进行降维，筛选得到与肿瘤良恶性具有高相关性的若干临床特征；
S4：诺莫图构建模块利用得到的多模态特征进行因子融合并构建诺莫图，最终通过诺莫图得到良恶性肿瘤超声图像分类的分数与对应的识别概率。
按上述方案，所述的步骤S1中，具体步骤为：
S11：将通道注意力机制应用于彩超分支，用于增强彩超中的颜色信息；
S12：使用卷积神经网络提取图片的特征；使用模态融合的注意力机制，将灰度超声图片的特征融合到彩色超声图片中作为彩色超声图片的特征；
S13：用特征融合器融合并分类灰度超声图片的特征和彩色超声图片的特征；使用患者的临床数据建立深度学习模型并评估性能，得到深度学习分数。
进一步的，所述的步骤S1中，使用的卷积神经网络为包括RestNet50或EfficientNet的深度学习分类网络架构；使用的特征融合器包括LSTM或Transformer。
按上述方案，所述的步骤S1中，将深度学习的概率值或深度学习模型最后一层未经激活的输出值转化为深度学习分数，用于将多个特征抽象为一个特征值；或通过逻辑回归机器学习公式从深度学习模型最后一层的特征获得深度学习分数；深度学习分数的范围为[-10，10]。
按上述方案，所述的步骤S2中，具体步骤为：
S21：根据医师提供的肿瘤边界手动勾画灰度超声图片的ROI区域，使用影像组学工具提取ROI区域的影像学特征；
S22：依次通过最大相关最小冗余mRMR与Lasso算法筛选提取的影像学特征；
S23：使用逻辑回归公式计算影像学特征，设Xi是影像组学特征，Wi是特征权重系数，b是偏移系数，n是筛选后的特征数，得到影像组学分数score为：
进一步的，所述的步骤S2中，影像组学分数是回归公式的结果，或是经过激活函数后回归公式的结果；影像组学分数的范围为[-1，2]。
进一步的，所述的步骤S2中，激活函数包括Sigmoid、Tanh或Relu。
按上述方案，所述的步骤S3中，具体步骤为：
S31：分析患者的各种临床指标，包括年龄、肿瘤大小和病理数据；
S32：筛选出队列之间没有显著性差异，但良性组与恶性组有显著性差异的特征，使筛选出的特征与肿瘤良恶性具有高相关性。
进一步的，所述的步骤S3中，病理数据包括雌激素受体和Ki-67。
按上述方案，所述的步骤S4中，具体步骤为：
S41：将所有的模态数据归一化，首先选出单变量逻辑回归筛选得到P<0.05的特征；
S42：使用这些特征通过多变量逻辑回归；
S43：选出P<0.05的显著性特征作为识别分类良恶性肿瘤超声图像的预测因子构建诺莫图，得到总标签得分与对应的识别概率。
本发明的有益效果为：
1.本发明的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，涉及深度神经网络，多模态深度学习，数据分析和人工智能技术；通过深度学习和影像组学技术，从图片、视频、文本等多模态数据中提取大量特征，并结合这些多模态信息构建诺莫图，实现了识别和分类良恶性乳腺肿瘤超声图像的功能。
2.本发明通过结合多模态图像和临床信息构建诺莫图，提供可视化的、易解释性的预测结果，旨在提高对乳腺肿瘤超声图像识别和分类的准确率，直观的反映患者的良恶性，对于提供个体化的预后评估具有重大意义与价值。
3.本发明通过结合深度学习影像组学临床特征等多模态数据构建了一个直观识别分类乳腺肿瘤超声图像的诺莫图模型，支持模型预测过程和结果的可视化，解决了现有技术存在的问题。
4.本发明对所有特征都进行了相关性分析，筛选了大量特征；对于深度学习网络，认为模型概率代表多模态模型的预测结果，通过受试者工作特征曲线下的面积(AUC)、准确率(ACC)等数值来评估所提出模型识别分类乳腺肿瘤超声图像的能力。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例的双输入深度学习模型示意图。
图3是本发明实施例的典型的多模态深度学习影像组学诺莫图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，本发明的实施例以乳腺癌超声图像为对象，搭建包括深度学习模块、影像组学模块、临床数据模块和诺莫图构建模块的模型；
深度学习模块通过设计一个双输入深度学习二分类网络，用于同时提取乳腺灰度超声图像和乳腺彩色超声图像的深度学习特征，并进行特征融合后抽象为一个特征值，定义为“深度学习分数”；
影像组学模块用于从乳腺灰度超声图像的感兴趣区域(ROI)中提取影像组学特征，然后通过多种降维方法筛选特征，并利用逻辑回归公式计算得到“影像组学分数”；
临床数据模块用于分析患者的各种临床数据(包括年龄、乳腺肿瘤大小、病理数据等)并构建多变量逻辑回归模型，以筛选有显著性的“临床特征”；
诺莫图构建模块用于将上述三种模块的输出进行归一化处理，筛选出与良恶性分类结果相关的预测因子并构建诺莫图。
本发明实施例的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，包括以下步骤：
第一，设计一个双输入的端到端深度学习分类模型，参见图2，以两种超声图片模态作为输入。将通道注意力机制应用于彩超分支，用以增强彩超中的颜色信息。然后使用卷积神经网络(如RestNet50、EfficientNet等)对图片进行特征提取。同时，为了更好的模仿在临床操作中医师基于对应的灰度超声图片理解彩色超声图片的场景，使用了一个模态融合的注意力机制，将灰度超声的特征融合到彩色超声中作为彩超图片的特征。最后，再将灰度与彩超图片的特征用特征融合器(如LSTM、Transformer等)融合去做分类。使用临床数据进行建模并评估性能，将其中性能表现良好的模型及其权重用于后续预测。为了将大量特征抽象为一个特征值，所述的“深度学习分数”可由深度学习的概率值转化而来，或是深度学习模型最后一层未经激活的输出值。也可通过逻辑回归机器学习等公式，从模型最后一层的特征获得。此“深度学习分数”范围在-10到10之间，将作为诺莫图的预测因子之一用于后续研究。
第二，根据医师提供的乳腺肿瘤边界进行手动勾画超声图片的ROI区域，使用影像组学工具自动的对ROI区域进行影像学特征提取。先后通过最大相关最小冗余(mRMR)与Lasso算法对提取的特征进行筛选。最后使用逻辑回归公式计算影像学特征。其计算公式如下：
其中，Xi是影像组学特征，Wi是特征权重系数，b是偏移系数，n是筛选后的特征数。所述的“影像组学分数”可以是回归公式的结果，或是经过激活函数(如Sigmoid，Tanh，Relu等)后回归公式结果，分数范围在-1到2之间。
第三，分析各种临床指标，主要包括年龄、乳腺肿瘤大小、病理数据(如雌激素受体、Ki-67)等。筛选出队列之间没有显著性差异的，但良性组与恶性组有显著性差异的特征，筛选出的特征与乳腺癌良恶性相关性高，更利于后续研究。
最后，利用得到的多模态的特征进行因子融合构建诺莫图。将所有的模态数据归一化，首先选出单变量逻辑回归筛选得到P<0.05的特征后，然后使用这些特征通过多变量逻辑回归，再次选出P<0.05的显著性特征来作为识别分类良恶性乳腺超声图像的预测因子构建诺莫图。
诺莫图最终效果如图3所示。从诺莫图上，可以看出每一个特征因子的得分，最终得到患者的总标签得分与其对应的良恶性风险的乳腺肿瘤超声图像的识别概率。根据诺莫图计算得到识别概率(即图中最后一行的risk)，识别概率若大于等于0.5，则将输入的图像分类到恶性组；识别概率小于0.5则将输入的图像分类到良性组。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：包括以下步骤：
S0：建立基于多模态深度学习影像组学的乳腺癌超声图像分类系统，包括深度学习模块、影像组学模块、临床数据模块和诺莫图构建模块；
深度学习模块包括双输入深度学习二分类网络，用于同时提取、融合并抽象灰度超声图片和彩色超声图片的深度学习特征，得到深度学习分数；
影像组学模块用于从灰度超声图片的感兴趣区域ROI中提取影像组学特征，通过降维筛选特征，并利用逻辑回归公式计算得到影像组学分数；
临床数据模块用于分析患者的临床数据、构建多变量逻辑回归模型，并筛选有显著性的临床特征；
诺莫图构建模块用于将上述三种模块的输出进行归一化处理，筛选出与良恶性肿瘤超声图像分类结果相关的预测因子，并构建诺莫图；
S1：深度学习模块向双输入深度学习二分类网络的灰度分支输入肿瘤的灰度超声图片，向彩超分支输入肿瘤的彩色超声图片，提取并融合特征后得到深度学习特征；
S2：影像组学模块提取灰度超声图片的ROI影像学特征并进行特征降维，得到影像组学特征；
S3：临床数据模块分析并对患者的临床数据特征进行降维，筛选得到与肿瘤良恶性具有高相关性的若干临床特征；
S4：诺莫图构建模块利用得到的多模态特征进行因子融合并构建诺莫图，最终通过诺莫图得到良恶性肿瘤超声图像分类的分数与对应的识别概率。
2.根据权利要求1所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S1中，具体步骤为：
S11：将通道注意力机制应用于彩超分支，用于增强彩超中的颜色信息；
S12：使用卷积神经网络提取图片的特征；使用模态融合的注意力机制，将灰度超声图片的特征融合到彩色超声图片中作为彩色超声图片的特征；
S13：用特征融合器融合并分类灰度超声图片的特征和彩色超声图片的特征；使用患者的临床数据建立深度学习模型并评估性能，得到深度学习分数。
3.根据权利要求2所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S1中，
使用的卷积神经网络为包括RestNet50或EfficientNet的深度学习分类网络架构；使用的特征融合器包括LSTM或Transformer。
4.根据权利要求1所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S1中，将深度学习的概率值或深度学习模型最后一层未经激活的输出值转化为深度学习分数，用于将多个特征抽象为一个特征值；或通过逻辑回归机器学习公式从深度学习模型最后一层的特征获得深度学习分数；深度学习分数的范围为[-10，10]。
5.根据权利要求1所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S2中，具体步骤为：
S21：根据医师提供的肿瘤边界手动勾画灰度超声图片的ROI区域，使用影像组学工具提取ROI区域的影像学特征；
S22：依次通过最大相关最小冗余mRMR与Lasso算法筛选提取的影像学特征；
S23：使用逻辑回归公式计算影像学特征，设Xi是影像组学特征，Wi是特征权重系数，b是偏移系数，n是筛选后的特征数，得到影像组学分数score为：
6.根据权利要求5所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S2中，影像组学分数是回归公式的结果，或是经过激活函数后回归公式的结果；影像组学分数的范围为[-1，2]。
7.根据权利要求6所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S2中，激活函数包括Sigmoid、Tanh或Relu。
8.根据权利要求1所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S3中，具体步骤为：
S31：分析患者的各种临床指标，包括年龄、肿瘤大小和病理数据；
S32：筛选出队列之间没有显著性差异，但良性组与恶性组有显著性差异的特征，使筛选出的特征与肿瘤良恶性具有高相关性。
9.根据权利要求8所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S3中，病理数据包括雌激素受体和Ki-67。
10.根据权利要求1所述的基于多模态深度学习影像组学的乳腺癌超声图像分类方法，其特征在于：所述的步骤S4中，具体步骤为：
S41：将所有的模态数据归一化，首先选出单变量逻辑回归筛选得到P<0.05的特征；
S42：使用这些特征通过多变量逻辑回归；
S43：选出P<0.05的显著性特征作为识别分类良恶性肿瘤超声图像的预测因子，构建诺莫图，得到总标签得分与对应的识别概率。
CN202310688889.6A 2023-06-09 2023-06-09 基于多模态深度学习影像组学的乳腺癌超声图像分类方法 Pending CN116740435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310688889.6A CN116740435A (zh) 2023-06-09 2023-06-09 基于多模态深度学习影像组学的乳腺癌超声图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310688889.6A CN116740435A (zh) 2023-06-09 2023-06-09 基于多模态深度学习影像组学的乳腺癌超声图像分类方法

Publications (1)

Publication Number Publication Date
CN116740435A true CN116740435A (zh) 2023-09-12

Family

ID=87910884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310688889.6A Pending CN116740435A (zh) 2023-06-09 2023-06-09 基于多模态深度学习影像组学的乳腺癌超声图像分类方法

Country Status (1)

Country Link
CN (1) CN116740435A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392119A (zh) * 2023-12-07 2024-01-12 华侨大学 基于位置先验和特征感知的肿瘤病变区域检测方法及装置
CN117612711A (zh) * 2024-01-22 2024-02-27 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117744026A (zh) * 2024-02-18 2024-03-22 四川省肿瘤医院 基于多模态的信息融合方法和肿瘤恶性概率识别系统
CN118299032A (zh) * 2024-03-29 2024-07-05 江南大学 乳腺癌早期筛查模型的构建方法及筛查辅助系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392119A (zh) * 2023-12-07 2024-01-12 华侨大学 基于位置先验和特征感知的肿瘤病变区域检测方法及装置
CN117392119B (zh) * 2023-12-07 2024-03-12 华侨大学 基于位置先验和特征感知的肿瘤病变区域检测方法及装置
CN117612711A (zh) * 2024-01-22 2024-02-27 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117612711B (zh) * 2024-01-22 2024-05-03 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117744026A (zh) * 2024-02-18 2024-03-22 四川省肿瘤医院 基于多模态的信息融合方法和肿瘤恶性概率识别系统
CN118299032A (zh) * 2024-03-29 2024-07-05 江南大学 乳腺癌早期筛查模型的构建方法及筛查辅助系统

Similar Documents

Publication Publication Date Title
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
Qian et al. Prospective assessment of breast cancer risk from multimodal multiview ultrasound images via clinically applicable deep learning
Fuhrman et al. A review of explainable and interpretable AI with applications in COVID‐19 imaging
Das et al. Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CA3138959C (en) Image diagnostic system, and methods of operating thereof
Dundar et al. Computerized classification of intraductal breast lesions using histopathological images
Salman et al. Automated prostate cancer grading and diagnosis system using deep learning-based Yolo object detection algorithm
CN116740435A (zh) 基于多模态深度学习影像组学的乳腺癌超声图像分类方法
EP3938951A1 (en) An explainable ai (xai) platform for computational pathology
Dogan et al. Primate brain pattern-based automated Alzheimer's disease detection model using EEG signals
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN107133638B (zh) 基于两分类器的多参数mri前列腺癌cad方法及系统
Hashemi et al. Mass detection in lung CT images using region growing segmentation and decision making based on fuzzy inference system and artificial neural network
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Alkassar et al. Going deeper: magnification‐invariant approach for breast cancer classification using histopathological images
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Chen et al. Automatic whole slide pathology image diagnosis framework via unit stochastic selection and attention fusion
Chen et al. Breast tumor classification in ultrasound images by fusion of deep convolutional neural network and shallow LBP feature
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
Zhang et al. Feature-transfer network and local background suppression for microaneurysm detection
Yang et al. AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Xiang et al. A novel weight pruning strategy for light weight neural networks with application to the diagnosis of skin disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination