CN116416235B - 一种基于多模态超声数据的特征区域预测方法和装置 - Google Patents

一种基于多模态超声数据的特征区域预测方法和装置 Download PDF

Info

Publication number
CN116416235B
CN116416235B CN202310389384.XA CN202310389384A CN116416235B CN 116416235 B CN116416235 B CN 116416235B CN 202310389384 A CN202310389384 A CN 202310389384A CN 116416235 B CN116416235 B CN 116416235B
Authority
CN
China
Prior art keywords
image
data
mode
lesion area
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310389384.XA
Other languages
English (en)
Other versions
CN116416235A (zh
Inventor
隋栋
张康
郭茂祖
戴全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202310389384.XA priority Critical patent/CN116416235B/zh
Publication of CN116416235A publication Critical patent/CN116416235A/zh
Application granted granted Critical
Publication of CN116416235B publication Critical patent/CN116416235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种基于多模态超声数据的特征区域预测方法和装置，方法包括：获取待预测的超声图像，并将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像；采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据；对所述高维特征数据进行降维处理，并利用预先训练好的分类器确定病变区域的诊断结果。

Description

一种基于多模态超声数据的特征区域预测方法和装置
技术领域
本文涉及计算机技术领域，尤指一种基于多模态超声数据的特征区域预测方法和装置。
背景技术
甲状腺癌是人类内分泌系统中最常见的恶性肿瘤，根据最新全球癌症统计，世界范围内发病率呈持续上升趋势，将在2030年左右成为第四大常见癌症。对于不同组织病理学亚型的甲状腺癌，转移与复发仍然是疾病治疗与随访的重要关注点。针对于甲状腺肿瘤的检测，目前常用的检查方法仍然是通过超声、CT等影像学检查手段，为临床提供更多参考信息。近年来，随着影像组学研究在医学图像数据处理中的研究与应用，通过影像组学方法分析不同影像数据的信息也可进一步评估甲状腺肿瘤的良恶性。
超声具有操作实时便捷、费用低廉、无创及无辐射等显著特点，是对甲状腺疾病，尤其是提高甲状腺癌早期检出率的一线检查手段。对于甲状腺内的病灶可确定部位、数量、大小、形态学特征、血流特点、病灶与被膜及周边组织或器官的关系等，同时能够对颈部相关区域淋巴结进行评估。然而，超声图像的特征性的描述主要依赖于超声医师的主观判断，对于医师的临床经验和诊断水平提出了较高的要求。
计算机断层扫描(computed tomography，CT)及磁共振成像(magnetic resonanceimaging，MRI)可作为超声检查的补充检查，对于胸骨后的甲状腺病变或体积较大及超声显示不佳的病灶能够更好的显示，并能够进一步了解病灶与周围组织解剖关系及评价是否有局部组织结构侵犯等情况。正电子发射计算机断层扫描(positron emission tomographycomputed tomography，PETCT)则不推荐作为甲状腺癌诊断的术前常规检查，可用于随访中出现Tg升高(>10ng/ml)且131I诊断性全身显像(Dx-WBS)阴性者查找转移灶，以及侵袭性PTC进行131I治疗前的评估。
然而，CT检查具有辐射性，且受制于图像分辨率，适用检测范围相对有限。MRI的成像特点对于恶性肿瘤的诊断有显著优势，但操作费时且费用昂贵，不适于对于甲状腺肿瘤的筛查及常规检查。
基于甲状腺原发肿瘤内在的生物学特性与其侵袭性和转移性是密切相关的，不同模态的超声图像反映出的肿瘤多种影像学信息也是不同的。一些技术中仅仅根据单一模态或双模态超声图像特征信息进行构建模型用于评估甲状腺肿瘤良恶性或预测甲状腺癌淋巴结状态，超声图像信息的丰富性决定了参与建立模型的数据量，因此，基于多模态超声图像(灰阶图像+彩色多普勒图像+弹性成像图像等)在预测甲状腺癌淋巴结转移方面的研究是亟待解决的问题。
发明内容
本申请提供了一种基于多模态超声数据的特征区域预测方法和装置，该方法基于多模态超声图像，更加准确的预测病变区域的复发概率。
本申请提供了一种基于多模态超声数据的特征区域预测方法，方法包括：
获取待预测的超声图像，并将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像；
采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据；
对所述高维特征数据进行降维处理，并利用预先训练好的分类器确定病变区域的诊断结果。
一种示例性的实施例中，所述多模态的标签图像，包括：超声、灰度、弹性超声影像。
一种示例性的实施例中，所述将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像，包括：
对满足预设条件的超声图像针对每个模态分别执行以下操作：
利用第一通道中的bounding-box预测模型进行标注，确定病变区域的第一位置；
利用第二通道将所述病变区域的第一位置进行标注；
利用第三通道根据所述标注确定所述病变区域的第一位置的标签图像。
一种示例性的实施例中，所述采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据，包括：
将所述标签图像与所述超声图像进行联合处理得到病灶区域图片；
根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据。
一种示例性的实施例中，所述将所述标签图像与所述超声图像进行联合处理得到病灶区域图片，包括：
将待预测的超声图像与所述标签图像分别转化为Numpy数组；
将转化后的Numpy数组进行相乘，得到病灶区域的图片。
一种示例性的实施例中，所述根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据后，方法还包括：
通过特征降维处理方法对所述高维特征进行筛选，得到降维特征；
并对所述降维特征进行融合。
一种示例性的实施例中，所述特征降维处理方法，包括：
卡方、PCA和Lasso回归。
一种示例性的实施例中，所述利用预先训练好的分类器确定病变区域的诊断结果，包括：
将所述降维特征输入到预先训练好的分类器中，得到预测概率；
根据所述预测概率确定所述病灶区域的诊断结果。
本申请还提供了一种基于多模态超声数据的病变区域预测装置，包括存储器和处理器；所述存储器用于保存用于基于多模态超声数据的病变区域预测程序，所述处理器用于读取执行所述用于基于多模态超声数据的病变区域预测的控制程序，执行上述实施例中任一项所述的方法。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时进行上述实施例中任一项所述的基于多模态超声数据的病变区域预测方法。
与相关技术相比，本申请实施例提供一种基于多模态超声数据的特征区域预测方法和装置，方法包括：获取待预测的超声图像，并将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像；采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据；对所述高维特征数据进行降维处理，并利用预先训练好的分类器确定病变区域的诊断结果。通过本发明的技术方案，基于多模态超声图像，更加准确的预测病变区域的复发概率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的基于多模态超声数据的特征区域预测方法流程图；
图2为本申请实施例的基于多模态超声数据的特征区域预测装置示意图；
图3为一些示例性实施例中的基于多模态超声数据的特征区域预测方法示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
医学影像技术的发展为临床诊断提供了动态、立体、多模态的医学显像，根据成像原理的不同，医学图像可分为两大类：解剖结构类图像和功能结构类图像。解剖结构类图像拥有较高的空间分辨率，能够提供人体脏器和组织的解剖结构信息，但无法反映组织、器官的功能信息；功能结构类图像能够提供脏器功能的代谢信息，但空间分辨率较差，无法显示病变组织的解剖细节。医学图像融合技术则可充分利用不同类型的医学图像对病灶信息描述的冗余性和互补性信息，对不同模态的医学图像进行智能融合处理，使同一病灶的多源图像信息综合表达，融合后图像的可靠性、稳定性及容错能力均有大幅提升。
Park等比较了基于深度学习的计算机辅助诊断(Computer-aided diagnosis，CAD)系统、基于支持向量机的CAD系统与超声科医师对甲状腺小结节的诊断表现，结果显示基于深度学习的CAD系统显示出与超声医师大致相当的诊断性能，并在不损失敏感度的情况下比基于支持向量机的CAD系统能够更有效地评估甲状腺结节性质。Kim等也得到类似的结果，应用卷积神经网络(convolutional neural network，CNN)建立模型提供的诊断性能可与经验丰富的超声医师相当。而Buda等的研究显示，9名平均具有17年诊断经验的超声科医师的平均敏感度和平均特异度均低于深度学习算法(87％比68％，52％比45％)。Li等构建的CNN模型用于识别甲状腺癌的诊断效能也高于熟练的超声科医师。这些研究预示着人工智能模型在一定层面上展现出超越人类医师诊断能力的可能性。
近年来，基于机器学习或深度学习算法在甲状腺肿瘤的定位、识别、良恶性鉴别与预测方面有许多相关研究，各种算法优缺点不一，各项研究也都根据所收集病例的图像特征按照不同数据信息构建了相关模型，并充分评估模型的诊断效能和临床应用价值。然而，人工智能算法对甲状腺肿瘤的诊断和预测中的作用远不止这些范畴。2020年韩国学者Yoon等[Yoon J,Lee E,Koo JS,Yoon JH,Nam KH,Lee J,Jo YS,Moon HJ,Park VY,KwakJY.Artificial intelligence to predict the BRAFV600E mutation in patients withthyroid cancer.PLoS One,2020,15(11):e0242806.]依据超声影像的深度学习CNN算法建立一种CAD系统可有助于预测甲状腺癌BRAFV600E基因突变。此外，也有学者希望开发基于多模态超声(B超、多普勒、超声造影、弹性成像等)图像的深度学习模型，学习不同疾病的超声图像特征用于人工智能诊断，从而提供更多有价值的信息用于临床诊治流程[Akkus Z,Cai J,Boonrod A,Zeinoddini A,Weston AD,Philbrick KA,Erickson BJ.A survey ofdeep-learning applications in ultrasound:artificial intelligence-poweredultrasound for improving clinical workflow.J Am Coll Radiol,2019,16(9Pt B):1318-1328.]
随着人工智能在甲状腺癌领域应用的不断发展进步，多项研究应用影像组学方法建立模型用于预测或鉴别诊断颈部转移性淋巴结。2019年，Lu等[Lu W,Zhong L,Dong D,Fang M,Dai Q,Leng S,Zhang L,Sun W,Tian J,Zheng J,Jin Y.Radiomic analysis forpreoperative prediction of cervical lymph node metastasis in patients withpapillary thyroid carcinoma.Eur J Radiol,2019,118:231-238.]报道术前应用CT影像组学方法预测PTC颈部淋巴结转移能够提高预测准确性。2021年，Li等[Li J,Wu X,Mao N,Zheng G,Zhang H,Mou Y,Jia C,Mi J,Song X.Computed tomography-based radiomicsmodel to predict central cervical lymph node metastases in papillary thyroidcarcinoma:A multicenter study.Front Endocrinol(Lausanne),2021,12:741698.]基于CT影像组学特征构建PTC中央区淋巴结转移预测模型，申请人发现可以通过建立影像组学预测模型评估颈部淋巴结转移诊断是较为准确与有效的。
甲状腺原发肿瘤内在的生物学特性与其侵袭性和转移性是密切相关的，不同模态的超声图像反映出的肿瘤多种影像学信息也是不同的。一些技术中，根据单一模态或双模态超声图像特征信息进行构建模型用于评估甲状腺肿瘤良恶性或预测甲状腺癌淋巴结状态，超声图像信息的丰富性决定了参与建立模型的数据量，申请人发现多模态超声图像(灰阶图像+彩色多普勒图像+弹性成像图像等)在预测甲状腺癌淋巴结转移方面对于最终诊断或预测的效能需要进一步提高。
与常规甲状腺医学图像分析系统相比，基于多模态数据融合的分析策略有以下难点：
①多模态数据利用不充分：不同模态的数据往往能从不同的角度提供有价值的信息，在甲状腺医学图像分析问题上，通常能够获得多种不同模态的图像，然而临床诊断往往利用单一模态或少量模态数据，造成了数据资源严重浪费。
②数据标注工作量极大：多模态数据融合方式往往依赖于大量的标注数据，标注数据的数量能够直接影响模型训练效果。传统方法不能对病变区域建立有效的特征表示，是由于手工标注临床数据的工作量较大，不能提供充分的多模态数据的标注样本，直接影响了模型的表达能力。
③各个模态数据表征不完整：深度学习模型存在数据偏好问题，不同的数据的表征能力有强弱之分，结果的好坏主要依赖于建立有效的表征框架。传统方法往往会根据不同模态的数据设计合适的表征方法，但不同模态有效表征的方法差异较大，并没有对多模态数据通用表征方法，各个模态数据纹理差异较大，且同一模态中不同维度的特征对决策的贡献也参差不齐。
④不同模态数据特征之间差异较大：早期在一个低纬度的原始空间进行融合，融合得到的特征表征能力弱，忽视了特征之间的关联信息、忽视了高阶信息的使用，晚期融合能够充分地利用不同模态数据对同一个目标的特征表示的关联性，融合后的特征对目标具有更强的表示能力。此外，在早期融合中同一个网络提取的特征在不同层级的对齐效果也难以统一，而晚期融合能够充分利用高维特征所蕴含的信息，同时也减少了特征对齐的影响，因此晚期融合方式更适于针对较多模态的问题。
为了解决上述难题，实现一种基于多模态超声数据的特征区域预测方法。
本公开实施例提供了一种基于多模态超声数据的特征区域预测方法，如图1所示，方法包括步骤S100-S120，具体如下：
S100.获取待预测的超声图像，并将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像；
S110.采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据；
S120.对所述高维特征数据进行降维处理，并利用预先训练好的分类器确定病变区域的诊断结果。
一种示例性的实施例中，获取待预测的超声图像，该超声图像可以为多模态超声中B超、多普勒、超声造影、弹性成像一种图像。
一种示例性的实施例中，将满足预设条件的多张超声图像输入到分割网络模型中，得到多模态的标签图像的实现过程包括：对满足预设条件的超声图像针对每个模态分别执行以下操作：第一步，利用第一通道(Detection通道)中的bounding-box预测模型进行标注，确定病变区域的第一位置；第二步，利用第二通道(Classfication通道)将所述病变区域的第一位置进行标注；第三步，利用第三通道(detection通道)根据所述标注确定所述病变区域的第一位置的标签图像。本实施例中，分割网络模型是基于Transformer的弱监督医学图像分割模型，该模型是基于Transformer的框架结合弱监督学习理念，通过给定粗标注的Boundingbox预测出病灶区域的mask标注信息进行后续的分类任务。具体的，将mask即标注的病变区域生成任务分为三个通道进行，第一通道Detection通道根据给定的bounding-box即病变区域的边界框预测出病变区域的大致位置，第二通道Classfication通道采用Classification Activation Mapping(CAM)生成病变区域的伪标注(即由模型自动生成的病变区域)，生成的伪标注一方面和detection通道进行校正，另一方面通过仿射变换的方式校正backbone模型主干中的特征表示，通过多重校正通过提取骨架能够建立病灶区域的良好表示即数据信息的有效压缩。
在本实施例中，通过两个通道联合训练的Backbone输入到分割通道，将病灶区域的mask标注作为分割结果，同时与CAM生成的伪标注进行校正强化backbone对于病变区域的表示能力即将CAM生成的病变区域和Backbone生成的病变区域进行整合，获得一个优化后的区域，该区域能够更加准确的表示实际的病变区域。基于本实施例所所提出的分割框架能够使用弱监督的方式对病变区域进行准确分割，极大的缓解了标注数据的压力。
一种示例性的实施例中，采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据，包括：将所述标签图像与所述超声图像进行联合处理得到病灶区域图片；根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据。
一种示例性的实施例中，将所述标签图像与所述超声图像进行联合处理得到病灶区域图片，包括：将待预测的超声图像与所述标签图像分别转化为Numpy数组；将转化后的Numpy数组进行相乘，得到病灶区域的图片。
一种示例性的实施例中，所述根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据后，方法还包括：通过特征降维处理方法对所述高维特征进行筛选，得到降维特征；并对所述降维特征进行融合。在本实施例中，该特征降维处理方法，包括：卡方、PCA和Lasso回归。
一种示例性的实施例中，所述利用预先训练好的分类器确定病变区域的诊断结果，包括：将所述降维特征输入到预先训练好的分类器中，得到预测概率；根据所述预测概率确定所述病灶区域的诊断结果。在本实施例中，该特征处理部分包括：特征提取和特征降维。特征提取上采用了效果最好的ResNet50深度残差网络，在得到多层特征后结合进行降维。经过多方面实验与研究，最终决定使用卡方检验与PCA(主成分分析技术)进行降维。将多种模态下降维后特征结合，用作下一步分类预测网络的输入。
一种示例性的实施例中，通过弱监督分割框架所得到的分割结果会作为mask标注信息来处理原图，将原图中mask标注区域分离出来作为分类网络的输入，降低无关区域对整个病变判断的影响。灰阶、彩色多普勒、弹性超声图像会经过完全相同的处理方式进入到分类网络中，将VIT作为特征提取骨架获得原始输入图像的高维特征表示，通过PCA(主成分分析)方法结合临床信息对高维特征进行筛选，将不同模态的高维特征进行筛选的同时进行特征对齐以方便进行特征融合。本实施例通过上述处理，可以解决多模态数据表征不完整的问题和特征数据差异大的问题。融合特征送入神经网络分类器做最终的概率预测用来作为诊断依据。
在本实施例中，在得到多模态融合的降维特征后，作为分类器的输入，使用基于甲状腺癌复发转移数据集的预训练模型进行分类，输出预测概率。即通过预训练的分类器将维度为(1,120)的矩阵作为输入，得到0或1的预测标签以及其概率，其中0代表不易复发，1则为反之。例如，得到预测标签结果为[0,1]，预测概率为[0.748,0.252]。代表着该病例有74.8％的概率不易复发，是以得到系统最终输出结果为0，根据输出标签结果可以作为判断依据进行辅助诊断。
基于多模态超声数据的病变区域预测方法的具体事例的效果对比分析如下：
1)不同模态融合后分类器的结果如下图：
2)多模态超声数据的病变区域预测方法与传统方法的比较：
本实施例中，通过使用多个模态的数据融合使得预测结果更加准确；本方法＝能够有效的融合多模态信息在相对快速的情况下达到更高的精度。
示例一
如图3所示，基于多模态超声数据的特征区域预测方法的具体实现过程如下：
步骤1.获取用户提交病例的横纵切面各三张超声图像，即超声、灰度、弹性超声影像。
步骤2.对所获取的图片进行检查，若图片缺失则做出提醒重传或补传图片；若图片均满足系统要求则进入多模态超声数据的病变区域预测模型中。
步骤3.采用预训练分割网络模型，对输入的超声图片进行病灶区域的预测，生成对应的标签图片。
步骤4.启动图片相乘程序，将输入超声图像与步骤3中所生成的标签图片转化为Numpy数组并进行相乘，得到病灶区域的图片。
步骤5.采用ResNet50预训练特征提取模型，提取病灶区域图片的特征信息。
步骤6.根据病灶区域图片，采用特征提取框架，例如：ResNet50、VIT特征提取模型，提取六张局部图片特征。对前三层进行拉直并保存，用于特征降维。
步骤7.特征降维程序可以使用卡方和PCA以及Lasso回归等方法对特征矩阵不断降维压缩，结合不同模下压缩后的特征。
步骤8.采用特征提取框架例如：VIT特征提取模型中前三层的特征数据(即降维特征)输入训练分类器。
步骤9.根据降维特征数据，使用预训练标准差最好的分类器进行概率预测。
步骤10.得到对应0/1标签以及预测概率，给出复发诊断意见。
复发诊断意见可以与病例信息、诊断意见相结合，作为最终辅助诊断报告。
本方法通过自动检查提交图像格式是否满足要求如果不满足，系统将不会继续进行接下来的操作而是提醒用户重新上传符合要求的图片，满足要求的图片会进入病灶区域分割网络并赋予预测标签，标签与超声图片联合获得局部病灶，提取局部病灶的多层特征进行降维和融合，将融合特征进行分类器的训练，分类器将给出初步诊断结果，分类器结果和医生诊断意见汇总后就将展示到前端界面供用户参考。解决了现有技术中，肿瘤勾画通常都是以手工或半手工方式来进行，这项工作不仅代价昂贵、单调乏味，标注人员还需要具备极强的专业知识，且耗时耗力的问题。实现了一种快速且较为准确的方法。
本申请还提供了一种基于多模态超声数据的特征区域预测装置，包括：包括：存储器210和处理器220；存储器210用于保存基于多模态超声数据的特征区域预测的程序；处理器用于读取并执行用于基于多模态超声数据的特征区域预测的程序，进行上述实施例中任一项所述的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (7)

1.一种基于多模态超声数据的特征区域预测方法，其特征在于，方法包括：
获取待预测的超声图像，并将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像；
采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据；
对所述高维特征数据进行降维处理，并利用预先训练好的分类器确定病变区域的诊断结果；
所述将满足预设条件的超声图像输入到分割网络模型中，得到多模态的标签图像，包括：
对满足预设条件的超声图像针对每个模态分别执行以下操作：
利用第一通道中的bounding-box预测模型进行标注，确定病变区域的第一位置；
利用第二通道将所述病变区域的第一位置进行标注；
利用第三通道根据所述标注确定所述病变区域的第一位置的标签图像；
所述采用预训练特征提取模型分别从多模态的标签图像中获取高维特征数据，包括：
将所述标签图像与所述超声图像进行联合处理得到病灶区域图片；
根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据；
所述将所述标签图像与所述超声图像进行联合处理得到病灶区域图片，包括：
将待预测的超声图像与所述标签图像分别转化为Numpy数组；
将转化后的Numpy数组进行相乘，得到病灶区域的图片。
2.根据权利要求1所述的基于多模态超声数据的特征区域预测方法，其特征在于，
所述多模态的标签图像，包括：超声、灰度、弹性超声影像。
3.根据权利要求1所述的基于多模态超声数据的特征区域预测方法，其特征在于，所述根据所述病灶区域图片采用VIT特征提取骨架获得原始输入图像的高维特征数据后，方法还包括：
通过特征降维处理方法对所述高维特征进行筛选，得到降维特征；
并对所述降维特征进行融合。
4.根据权利要求3所述的基于多模态超声数据的特征区域预测方法，其特征在于，所述特征降维处理方法，包括：
卡方、PCA和Lasso回归。
5.根据权利要求4所述的基于多模态超声数据的特征区域预测方法，其特征在于，所述利用预先训练好的分类器确定病变区域的诊断结果，包括：
将所述降维特征输入到预先训练好的分类器中，得到预测概率；
根据所述预测概率确定所述病灶区域的诊断结果。
6.一种基于多模态超声数据的病变区域预测装置，其特征在于，包括存储器和处理器；其特征在于，所述存储器用于保存用于基于多模态超声数据的病变区域预测程序，所述处理器用于读取执行所述用于基于多模态超声数据的病变区域预测的控制程序，执行如权利要求1-5任一项所述的方法。
7.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时进行如权利要求1-5任一项所述的基于多模态超声数据的病变区域预测方法。
CN202310389384.XA 2023-04-12 2023-04-12 一种基于多模态超声数据的特征区域预测方法和装置 Active CN116416235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310389384.XA CN116416235B (zh) 2023-04-12 2023-04-12 一种基于多模态超声数据的特征区域预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310389384.XA CN116416235B (zh) 2023-04-12 2023-04-12 一种基于多模态超声数据的特征区域预测方法和装置

Publications (2)

Publication Number Publication Date
CN116416235A CN116416235A (zh) 2023-07-11
CN116416235B true CN116416235B (zh) 2023-12-05

Family

ID=87052756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310389384.XA Active CN116416235B (zh) 2023-04-12 2023-04-12 一种基于多模态超声数据的特征区域预测方法和装置

Country Status (1)

Country Link
CN (1) CN116416235B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111599464A (zh) * 2020-05-13 2020-08-28 吉林大学第一医院 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法
WO2021179491A1 (zh) * 2020-03-13 2021-09-16 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113436150A (zh) * 2021-06-07 2021-09-24 华中科技大学同济医学院附属同济医院 用于淋巴结转移风险预测的超声影像组学模型的构建方法
CN113592797A (zh) * 2021-07-21 2021-11-02 山东大学 基于多数据融合及深度学习的乳腺结节风险等级预测系统
CN113764101A (zh) * 2021-09-18 2021-12-07 新疆医科大学第三附属医院 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
WO2022188489A1 (zh) * 2021-03-12 2022-09-15 北京邮电大学 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
WO2022257344A1 (zh) * 2021-06-07 2022-12-15 刘星宇 图像配准融合方法及装置、模型训练方法及电子设备
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
WO2021179491A1 (zh) * 2020-03-13 2021-09-16 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111599464A (zh) * 2020-05-13 2020-08-28 吉林大学第一医院 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法
WO2022188489A1 (zh) * 2021-03-12 2022-09-15 北京邮电大学 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN113436150A (zh) * 2021-06-07 2021-09-24 华中科技大学同济医学院附属同济医院 用于淋巴结转移风险预测的超声影像组学模型的构建方法
WO2022257344A1 (zh) * 2021-06-07 2022-12-15 刘星宇 图像配准融合方法及装置、模型训练方法及电子设备
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质
CN113592797A (zh) * 2021-07-21 2021-11-02 山东大学 基于多数据融合及深度学习的乳腺结节风险等级预测系统
CN113764101A (zh) * 2021-09-18 2021-12-07 新疆医科大学第三附属医院 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乳腺超声双模态数据的协同约束网络;杨子奇;龚勋;朱丹;郭颖;;中国图象图形学报(第10期);全文 *

Also Published As

Publication number Publication date
CN116416235A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Yousef et al. A holistic overview of deep learning approach in medical imaging
US20200160997A1 (en) Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
US7865002B2 (en) Methods and apparatus for computer automated diagnosis of mammogram images
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN111539930A (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
Kwon et al. Ultrasonographic thyroid nodule classification using a deep convolutional neural network with surgical pathology
Chandra et al. Disease localization and severity assessment in chest X-ray images using multi-stage superpixels classification
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN115131289A (zh) 图像处理模型的训练方法
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
Tian et al. Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
Atiyah et al. Brain MRI Images Segmentation Based on U-Net Architecture
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN116416235B (zh) 一种基于多模态超声数据的特征区域预测方法和装置
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Arnold et al. Indistinct frame detection in colonoscopy videos
WO2022033598A1 (zh) 乳房x射线图像获取方法、装置、计算机设备和存储介质
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant