CN108961207A - 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法 - Google Patents

基于多模态超声图像的淋巴结良恶性病变辅助诊断方法 Download PDF

Info

Publication number
CN108961207A
CN108961207A CN201810431369.6A CN201810431369A CN108961207A CN 108961207 A CN108961207 A CN 108961207A CN 201810431369 A CN201810431369 A CN 201810431369A CN 108961207 A CN108961207 A CN 108961207A
Authority
CN
China
Prior art keywords
feature
image
lymph node
ultrasound image
rte
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810431369.6A
Other languages
English (en)
Other versions
CN108961207B (zh
Inventor
张麒
刘跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810431369.6A priority Critical patent/CN108961207B/zh
Publication of CN108961207A publication Critical patent/CN108961207A/zh
Application granted granted Critical
Publication of CN108961207B publication Critical patent/CN108961207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种基于多模态超声图像的淋巴结良恶性病变辅助诊断方法。本方法的操作步骤是：首先，对B型超声图像和实时弹性超声成像图像进行预处理。其次，利用计算机算法分别对常规B型超声图像和实时弹性成像图像中的病灶提取量化特征。然后，用多种特征选择算法对两种模态的量化特征进行特征选择。最后是模型融合，对两种模态经过不同特征选择算法得到的六个特征集分别使用支持向量机（SVM）对淋巴结良恶性进行分类。随后使用序列最小优化算法来获得SVM分类的概率，它是一个介于0和1之间的后验概率，表示淋巴结被分类到每个类别中的可能性。然后，再使用以决策树作为基本弱学习算法的Adaboost合并六个训练过的SVM分类器模型来提高性能，得出分类结果。

Description

基于多模态超声图像的淋巴结良恶性病变辅助诊断方法
所属技术领域
本发明涉及基于医学图像的计算机分析技术的应用领域，具体涉及一种基于多模态超声图像的淋巴结良恶性病变辅助诊断方法。
背景技术
淋巴结是淋巴系统的一部分，作用类似于过滤器，其内部包含淋巴细胞，能吞噬淋巴液中的病毒与细菌。淋巴结的病变包含反应性增生、淋巴结核、淋巴瘤、转移性恶性肿瘤等。其中反应性增生、淋巴结核为良性病变，淋巴瘤、转移性恶性肿瘤恶性病变。淋巴结病变的良恶性鉴别是淋巴结病临床治疗(如分期、治疗决策和预后预测)的重要步骤。常规B型超声(US)常用于淋巴结的诊断，它提供了淋巴结结构信息，包括其数量，大小，形状，边界，边缘和内部回声。近年，实时弹性超声成像(RTE)已用于评估淋巴结的弹性，该技术通过手持换能器对组织施压从而产生组织应变。与传统B型超声相比，RTE提供了有关淋巴结生物力学特性的诊断信息。
通过视觉观察淋巴结RTE图像能够识别淋巴结状态。然而，视觉观察受到不同观察者间的主观影响，限制了诊断的准确性，并且过程乏味耗时。计算机辅助诊断(CAD)能够避免主观性以及减少对观察者的依赖性，并且能更精确和有效的完成对淋巴结的诊断。
RTE成像系统通常能够提供淋巴结的两种成像模态，即常规B型超声图像和RTE。目前用于鉴别淋巴结的CAD系统主要使用上述两种模态中的单一模态图像特征。设计将两种模态的特征融合在一起的CAD系统仍然是一项具有挑战性的任务。由于各个模态所表征的信息不同，从单模态所提取的信息是不全面的，因此利用多模态超声数据进行分类，能够获得更好的分类结果。
发明内容
本发明的目的在于针对已有技术的不足，提供一种基于多模态超声图像的淋巴结病变辅助诊断方法，主要利用常规B型超声和RTE两个模态数据提取特征，综合两种模态的优势，最终完成分类，从而为医生提供有效的辅助诊断参考。
为达到上述目的，本发明采用下述技术方案：
一种基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，包括以下步骤：
步骤1：输入淋巴结的常规B型超声图像和RTE图像；
步骤2：对两种模态的图像进行预处理；
步骤3：特征提取：利用计算机算法分别对常规B型超声图像和RTE图像中的病灶提取量化特征；
步骤4：特征选择：利用多种特征选择算法对两种模态的量化特征进行选择，得到精简的特征；
步骤5：模型融合：首先，使用支持向量机(SVM)对两种模态的淋巴结图像分别进行分类。随后使用序列最小优化算法(Platt)算法获得SVM分类的概率，它是一个介于0和1之间的后验概率，表示淋巴结被分类到每个类别中的可能性；然后，再使用以决策树作为基本弱学习算法的Adaboost合并多个训练过的SVM分类器模型来提高性能，得出分类结果。
步骤2中所述的对两种模态的图像进行预处理包括以下具体步骤：
步骤2-1：根据超声成像仪上的弹性彩色编码条(colorbar)将RTE图像转换成软度图，从0(最硬)到1(最软)；
步骤2-2：手工勾勒出淋巴结的边界，分割出病灶的完整区域；
步骤3中所述特征提取包括以下具体步骤：
步骤3-1：针对B型超声图像提取形态学特征，定量描绘淋巴结的形状：包括面积、凸面积、周长、等效直径、长轴和短轴长度、方向、实心度、偏心率、厚度平均值、厚度中值、厚度最大值、宽度平均值、宽度中值和宽度最大值；
步骤3-2：分别对B型超声图像和RTE图像提取影像强度特征，包括量化了图像像素的强度分布，主要由淋巴结内的强度值(即B型灰度值或软度值)计算得到；包括各种一阶统计量，例如：平均值、标准偏差、方差系数、偏度、峰值、直方图熵、面积比和组合面积比，以及多个百分位数；其它特征包括淋巴结外强度的统计特征和淋巴结内外强度统计量的比值。
步骤3-3：分别对B型超声图像和RTE图像提取灰度共生矩阵特征：包括灰度共生矩阵的对比度、能量、均一度和熵等；每幅图像的像素距离分别取1、2、4和8，方向为0°、45°、90°和135°；四个方向的特征求平均值作为最后的灰度共生矩阵特征。
步骤4中，对B型超声图像特征和RTE图像特征采用基于信息理论的特征选择方法进行特征选择；基于信息理论的特征选择方法是一种特征排序方法，其采用特征相关性和冗余度对特征进行排序，把重要的特征排在前面，并使用前向顺序搜索的方式把特征逐个添加到所选特征集中；S用来存放选出的特征，初始化为空集；Y是标签，Xj∈S；J(.)是特征选择的准则，一般来说，J(Xk)的值越大，则特征Xk越重要；基于信息论的特征选择框架中，未选择特征的计算准则如下公式：
其中函数g(.)是变量I(Xj；Xk)和I(Xj；Xk|Y)的函数，I(Xk；Y)是Xk和Y的互信息，I(Xj；Xk)是Xj和Xk的互信息，I(Xj；Xk|Y)是Xj和Xk在变量Y下的条件信息增益。根据不同的准则可以得到不同的特征选择方法。
本发明采用条件信息特征提取(CIFE)、条件互信息最大化(CMIM)和双输入对称相关性(DISR)三种基于信息论的特征选择方法进行特征选择。
CIFE准则是不断迭代特征，其对未选择特征Xk的计算公式如下：
CMIM准则对于未选择特征Xk的计算公式如下：
DISR采用规范化的方法来规范互信息，对未选择特征计算公式如下：
步骤4中所述特征选择包括以下具体步骤：
步骤4-1：针对B型超声图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的B型超声图像特征集；
步骤4-2：针对RTE图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的RTE图像特征集；
步骤5中所述模型融合包括以下具体步骤：
步骤5-1：由步骤4可以得到六个不同的特征集，针对每个特征集分别使用SVM分类器对淋巴结图像进行分类，使用Platt算法获得SVM分类的概率，它是一个介于0到1之间的后验概率，表示淋巴结被分类到每个类别的可能性；
步骤5-2：使用以决策树作为基本弱学习算法的Adaboost集合基分类器形成更强的分类器，即Adaboost合并由步骤5-1得到的六个训练过得SVM分类器模型来提高性能。
与现有技术相比较，本发明有如下显而易见的突出实时性特点和显著技术进步：
本发明同时利用多模态(B和RTE)和多特征选择方法(CIFE，DISR，CMIM)，并将它们在混合层级融合中通过集成的方式进行组合，这将进一步提升性能。
附图说明
图1是本发明基于多模态超声图像的淋巴结良恶性病变辅助诊断方法的流程图。
具体实施方式
下面结合附图1和具体实施例对本发明进行详细说明，
实施例一：
参考图1，本基于多模态超声图像的淋巴结良恶性病变辅助诊断方法采用如下步骤实施：
步骤1：输入淋巴结的常规B型超声图像和实时弹性超声成像(RTE)图像；
步骤2：对两种模态的图像进行预处理；
步骤3：特征提取：利用计算机算法分别对常规B型超声图像和RTE图像中的病灶提取量化特征；
步骤4：特征选择：利用多种特征选择算法对两种模态的量化特征进行特征选择，得到精简的特征；
步骤5：模型融合：首先，使用支持向量机SVM对两种模态的淋巴结图像分别进行分类。随后使用序列最小优化算法获得SVM分类的概率，它是一个介于0和1之间的后验概率，表示淋巴结被分类到每个类别中的可能性；然后，再使用以决策树作为基本弱学习算法的Adaboost合并多个训练过的SVM分类器模型来提高性能，得出分类结果。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
所述步骤2中所述的对两种模态的图像进行预处理包括以下具体步骤：
步骤2-1：根据超声成像仪上的弹性彩色编码条将RTE图像转换成软度图，从0最硬到1最软；
步骤2-2：手工勾勒出淋巴结的边界，分割出病灶的完整区域。
所述步骤3中所述的特征提取包括以下具体步骤：
步骤3-1：针对B型超声图像提取形态学特征：定量描绘淋巴结的形状：包括面积、凸面积、周长、等效直径、长轴和短轴长度、方向、实心度、偏心率、厚度平均值、厚度中值、厚度最大值、宽度平均值、宽度中值和宽度最大值；
步骤3-2：分别对B型超声图像和RTE图像提取影像强度特征：包括量化了图像像素的强度分布，主要由淋巴结内的强度值，即B型灰度值或软度值，计算得到各种一阶统计量特征：包括平均值、标准偏差、方差系数、偏度、峰值、直方图熵、面积比和组合面积比，以及多个百分位数；其它特征包括淋巴结外强度的统计特征和淋巴结内外强度统计量的比值。
步骤3-3：分别对B型超声图像和RTE图像提取灰度共生矩阵特征：包括灰度共生矩阵的对比度、能量、均一度和熵等；每幅图像的像素距离分别取1、2、4和8，方向为0°、45°、90°和135°；四个方向的特征求平均值作为最后的灰度共生矩阵特征。
所述步骤4中，对B型超声图像特征和RTE图像特征采用基于信息理论的特征选择方法进行特征选择，基于信息理论的特征选择方法是一种特征排序方法，其采用特征相关性和冗余度对特征进行排序，把重要的特征排在前面，并使用前向顺序搜索的方式把特征逐个添加到所选特征集中；S用来存放选出的特征，初始化为空集；Y是标签，Xj∈S；J(.)是特征选择的准则，一般来说，J(Xk)的值越大，则特征Xk越重要；基于信息论的特征选择框架中，未选择特征的计算准则如下公式：
其中函数g(.)是变量I(Xj；Xk)和I(Xj；Xk|Y)的函数，I(Xk；Y)是Xk和Y的互信息，I(Xj；Xk)是Xj和Xk的互信息，I(Xj；Xk|Y)是Xj和Xk在变量Y下的条件信息增益；根据不同的准则可得到不同的特征选择方法；
采用条件信息特征提取CIFE、条件互信息最大化CMIM和双输入对称相关性DISR三种基于信息论的特征选择方法进行特征选择；
CIFE准则是不断迭代特征，其对未选择特征Xk的计算公式如下：
CMIM准则对于未选择特征Xk的计算准则如下：
DISR采用规范化的方法来规范互信息，对未选择特征计算公式如下：
所述步骤4中特征选择包括以下具体步骤：
步骤4-1：针对B型超声图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的B型超声图像特征集；
步骤4-2：针对RTE图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的RTE图像特征集。
所述步骤5中，模型融合包括以下具体步骤组成：
步骤5-1：由步骤4可得到六个不同的特征集，针对每个特征集分别使用SVM分类器对淋巴结图像进行分类，使用序列最小优化算法获得SVM分类的概率，它是一个介于0到1之间的后验概率，表示淋巴结被分类到每个类别的可能性；
步骤5-2：使用以决策树作为基本弱学习算法的Adaboost集合基分类器形成更强的分类器，即Adaboost合并由步骤5-1得到的六个训练过得SVM分类器模型来提高性能。
实施例三：
步骤1：输入淋巴结的常规B型超声图像和RTE图像；
步骤2：对两种模态的图像进行预处理；
步骤3：特征提取：利用计算机算法分别对常规B型超声图像和RTE图像中的病灶提取量化特征；
步骤4：特征选择：利用多种特征选择算法对两种模态的量化特征进行选择，得到精简的特征；
步骤5：模型融合：首先，使用支持向量机(SVM)对两种模态的淋巴结图像分别进行分类；随后使用序列最小优化算法(Platt)算法获得SVM分类的概率，它是一个介于0和1之间的后验概率，表示淋巴结被分类到每个类别中的可能性；然后，再使用以决策树作为基本弱学习算法的Adaboost合并多个训练过的多分类SVM分类器模型来提高性能，得出分类结果。
步骤2中所述的对两种模态的图像进行预处理包括以下具体步骤：
步骤2-1：根据超声成像仪上的弹性彩色编码条(colorbar)将RTE图像转换成软度图，从0(最硬)到1(最软)；
步骤2-2：手工勾勒出淋巴结的边界，分割出病灶的完整区域；
步骤3中所述特征提取包括以下具体步骤：
步骤3-1：针对B型超声图像提取形态学特征，定量描绘淋巴结的形状：包括面积、凸面积、周长、等效直径、长轴和短轴长度、方向、实心度、偏心率、厚度平均值、厚度中值、厚度最大值、宽度平均值、宽度中值和宽度最大值；
步骤3-2：分别对B型超声图像和RTE图像提取影像强度特征，包括量化了图像像素的强度分布，主要由淋巴结内的强度值(即B型灰度值或软度值)计算得到；包括各种一阶统计量，例如：平均值、标准偏差、方差系数、偏度、峰值、直方图熵、面积比和组合面积比，以及多个百分位数；其它特征包括淋巴结外强度的统计特征和淋巴结内外强度统计量的比值。
步骤3-3：分别对B型超声图像和RTE图像提取灰度共生矩阵特征；包括灰度共生矩阵的对比度、能量、均一度和熵等；每幅图像的像素距离分别取1、2、4和8，方向为0°、45°、90°和135°；四个方向的特征求平均值作为最后的灰度共生矩阵特征。
步骤4中，对B型超声图像特征和RTE图像特征采用基于信息理论的特征选择方法进行特征选择。基于信息理论的特征选择方法是一种特征排序方法，其采用特征相关性和冗余度对特征进行排序，把重要的特征排在前面，并使用前向顺序搜索的方式把特征逐个添加到所选特征集中。S用来存放选出的特征，初始化为空集。Y是标签，Xj∈S。J(.)是特征选择的准则，一般来说，J(Xk)的值越大，则特征Xk越重要。基于信息论的特征选择框架中，未选择特征的计算准则如下公式：
其中函数g(.)是变量I(Xj；Xk)和I(Xj；Xk|Y)的函数，I(Xk；Y)是Xk和Y的互信息，I(Xj；Xk)是Xj和Xk的互信息，I(Xj；Xk|Y)是Xj和Xk在变量Y下的条件信息增益。根据不同的准则可以得到不同的特征选择方法。
本发明采用条件信息特征提取(CIFE)、条件互信息最大化(CMIM)和双输入对称相关性(DISR)三种基于信息论的特征选择方法进行特征选择。
CIFE准则是不断迭代特征，其对未选择特征Xk的计算公式如下：
CMIM准则对于未选择特征Xk的计算公式如下：
DISR采用规范化的方法来规范互信息，对未选择特征计算公式如下：
步骤4中所述特征选择包括以下具体步骤：
步骤4-1：针对B型超声图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的B型超声图像特征集；
步骤4-2：针对RTE图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的RTE图像特征集；
步骤5中所述模型融合包括以下具体步骤：
步骤5-1：由步骤4可以得到六个不同的特征集，针对每个特征集分别使用SVM分类器对淋巴结图像进行分类，使用Platt算法获得SVM分类的概率，它是一个介于0到1之间的后验概率，表示淋巴结被分类到每个类别的可能性；
步骤5-2：使用以决策树作为基本弱学习算法的Adaboost集合基分类器形成更强的分类器，即Adaboost合并由步骤5-1得到的六个训练过得SVM分类器模型来提高性能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：包括以下步骤：
步骤1：输入淋巴结的常规B型超声图像和实时弹性超声成像(RTE)图像；
步骤2：对两种模态的图像进行预处理；
步骤3：特征提取：利用计算机算法分别对常规B型超声图像和RTE图像中的病灶提取量化特征；
步骤4：特征选择：利用多种特征选择算法对两种模态的量化特征进行特征选择，得到精简的特征；
步骤5：模型融合：首先，使用支持向量机SVM对两种模态的淋巴结图像分别进行分类；随后使用序列最小优化算法获得SVM分类的概率，它是一个介于0和1之间的后验概率，表示淋巴结被分类到每个类别中的可能性；然后，再使用以决策树作为基本弱学习算法的Adaboost合并多个训练过的SVM分类器模型来提高性能，得出分类结果。
2.根据权利要求1所述的基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：
所述步骤2中所述的对两种模态的图像进行预处理包括以下具体步骤：
步骤2-1：根据超声成像仪上的弹性彩色编码条将RTE图像转换成软度图，从0最硬到1最软；
步骤2-2：手工勾勒出淋巴结的边界，分割出病灶的完整区域。
3.根据权利要求1所述的基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：
所述步骤3中所述的特征提取包括以下具体步骤：
步骤3-1：针对B型超声图像提取形态学特征，定量描绘淋巴结的形状：包括面积、凸面积、周长、等效直径、长轴和短轴长度、方向、实心度、偏心率、厚度平均值、厚度中值、厚度最大值、宽度平均值、宽度中值和宽度最大值；
步骤3-2：分别对B型超声图像和RTE图像提取影像强度特征：包括量化了图像像素的强度分布，主要由淋巴结内的强度值计算得到各种一阶统计量特征：包括平均值、标准偏差、方差系数、偏度、峰值、直方图熵、面积比和组合面积比，以及多个百分位数；其它特征包括淋巴结外强度的统计特征和淋巴结内外强度统计量的比值；
步骤3-3：分别对B型超声图像和RTE图像提取灰度共生矩阵特征：包括灰度共生矩阵的对比度、能量、均一度和熵等；每幅图像的像素距离分别取1、2、4和8，方向为0°、45°、90°和135°；四个方向的特征求平均值作为最后的灰度共生矩阵特征。
4.根据权利要求1所述的基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：
所述步骤4中，对B型超声图像特征和RTE图像特征采用基于信息理论的特征选择方法进行特征选择，基于信息理论的特征选择方法是一种特征排序方法，其采用特征相关性和冗余度对特征进行排序，把重要的特征排在前面，并使用前向顺序搜索的方式把特征逐个添加到所选特征集中；S用来存放选出的特征，初始化为空集；Y是标签，Xj∈S；J(.)是特征选择的准则，一般来说，J(Xk)的值越大，则特征Xk越重要；基于信息论的特征选择框架中，未选择特征的计算准则如下公式：
其中函数g(.)是变量I(Xj；Xk)和I(Xj；Xk|Y)的函数，I(Xk；Y)是Xk和Y的互信息，I(Xj；Xk)是Xj和Xk的互信息，I(Xj；Xk|Y)是Xj和Xk在变量Y下的条件信息增益；根据不同的准则得到不同的特征选择方法；
采用条件信息特征提取CIFE、条件互信息最大化CMIM和双输入对称相关性DISR三种基于信息论的特征选择方法进行特征选择；
CIFE准则是不断迭代特征，其对未选择特征Xk的计算公式如下：
CMIM准则对于未选择特征Xk的计算准则如下：
DISR采用规范化的方法来规范互信息，对未选择特征计算公式如下：
5.根据权利要求1所述的基于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：
所述步骤4中特征选择包括以下具体步骤：
步骤4-1：针对B型超声图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的B型超声图像特征集；
步骤4-2：针对RTE图像特征集分别采用CIFE、CMIM和DISR进行特征选择，得到三个精简的RTE图像特征集。
6.根据权利要求1所述的于多模态超声图像的淋巴结良恶性病变辅助诊断方法，其特征在于：
所述步骤5中，模型融合包括以下具体步骤组成：
步骤5-1：由步骤4得到六个不同的特征集，针对每个特征集分别使用SVM分类器对淋巴结图像进行分类，使用序列最小优化算法获得SVM分类的概率，它是一个介于0到1之间的后验概率，表示淋巴结被分类到每个类别的可能性；
步骤5-2：使用以决策树作为基本弱学习算法的Adaboost集合基分类器形成更强的分类器，即Adaboost合并由步骤5-1得到的六个训练过得SVM分类器模型来提高性能。
CN201810431369.6A 2018-05-02 2018-05-02 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法 Active CN108961207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810431369.6A CN108961207B (zh) 2018-05-02 2018-05-02 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810431369.6A CN108961207B (zh) 2018-05-02 2018-05-02 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法

Publications (2)

Publication Number Publication Date
CN108961207A true CN108961207A (zh) 2018-12-07
CN108961207B CN108961207B (zh) 2022-11-04

Family

ID=64499713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810431369.6A Active CN108961207B (zh) 2018-05-02 2018-05-02 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法

Country Status (1)

Country Link
CN (1) CN108961207B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390671A (zh) * 2019-07-10 2019-10-29 杭州依图医疗技术有限公司 一种乳腺钙化检出的方法及装置
CN110838110A (zh) * 2019-11-05 2020-02-25 张峰 一种基于超声成像的良恶性肿块的识别系统
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111369546A (zh) * 2020-03-10 2020-07-03 北京邮电大学 一种颈部淋巴结图像分类识别装置及方法
CN112083068A (zh) * 2020-09-10 2020-12-15 大连理工大学 一种非均匀介质组织均匀性超声无损表征方法
WO2021042242A1 (zh) * 2019-09-02 2021-03-11 深圳迈瑞生物医疗电子股份有限公司 一种超声成像设备及其超声回波信号的处理方法
CN112884759A (zh) * 2021-03-12 2021-06-01 广东工业大学 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
CN112906827A (zh) * 2021-04-08 2021-06-04 平安科技（深圳）有限公司 基于深度学习的医疗影像识别方法、装置、设备及介质
CN112949712A (zh) * 2021-03-01 2021-06-11 北京小白世纪网络科技有限公司 一种基于多模态的甲状腺结节自动识别模型构建方法
CN114358989A (zh) * 2021-12-07 2022-04-15 重庆邮电大学 一种基于标准差和交互信息的慢性疾病特征选择方法
CN114387227A (zh) * 2021-12-23 2022-04-22 沈阳东软智能医疗科技研究院有限公司 结节类型预测方法、装置、存储介质及电子设备
CN114496233A (zh) * 2022-04-07 2022-05-13 广东工业大学 一种心肌梗死并发症的辅助诊断系统
CN118039088A (zh) * 2024-04-15 2024-05-14 达州爱迦飞诗特科技有限公司 一种人工智能辅助诊断数据处理系统
CN118196074A (zh) * 2024-04-16 2024-06-14 山东佰泰丰信息科技有限公司 一种基于多模态融合的医学超声影像质控系统
CN118196074B (zh) * 2024-04-16 2024-10-22 山东佰泰丰信息科技有限公司 一种基于多模态融合的医学超声影像质控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629305A (zh) * 2012-03-06 2012-08-08 上海大学 一种面向snp数据的特征选择方法
CN103473569A (zh) * 2013-09-22 2013-12-25 江苏美伦影像系统有限公司 基于svm的医学影像分类方法
CN105931224A (zh) * 2016-04-14 2016-09-07 浙江大学 基于随机森林算法的肝脏平扫ct图像病变识别方法
CN107301323A (zh) * 2017-08-14 2017-10-27 安徽医科大学第附属医院 一种与银屑病相关的分类模型的构建方法
CN107582097A (zh) * 2017-07-18 2018-01-16 中山大学附属第医院 一种基于多模态超声组学的智能辅助决策系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629305A (zh) * 2012-03-06 2012-08-08 上海大学 一种面向snp数据的特征选择方法
CN103473569A (zh) * 2013-09-22 2013-12-25 江苏美伦影像系统有限公司 基于svm的医学影像分类方法
CN105931224A (zh) * 2016-04-14 2016-09-07 浙江大学 基于随机森林算法的肝脏平扫ct图像病变识别方法
CN107582097A (zh) * 2017-07-18 2018-01-16 中山大学附属第医院 一种基于多模态超声组学的智能辅助决策系统
CN107301323A (zh) * 2017-08-14 2017-10-27 安徽医科大学第附属医院 一种与银屑病相关的分类模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
索静峰等: "依托弹性与B型双模态超声影像组学的腋窝淋巴结转移评价", 《中国医疗器械杂志》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390671B (zh) * 2019-07-10 2021-11-30 杭州依图医疗技术有限公司 一种乳腺钙化检出的方法及装置
CN110390671A (zh) * 2019-07-10 2019-10-29 杭州依图医疗技术有限公司 一种乳腺钙化检出的方法及装置
WO2021042242A1 (zh) * 2019-09-02 2021-03-11 深圳迈瑞生物医疗电子股份有限公司 一种超声成像设备及其超声回波信号的处理方法
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN110930367B (zh) * 2019-10-31 2022-12-20 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN110838110A (zh) * 2019-11-05 2020-02-25 张峰 一种基于超声成像的良恶性肿块的识别系统
CN111369546B (zh) * 2020-03-10 2023-07-18 北京邮电大学 一种颈部淋巴结图像分类识别装置及方法
CN111369546A (zh) * 2020-03-10 2020-07-03 北京邮电大学 一种颈部淋巴结图像分类识别装置及方法
CN112083068A (zh) * 2020-09-10 2020-12-15 大连理工大学 一种非均匀介质组织均匀性超声无损表征方法
CN112949712A (zh) * 2021-03-01 2021-06-11 北京小白世纪网络科技有限公司 一种基于多模态的甲状腺结节自动识别模型构建方法
CN112884759A (zh) * 2021-03-12 2021-06-01 广东工业大学 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
CN112906827A (zh) * 2021-04-08 2021-06-04 平安科技（深圳）有限公司 基于深度学习的医疗影像识别方法、装置、设备及介质
CN114358989A (zh) * 2021-12-07 2022-04-15 重庆邮电大学 一种基于标准差和交互信息的慢性疾病特征选择方法
CN114387227A (zh) * 2021-12-23 2022-04-22 沈阳东软智能医疗科技研究院有限公司 结节类型预测方法、装置、存储介质及电子设备
CN114496233B (zh) * 2022-04-07 2022-07-08 广东工业大学 一种心肌梗死并发症的辅助诊断系统
CN114496233A (zh) * 2022-04-07 2022-05-13 广东工业大学 一种心肌梗死并发症的辅助诊断系统
CN118039088A (zh) * 2024-04-15 2024-05-14 达州爱迦飞诗特科技有限公司 一种人工智能辅助诊断数据处理系统
CN118039088B (zh) * 2024-04-15 2024-06-07 达州爱迦飞诗特科技有限公司 一种人工智能辅助诊断数据处理系统
CN118196074A (zh) * 2024-04-16 2024-06-14 山东佰泰丰信息科技有限公司 一种基于多模态融合的医学超声影像质控系统
CN118196074B (zh) * 2024-04-16 2024-10-22 山东佰泰丰信息科技有限公司 一种基于多模态融合的医学超声影像质控系统

Also Published As

Publication number Publication date
CN108961207B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN108961207A (zh) 基于多模态超声图像的淋巴结良恶性病变辅助诊断方法
Chiang et al. Tumor detection in automated breast ultrasound using 3-D CNN and prioritized candidate aggregation
Zhou et al. A radiomics approach with CNN for shear-wave elastography breast tumor classification
Li et al. Benign and malignant classification of mammogram images based on deep learning
Frid-Adar et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification
Kaur et al. Deep convolutional neural networks with transfer learning for automated brain image classification
Yap et al. Breast ultrasound lesions recognition: end-to-end deep learning approaches
CN110930367B (zh) 多模态超声影像分类方法以及乳腺癌诊断装置
Flores et al. Improving classification performance of breast lesions on ultrasonography
Liu et al. Artificial intelligence-based breast cancer diagnosis using ultrasound images and grid-based deep feature generator
Byra et al. Joint segmentation and classification of breast masses based on ultrasound radio-frequency data and convolutional neural networks
Webb et al. Comparing deep learning-based automatic segmentation of breast masses to expert interobserver variability in ultrasound imaging
Safdarian et al. Detection and classification of breast cancer in mammography images using pattern recognition methods
Xu et al. Classifying mammographic breast density by residual learning
Zhao et al. A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection
Singh et al. A study on convolution neural network for breast cancer detection
Rastogi et al. Brain tumor segmentation and tumor prediction using 2D-Vnet deep learning architecture
Malibari et al. Artificial intelligence based prostate cancer classification model using biomedical images
Jerbi et al. Automatic classification of ultrasound thyroids images using vision transformers and generative adversarial networks
Liu et al. Deep multiscale multi-instance networks with regional scoring for mammogram classification
Azam et al. Using feature maps to unpack the CNN ‘Black box’theory with two medical datasets of different modality
Mukadam et al. Machine learning and computer vision based methods for cancer classification: A systematic review
Chen et al. An approach based on biclustering and neural network for classification of lesions in breast ultrasound
Gu et al. A novel method for breast mass segmentation: from superpixel to subpixel segmentation
Balasubramaniam et al. Medical Image Analysis Based on Deep Learning Approach for Early Diagnosis of Diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant