CN107507180A - 一种基于多模态分类器的超声造影肿瘤识别方法 - Google Patents

一种基于多模态分类器的超声造影肿瘤识别方法 Download PDF

Info

Publication number
CN107507180A
CN107507180A CN201710787546.XA CN201710787546A CN107507180A CN 107507180 A CN107507180 A CN 107507180A CN 201710787546 A CN201710787546 A CN 201710787546A CN 107507180 A CN107507180 A CN 107507180A
Authority
CN
China
Prior art keywords
modal
modal data
data
color ultrasound
pretreatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710787546.XA
Other languages
English (en)
Inventor
周喜川
杨帆
赵昕
谭跃
徐埌
唐枋
胡盛东
林�智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201710787546.XA priority Critical patent/CN107507180A/zh
Publication of CN107507180A publication Critical patent/CN107507180A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种基于多模态分类器的超声造影肿瘤识别方法，所述方法包括：预先获取超声造影模态数据和多普勒彩色超声模态数据；对所述超声造影模态数据和所述多普勒彩色超声模态数据进行预处理；对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征；对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征；将所述造影剂微泡的活动特征以及所述组织结构特征输入多模态分类器中，以通过所述多模态分类器输出肿瘤组织的识别结果。本发明提供的基于多模态分类器的超声造影肿瘤识别方法，能够实现肿瘤组织的检测，有效地降低假阴性率和假阳性率。

Description

一种基于多模态分类器的超声造影肿瘤识别方法
技术领域
本发明属于图像处理技术领域，涉及一种基于多模态分类器的超声造影肿瘤识别方法。
背景技术
当前，面向超声造影肿瘤诊断的计算机辅助诊断方法的研究很少。其中，一种方法是利用B超的图像和已知的肝脏病灶区域的图像作为数据，分别使用了人神经网络和决策树进行分类，实现了一定程度的准确率。但是由于病灶区形态的多样性，在应对未知类型的病灶区时，无法实现有效的预测。该方法对于组织纹理不同的肝癌组织识别准确率仅有65.2％，对于完全不同类型的肝癌组织的识别率仅有41.7％。
另一个是使用单一模态的数据和分类方法，无法达到较高识别准确率，尽管在这过程中使用了多模态的数据，但是分类时使用的仍然是单一的分类器，只是将多模态的数据合并在一起作为输入数据，无法实现较高的识别准确率。
发明内容
有鉴于此，本发明的目的在于提供一种基于多模态分类器的超声造影肿瘤识别方法，能够实现肿瘤组织的检测，有效地降低假阴性率和假阳性率。
为达到上述目的，本发明提供如下技术方案：
一种基于多模态分类器的超声造影肿瘤识别方法，所述方法包括：
预先获取超声造影模态数据和多普勒彩色超声模态数据；其中，所述超声造型模态数据用于表征超声造影剂在血流和组织内流动的情况；所述多普勒彩色超声模态数据用于区分组织结构；
对所述超声造影模态数据进行预处理，得到造影剂微泡在血流和组织内活动的有效信息；对所述多普勒彩色超声模态数据进行预处理，以获取组织结构信息；
对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征；
对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征；
将所述造影剂微泡的活动特征以及所述组织结构特征输入多模态分类器中，以通过所述多模态分类器输出肿瘤组织的识别结果。
进一步地，对所述超声造影模态数据进行预处理包括：
从所述超声造影模态数据中截取造影剂注入后指定时段内的目标数据，并基于主成分分析法对所述目标数据进行降维，以获取所述目标数据中影剂微泡在血流和组织内活动的有效信息。
进一步地，对所述多普勒彩色超声模态数据进行预处理包括：
确定所述多普勒彩色超声模态数据的像素均值，并将所述多普勒彩色超声模态数据中每个像素点的像素值减去所述像素均值，以得到经过均值处理的多普勒彩色超声模态数据。
进一步地，对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征包括：
基于朴素贝叶斯算法，对经过预处理的超声造影模态数据进行学习，以建立灰度值与标签之间的关联关系；其中，通过对所述经过预处理的超声造影模态数据中灰度值的判断，利用标签为疑似肿瘤区域进行标记；其中，标签标记出的区域表征所述造影剂微泡的活动特征。
进一步地，对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征包括：
基于无监督的Kmeans聚类算法对经过预处理的多普勒彩色超声模态数据进行聚合处理，以得到预设数量的封闭区域；其中，每个所述封闭区域被视为一种组织结构。
本发明的有益效果在于：
利用多模态数据，从超声造影模态数据能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，从多普勒彩色超声模态数据可以有效的识别组织的纹理结构特征，利用不同模态数据的特征使用多模态分类器对不同模态的识别结果进行综合，实现肿瘤组织的检测，有效的降低假阴性率和假阳性率。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本申请中肿瘤识别方法的流程示意图；
图2(a)为本申请中实际的肿瘤区域；
图2(b)为根据肿瘤标签和朴素贝叶斯分类器分类得到的肿瘤区域；
图3(a)为多普勒彩色超声模态的数据图；
图3(b)为Kmeans聚类结果图；
图4为最终的多模态分类器的分类结果图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本申请实施方式提供一种基于多模态分类器的超声造影肿瘤识别方法，所述方法包括：
预先获取超声造影模态数据和多普勒彩色超声模态数据；其中，所述超声造型模态数据用于表征超声造影剂在血流和组织内流动的情况；所述多普勒彩色超声模态数据用于区分组织结构；
对所述超声造影模态数据进行预处理，得到造影剂微泡在血流和组织内活动的有效信息；对所述多普勒彩色超声模态数据进行预处理，以获取组织结构信息；
对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征；
对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征；
将所述造影剂微泡的活动特征以及所述组织结构特征输入多模态分类器中，以通过所述多模态分类器输出肿瘤组织的识别结果。
在本实施方式中，对所述超声造影模态数据进行预处理包括：
从所述超声造影模态数据中截取造影剂注入后指定时段内的目标数据，并基于主成分分析法对所述目标数据进行降维，以获取所述目标数据中影剂微泡在血流和组织内活动的有效信息。
具体地，超声造影模态数据为超声造影剂在血流和组织内流动的视频数据，由于该视频数据的帧率较高，3分钟长的视频可达到2GB大小，如果不对视频数据进行预处理无法进行有效的处理。在本实施方式中可以截取造影剂注入一段时间内的视频，并再对其进行主成分分析法降维，提取其中的主要的有效信息。
在本实施方式中，对所述多普勒彩色超声模态数据进行预处理包括：
确定所述多普勒彩色超声模态数据的像素均值，并将所述多普勒彩色超声模态数据中每个像素点的像素值减去所述像素均值，以得到经过均值处理的多普勒彩色超声模态数据。
具体地，多普勒彩色超声模态数据为常规的多普勒彩色超声视频数据，在该模态下很难观察到造影剂在组织内的活动情况，随着时间的变化，该模态的数据并无明显的变化。但是该模态的数据的优点在于可以较为清晰的区分组织结构，通常可以在该模态下提取组织结构的信息，为了减少噪声的干扰，可以对该模态数据做均值处理。
在本实施方式中，对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征包括：
基于朴素贝叶斯算法，对经过预处理的超声造影模态数据进行学习，以建立灰度值与标签之间的关联关系；其中，通过对所述经过预处理的超声造影模态数据中灰度值的判断，利用标签为疑似肿瘤区域进行标记；其中，标签标记出的区域表征所述造影剂微泡的活动特征。
具体地，超声造影模态数据中，我们希望学习到造影剂微泡在肿瘤组织的活动特征，具体地，可以通过数据中灰度的变化来反应造影剂的活动情景，为了实现跨样本间的高识别准确率，在特征学习中使用了朴素贝叶斯的方法，该方法的优点在于不会受样本间的结构的影响，只学习到了微泡在组织内不同的活动特性。通过输入数据和标签训练参数，建立起灰度值变化与标签间的关系，不会受组织区域的形状和大小等信息的影响。
在本实施方式中，对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征包括：
基于无监督的Kmeans聚类算法对经过预处理的多普勒彩色超声模态数据进行聚合处理，以得到预设数量的封闭区域；其中，每个所述封闭区域被视为一种组织结构。
具体地，多普勒彩色超声模态数据中，我们希望学习到组织的结构特征，在该模态组织结构较为清晰，可以使用无监督的聚类算法Kmeans进行组织结构的学习，通过Kmeans算法可以根据结构特征将该模态的数据聚为指定的类数，聚类形成的封闭的区域可以认为是某种组织结构。
最后，通过之前学习到的结构特征和造影剂微泡在组织中的活动特征，建立一个多模态分类器，将学习到的特征输入分类器中，就可以有效的识别出肿瘤组织，具体过程可以参见图1。
请参阅图2，图2为肿瘤标签和朴素贝叶斯分类器分类得到的肿瘤区域，图2(a)中的圈为实际的肿瘤区域，图2(b)为朴素贝叶斯分离器所标记的肿瘤区域。
请参阅图3，图3为多普勒彩色超声模态的数据和Kmeans聚类得到的聚类结果，图3(a)为多普勒彩色超声模态的数据，圈内为肿瘤组织，图3(b)为Kmeans聚类结果，根据聚类结果可以看出可以一定程度上划分组织区域.
请参阅图4，图4为最终的多模态分类器的分类结果，如果只使用单一模态分类器对该样本进行分类得到的假阳性率为4.8％，假阴性率为4.2％，整体准确率为91.0％。使用多模态分类器对该样本进行分类得到的假阳性率为1.3％，假阴性率为1.1％，整体准确率为98.6％。可见多模态分类器的整体准确率有较大提升，且有效的抑制了假阳性率和假阴性率。
本发明的有益效果在于：
利用多模态数据，从超声造影模态数据能有效提取超声造影视频数据帧内与帧间的时间空间有效血流特征，从多普勒彩色超声模态数据可以有效的识别组织的纹理结构特征，利用不同模态数据的特征使用多模态分类器对不同模态的识别结果进行综合，实现肿瘤组织的检测，有效的降低假阴性率和假阳性率。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于多模态分类器的超声造影肿瘤识别方法，其特征在于，所述方法包括：
预先获取超声造影模态数据和多普勒彩色超声模态数据；其中，所述超声造型模态数据用于表征超声造影剂在血流和组织内流动的情况；所述多普勒彩色超声模态数据用于区分组织结构；
对所述超声造影模态数据进行预处理，得到造影剂微泡在血流和组织内活动的有效信息；对所述多普勒彩色超声模态数据进行预处理，以获取组织结构信息；
对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征；
对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征；
将所述造影剂微泡的活动特征以及所述组织结构特征输入多模态分类器中，以通过所述多模态分类器输出肿瘤组织的识别结果。
2.根据权利要求1所述的方法，其特征在于，对所述超声造影模态数据进行预处理包括：
从所述超声造影模态数据中截取造影剂注入后指定时段内的目标数据，并基于主成分分析法对所述目标数据进行降维，以获取所述目标数据中影剂微泡在血流和组织内活动的有效信息。
3.根据权利要求1所述的方法，其特征在于，对所述多普勒彩色超声模态数据进行预处理包括：
确定所述多普勒彩色超声模态数据的像素均值，并将所述多普勒彩色超声模态数据中每个像素点的像素值减去所述像素均值，以得到经过均值处理的多普勒彩色超声模态数据。
4.根据权利要求1所述的方法，其特征在于，对经过预处理的超声造影模态数据进行特征学习，以确定造影剂微泡的活动特征包括：
基于朴素贝叶斯算法，对经过预处理的超声造影模态数据进行学习，以建立灰度值与标签之间的关联关系；其中，通过对所述经过预处理的超声造影模态数据中灰度值的判断，利用标签为疑似肿瘤区域进行标记；其中，标签标记出的区域表征所述造影剂微泡的活动特征。
5.根据权利要求1所述的方法，其特征在于，对经过预处理的多普勒彩色超声模态数据进行特征学习，以确定不同的组织结构特征包括：
基于无监督的Kmeans聚类算法对经过预处理的多普勒彩色超声模态数据进行聚合处理，以得到预设数量的封闭区域；其中，每个所述封闭区域被视为一种组织结构。
CN201710787546.XA 2017-09-04 2017-09-04 一种基于多模态分类器的超声造影肿瘤识别方法 Pending CN107507180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710787546.XA CN107507180A (zh) 2017-09-04 2017-09-04 一种基于多模态分类器的超声造影肿瘤识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710787546.XA CN107507180A (zh) 2017-09-04 2017-09-04 一种基于多模态分类器的超声造影肿瘤识别方法

Publications (1)

Publication Number Publication Date
CN107507180A true CN107507180A (zh) 2017-12-22

Family

ID=60694909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710787546.XA Pending CN107507180A (zh) 2017-09-04 2017-09-04 一种基于多模态分类器的超声造影肿瘤识别方法

Country Status (1)

Country Link
CN (1) CN107507180A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108670297A (zh) * 2018-04-19 2018-10-19 上海大学 基于多模态经颅超声的帕金森病辅助诊断系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108670297A (zh) * 2018-04-19 2018-10-19 上海大学 基于多模态经颅超声的帕金森病辅助诊断系统及方法
CN108670297B (zh) * 2018-04-19 2021-10-12 上海大学 基于多模态经颅超声的帕金森病辅助分析系统及方法

Similar Documents

Publication Publication Date Title
Huang et al. Segmentation of breast ultrasound image with semantic classification of superpixels
Chiang et al. Tumor detection in automated breast ultrasound using 3-D CNN and prioritized candidate aggregation
Ko et al. Automatic white blood cell segmentation using stepwise merging rules and gradient vector flow snake
US8139831B2 (en) System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN112734741B (zh) 一种肺炎ct影像的图像处理方法和系统
Taher et al. Bayesian classification and artificial neural network methods for lung cancer early diagnosis
CN104217213B (zh) 一种基于对称性理论的医学图像多阶段分类方法
CN107748889A (zh) 一种乳腺肿瘤超声图像自动分类方法
Seryasat et al. Evaluation of a new ensemble learning framework for mass classification in mammograms
Ouyang et al. The research of the strawberry disease identification based on image processing and pattern recognition
Urdal et al. Prognostic prediction of histopathological images by local binary patterns and RUSBoost
Nateghi et al. Automatic detection of mitosis cell in breast cancer histopathology images using genetic algorithm
Qu et al. Fuzzy-rough assisted refinement of image processing procedure for mammographic risk assessment
Samhitha et al. Prediction of lung cancer using convolutional neural network (CNN)
Sivanandan et al. A new CNN architecture for efficient classification of ultrasound breast tumor images with activation map clustering based prediction validation
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
CN107507180A (zh) 一种基于多模态分类器的超声造影肿瘤识别方法
CN110428405A (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质
Chelloug et al. MULTINET: A Multi-Agent DRL and EfficientNet Assisted Framework for 3D Plant Leaf Disease Identification and Severity Quantification
Veeraiah et al. Histogram-Based Decision Support System for Extraction and Classification of Leukemia in Blood Smear Images.
Vijayarajan et al. A novel comparative study on breast cancer detection using different types of classification techniques
Chacon M et al. A PCNN-FCM time series classifier for texture segmentation
Angayarkanni et al. Dynamic graph cut based segmentation of mammogram
Murali et al. A phenomenological survey on various types of brain diseases using soft computing techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171222

RJ01 Rejection of invention patent application after publication