CN109478321B - 自动3d脑肿瘤分割和分类 - Google Patents

自动3d脑肿瘤分割和分类 Download PDF

Info

Publication number
CN109478321B
CN109478321B CN201780042395.3A CN201780042395A CN109478321B CN 109478321 B CN109478321 B CN 109478321B CN 201780042395 A CN201780042395 A CN 201780042395A CN 109478321 B CN109478321 B CN 109478321B
Authority
CN
China
Prior art keywords
tumor
segmentation
mri
features
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780042395.3A
Other languages
English (en)
Other versions
CN109478321A (zh
Inventor
C-R·乔
宋璧
刘明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109478321A publication Critical patent/CN109478321A/zh
Application granted granted Critical
Publication of CN109478321B publication Critical patent/CN109478321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4828—Resolving the MR signals of different chemical species, e.g. water-fat imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Pulmonology (AREA)

Abstract

全自动脑肿瘤分割和分类方法和系统通过机器智能改善医疗保健体验。自动脑肿瘤分割和分类方法和系统利用整个肿瘤分割和多类肿瘤分割来提供准确的分析。

Description

自动3D脑肿瘤分割和分类
技术领域
本发明涉及肿瘤成像。更具体而言，本发明涉及3D脑肿瘤分割和分类。
背景技术
在神经外科手术期间，外科医生需要了解肿瘤的位置及其各种成分的边界。通常，临床医生需要花费几个小时从多次术前MRI扫描中手动勾画肿瘤类别，这是医疗资源的重大浪费。
发明内容
全自动脑肿瘤分割和分类方法和系统通过机器智能改善医疗保健体验。自动脑肿瘤分割和分类方法和系统利用整个肿瘤分割和多类肿瘤分割来提供准确的分析。
在一个方面，在设备的非瞬态存储器中编程的方法包括执行整个肿瘤分割和执行多类肿瘤分割。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括T1、T1c、Flair和T2的多模式MRI、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个MRI的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的(voxel-wise)特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。
在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：执行整个肿瘤分割并执行多类肿瘤分割；以及耦合到存储器的处理组件，该处理组件被配置用于处理应用。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括T1、T1c、Flair和T2的多模式MRI、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个MRI的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。
在另一方面，一种系统包括磁共振成像设备和计算设备，所述计算设备被配置用于：执行整个肿瘤分割和执行多类肿瘤分割。整个肿瘤分割包括：数据归一化和初始分割。整个肿瘤分割包括：利用包括T1、T1c、Flair和T2的多模式MRI、确定最小肿瘤半球、对组织进行分类、基于不同组织结构的强度识别强度控制点、基于强度控制点对每个MRI的强度进行归一化、定位初始肿瘤种子并基于肿瘤种子分割肿瘤。多类肿瘤分割包括：特征提取、体素分类和细化。特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。细化包括病理学引导的细化，以确保肿瘤的正确分类。
附图说明
图1图示了根据一些实施例的多模式MRI。
图2图示了根据一些实施例的自动3D脑肿瘤分割和分类方法的示图。
图3图示了根据一些实施例的整个肿瘤分割算法流程的示图。
图4图示了根据一些实施例的最小肿瘤半球定位器算法的示图。
图5图示了根据一些实施例的初始肿瘤种子定位器和整个肿瘤分割算法的示图。
图6图示了多类脑肿瘤分割挑战的示图。
图7图示了根据一些实施例的用于机器学习的基于体素的特征的示图。
图8图示了根据一些实施例的利用邻域信息作为上下文特征的示图。
图9图示了根据一些实施例的随机森林分类的示图。
图10图示了根据一些实施例的病理学引导的细化的示图。
图11图示了根据一些实施例的被配置为实现自动3D脑肿瘤分割和分类方法的示例性计算设备的框图。
图12图示了根据一些实施例的磁共振成像(MRI)系统的示图。
具体实施方式
为了加速肿瘤分析的过程，能够实现本文所述的自动3D脑肿瘤分割和分类方法。存在许多脑肿瘤分割挑战，诸如跨受试者大的强度变化、边界不清晰和不规则，以及跨受试者的MRI中显著不同的肿瘤外观。
图1图示了根据一些实施例的多模式MRI。多模式MRI包括T1、T1对比增强(T1c)、T2和T2液体衰减反转恢复(T2flair)。
图2图示了根据一些实施例的自动3D脑肿瘤分割和分类方法的示图。在步骤200中，执行整个肿瘤分割。整个肿瘤分割包括数据归一化202和初始分割204。数据归一化202包括基于解剖结构的强度归一化。初始分割204包括解剖学引导的基于图形的分割。在步骤206中，执行多类肿瘤分割。多类肿瘤分割包括特征提取208、体素分类210和细化212。特征提取208和体素分类210涉及使用感兴趣区域(ROI)引导的随机森林。细化212包括病理学引导的细化。每个步骤在本文中进一步描述。在一些实施例中，实现更少或附加的步骤。例如，能够包括获取MRI信息和/或显示细化图像的步骤。在一些实施例中，修改步骤的顺序。
与假设肿瘤不影响CSF外观的基于脑脊液(CSF)的实施方式不同，自动3D脑肿瘤分割和分类方法使用不含或含有最少量肿瘤的脑的部分来估计结构强度。
图3图示了根据一些实施例的整个肿瘤分割算法流程的示图。获取多模式MRI 300(例如，T1、T1c、Flair和T2)。在步骤400中，分析T1c MRI以确定最小肿瘤半球。确定最小肿瘤半球能够以任何方式实现，诸如在每个半球中定位肿瘤，并且然后比较两个半球，以确定哪个半球具有较少的肿瘤。在另一个示例中，将半球与已知数据(例如，没有任何肿瘤的半球)进行比较，并且选择与已知数据有较少不同的半球作为最小肿瘤半球。在一些实施例中，确定最小肿瘤半球包括确定flair和T2MRI之间的对称差异，这是因为肿瘤很少完全对称地发生，然后执行阈值转换(thresholding)和并集(union)，并且不包含质心的半球是最小肿瘤半球。在步骤302中，实现组织分类以将脑组织分类为白质(WM)、灰质(GM)和脑脊液(CSF)。组织分类能够以本领域技术人员已知的任何方式实现。在步骤304中，为每个多模态MRI 300(例如，T1、T1c、Flair、T2)生成强度直方图。在一些实施例中，使用CSF、白质(WM)、灰质(GM)的中值和角点从直方图生成强度控制点。在步骤306中，对多模式MRI 300(T1、T1c、Flair、T2)中的每一个执行强度归一化。强度归一化能够以任何方式实现。例如，匹配每个MRI的控制点的强度。进一步该示例，脑结构(WM、GM、CSF)的强度被映射到参考MRI的强度。在步骤500中，定位初始肿瘤种子。在一些实施例中，使用强度直方图定位初始肿瘤种子。能够基于强度(例如，高于阈值的强度被认为是初始肿瘤种子)和输入MRI的对称差异来检测初始肿瘤种子。在步骤502中，针对整个肿瘤分割实现基于被称为GrowCut的基于区域生长的分割的非常快速的分割算法。在一些实施例中，针对多个肿瘤迭代整个肿瘤分割。在步骤308中，使用整个肿瘤分割和强度归一化，针对多类肿瘤分类执行肿瘤分类。例如，利用机器学习来学习识别肿瘤和/或对肿瘤进行分类。在一些实施例中，肿瘤分类将整个生长分割和强度归一化的输出作为输入以对肿瘤进行分类。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。
图4图示了根据一些实施例的最小肿瘤半球定位器算法的示图。确定最小肿瘤半球400能够以任何方式实现，诸如在每个半球中定位肿瘤，并且然后比较两个半球以确定哪个半球具有较少的肿瘤。在另一个实例中，将半球与已知数据(例如，没有任何肿瘤的半球)进行比较，并且选择与已知数据有较少不同的半球作为最小肿瘤半球。在一些实施例中，在步骤402中，确定最小肿瘤半球包括确定flair和T2MRI之间的对称差异，这是因为肿瘤很少完全对称地发生，然后在步骤404中执行阈值转换和并集，并且不包含质心的半球是最小肿瘤半球。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。
图5图示了根据一些实施例的整个肿瘤分割算法的示图。在步骤504中，分析每个多模式MRI 300(T1、T1c、Flair、T2)的强度直方图，并且基于控制点设置阈值，并计算T2和Flair的对称差异。在步骤506中，实现阈值转换和并集，并且在步骤508中，实现阈值转换和交叉(intersection)。在一些实施例中，阈值转换和并集涉及确定阈值(例如，基于统计)并组合不同的MRI图像以形成联合。在一些实施例中，阈值转换和交叉涉及确定阈值(例如，基于控制点)和确定何时不同的MRI图像(例如，强度)交叉。将结果组合并且然后在步骤510中进行后处理以确定初始肿瘤种子512。使用初始肿瘤种子512，识别背景种子和目标种子514并将其用在GrowCut(或另一个)算法516中以确定整个肿瘤518。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的顺序。
图6图示了多类脑肿瘤分割挑战的示图。脑600包括整个肿瘤602、瘤腺体604、非增强核心606、活动核心608和坏死610。示图650示出了用于基于外观和病理学规则对复杂医学决策进行建模的示例性公式。
图7图示了根据一些实施例的用于机器学习的基于体素的特征的示图。特征包括外观特征700、纹理特征702和位置特征704。外观特征700能够通过平滑(例如，高斯平滑)来确定以对MRI进行去噪。在一些实施例中，在强度被归一化之后将平滑应用于MRI，使得结果是平滑的体素强度。纹理特征702能够使用T2方差来分析以确定显影核心的不均匀性和T2上的高斯拉普拉斯(LOG)以确定结构边界的边缘和斑点。也能够基于整个肿瘤的初始分割来分析位置特征704。
图8图示了根据一些实施例的利用邻域信息作为上下文特征的示图。T1c MRI具有丰富的核心信息，并且T2MRI具有丰富的边界信息。因此，使用T1c和T2MRI，在每个八分圆中提取平均强度、提取多尺度上下文特征，并且组合来自T1c和T2的上下文特征。
图9图示了根据一些实施例的随机森林分类的示图。使用外观特征702、纹理特征704和位置特征706，生成与上下文特征组合的基于体素的特征向量900，并且然后训练的决策树902能够对肿瘤标签进行分类。
图10图示了根据一些实施例的病理学引导的细化的示图。为了避免项目被错误标记，诸如将坏死错误标记为瘤腺体，或者将非增强核心错误标记为瘤腺体，利用病理学引导的细化。例如，使用基于病理学规则的基于上下文的细化或基于图形的细化(例如，使用GrowCut来生长非增强核心)，能够细化分析以确定准确的结果。
图11图示了根据一些实施例的被配置为实现自动3D脑肿瘤分割和分类方法的示例性计算设备的框图。计算设备1100能够用于获取、存储、计算、处理、传送和/或显示诸如图像和视频之类的信息。通常，适合于实现计算设备1100的硬件结构包括网络接口1102、存储器1104、处理器1106、(一个或多个)I/O设备1108、总线1110和存储设备1112。处理器的选择并不重要只要选择具有足够速度的合适处理器即可。存储器1104能够是本领域中已知的任何常规计算机存储器。存储设备1112能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度碟片/驱动器、超高清驱动器、闪存卡或任何其它存储设备。计算设备1100能够包括一个或多个网络接口1102。网络接口的示例包括连接到以太网或其它类型的LAN的网卡。(一个或多个)I/O设备1108能够包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于执行自动3D脑肿瘤分割和分类方法的自动3D脑肿瘤分割和分类应用1130可能存储在存储设备1112和存储器1104中并且如应用通常被处理那样被处理。计算设备1100中能够包括比图11中示出的更多或更少的组件。在一些实施例中，包括自动3D脑肿瘤分割和分类方法硬件1120。虽然图11中的计算设备1100包括用于自动3D脑肿瘤分割和分类方法的应用1130和硬件1120，但是自动3D脑肿瘤分割和分类方法能够用硬件、固件、软件或其任何组合在计算设备上实现。例如，在一些实施例中，自动3D脑肿瘤分割和分类方法应用1130被编程在存储器中并使用处理器执行。在另一个示例中，在一些实施例中，自动3D脑肿瘤分割和分类方法硬件1120是编程的硬件逻辑，包括专门设计用于实现自动3D脑肿瘤分割和分类方法的门。
在一些实施例中，(一个或多个)自动3D脑肿瘤分割和分类方法应用1130包括若干应用和/或模块。在一些实施例中，模块也包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。
合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频碟刻录机/播放器(例如，DVD刻录机/播放器、高清碟刻录机/播放器、超高清碟刻录机/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如，智能手表)或任何其它合适的计算设备。
图12图示了根据一些实施例的磁共振成像(MRI)系统的示图。MRI设备1200用于获取诸如脑部扫描的MRI图像。计算设备1100从MRI设备1200接收MRI信息(例如，通过在云中下载或访问)，并且计算设备1100执行自动3D脑肿瘤分割和分类方法。
为了利用本文所述的自动3D脑肿瘤分割和分类方法，使用自动3D脑肿瘤分割和分类方法分析MRI信息。基于该分析，能够识别肿瘤。基于识别出的肿瘤，外科医生能够执行手术以移除肿瘤。
在操作中，自动3D脑肿瘤分割和分类方法在没有用户输入的情况下高效且准确地识别MRI信息中的肿瘤。
虽然本文已经描述了与脑肿瘤相关的自动3D脑肿瘤分割和分类，但是自动3D脑肿瘤分割和分类方法能够适于任何其它肿瘤或疾病。
自动3D脑肿瘤分割和分类的一些实施例
1.一种在设备的非瞬态存储器中编程的方法，包括：
执行整个肿瘤分割；以及
执行多类肿瘤分割。
2.如条款1所述的方法，其中整个肿瘤分割包括：数据归一化和初始分割。
3.如条款1所述的方法，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤。
4.如条款1所述的方法，其中多类肿瘤分割包括：特征提取、体素分类和细化。
5.如条款4所述的方法，其中特征提取包括：确定基于体素的特征和上下文特征，其中基于体素的特征包括外观特征、纹理特征和位置特征。
6.如条款5所述的方法，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。
7.如条款6所述的方法，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
8.如条款7所述的方法，其中细化包括病理学引导的细化以确保肿瘤的正确分类。
9.一种装置，包括：
用于存储应用的非瞬态存储器，该应用用于：
执行整个肿瘤分割；以及
执行多类肿瘤分割；以及
耦合到存储器的处理组件，该处理组件被配置用于处理应用。
10.如条款9所述的装置，其中整个肿瘤分割包括：数据归一化和初始分割。
11.如条款9所述的装置，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤。
12.如条款9所述的装置，其中多类肿瘤分割包括：特征提取、体素分类和细化
13.如条款12所述的装置，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。
14.如条款13所述的装置，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。
15.如条款14所述的装置，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
16.如条款15所述的装置，其中细化包括病理学引导的细化以确保肿瘤的正确分类。
17.一种系统，包括：
磁共振成像设备；以及
计算设备，被配置用于：
执行整个肿瘤分割；以及
执行多类肿瘤分割。
18.如条款17所述的系统，其中整个肿瘤分割包括：数据归一化和初始分割。
19.如条款17所述的系统，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤。
20.如条款17所述的系统，其中多类肿瘤分割包括：特征提取、体素分类和细化。
21.如条款20所述的系统，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。
22.如条款21所述的系统，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2MRI的上下文特征。
23.如条款22所述的系统，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
24.如条款23所述的系统，其中细化包括病理学引导的细化以确保肿瘤的正确分类。
已经根据结合细节的具体实施例描述了本发明，以便于理解本发明的构造和操作的原理。本文对具体实施例及其细节的这种引用并非旨在限制所附权利要求的范围。对于本领域技术人员来说显而易见的是，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在为说明而选择的实施例中进行其它各种修改。

Claims (21)

1.一种在设备的非瞬态存储器中编程的用于3D脑肿瘤分割和分类的方法，包括：
执行整个肿瘤分割，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球，其中最小肿瘤半球是具有较少肿瘤的半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点，其中强度控制点是使用分类的组织的强度直方图的中值和角点生成的；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤；以及
执行多类肿瘤分割。
2.如权利要求1所述的方法，其中整个肿瘤分割包括：数据归一化和初始分割。
3.如权利要求1所述的方法，其中多类肿瘤分割包括：特征提取、体素分类和病理学引导的细化。
4.如权利要求3所述的方法，其中特征提取包括：确定基于体素的特征和上下文特征，其中基于体素的特征包括外观特征、纹理特征和位置特征。
5.如权利要求4所述的方法，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2 MRI的上下文特征。
6.如权利要求5所述的方法，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
7.如权利要求6所述的方法，其中病理学引导的细化确保肿瘤的正确分类。
8.一种用于3D脑肿瘤分割和分类的装置，包括：
用于存储应用的非瞬态存储器，所述应用用于：
执行整个肿瘤分割，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球，其中最小肿瘤半球是具有较少肿瘤的半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点，其中强度控制点是使用分类的组织的强度直方图的中值和角点生成的；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤；以及
执行多类肿瘤分割；以及
耦合到所述存储器的处理组件，所述处理组件被配置用于处理所述应用。
9.如权利要求8所述的装置，其中整个肿瘤分割包括：数据归一化和初始分割。
10.如权利要求8所述的装置，其中多类肿瘤分割包括：特征提取、体素分类和病理学引导的细化。
11.如权利要求10所述的装置，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。
12.如权利要求11所述的装置，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2 MRI的上下文特征。
13.如权利要求12所述的装置，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
14.如权利要求13所述的装置，其中所述病理学引导的细化确保肿瘤的正确分类。
15.一种用于3D脑肿瘤分割和分类的系统，包括：
磁共振成像设备；以及
计算设备，被配置用于：
执行整个肿瘤分割，其中整个肿瘤分割包括：
利用包括T1、T1c、Flair和T2的多模式MRI；
确定最小肿瘤半球，其中最小肿瘤半球是具有较少肿瘤的半球；
对组织进行分类；
基于不同组织结构的强度识别强度控制点，其中强度控制点是使用分类的组织的强度直方图的中值和角点生成的；
基于强度控制点对每个MRI的强度进行归一化；
定位初始肿瘤种子；以及
基于肿瘤种子分割肿瘤；以及
执行多类肿瘤分割。
16.如权利要求15所述的系统，其中整个肿瘤分割包括：数据归一化和初始分割。
17.如权利要求15所述的系统，其中多类肿瘤分割包括：特征提取、体素分类和病理学引导的细化。
18.如权利要求于17所述的系统，其中特征提取包括：基于体素的特征和上下文特征，其中基于体素的特征包括确定外观特征、纹理特征和位置特征。
19.如权利要求18所述的系统，其中上下文特征提取还包括：提取MRI的每个八分圆中的平均强度、提取多尺度上下文特征并组合来自T1c MRI和T2 MRI的上下文特征。
20.如权利要求19所述的系统，其中体素分类利用来自特征提取和决策树的信息来对肿瘤进行分类。
21.如权利要求20所述的系统，其中所述病理学引导的细化确保肿瘤的正确分类。
CN201780042395.3A 2016-07-25 2017-07-11 自动3d脑肿瘤分割和分类 Active CN109478321B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/218,986 2016-07-25
US15/218,986 US9870614B1 (en) 2016-07-25 2016-07-25 Automatic 3D brain tumor segmentation and classification
PCT/US2017/041460 WO2018022289A1 (en) 2016-07-25 2017-07-11 Automatic 3d brain tumor segmentation and classification

Publications (2)

Publication Number Publication Date
CN109478321A CN109478321A (zh) 2019-03-15
CN109478321B true CN109478321B (zh) 2022-04-26

Family

ID=59581996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042395.3A Active CN109478321B (zh) 2016-07-25 2017-07-11 自动3d脑肿瘤分割和分类

Country Status (5)

Country Link
US (2) US9870614B1 (zh)
EP (1) EP3469551B1 (zh)
JP (1) JP6819898B2 (zh)
CN (1) CN109478321B (zh)
WO (1) WO2018022289A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424411B2 (en) * 2013-09-20 2019-09-24 Siemens Healthcare Gmbh Biopsy-free detection and staging of cancer using a virtual staging score
TWI637187B (zh) * 2017-09-19 2018-10-01 臺北榮民總醫院 磁共振影像的分析方法及評估放射治療風險的方法
US10964012B2 (en) * 2018-06-14 2021-03-30 Sony Corporation Automatic liver segmentation in CT
CN109214388B (zh) * 2018-11-21 2021-06-08 浪潮集团有限公司 一种基于个性化融合网络的肿瘤分割方法及装置
CN109801272B (zh) * 2019-01-07 2021-01-15 华南师范大学 肝脏肿瘤自动分割定位方法、系统及存储介质
CN110188788A (zh) * 2019-04-15 2019-08-30 浙江工业大学 基于放射组学特征的胰腺囊性肿瘤ct图像的分类方法
TWI697686B (zh) 2019-06-20 2020-07-01 臺北榮民總醫院 基於磁振造影分析腦組織成分的系統與方法
CN110837844A (zh) * 2019-09-26 2020-02-25 浙江工业大学 基于ct图像不相似性特征的胰腺囊性肿瘤良恶性分类方法
US20210217173A1 (en) * 2020-01-15 2021-07-15 Ricoh Company, Ltd. Normalization and enhancement of mri brain images using multiscale filtering
US11621991B2 (en) * 2021-06-29 2023-04-04 ROVl GUIDES, INC. Adaptive content streaming based on bandwidth

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204315B2 (en) * 2006-10-18 2012-06-19 The Trustees Of The University Of Pennsylvania Systems and methods for classification of biological datasets
US8675931B2 (en) * 2008-07-03 2014-03-18 Samsung Electronics Co., Ltd. Medical image segmentation
CN103845056A (zh) * 2012-12-03 2014-06-11 西门子公司 用于评估图像数据组的方法
CN104143101A (zh) * 2014-07-01 2014-11-12 华南理工大学 一种基于超声图像的乳腺肿瘤区域自动识别方法
WO2015067300A1 (en) * 2013-11-05 2015-05-14 Brainlab Ag Determination of enhancing structures in an anatomical body part
CN105046692A (zh) * 2015-07-01 2015-11-11 复旦大学 结合感兴趣区域和GrowCut算法的3D自动脑胶质瘤分割方法
CN105427325A (zh) * 2015-12-07 2016-03-23 苏州大学 基于随机森林和单调下降函数的肺肿瘤的自动分割方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080021502A1 (en) * 2004-06-21 2008-01-24 The Trustees Of Columbia University In The City Of New York Systems and methods for automatic symmetry identification and for quantification of asymmetry for analytic, diagnostic and therapeutic purposes
US8571278B2 (en) * 2005-06-24 2013-10-29 The University Of Iowa Research Foundation System and methods for multi-object multi-surface segmentation
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US7844087B2 (en) * 2006-12-19 2010-11-30 Carestream Health, Inc. Method for segmentation of lesions
JP4998995B2 (ja) 2007-06-08 2012-08-15 富士フイルム株式会社 アルバム作成装置および方法ならびにプログラム
US8150120B2 (en) * 2008-05-06 2012-04-03 Carestream Health, Inc. Method for determining a bounding surface for segmentation of an anatomical object of interest
US9129382B2 (en) * 2010-06-25 2015-09-08 Institute Of Automation, Chinese Academy Of Sciences Method and system for brain tumor segmentation in multi-parameter 3D MR images via robust statistic information propagation
WO2012097336A1 (en) 2011-01-13 2012-07-19 Rutgers, The State University Of New Jersey Enhanced multi-protocol analysis via intelligent supervised embedding (empravise) for multimodal data fusion
US8478044B2 (en) * 2011-06-08 2013-07-02 Siemens Corporation System and method for image segmentation by optimizing weighted curvature
US8908948B2 (en) * 2011-12-21 2014-12-09 Institute Of Automation, Chinese Academy Of Sciences Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale structure information
CN103854276B (zh) 2012-12-04 2018-02-09 东芝医疗系统株式会社 图像配准及分割装置和方法，以及医学图像设备
WO2015138385A1 (en) 2014-03-10 2015-09-17 H. Lee Moffitt Cancer Center And Research Institute, Inc. Radiologically identifed tumor habitats
WO2016007518A1 (en) 2014-07-07 2016-01-14 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in mri
WO2016019347A1 (en) 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204315B2 (en) * 2006-10-18 2012-06-19 The Trustees Of The University Of Pennsylvania Systems and methods for classification of biological datasets
US8675931B2 (en) * 2008-07-03 2014-03-18 Samsung Electronics Co., Ltd. Medical image segmentation
CN103845056A (zh) * 2012-12-03 2014-06-11 西门子公司 用于评估图像数据组的方法
WO2015067300A1 (en) * 2013-11-05 2015-05-14 Brainlab Ag Determination of enhancing structures in an anatomical body part
CN104143101A (zh) * 2014-07-01 2014-11-12 华南理工大学 一种基于超声图像的乳腺肿瘤区域自动识别方法
CN105046692A (zh) * 2015-07-01 2015-11-11 复旦大学 结合感兴趣区域和GrowCut算法的3D自动脑胶质瘤分割方法
CN105427325A (zh) * 2015-12-07 2016-03-23 苏州大学 基于随机森林和单调下降函数的肺肿瘤的自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CaBS: A Cascaded Brain Tumor Segmentation;Eric Malmi等;《Multimodal Brain Tumor Image Segmentation Challenge》;20151005;第42-47页 *
Tumor-Cut: Segmentation of Brain Tumors on Contrast Enhanced MR Images for Radiosurgery Applications;Andac Hamamci 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20120301;第31卷(第3期);第790-804页 *

Also Published As

Publication number Publication date
US20180025488A1 (en) 2018-01-25
CN109478321A (zh) 2019-03-15
EP3469551B1 (en) 2021-12-08
JP6819898B2 (ja) 2021-01-27
JP2019523065A (ja) 2019-08-22
US9870614B1 (en) 2018-01-16
US10102626B2 (en) 2018-10-16
WO2018022289A1 (en) 2018-02-01
US20180101953A1 (en) 2018-04-12
EP3469551A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN109478321B (zh) 自动3d脑肿瘤分割和分类
CN108010021B (zh) 一种医学图像处理系统和方法
Tareef et al. Automatic segmentation of overlapping cervical smear cells based on local distinctive features and guided shape deformation
Sujan et al. A segmentation based automated system for brain tumor detection
Zhou et al. Semi-automatic breast ultrasound image segmentation based on mean shift and graph cuts
Hooda et al. Brain tumor segmentation: A performance analysis using K-Means, Fuzzy C-Means and Region growing algorithm
CN110678903B (zh) 用于3d图像中异位骨化的分析的系统和方法
Kumar et al. Review on image segmentation techniques
US11106947B2 (en) System and method of classifying an action or event
US11783488B2 (en) Method and device of extracting label in medical image
Liu Stbi-yolo: A real-time object detection method for lung nodule recognition
CN107688815B (zh) 医学图像的分析方法和分析系统以及存储介质
WO2018176189A1 (zh) 图像分割的方法及系统
Liu et al. Automatic segmentation of brain MR images using an adaptive balloon snake model with fuzzy classification
Khordehchi et al. Automatic lung nodule detection based on statistical region merging and support vector machines
Sasirekha et al. Improved segmentation of MRI brain images by denoising and contrast enhancement
Pan et al. Deep learning for object saliency detection and image segmentation
Yanulevskaya et al. Salient object detection: from pixels to segments
US10395773B2 (en) Automatic characterization of Agatston score from coronary computed tomography
Gupta et al. A novel hybrid method for segmentation and analysis of brain MRI for tumor diagnosis
Taheri et al. Automated single and multi-breast tumor segmentation using improved watershed technique in 2D MRI images
Lather et al. Tumor segmentation from brain MR images using STSA based modified K-means clustering approach
Khan et al. Morphology preserving segmentation method for occluded cell nuclei from medical microscopy image
Gupta et al. Multi Level Approach for Segmentation of Interstitial Lung Disease (ILD) Patterns Classification Based on Superpixel Processing and Fusion of K‐Means Clusters: SPFKMC
CN113269756A (zh) 基于多尺度匹配滤波与粒子群优化视网膜血管分割方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant