CN107851194A - 用于脑肿瘤分类的视觉表示学习 - Google Patents

用于脑肿瘤分类的视觉表示学习 Download PDF

Info

Publication number
CN107851194A
CN107851194A CN201680045060.2A CN201680045060A CN107851194A CN 107851194 A CN107851194 A CN 107851194A CN 201680045060 A CN201680045060 A CN 201680045060A CN 107851194 A CN107851194 A CN 107851194A
Authority
CN
China
Prior art keywords
image
layer
filter
convolution
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680045060.2A
Other languages
English (en)
Inventor
苏巴布拉塔·巴塔查里亚
特伦斯·陈
阿利·卡门
孙善辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107851194A publication Critical patent/CN107851194A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

在脑肿瘤分类中使用独立子空间分析(ISA)来学习(42)用于CLE图像的过滤器核。卷积(46)和堆叠被用于利用ISA的无监督学习(44，48)以得到过滤器核。分类器被训练(56)以基于使用过滤器核所提取的特征对CLE脑图像进行分类。所得到的过滤器核和所训练的分类器在神经外科切除术期间或作为神经外科切除术的一部分被用于(60，64)辅助诊断脑肿瘤的发生。分类可以辅助医生检测CLE所检查的脑组织是否健康和/或肿瘤的类型。

Description

用于脑肿瘤分类的视觉表示学习
相关申请
根据35U.S.C.§119(e)，本专利文献要求于2015年8月4日的提交日期提交的序列号为No.62/200,678的临时美国专利申请的权益，其在此通过引用并入本文中。
背景技术
本实施方式涉及脑肿瘤的图像的分类。共聚焦激光显微内镜(CLE)是用于检查脑组织肿瘤的体内成像技术的替代方法。CLE允许以前仅在组织切片上可能的规模上实时检查身体组织。神经外科切除术是该技术的早期采用者之一，其中任务是使用探测器或显微内镜人工识别人脑内(例如，硬脑膜、枕叶皮层、顶叶皮层或其他位置)的肿瘤。然而，考虑到该技术的当前初期状态，这个任务可能是非常耗时且易出错的。
此外，对于仅有5％存活率的作为侵略性恶性小脑肿瘤的多形性成胶质细胞瘤，采用自动图像识别技术进行小脑组织分类的需求日益增加。受成胶质细胞瘤和脑膜瘤影响的组织通常分别以具有尖锐的粒状图案和光滑的均匀图案为特征。然而，当前的CLE成像系统的低分辨率以及探测区域中的健康组织中存在两种图案使得区分各种类型的肿瘤和/或区分肿瘤组织与健康组织的普通图像分类算法遇到了极大的挑战。图1A和图1B分别示出了从诊断为多形性胶质母细胞瘤和脑膜瘤的不同患者的小脑组织获得的CLE图像样本。图1C示出了健康尸体小脑组织的CLE图像样本。如在图1A至图1C中所见，由于在不同的图像中存在粒状图案和均匀图案两者，因此在CLE影像限制下的视觉差异不是非常明显。
CLE影像的自动分析采用基于视觉词袋(bag-of-visual words)的通用图像分类技术。在这种技术中，作为训练步骤的一部分，收集包含不同肿瘤的图像并且从其中提取低级特征(图像补丁的特性)。从训练集中的所有图像，于是通常通过无监督聚类或通过监督字典学习技术使用词汇或字典学习来获得也被称为视觉单词的表示特征。之后，将所收集的训练图像中的每个训练图像以统一的方式表示为词汇中的视觉单词的袋或集合。接下来是训练分类器，如支持向量机(SVM)或随机森林(RF)，以使用每个图像的统一表示。给定未标记图像，提取特征，并且根据已经学习的视觉单词依次表示图像。最后，将该表示输入至预先训练的分类器，该分类器基于其与预先观察的训练图像的相似性来预测给定图像的标记。然而，分类的准确度低于预期。
发明内容
提供了用于脑肿瘤分类的系统、方法和计算机可读介质。独立子空间分析(ISA)用于学习CLE图像的过滤器核。卷积和堆叠用于利用ISA的无监督学习以得到过滤器核。分类器被训练以基于使用过滤器核所提取的特征对CLE图像进行分类。所得到的过滤器核和训练的分类器在神经外科切除术期间或作为神经外科切除术的一部分被用于辅助诊断脑肿瘤的发生。分类可以辅助医生检测CLE检查的脑组织是否健康和/或肿瘤的类型。
在第一方面中，提供了一种用于医疗图像系统中的脑肿瘤分类的方法。从患者的脑部的共聚焦激光显微内镜图像提取局部特征。使用在第一层和第二层中的每层中根据独立子空间分析学习的过滤器来提取局部特征，其中第二层基于来自第一层的输出与所述图像的卷积。编码局部特征。机器学习式分类器根据所编码的局部特征进行分类。所述分类指示所述图像是否包括肿瘤。生成表示所述分类的图像。
在第二方面中，提供了一种用于在医疗系统中学习脑肿瘤分类的方法。一个或更多个共聚焦激光显微内镜获取表示肿瘤脑组织和健康脑组织的共聚焦激光显微内镜图像。医疗系统的机器学习式计算机对每个利用独立子空间分析的多个层中的图像执行无监督学习。所述层中的所述学习被贪婪地执行。过滤器利用从无监督学习输出的过滤器核对所述图像进行过滤。在一个实施方式中，对过滤的图像进行编码。对编码的输出进行池化。在另一个实施方式中，在不进行编码的情况下对过滤的输出进行池化。医疗系统的机器学习式计算机利用机器学习对分类器进行训练，以基于作为输入向量的所述输出的池化来区分表示肿瘤脑组织的图像与表示健康脑组织的图像。
在第三方面中，医疗系统包括被配置成获取患者的脑组织的图像的共聚焦激光显微内镜。过滤器被配置成将所述图像与多个过滤器核进行卷积。过滤器核是来自第一级的学习过滤器核的层级的机器学习核，与来自第一级的学习过滤器核进行卷积，以及从卷积的结果的输入中学习过滤器核。机器学习式分类器被配置成基于所述图像与过滤器核的卷积来对所述图像进行分类。显示器被配置成显示所述分类的结果。
上面描述的任何一个或更多个方面可以单独使用或组合使用。根据要结合附图阅读的优选实施方式的下列详细描述，这些和其他方面、特征和优点将变得显而易见。本发明由所附权利要求限定，并且本部分中的任何内容都不应当被视为对那些权利要求的限制。下面结合优选实施方式来讨论本发明的另外的方面和优点，并且可以稍后独立地或组合地要求保护本发明的另外的方面和优点。
附图说明
部件和附图不一定按比例，却重点在于示出实施方式的原理。此外，在附图中，遍及不同的视图，相同的附图标记表示相应的部件。
图1A至图1C分别示出了具有多形性胶质母细胞瘤、脑膜瘤和健康组织的示例CLE图像；
图2是用于使用无监督学习来学习特征并且基于学习的特征来训练分类器的方法的一个实施方式的流程图；
图3示出了图2的方法的一个示例；
图4是用于基于CLE的分类器训练的示例输入数据的表格；
图5和图6以图形形式示出了与不同过滤器核大小相关联的示例学习过滤器核；
图7是用于将使用学习输入特征的学习分类器应用于CLE图像的脑肿瘤分类的方法的一个实施方式的流程图；
图8和图9示出了不同分类的结果的比较；以及
图10是用于脑肿瘤分类的医疗系统的一个实施方式的框图。
具体实施方式
由于在CLE影像的当前限制下对肿瘤影响的区域的视觉特性有清楚的理解是极其困难的，因此使用更有效的数据驱动的视觉表示学习策略。从训练数据隐含地学习一组详尽的过滤器，它们被用来有效地表示甚至轻微相似的图像。学习的表示被用作任何分类器的输入，而不需要进一步调整参数。
对许多图像分析任务而言，一个或多个特征的质量是重要的。可以使用机器学习根据原始数据来构建有用的特征。与人类相比，机器的参与可以更好地区分或识别有用的特征。考虑到图像的大量可能特征以及图像来源的多样性，机器学习方法比人工编程更鲁棒。
提供了用于根据原始图像数据构建特征的网络框架。网络框架用于学习分类的特征，而不是只使用预先编程的特征，如提取的哈尔小波(Haarwavelet)或局部二值模式(LBP)。例如，在肿瘤脑组织的检测中，学习局部特征。在任意数目的层中学习增强局部特征的过滤器。将来自一个层的输出与输入图像求卷积，为下一个层提供输入。使用两层或更多层，例如贪婪地添加第三层、第四层或第五层，每个连续层的输入是来自前一层的结果。通过利用卷积将不同层的无监督学习堆叠成层之间的转变，学习有效识别任务的数据的层级鲁棒表示。使用具有任何数目的层或深度的网络执行学习过程。最后，从一个或更多个层学习的过滤器用于提取信息作为分类的输入向量。使用无监督技术学习脑肿瘤分类的最佳视觉表示。根据来自学习的过滤器的输入向量对分类器进行训练，以对脑组织的图像进行分类。
在一个实施方式中，可以通过CLE影像的分类来辅助外科医生，以在手术切除期间实时地在组织学规模上检查脑组织。由于肿瘤造成的区域与健康组织区域之间的低信噪比，CLE影像的分类是难题。此外，目前可用于训练分类算法的临床数据未被清楚地注释。因此，现成的图像表示算法可能无法捕获分类目的所需的关键信息。这个假设激发了对无监督图像表示学习的研究，该研究表明了一般视觉识别问题的重大成功。数据驱动的表示使用无监督技术来学习，这降低了清楚地注释的数据的必要性。例如，在卷积神经网络框架中使用被称为独立子空间分析的无监督算法，以提高学习的表示的鲁棒性。初步实验显示比脑肿瘤分类任务的现有算法提高5-8％，对计算效率的影响可以忽略。
图2示出了用于在医疗系统中学习脑肿瘤分类的方法。图3示出了图2的方法的实施方式。为了处理CLE影像中的不同类型的肿瘤与健康组织的相似性，学习一个或更多个过滤器，以得到输入向量来训练分类器。用于分类的输入向量的这种无监督学习可以允许分类更好地区分肿瘤的类型和/或健康组织与肿瘤彼此。从图像中学习有区别的表示。
图2和图3示出了用于由医疗系统中的机器学习区分脑组织的状态的一个或多个特征和/或根据所述一个或多个特征来学习分类器的方法。学习的一个或多个特征和/或训练的分类器可以由机器用来分类(参见图7)。
诸如机器学习处理器、计算机或服务器的机器实现一些或所有动作。CLE探测器用于获取一个或更多个CLE图像。然后，机器从CLE图像和/或真正事实(注释的肿瘤或非肿瘤)学习。图10的系统实现一个实施方式中的方法。用户可以选择用于由处理器训练的图像文件，或者选择由处理器根据其学习特征和分类器的图像。机器的使用允许人不可以有效处理、在所需时间帧内由人处理可能不切实际或者由于细微和/或定时而导致人可能甚至不可以处理的大量信息(例如，许多像素的图像和/或许多图像)。
以所示的顺序提供方法，但是也可以提供其他顺序。另外，可以提供不同的或更少的动作。例如，不提供图1的动作44、46和/或48。作为另一个示例，不提供动作56。在其他示例中，提供了用于捕获图像的动作和/或使用检测到的信息的动作。在另一个实施方式中，不提供动作52和动作54。反而使用过滤的图像或从过滤的图像提取的其他特征来训练分类器。在其他实施方式中，可以不执行动作52，如其中过滤的图像在没有编码的情况下被池化。
在动作40中，获得CLE图像。从数据库、多个患者记录、CLE探测器和/或其他源获得图像。从存储器加载图像或者在存储器中访问图像。可替选地或另外地，通过网络接口从任何源如CLE探测器或图片存档和通信服务器(PACS)接收图像。
可以通过扫描患者和/或从先前的扫描来接收图像。使用相同或不同的CLE探测器来获取图像。图像来自活着的患者。可替选地，一些或所有训练图像来自尸体。尸体的CLE成像用相同或不同的探测器来执行。图像来自许多不同的人类和/或脑组织成像的许多样本。图像表现脑组织。图像的不同子集表现处于不同状态的脑组织，如(1)健康的脑组织和肿瘤脑组织和/或(2)不同类型的肿瘤脑组织。
在一个实施方式中，市场上可买到的临床内部显微镜(例如，来自法国巴黎的Mauna Kea Technologies的Cellvizio)被用于CLE成像。激光扫描单元、软件、平板显示器和光纤探测器提供直径为160μm的圆形视场，但是也可以使用其他结构和/或视场。CLE设备意在用于对内窥镜接近的解剖片中的组织的内部微结构进行成像。在分析可疑病变的下表面结构的内窥镜检查过程(这被称为光学活检)期间临床上使用该系统。在手术切除应用中，神经外科医生将手持探测器插入手术床(例如，感兴趣的脑组织)中，以检查要切除的肿瘤组织的剩余部分。可以收集在先前的切除期间获得的图像作为训练数据。
图4是描述了为训练而获得的CLE图像的示例集合的表格。分四个批次收集这些图像，但是也可以使用其他数量的批次。前三个批次包含描绘成胶质细胞瘤(GBM)和脑膜瘤(MNG)的发生的视频样本。最后一批具有从尸体头部收集的健康组织样本。可以使用其他源和/或类型的肿瘤。对于训练，注释仅在帧级别可用(即，肿瘤影响的区域未在图像内注释)，使得模式识别算法甚至更难以利用局部区别信息。为每个批次提供任意数量的视频。可以为每个视频提供任意数量的图像帧。
在使用视频的情况下，一些图像可能不包含有用信息。由于CLE设备的成像能力有限或脑肿瘤组织的固有属性，所得到的图像通常包含极少的分类信息并且对识别算法无用。在一个实施方式中，为了限制这些图像的影响，移除这些图像。期望的图像被选择。使用图像熵来定量地确定图像的信息内容。与较高熵图像相比，低熵图像具有较小的对比度以及具有相同值或相似值的多行像素。为了过滤不提供信息的视频帧，计算每个帧或图像的熵并且将其与熵阈值进行比较。可以使用任何阈值。例如，使用通过数据集的熵分布。选择阈值以留下足够的(例如，数百或数千)图像或帧用于训练。例如，在图4的数据集中使用阈值4.05。在替代实施方式中，不提供图像或帧减少或者使用其他方法。
在动作42中，医疗系统的机器学习式计算机、处理器或其他机器对图像执行无监督学习。这些图像被用作至无监督学习的输入以确定特征。代替或除了提取哈尔小波或其他特征，机器学习确定特定于脑组织的CLE图像的特征。数据驱动方法学习在分类任务中依次有效的图像表示。在计算流水线中的特征提取阶段(参见图3)封装了这个动作42。
图2示出了用于实现动作42的无监督学习的三个动作44、46和48。可以提供附加的、不同的或更少的动作，如包括层之间的其他学习层和卷积。也可以使用其他非ISA和/或非卷积动作。
在图2的实施方式中，在动作44和48中训练多个层，其中动作46的卷积用于将堆叠的层关联在一起。该层结构从CLE图像中学习区别表示。
可以使用任何无监督学习。学习使用输入，在这种情况下输入为CLE图像，而没有真正事实信息(例如，没有肿瘤或健康组织标记)。相反，学习使图像共有的对比度或变化突出和/或使输入图像之间的差异最大化。机器学习由机器训练以创建使图像中的特征突出和/或使较少内容的信息不突出的过滤器。
在一个实施方式中，无监督学习是独立子空间分析(ISA)或其他形式的独立分量分析(ICA)。通过机器学习从输入图像提取自然图像统计。用ICA或ISA学习的自然图像统计模仿自然视觉。当被应用于静态图像时，可以使用ICA和ISA两者来学习与视觉皮层的V1区域类似的感受野。与ICA相比，ISA能够学习对仿射变换鲁棒的特征表示。可以使用其他分解方法，如主成分分析。也可以使用其他类型的无监督学习，如深度学习。
当输入训练数据太大时，ICA和ISA可能在计算上效率低下。许多像素的大图像可能导致计算效率低下。调整ISA构想以支持较大的输入数据。代替将ISA指引到每个输入图像，学习各种补丁(patch)或较小的(例如，16×16像素)过滤器核。卷积神经网络类型的方法使用卷积和堆叠。在动作44中，在一个层中用ISA从输入图像或训练图像中学习不同的过滤器核。在动作46中，这些学习的过滤器核与输入图像或训练图像进行卷积。使用窗口化的过滤核对图像进行空间过滤以对图像的每个像素进行过滤。然后将从卷积得到的经过滤的图像输入至另一层中的ISA。在动作48中，根据从卷积得到的经过滤的图像中学习不同的过滤器核。这个过程可以重复或者可以不重复另外的卷积和学习。
输出补丁是用于分类中的特征提取的过滤器核。用于特征提取的卷积神经网络方法包括使用小的输入过滤器核来学习特征，其然后与较大区域的输入数据进行卷积。用学习的过滤器核对输入图像进行过滤。这个卷积的输出用作上面层的输入。这个卷积之后的堆叠技术便于学习对识别任务有效的数据的层级鲁棒表示。
可以通过学习来创建任意数量的过滤器核或补丁。图5和图6各自显示了100个过滤器核，但是可以提供更多或更少的过滤器核。过滤器核大小可以导致不同的过滤器核。图5显示了如16×16像素的过滤器核。图6显示了使用相同的输入图像学习的过滤器核，但是其中过滤器核大小为20×20像素。较大的过滤器核大小导致计算效率更加低下。不同的过滤器核大小影响对来自图像的区别模式的学习。
对于给定层，应用ISA学习。可以使用任何现在知道或以后开发的ISA。在一个实施方式中，ISA学习使用多层网络，如动作44和动作48的一个或每个堆叠的层内的多层网络。例如，对于给定性能的ISA，在多层网络的学习中使用平方非线性和平方根非线性。在ISA实现的多层网络的一层中使用平方，在ISA实现的多层网络的另一层中使用平方根。
在一个实施方式中，第一层单元是简单单元，第二层单元是池化单元。在多层ISA网络中存在k个简单单元和m个池化单元。对于向量化的输入过滤器核X∈Rn，n是输入维数(过滤器核中的像素的数量)，学习第一层中的权重W∈Rm×k，而第二层的权重V∈Rk×n是固定的以表示第一层中的神经元的子空间结构。换言之，第一层被学习，然后第二层被学习。具体地，每个第二层隐藏单元在相邻的第一层单元的小邻域上池化。每个池化单元的激活由下式给出：
其中，p是第二层输出的激活，W是第一层的权重参数，V是第二层的权重参数，j和k是索引。通过在所有T个输入样本上求解以下优化问题，经过在池化层中寻找稀疏特征表示来学习参数W：
其中，T是索引，正交约束WWT＝1确保特征是多样的。图5和图6显示了在使用不同的输入过滤器核维数解决等式(2)中的问题之后学习的特征的子集。可以使用其他ISA方法、层单元、非线性和/或多层ISA网络。
对于经验分析，从不同的输入过滤器核维数来学习过滤器。然而，当输入过滤器核对于投影的梯度下降的每个步骤都大时，标准的ISA训练算法变得效率较低，对于正交化方法存在计算开销。该开销成本随着过滤器核大小的输入维数的三次函数而增长。使用逐步将PCA和ISA用作无监督学习的子单元的卷积神经网络架构可以至少部分地克服计算效率低下。
在用于卷积和/或随后的层中的学习之前，可以如利用主成分分析(PCA)使堆叠中的一个层的输出(例如，动作44的输出)白化(whitening)。首先，在小输入过滤器核上训练ISA算法。接下来，将这个学习的网络与输入图像的较大区域进行卷积。然后将卷积步骤的组合响应作为输入给予下一层，这也由用PCA作为预处理步骤的另一ISA算法来实现。使PCA预处理白化，以确保下面的ISA培训步骤只接收低维输入。
动作44和动作48中执行的学习被贪婪地执行。图像的层级表示以层的方式来学习，如在深度学习中所做的。执行动作44中的第一层的学习直到在动作48中训练第二层之前的收敛为止。假设图4的数据集，通过贪婪训练，在标准的膝上型计算机硬件上，需要的训练时间减少到少于仅几个小时。
一旦使用输入训练图像通过机器学习来学习补丁或过滤器的核，则训练视觉识别系统以根据用过滤器核所提取的输入特征来分类。在动作50中，用过滤器核对用于机器学习分类的输入训练图像进行过滤。过滤器将每个训练图像与从无监督学习输出的每个过滤器核或补丁进行卷积。使用由最后的层(例如，动作48的层2)输出的过滤器核，但是也可以使用来自开始层(例如，动作44的层1)或中间层的过滤器核。
对于每个输入训练图像，输出多个经过滤的图像。多个是针对正使用的过滤器核的数量。这些经过滤的图像是以下视觉表示：与使用没有进行过滤的图像相比，可以用于更好地分类。
可以使用任何视觉识别系统，如根据输入的经过滤图像直接分类。在一个实施方式中，从经过滤的图像进一步提取特征并且将其用作输入。在图2和图3的实施方式中，通过在动作52中进行编码以及在动作54中对代码进行池化来减少输入数据的维数或量。
在动作52中，经过滤的图像被编码。编码减少了用于训练分类器的数据。例如，经过滤的图像各自具有数千个像素，其中每个像素由多个比特表示。编码将给定图像的表示减少了一半或更多，如提供具有仅数百像素的尺寸的数据。
可以使用任何编码。例如，在经过滤的图像上执行聚类(例如，k均值聚类)或PCA。作为另一个示例，从经过滤的图像中学习词汇。然后使用词汇来表示经过滤的图像。可以使用其他字典学习方法。
在一个实施方式中，识别流水线代码与基于词袋的方法类似。从训练划分中随机选择10％或其他数量的描述符(即，用于过滤的经过滤的图像和/或过滤器核)，并且k均值(k＝512是根据训练测试划分之一以经验确定的)聚类被执行以构建四个或其他数量的不同词汇。然后使用这些不同的词汇集来量化来自每个帧的特征。
在动作54中，处理器或计算机对编码的输出进行池化。池化操作根据所有编码的局部特征(例如，平均值(平均池化)或最大值(最大池化))来计算统计值。这用于进一步降低维数并提高对某些变化(例如，转换)的鲁棒性。在基于K均值的编码的示例中，卷积之后的局部特征被投影到基于K均值的词汇的一个条目。本实施方式中的池化操作被应用于所有局部特征的相同条目，例如，平均操作。为每个训练图像和测试图像提供池化的特征。池化可以在没有动作52编码的情况下提供。
在动作56中，医疗系统的机器学习式计算机训练分类器，以区分表示肿瘤脑组织的图像与表示健康的脑组织的图像和/或区分表示不同类型的肿瘤的图像。使用机器学习训练分类器以区分图像的内容。提供了每个类的许多示例以将输入值的组合与每个类统计地关联。
可以使用任何类型的机器学习。例如，使用随机森林或支持向量机(SVM)。在其他示例中，使用神经网络、贝叶斯网络或其他机器学习。由于用结果或分类注释训练数据，因此学习被监督。为用于训练的每个图像提供来自医学专家、过去的诊断或其他源的真正事实。
用于训练分类器的输入向量是池化的代码。池化、编码和/或过滤的输出被用作对分类器的训练的输入。除了从无监督学习提取的特征以外，还可以使用诸如患者年龄、性别、家族史、图像特征(例如，哈尔小波)或其他临床信息的其他输入。每个图像的输入向量和真正事实被用作训练数据以训练分类器。例如，利用使用粗网格搜索所选择的参数用径向基函数(RBF)核(如对图像进行下采样或者编码以进一步减少数据)来训练支持向量机。来自池化的代码的所得到的量化表示被用来训练具有RBF核的SVM分类器。在替代实施方式中使用线性核。
用于训练的分类器是矩阵。该矩阵和过滤器核或补丁从图2和图3中的训练输出。这些提取的过滤器和分类器被用在应用中以针对给定患者进行分类。图7显示了用于医学成像系统中的脑肿瘤分类的方法的一个实施方式。该方法使用学习补丁和训练的分类器来辅助诊断给定的患者。使用许多训练示例进行训练，使得分类器可以用于辅助其他病例的诊断。
用于训练的相同或不同的医学成像系统被用于应用。对于基于云或服务器的系统，相同的计算机或处理器都可以学习并应用学习的过滤器核和分类器。可替选地，使用不同的计算机或处理器，如使用工作站进行学习以及应用于服务器。对于基于本地的应用，不同的工作站或计算机应用学习的过滤器核和分类器，而不应用用于训练的工作站或计算机。
以所示的顺序或不同顺序执行该方法。可以提供附加的、不同的或更少的动作。例如，在没有进行编码而根据经过滤的图像信息直接训练分类的情况下，可以不执行动作62。作为另一示例，分类通过网络被输出或者被存储在存储器中，而不在动作66中生成图像。在又一示例中，提供了用CLE扫描的动作。
在动作58中，用CLE获取脑的一个或更多个CLE图像。通过用CLE扫描患者从网络传输和/或从存储器获取一个或多个图像。在一个实施方式中，CLE探测器在切除期间位于患者的头部中。在手术期间执行CLE。生成所得到的CLE图像。
可以接收任何数量的CLE图像。在所接收的CLE图像是视频的一部分的情况下，可以接收并使用视频的所有图像。可替选地，选择图像的子集用于分类。例如，使用帧熵(例如，熵被计算并且阈值被应用)来选择一个或更多个图像的子集用于分类。
在动作60中，过滤器和/或分类器计算机从CLE图像或患者的图像提取局部特征。过滤器使用先前学习的过滤器核对CLE图像进行过滤，为每个过滤器核生成经过滤的图像。在堆叠(例如，多层ISA)和卷积(例如，训练图像与由一层输出的过滤器进行卷积以创建下一层的输入)中从ISA学习的过滤器被用于对来自给定患者的图像进行过滤以进行分类。依次学习的过滤器或补丁由ISA创建。输出最后一层的过滤器或补丁作为要用于特征提取的过滤器核。这些输出过滤器核被应用于患者的CLE图像。
可以使用任何数量的过滤器核或补丁，如基于在分类器的训练中识别的决定性过滤器核的所有学习的过滤器核或更少的数目。每个过滤器核都以每个像素或像素的其他采样为中心，并且基于周围像素所计算的新像素值由核进行加权。
过滤的输出是局部特征。这些局部特征是经过滤的图像。过滤提高了患者的CLE图像的一些方面和/或降低了患者的CLE图像的其他方面。在创建过滤器核中学习提高和/或降低的方面以及提高和/或降低了多少。
在动作62中，对经过滤的图像中表示的局部特征进行编码。特征被量化。使用图像处理，分类处理器确定表示经过滤的图像的特征的值。可以使用任何编码，如对经过滤的图像应用主成分分析、k均值分析、聚类或词袋。训练中使用的相同编码被用于关于给定患者的应用。例如，使用学习的词汇将经过滤的图像编码为词袋。编码减少了数据的量或维数。编码减少了输入至分类器的值的数量，而不是具有每个经过滤的图像的像素值。
每个经过滤的图像都被编码。来自根据患者的CLE图像创建的全部或一些经过滤的图像的代码被池化。在替选实施方式中，不使用池化。在另外其他实施方式中，在不进行编码的情况下提供池化。
在动作64中，机器学习式分类器根据编码的局部特征对CLE图像进行分类。分类器处理器接收各种经过滤的图像的代码或值。这些代码是机器学习式分类器的输入向量。可以包括其他输入，如患者的临床数据。
机器学习式分类器是输入向量与类别的统计关系的矩阵或其他表示。使用先前学习的分类器。例如，机器学习式分类器是从训练数据学习的SVM或随机森林分类器。
分类器基于输入向量来输出类别。输入向量的值组合地指示类别中的全体成员。分类器输出二值分类(例如，CLE图像是或者不是成员——是或者不是肿瘤)，在两个类别(例如，健康的或肿瘤的)之间进行选择，或者在三个或更多个类别之间进行选择(例如，对CLE图像是否包括多形性胶质母细胞瘤、脑膜瘤或健康组织进行分类)。层级、决策树或其他分类器布置可以用于区分健康的、多形性胶质母细胞瘤和/或脑膜瘤。关于CLE图像的其他类型的肿瘤和/或其他诊断上有用的信息可以被分类。
分类器指示整个CLE图像的类别。分类器指示图像是否表示肿瘤，而不识别肿瘤在图像中的位置。在替选实施方式中，分类器或附加分类器指示疑似脑肿瘤的位置。
在动作66中，分类器处理器生成表示分类的图像。所生成的图像指示CLE图像是否具有肿瘤或者脑组织状态。例如，以指示分类结果的注释、标记或着色(例如，色彩)输出CLE图像。在分类器输出结果的概率的情况下，可以在CLE图像中指示概率，如指示肿瘤的类型以及针对该表示的肿瘤的类型所估计的可能性百分比。
低级特征表示可以是自动图像识别任务或分类中的决定性因素。针对其他不同的特征表示基准来估计基于ISA的堆叠和卷积以得到特征表示的性能。对于每种方法，在特征提取阶段期间使用密集采样策略以确保所有特征描述符之间的公平比较。从每个CLE图像帧，在应用与内窥镜几乎相同的半径的感兴趣的圆形区域之后，一致地采样500个采样点或关键点。
使用以下描述符类型(即，低级特征表示的方法)来描述每个关键点：堆叠和卷积的ISA、尺度不变特征变换(SIFT)和局部二值模式(LBP)。这些描述符捕获局部邻域中像素强度的量化梯度方向。
与基于词袋(BOW)的方法类似，针对密集SIFT特征形态如下来实现识别流水线：10％的描述符是从训练划分中随机选择的，执行k均值(k＝512是根据训练测试划分之一以经验确定的)聚类以构建4个不同的词汇。然后使用这些不同的词汇集来量化来自每个帧的特征。可以改为使用局部约束线性编码(LLC)。所得到的量化表示被用于训练具有RBF核的SVM分类器。SVM分类器的参数是使用粗网格搜索算法选择的。
为了利用LBP特征进行分类，直接使用LBP直方图来训练具有8棵树的随机森林分类器，其中每棵树的最大深度为16级。然后使用直接的乘法融合算法来合并来自每个表示-分类器组合的输出置信度。因此，获得了关于帧的决定。
为了进行详细比较，利用使用预先训练的两层ISA网络(即，堆叠和卷积的ISA)学习的特征描述符来代替SIFT或LBP描述符。计算流水线(其包括向量量化和分类器训练)与基准(SIFT和LBP)方法在概念上类似。
图8显示了作为两类(即，二值)分类实验的性能度量的平均准确度、灵敏度和特异性。成胶质细胞瘤是正类别，脑膜瘤是负类别。这被专门执行以找出：与区分三个类别相比，不同的方法如何在相对较简单的任务中进行比较。准确度由所有真实分类(正的或负的)与所有样本的比率给出。另一方面，灵敏度是被检测为正的(例如，成胶质细胞瘤)的正样本的比例。最后，特异性涉及分类框架正确识别负的(例如，脑膜瘤)样本的能力。最后的列呈现所有方法在每秒分类的帧中的计算速度。
图9呈现了三个类别(成胶质细胞瘤(GBM)、脑膜瘤(MNG)和健康组织(HLT))中的每个类别的个体分类准确度。还比较了每秒分类的帧的速度。ISA方法中的卷积操作没有针对速度进行优化，但是可以通过硬件(例如，并行处理)和/或软件进行。在所有情况下，与SIFT和LBP方法相比，ISA方法提供平均6％的提高。
在堆中有或没有堆叠和卷积的情况下，ISA都提供较慢但有效的策略，以提取使实现在没有任何监督的情况下直接从数据进行有效表示学习的特征。在根据CLE图像进行脑肿瘤分类的极具挑战性的任务上显示了与现有技术的常规方法(SIFT和LBP)相比显著的性能改进。
图10显示了医疗系统11。医疗系统11包括共聚焦激光显微内镜(CLE)12、过滤器14、分类器16、显示器18和存储器20，但是可以设置附加的、不同的或更少的部件。例如，设置用于对过滤器14的输出进行编码以形成到分类器16的输入向量的编码器。作为另一示例，设置用于挖掘或访问输入至分类器的值(例如，患者的年龄)的患者数据库。在又一示例中，过滤器14和/或分类器16由分类器计算机或处理器来实现。在其他示例中，如在机器学习式处理器或计算机用于训练的情况下，不设置分类器16。反而，过滤器14实现卷积，机器学习式处理器执行图像特征(例如，ISA)的无监督学习和/或分类器16的训练。
医疗系统11实现图2、图3和/或图7的方法。医疗系统11执行训练和/或分类。训练是学习过滤器或其他局部特征提取器以用于分类。替代地或另外地，训练是基于通过无监督学习学习的输入特征的脑组织的CLE图像的分类器。分类使用机器学习的过滤器和/或分类器。相同或不同的医疗系统11用于训练和应用(即，分类)。在训练中，将相同或不同的医疗系统11用于无监督训练以学习过滤器14以及训练分类器16。在应用中，将相同或不同的医疗系统11用于利用学习的过滤器进行过滤并且用于分类。图10的示例是关于应用的。为了进行训练，设置了机器学习式处理器以创建过滤器14和/或分类器16。
医疗系统11包括主计算机、控制站、工作站、服务器或其他布置。该系统包括显示器18、存储器20和处理器。可以设置附加的、不同的或更少的部件。显示器18、处理器和存储器20可以是用于对来自CLE 12的图像进行图像处理的计算机、服务器或其他系统的一部分。用于CLE 12的工作站或控制站可以用于医疗系统11的其余部分。可替选地，使用不属于CLE 12的一部分的分离设备或远程设备。替代地，远程地执行训练和/或应用。在一个实施方式中，处理器和存储器20是由CLE 12的操作者用作客户端的托管训练或应用的服务器的一部分。客户端和服务器通过网络(如内联网或因特网)互连。客户端可以是用于CLE 12的计算机，服务器可以由医疗系统11的制造商、供应商、主机或创建者提供。
CLE 12是用于对脑组织进行成像的显微内镜。可以使用荧光共聚焦显微镜、多光子显微镜、光学相干断层扫描或其他类型的显微镜。在一个实施方式中，使用激光来激发脑组织中的荧光团。共焦原理用于对组织进行扫描，如在组织上扫描激光点并捕获图像。光纤或光纤束用于形成用于扫描的内窥镜。也可以使用其他CLE设备。
CLE 12被配置成获取患者的脑组织的图像。在脑手术期间，将CLE12插入患者的头部，并且对相邻组织进行成像。可以移动CLE 12以创建脑组织的视频。
CLE 12将一个或多个图像输出至过滤器14和/或存储器20。为了进行训练，CLE 12或多个CLE 12将图像提供至处理器。对于图10的应用示例，给定患者的一个或多个CLE图像被直接提供至过滤器14或者通过存储器20被提供至过滤器14。
过滤器14是数字过滤器或模拟过滤器。作为数字过滤器，使用图形处理单元、处理器、计算机、分立部件和/或其他设备来实现过滤器14。虽然显示了一个过滤器14，但是在其他实施方式中可以设置一组或多个过滤器14。
过滤器14被配置成将来自CLE 12的CLE图像与多个过滤器核中的每个过滤器核进行卷积。过滤器核是机器学习核。在训练中使用层级，对于第一级使用ISA来学习过滤器核，然后将学习的过滤器核与输入到第一级的图像进行卷积，然后在第二级中使用ISA来学习过滤器核，其中输入图像是卷积的结果。在替代实施方式中，使用除了ISA以外的其他成分分析，如PCA或ICA。在其他实施方式中不使用卷积和堆叠。
无监督学习的结果是过滤器核。过滤器14将学习的过滤器核应用于来自CLE 12的CLE图像。在任何采样或分辨率下，使用学习的过滤器核之一对CLE图像进行过滤。过滤器14针对每个过滤器核并行地重复或执行过滤，导致每个过滤器核的经过滤的图像。
机器学习式分类器16是配置有来自存储器20的矩阵的处理器。该配置是学习的输入与输出类别的关系。先前学习的SVM或其他分类器16针对应用来实现。
分类器16被配置成基于图像与过滤器核的卷积对来自CLE 12的CLE图像进行分类。过滤器14的输出用于创建输入向量。处理器或其他设备可以如应用字典、局部约束线性编码、PCA、词袋、聚类或其他方法来对经过滤的图像进行量化。例如，实现分类器16的处理器对来自过滤器14的经过滤的图像进行编码。可以例如从存储器20来收集其他输入信息。
输入信息作为输入向量被输入至分类器中。响应于输入值，分类器16输出CLE图像的类别。类别可以是二值的、层级的或多类别的。对于类别可以输出一个或多个概率，如10％健康、85％GBM和5％MNG。
显示器18是用于显示分类结果的CRT、LCD、投影仪、等离子体、打印机、智能电话或其他现在已知或以后开发的显示设备。可以用CLE图像来显示结果。例如，显示器18用类别的注释来显示CLE图像。作为另一示例，提供被分类为不健康或其他标记的对任何图像的标签或其他参考。响应于用户选择，显示针对给定标签被分类为不健康的CLE图像。用户可以重复循环肿瘤CLE图像，以确认分类的诊断或使用分类的诊断作为第二意见。
存储器20是外部存储设备、RAM、ROM、数据库和/或本地存储器(例如，固态驱动器或硬盘驱动器)。存储器20可以使用由处理器管理的并且驻留在诸如硬盘、RAM或可移除介质的存储器上的数据库管理系统(DBMS)来实现。可替选地，存储器20在处理器内部(例如，高速缓冲存储器)。
过滤的输出、过滤器核、CLE图像、用于分类器16的矩阵和/或分类可以存储在存储器20中。用作输入、结果和/或中间处理的任何数据可以存储在存储器20中。
用于实现在此讨论的训练或应用处理、方法和/或技术的指令存储在存储器20中。存储器20是非暂态计算机可读存储介质或存储器，如高速缓冲存储器、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质。相同或不同的非暂态计算机可读介质可以用于指令和其他数据。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或更多个指令集，执行附图中示出的或在此描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以通过单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。
在一个实施方式中，指令存储在可移除介质设备上以供本地或远程系统读取。在其他实施方式中，指令通过计算机网络存储在远程位置用于传送。在另外其他实施方式中，指令存储在给定计算机、CPU、GPU或系统内。由于附图中描绘的一些构成系统部件和方法步骤可以用软件来实现，因此系统部件(或处理步骤)之间的实际连接可以根据对本实施方式进行编程的方式而不同。
计算机、服务器、工作站或其他设备的处理器实现过滤器14和/或分类器16。程序可以被上载到包括任何合适的架构的处理器并且由其执行。同样地，处理策略可以包括多处理、多任务、并行处理等。处理器在具有诸如一个或更多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口的硬件的计算机平台上实现。计算机平台还包括操作系统和微指令代码。在此描述的各种处理和功能可以是经由操作系统执行的微指令代码的一部分或程序的一部分(或其组合)。可替选地，处理器是网络中的一个或更多个处理器。
在此描述的各种改进可以一起使用或分开使用。尽管已经参照附图在此描述了本发明的说明性实施方式，但是应当理解的是，本发明不限于这些确切的实施方式，并且在不偏离本发明的范围或精神的情况下，本领域技术人员可以在其中影响各种其他变化和修改。

Claims (20)

1.一种用于医疗图像系统中的脑肿瘤分类的方法，所述方法包括：
从患者的脑部的共聚焦激光显微内镜图像提取(60)局部特征，所述局部特征利用在第一层和第二层中的每层中根据独立子空间分析学习的过滤器来提取，其中所述第二层是基于来自所述第一层的输出与所述图像的卷积；
对所述局部特征进行编码(62)；
根据所编码的局部特征利用机器学习式分类器进行分类(64)，所述分类(64)指示所述图像是否包括肿瘤；以及
生成(66)表示所述分类的图像。
2.根据权利要求1所述的方法，其中，提取(60)包括生成(66)经过滤的图像，并且其中，编码(62)包括对经过滤的图像执行主成分分析、k均值分析、聚类或词袋。
3.根据权利要求1所述的方法，其中，分类(64)包括利用包括支持向量机分类器的机器学习式分类器进行分类(64)。
4.根据权利要求1所述的方法，其中，分类(64)包括对所述图像是否包括多形性胶质母细胞瘤、脑膜瘤或者多形性胶质母细胞瘤和脑膜瘤进行分类(64)。
5.根据权利要求1所述的方法，其中，生成(66)所述图像包括指示具有所述肿瘤的图像。
6.根据权利要求1所述的方法，其中，根据独立子空间分析学习的提取(60)包括：利用所述过滤器的过滤器核对所述图像进行过滤，所述过滤的输出是所述局部特征。
7.根据权利要求1所述的方法，其中，根据独立子空间分析学习的提取(60)包括利用在所述第一层和所述第二层中依次学习的所述过滤器进行过滤，所述第一层包括作为利用所述独立子空间分析学习的所述输出的补丁，所述补丁与所述图像进行卷积，所述卷积的结果被输入至所述第二层。
8.根据权利要求1所述的方法，还包括：
获取(58)所述图像作为多个共聚焦激光显微内镜图像之一，基于帧熵从所述多个图像中选择一个图像。
9.一种用于学习医疗系统中的脑肿瘤分类的方法，所述方法包括：
利用一个或更多个共聚焦激光显微内镜获取(40)表示肿瘤脑组织和健康脑组织的共聚焦激光显微内镜图像；
由所述医疗系统的机器学习式计算机对每个利用独立子空间分析的多个层中的图像执行(42)无监督学习，所述层中的所述学习被贪婪地执行；
由过滤器利用从所述无监督学习输出的过滤器核对所述图像进行过滤(50)；
对经过滤的图像进行编码(52)；
对所述编码(52)的输出进行池化(54)；
由所述医疗系统的所述机器学习式计算机利用机器学习对分类器进行训练(56)，以基于作为输入向量的所述输出的池化来区分表示所述肿瘤脑组织的图像和表示所述健康脑组织的图像。
10.根据权利要求9所述的方法，其中，获取(40)包括利用所述共聚焦激光显微内镜中不同的共聚焦激光显微内镜从不同的患者获取(40)。
11.根据权利要求9所述的方法，其中，执行(42)包括提取用于所述输入向量的特征。
12.根据权利要求9所述的方法，其中，执行(42)包括学习(44，48)所述图像的层级表示。
13.根据权利要求9所述的方法，其中，执行(42)包括：在所述层中的第一层中利用所述独立子空间分析从所述图像学习(44)多个补丁；将所述补丁与所述图像进行卷积(46)；以及根据所述卷积的结果利用所述独立子空间分析来学习(48)所述过滤器核。
14.根据权利要求13所述的方法，其中，利用独立子空间分析来学习(44，48)所述过滤器核和所述补丁均包括在多层网络中利用平方非线性和平方根非线性进行学习。
15.根据权利要求9所述的方法，还包括：在所述第二层中的所述无监督学习之前，利用主成分分析使所述无监督学习的第一层的输出白化。
16.根据权利要求9所述的方法，其中，过滤(50)包括卷积，并且其中，编码(52)包括聚类或执行主成分分析。
17.根据权利要求9所述的方法，其中，编码(52)包括提取词汇，并且其中，池化包括对利用所述词汇经过滤的图像进行量化。
18.根据权利要求9所述的方法，其中，训练(56)包括使用粗网格搜索所选择的参数利用径向基函数核来训练(56)支持向量机。
19.一种医疗系统(11)，包括：
共聚焦激光显微内镜(12)，其配置成获取患者的脑组织的图像；
过滤器(14)，其配置成将所述图像与多个过滤器核进行卷积，所述过滤器核包括来自第一级的学习核的层级的机器学习核，所述卷积是所述图像与来自所述第一级的所述学习核的卷积，并且从所述卷积的结果的输入中学习所述过滤器核；
机器学习式分类器(16)，其配置成基于所述图像与所述过滤器核的所述卷积来对所述图像进行分类；以及
显示器(18)，其配置成显示所述分类的结果。
20.根据权利要求19所述的医疗系统，其中，所述学习核和所述过滤器核包括独立子空间分析学习核。
CN201680045060.2A 2015-08-04 2016-07-22 用于脑肿瘤分类的视觉表示学习 Pending CN107851194A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562200678P 2015-08-04 2015-08-04
US62/200,678 2015-08-04
PCT/US2016/043466 WO2017023569A1 (en) 2015-08-04 2016-07-22 Visual representation learning for brain tumor classification

Publications (1)

Publication Number Publication Date
CN107851194A true CN107851194A (zh) 2018-03-27

Family

ID=56618249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680045060.2A Pending CN107851194A (zh) 2015-08-04 2016-07-22 用于脑肿瘤分类的视觉表示学习

Country Status (5)

Country Link
US (1) US20180204046A1 (zh)
EP (1) EP3332357A1 (zh)
JP (1) JP2018532441A (zh)
CN (1) CN107851194A (zh)
WO (1) WO2017023569A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法
CN110490216A (zh) * 2018-05-15 2019-11-22 由昉信息科技（上海）有限公司 一种自学式数据分类系统和方法
CN111640118A (zh) * 2019-03-01 2020-09-08 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748277B2 (en) 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
WO2018152248A1 (en) * 2017-02-14 2018-08-23 Dignity Health Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
TWI614624B (zh) 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法
JP6710853B2 (ja) * 2017-07-07 2020-06-17 浩一 古川 プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
KR101825719B1 (ko) * 2017-08-21 2018-02-06 (주)제이엘케이인스펙션 뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치
US10565708B2 (en) * 2017-09-06 2020-02-18 International Business Machines Corporation Disease detection algorithms trainable with small number of positive samples
US10713563B2 (en) * 2017-11-27 2020-07-14 Technische Universiteit Eindhoven Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
US10733788B2 (en) 2018-03-15 2020-08-04 Siemens Healthcare Gmbh Deep reinforcement learning for recursive segmentation
WO2020012872A1 (ja) 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
US10878570B2 (en) 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
CN109498037B (zh) * 2018-12-21 2020-06-16 中国科学院自动化研究所 基于深度学习提取特征和多重降维算法的脑认知测量方法
WO2020152815A1 (ja) * 2019-01-24 2020-07-30 国立大学法人大阪大学 推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム
WO2020159935A1 (en) * 2019-01-28 2020-08-06 Dignity Health Systems, methods, and media for automatically transforming a digital image into a simulated pathology image
WO2020176762A1 (en) * 2019-02-27 2020-09-03 University Of Iowa Research Foundation Methods and systems for image segmentation and analysis
CN110895815A (zh) * 2019-12-02 2020-03-20 西南科技大学 一种基于深度学习的胸部x线气胸分割方法
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
US20150110381A1 (en) * 2013-09-22 2015-04-23 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
CN104573729A (zh) * 2015-01-23 2015-04-29 东南大学 一种基于核主成分分析网络的图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352900A (ja) * 2004-06-11 2005-12-22 Canon Inc 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法
US9697582B2 (en) * 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
US9799098B2 (en) * 2007-04-24 2017-10-24 Massachusetts Institute Of Technology Method and apparatus for image processing
JP2010157118A (ja) * 2008-12-26 2010-07-15 Denso It Laboratory Inc パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
US8682086B2 (en) * 2010-06-02 2014-03-25 Nec Laboratories America, Inc. Systems and methods for determining image representations at a pixel level
JP2014212876A (ja) * 2013-04-24 2014-11-17 国立大学法人金沢大学 腫瘍領域判別装置及び腫瘍領域判別方法
US9655563B2 (en) * 2013-09-25 2017-05-23 Siemens Healthcare Gmbh Early therapy response assessment of lesions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110381A1 (en) * 2013-09-22 2015-04-23 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
CN104573729A (zh) * 2015-01-23 2015-04-29 东南大学 一种基于核主成分分析网络的图像分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490216A (zh) * 2018-05-15 2019-11-22 由昉信息科技（上海）有限公司 一种自学式数据分类系统和方法
CN111640118A (zh) * 2019-03-01 2020-09-08 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征
CN111640118B (zh) * 2019-03-01 2024-03-01 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征
US11969239B2 (en) 2019-03-01 2024-04-30 Siemens Healthineers Ag Tumor tissue characterization using multi-parametric magnetic resonance imaging
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法
CN110264462B (zh) * 2019-06-25 2022-06-28 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法

Also Published As

Publication number Publication date
WO2017023569A1 (en) 2017-02-09
JP2018532441A (ja) 2018-11-08
US20180204046A1 (en) 2018-07-19
EP3332357A1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
CN107851194A (zh) 用于脑肿瘤分类的视觉表示学习
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Codella et al. Deep learning, sparse coding, and SVM for melanoma recognition in dermoscopy images
US20180096191A1 (en) Method and system for automated brain tumor diagnosis using image classification
Yi et al. Optimizing and visualizing deep learning for benign/malignant classification in breast tumors
EP3252671A1 (en) Method of training a deep neural network
WO2017055412A1 (en) Method and system for classification of endoscopic images using deep decision networks
Santosh et al. Deep learning models for medical imaging
CN107408198A (zh) 细胞图像和视频的分类
Hossain et al. Vision transformers, ensemble model, and transfer learning leveraging explainable AI for brain tumor detection and classification
CN115223715A (zh) 一种基于多模态信息融合的癌症预测方法与系统
US11922628B2 (en) Systems, methods, and apparatuses for the generation of self-taught models genesis absent manual labeling for the processing of medical imaging
Yang et al. Virtual microscopy and grid-enabled decision support for large-scale analysis of imaged pathology specimens
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN116091446A (zh) 食管内窥镜图像的异常检测方法、系统、介质及设备
Xu Comparison of CNN Models in Non-small Lung Cancer Diagnosis
Arjun et al. A combined approach of VGG 16 and LSTM transfer learning technique for skin melanoma classification
Kukar et al. Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease
Wang et al. HER2-MCNN: a HER2 classification method based on multi convolution neural network
Manivannan Visual feature learning with application to medical image classification.
Dhanokar et al. Classifying Chest Pathology Images using Deep Learning Techniques
Farhangfar et al. Learning to segment from a few well-selected training images
Jadhav et al. Deep Learning Approaches for Brain Tumor Detection in MRI Images: A Comprehensive Survey
Chowdhury et al. Classification images using of LSTM-based diseases from CNN CT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication