CN107408197A - 基于解卷积网络的细胞图像和视频的分类的系统和方法 - Google Patents

基于解卷积网络的细胞图像和视频的分类的系统和方法 Download PDF

Info

Publication number
CN107408197A
CN107408197A CN201580077123.8A CN201580077123A CN107408197A CN 107408197 A CN107408197 A CN 107408197A CN 201580077123 A CN201580077123 A CN 201580077123A CN 107408197 A CN107408197 A CN 107408197A
Authority
CN
China
Prior art keywords
characteristic pattern
input picture
image
cell
cell classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580077123.8A
Other languages
English (en)
Inventor
万韶华
孙善辉
陈德仁
波格丹·杰奥尔杰斯库
阿里·卡门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107408197A publication Critical patent/CN107408197A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

一种用于执行细胞分类的方法，包括使用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器生成多个特征图。对多个特征图中的每个特征图应用特征池化操作以产生多个图像表示。每个图像表示被分类为多个细胞类型之一。

Description

基于解卷积网络的细胞图像和视频的分类的系统和方法
技术领域
本公开内容大体涉及用于执行基于解卷积网络的细胞图像和视频的分类的方法、系统和装置。所提出的技术可应用于例如各种细胞图像分类任务。
背景技术
体内细胞成像是使用从诸如显微内镜的成像系统获取的图像对活细胞的研究。由于荧光蛋白和合成荧光团技术的最新进展，越来越多的研究工作专注于提供对细胞和组织功能的基本性质的洞察的体内细胞成像技术。体内细胞成像技术现在跨越多种模式，包括例如多光子、旋转盘显微镜、荧光、相位对比度和差分干涉对比度以及基于激光扫描共焦的装置。
另外，对各种常规临床病理检查采用计算机辅助图像分析技术也越来越感兴趣。随着数字存储和处理的显微成像数据的量的不断增加，一个挑战是对这些图像进行分类，并在医疗过程中可靠地将其理解。通过这些技术获得的结果用于支持临床医生的手动/主观分析，从而产生更可靠和一致的测试结果。为此，为了解决手动测试过程的缺点，人们可以使用计算机辅助诊断(CAD)系统和方法来自动确定给定体内细胞图像中的图案。最先进的图像识别系统依赖于人为设计的特征，诸如尺度不变特征变换(SIFT)、局部二进制模式(LBP)、定向梯度直方图(HOG)和Gabor特征。尽管人为设计的特征在许多基准数据集上提供了最先进的性能，但由于其工程设计的手动性，这些特征的应用受到限制。
近年来，无监督的特征学习已经显示出优于用于各种图像识别任务的人为设计的特征。对于细胞图像识别，无监督学习提供了学习特征植根于对象/图像识别处理的生物推理中的潜力。因此，希望提供用于细胞分类的系统和方法，其使用无监督的学习技术来解决当前分类系统在其分析中利用人为设计的特征的限制性。
发明内容
本发明的实施方式通过提供与基于解卷积网络的细胞图像和视频的分类相关的方法、系统和装置来解决和克服一个或多个上述缺点和不足。简而言之，细胞图像使用学习生物特异性过滤器和鉴别特征图的无监督特征学习方法以及在给出图像的特征图(feature map，特征映射图)的情况下生成最终图像表示的三个处理单元的级联进行分类。本文讨论的各种实施方式可用于增加细胞图像的识别精度。本文提供的示例涉及脑肿瘤显微内镜图像。然而，应理解，本文所述的技术可类似应用于其他类型的医学图像或甚至是自然图像的分类。
根据一些实施方式，一种用于执行细胞分类的方法，包括使用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器(biologically-specific filter)生成多个特征图。对每个特征图应用特征池化操作以产生多个图像表示。每个图像表示被分类为多种细胞类型中的一种。在一些实施方式中，逐元素绝对值函数(element-wiseabsolute function)可应用于特征图。在一个实施方式中，逐元素绝对函数的应用跟随有局部对比度归一化，其可包括例如对每个特征图应用局部减法运算和除法运算。在输入图像集合包括视频流的实施方式中，每个图像表示可在具有预定长度的时间窗口内使用多数表决来分类。
在上述方法的一个实施方式中，输入图像例如在医疗过程期间使用显微内镜装置或数字全息显微镜装置来获取。为每个输入图像计算熵值。每个熵值表示相应图像中的纹理信息的量。在输入图像的集合中识别一个或多个低熵图像(例如，具有的熵值低于阈值的图像)。接下来，该输入图像的集合基于输入图像生成并排除低熵图像。
在上述方法的一些实施方式中，无监督学习处理被用于基于多个训练图像来确定生物特异性过滤器。例如，在一个实施方式中，无监督学习处理迭代地应用求解生物特异性过滤器的代价函数(cost function)和重建多个训练图像中的每个训练图像的最佳特征图集合。代价函数可例如使用交替投影法来求解。
根据其他实施方式，一种用于在医疗过程期间执行细胞分类的第二方法，包括在医疗过程之前和期间执行的特征。在医疗过程之前，无监督学习处理用于基于训练图像确定生物逻辑特异性过滤器。在医疗过程期间，执行细胞分类处理。该处理可包括使用显微内镜装置获取输入图像以及使用卷积稀疏编码处理来基于输入图像和生物逻辑特异性过滤器生成特征图。特征池化操作被应用于特征图以产生图像表示，以及经训练的分类器用于确定与图像表示相对应的类别标签。该类别标签可以提供例如输入图像中的生物材料为恶性、良性还是健康组织的指示。一旦确定了类别标签，其可被呈现在可操作地耦接到显微内镜装置的显示器上。
可在上述第二方法中添加、修改和/或重限定各种特征。例如，在一些实施方式中，在应用特征池化操作之前，将逐元素绝对值函数应用于特征图。在一些实施方式中，在应用特征池化操作之前，将局部对比度归一化应用于特征图。该局部对比度归一化可包括例如局部减法运算和除法运算对特征图的应用。
根据其他实施方式，一种执行细胞分类的系统，包括显微镜装置、成像计算机和显示器。显微镜装置被配置成在医疗过程期间获取输入图像的集合。该装置可包括例如共焦激光显微内镜装置或数字全息显微镜装置。成像计算机被配置成在医疗过程期间执行细胞分类处理。该细胞分类处理可包括使用卷积稀疏编码处理以基于输入图像的集合和生物特异性过滤器生成特征图，并且对每个特征图应用特征池化操作以产生图像表示，图像表示继而被用于确定与该输入图像的集合相对应的细胞类别标签。在一些实施方式中，细胞分类处理进一步包括在应用特征池化操作之前，对每个特征图应用逐元素绝对值函数和局部对比度归一化。包含在系统中的显示器被配置成在医疗过程期间呈现输入图像的细胞类别标签。
根据参照附图进行的说明性实施方式的以下详细描述，本发明的附加特征和优点将变得显而易见。
附图说明
从下面结合附图阅读的详细描述可以最佳地理解本发明的上述和其他方面。出于说明本发明的目的，在附图中示出了当前优选的实施方式，但是应理解，本发明不限于所公开的具体手段。附图中包括有以下各图：
图1提供了根据一些实施方式的可用于执行细胞分类的基于显微内镜的系统的示例；
图2提供了可在本发明的一些实施方式中应用的细胞分类处理的概述；
图3提供了胶质母细胞瘤和脑膜瘤的一组低熵和高熵图像；
图4提供了可在一些实施方式中使用的脑肿瘤数据集中的图像的图像熵分布的示例；
图5提供了根据一些实施方式的可在过滤器学习期间使用的交替投影方法的示例；
图6提供了根据一些实施方式的使用作为训练图像的胶质母细胞瘤图像和脑膜瘤图像集合生成的学习过滤器的示例；
图7提供了可使用本文讨论的一些技术来执行的特征图提取的示例；以及
图8示出了其内可实现本发明的实施方式的示例性计算环境。
具体实施方式
以下公开包括涉及与使用基于解卷积网络的无监督特征学习模型的细胞在线图像分类系统相关的方法、系统和装置的若干实施方式。如本领域所理解的，解卷积网络为基于图像的卷积分解的无监督学习框架。解卷积网络提供从输入图像学习生物相关特征的能力，由于框架的卷积重建性质，学习过的特征对于转化(translation)是不变的。参考两种细胞成像模式：共焦激光显微内镜(CLE)和数字全息显微镜(DHM)来描述用于细胞分类的各种系统、方法和装置。然而，应理解，本公开的各种实施方式不限于这些模式并且可应用于各种临床设定。另外，应理解，本文所述的技术可应用于各种类型的医学图像或甚至自然图像的分类。
图1提供了根据一些实施方式的可用于执行细胞分类的基于显微内镜的系统100的示例。简而言之，显微内镜为通过称为“光学活检”的处理从人体内部实时获得组织学图像的技术。尽管多光子显微镜法和光学相干断层摄影术也适用于显微内镜使用并且可同样用在各种实施方式中，但是术语“显微内镜”通常是指荧光共焦显微内镜。市售的临床显微内镜的非限制性实例包括Pentax ISC-1000/EC3870CIK和Cellvizio(法国巴黎的MaunaKea技术公司)。传统上主要应用于胃肠道成像，特别是用于Barrett食管、胰腺囊肿和结肠直肠病变的诊断和鉴定。共焦显微内镜的诊断范围最近已从结肠直肠癌筛查和监测扩展到Barrett食管、幽门螺杆菌相关性胃炎和早期胃癌。通过点扫描激光荧光分析，显微内镜可以在全分辨率的内窥镜检查中进行肠粘膜和体内组织学的亚表面分析。可以详细地观察细胞、血管和结缔组织。用共焦激光显微内镜观察的新的详细图像将允许看到在肠表面及其下方的细胞结构和官能的独特外观。另外，如下面进一步详细讨论的，显微内镜也可应用于脑外科手术，在脑外科手术中，正常组织的恶性(胶质母细胞瘤)和良性(脑膜瘤)肿瘤的鉴别在临床上是重要的。
在图1的示例中，一组装置被配置成执行共焦激光显微内镜(CLE)。这些装置包括可操作地耦接到成像计算机110和成像显示器115的探针105。在图1中，探针105为共焦微型探针。然而，应注意，可使用各种类型的微型探针，包括被设计成用于成像各种的视场、成像深度、远端尖端直径以及横向和轴向分辨率的探针。成像计算机110提供在成像期间由探针105使用的激发光源或激光源。此外，成像计算机110可包括执行诸如记录、重建、修改和/或导出由探针105收集的图像的任务的成像软件。成像计算机110也可被配置成执行下面关于图2更详细讨论的细胞分类处理。
脚踏开关(图1中未示出)也可连接到成像计算机110，以允许用户执行诸如例如调整共焦成像穿透的深度、开始和停止图像获取和/或将图像保存到本地硬盘驱动器或远程数据库(诸如数据库服务器125)的功能。可替换地或者附加地，其他输入装置(例如，计算机、鼠标等)可被连接到成像计算机110以执行这些功能。成像显示器115经由成像计算机110接收由探针105捕获的图像，并呈现这些图像用于在临床设定(clinicalsettling)中观看。
继续图1的示例，成像计算机110(直接或间接地)连接到网络120。网络120可以包括本领域已知的任何计算机网络，包括但不限于内联网或互联网。通过网络120，成像计算机110可以在远程数据库服务器125上存储图像、视频或其他相关数据。另外，用户计算机130可以与成像计算机110或数据库服务器125进行通信以检索此后可以在用户计算机130本地处理的数据(例如，图像、视频或其他相关数据)。例如，用户计算机130可从成像计算机110或数据库服务器125检索数据，并使用它来执行下面在图2中讨论的细胞分类处理。
尽管图1示出了基于CLE的系统，但是在其他实施方式中，系统可替换地使用DHM成像装置。也被称为干涉相位显微内镜术的DHM，是提供定量跟踪透明样品的亚纳米光学厚度变化的能力的成像技术。与仅捕获了关于样本的强度(幅度)信息的传统数字显微内镜不同，DHM捕获相位和强度两者。被捕获作为全息图的相位信息，可以被用于使用计算机算法重建关于样本的扩展形态信息(例如，深度和表面特性)。现代DHM实施方案提供了几个额外的益处，诸如快的扫描/数据获取速度、低噪声、高分辨率和无标签样本获取的可能性。虽然DHM在20世纪60年代首次被描述，但是仪器尺寸、操作的复杂性和成本一直是该技术在临床或点护理应用中被广泛采用的主要障碍。最新的发展尝试解决这些障碍，同时增强关键特征，提高DHM可以成为作为医疗保健领域及其他领域的核心、有多重影响技术的有吸引力的选项的可能性。
DHM以潜在的无标签方式实现具有扩展深度和形态学信息的高分辨率、宽场成像的能力，将该技术定位于多种临床应用中，包括：血液学(例如RBC体积测量、白血球差异、细胞类型分类)、尿沉积物分析(例如，扫描层中微流体样品以重建沉积物并提高沉积物成分的分类精度)；组织病理学(例如，利用扩展的形态/DHM的对比度来区分在新鲜组织中的癌细胞和健康细胞而不进行标记)；以及罕见细胞检测(例如，利用扩展的形态/DHM的对比度来区分稀有细胞，诸如循环肿瘤/上皮细胞、干细胞、感染的细胞等)。鉴于DHM技术的最新进展—特别是尺寸减小、复杂性和成本降低—这些和其他应用(包括下面图2中描述的细胞分类处理)可以在临床环境中或以分散的方式在护理点进行。
图2提供了可在本发明的一些实施方式中应用的细胞分类处理200的概述。该处理200被示出为一包括三个部分的流水线：离线无监督过滤器学习、离线监督分类器训练、和在线图像和视频分类。处理100的核心组件为过滤器学习、卷积稀疏编码、特征池化和分类。简而言之，从一个或多个训练图像中学习生物特异性过滤器(biologically-specificfilter)。从生物成像装置(参见图1)直接或间接接收一个或多个图像帧。然后，应用卷积稀疏编码将学习过滤器分解为用于与学习过滤器进行卷积的图像的一组稀疏特征图的和。这些特征图然后通过三层处理：逐元素绝对值整流(Abs)、局部对比度归一化(LCN)和特征池化(FP)。最后，将分类器应用于所得的特征，以基于预定的细胞数据来识别数据的一个或多个类别标签。这些类别标签可提供例如特定组织为恶性还是良性的指示。附加地，在一些实施方式中，类别标签可提供健康组织的指示。下面将更详细地描述用于执行细胞分类处理200的各种组件，以及可在一些实施方式中应用的一些额外的可选特征。
在开始细胞分类处理200之前，可选地，可以使用基于熵的图像修剪组件205来自动移除具有可能不是临床上感兴趣或不适于图像分类的低图像纹理信息(例如，低对比度并且包含很少的分类信息)的图像帧。例如，可使用该移除来解决一些CLE装置的有限的成像能力的问题。图像熵为用于描述图像的“信息量”的量，即包含在图像中的信息的量。低熵图像具有非常小的对比度和大量运行的具有相同或相似灰度值的像素。另一方面，高熵图像具有从一个像素到下一像素的很大对比度。图3提供了胶质母细胞瘤和脑膜瘤的一组低熵和高熵图像。如图所示，低熵图像包含大量均匀的图像区域，而高熵图像通过丰富的图像结构来表征。
在一些实施方式中，基于熵的图像修剪组件205使用熵阈值来执行修剪。该阈值可基于整个数据集中的图像熵的分布来设定。图4提供了可在一些实施方式中使用的脑肿瘤数据集中的图像的图像熵分布的示例。可以看出，存在相对大量的图像，其熵显著低于其余图像的熵。因此，对于该示例，可以将熵阈值设置成使得10％的图像将从我们系统的后期阶段被丢弃(例如，对于图4中所示的数据，为4.05)。
继续参考图2，过滤器学习组件215被配置成从训练图像中学习生物特异性过滤器。在学习过滤器时可使用各种技术。例如，在一些实施方式中，迭代地求解优化问题以确定过滤器。令为一组2D图像，其中，xi∈Rm×n，并且令为一组卷积过滤器，其中，fk∈Rw×w。对于每个图像xi，令为一组特征图，其中，具有维度(m+w-1)×(n+w-1)。在训练期间，过滤器学习组件215旨在求解重建每个训练图像的最佳过滤器集合和特征图。在一些实施方式中，这些计算由以下方程式定量：
方程式1中的第一项表示图像重建误差，以及第二项表示施加在特征图上的稀疏正则化。在此方程中，||·||1为L1范数，||·||2为L2范数。星号*表示2D离散卷积运算符。参数λ为稀疏正则化项的权重参数。可对过滤器施加单位能量约束(方程式2)以避免平凡解。在一些实施方式中，方程式1可以用交替投影方法来求解，交替地，在特征图上最小化同时保持过滤器固定，然后在过滤器上最小化同时保持特征图固定。尽管目标方程式1不相对于F和Z共同凸出，但是当另一个被固定时，它们相对于它们中的每一个凸出。因此，算法的收敛是有保证的。该算法的示例实施方案在图5中给出。
应注意，上面讨论的用于学习过滤器的技术仅仅为如何确定过滤器的一个示例。该技术可在不同的实施方式中变化。例如，可以使用除交替投影之外的优化算法来求解方程(例如，乘法器的交替方向方法或快速迭代收缩阈值算法)，或者可采用不同的学习技术(例如，神经网络)。附加地(或可替代地)，可在过滤器计算中使用除上述讨论的方程之外的方程式。
卷积稀疏编码组件220利用来自过滤器学习组件215的学习过滤器，并将它们分解为针对与学习过滤器进行卷积的输入图像210的一组稀疏特征图的和。通过使用上面关于方程式1讨论的符号，这些特征图在本文中被称为卷积稀疏编码为本领域通常已知的技术，其被设计为直接建模移位不变性，以克服将稀疏编码技术应用于大图像时的可扩展性问题。卷积稀疏编码的对象可表示如下：
方程式3可使用与上述方程式(1)的求解类似的优化方程式求解。因此，例如，可采用诸如FISTA或乘法器的交替方向法的技术。
在卷积稀疏编码组件220完成其处理之后，特征图通过三层处理：逐元素绝对值整流(Abs)、局部对比度归一化(LCN)和特征池化(FP)。图2所示的Abs组件230在每个特征图中逐元素地计算绝对值，以避免后续操作中的消除效应。LCN组件235通过执行局部减法和除法运算来增强更强的特征响应并且抑制整个特征图中的较弱特征。对于给定位置(其中p和q为特征图上的x和y方向上的像素索引)的局部减法运算可以例如如下确定：
在方程式4中，wΔpΔq为被归一化使得∑ΔpΔyqwΔpΔq＝1和ΔpΔq为x和y方向上的像素索引的加权函数。可根据以下方程式执行局部除法运算：
特征池化组件240应用一个或多个特征池化运算来汇总特征图以生成最终图像表示。特征池化组件240可应用本领域中已知的任何池化技术，包括例如最大池化、平均池化或其组合。例如，在一些实施方式中，特征池化组件240使用最大池化和平均池化运算的组合。例如，每个特征图可被划分成规则间隔的方形斑块，并且可应用最大轮询操作(即，可确定在每个方形斑块上的特征的最大响应)。最大池化运算允许转化的局部不变性。然后，可从方形斑块计算最大响应的平均值，即在最大池化之后应用平均池化。最后，图像表示可通过聚合来自平均池化运算的特征响应而形成。
分类组件245基于一个或多个预定义的标准来确定最终图像表示的一个或多个类别标签。这些类别标签可提供例如特定组织为恶性还是良性的指示。附加地，在一些实施方式中，类别标签可提供健康组织的指示。分类组件245利用可基于临床研究来训练和配置的一个或多个分类器算法。例如，在一些实施方式中，分类器使用脑肿瘤数据集来训练，使得其可以将图像标记为胶质母细胞瘤或脑膜瘤。分类组件245可使用各种类型的分类器算法，包括但不限于支持向量机(SVM)、k-最近邻(k-NN)和随机森林。另外，可以组合地使用不同类型的分类器。
对于视频图像序列，可选地，多数表决组件250可以执行增强视频流的识别性能的基于多数表决的分类方案。因此，如果输入图像为基于视频流的输入图像，则处理200能够并入来自相邻图像的视觉提示。多数表决组件250使用按照因果方式围绕当前帧的固定长度的时间窗口内的图像的多数表决结果，将类别标签分配给当前图像。窗口的长度可基于用户输入来配置。例如，用户可提供特定长度值或可被用于导出这样的值的临床设定。另选地，长度可基于对过去结果的分析来随时间动态调整。例如，如果用户指示多数表决组件250提供不够好或次优的结果，则可通过以小的值修改窗口大小来调整该窗口。随着时间的推移，多数表决组件250可以学习用于由细胞分类处理200处理的每种类型的数据的最佳窗口长度。在一些实施方式中，窗口长度也可取决于帧速率。
作为细胞分类处理200的示例应用，考虑使用插入患者脑内用于检查脑肿瘤组织的CLE装置(参见图1)所收集的显微内镜视频的数据集。该收集可能会产生胶质母细胞瘤的视频集合和脑膜瘤的视频集合。在图3中提供在此些视频中收集的图像的一个示例。应指出，具有低图像纹理信息的一些帧不是临床上感兴趣的或对于图像分类来说不可辨别的。图像熵可用于测量图像区域的“信息量”(即，包含在图像中的信息量)。具有低于预定义阈值的图像熵值的那些图像可从评估中排除。
继续该示例，交替投影算法(参见图5)可被用于学习一组生物组分特异性的过滤器。大量胶质母细胞瘤图像和脑膜瘤图像可被用作训练图像。图6提供使用此些数据生成的学习过滤器的示例。从图6可以看出，过滤器通过与胶质母细胞瘤和脑膜瘤图像中的粒状和纹理图案相似的点和边缘来表征。然后，应用卷积稀疏编码将学习过滤器分解为与学习过滤器进行卷积的一组稀疏特征图的和。图7提供了可使用本文讨论的一些技术来执行的特征图提取的示例。上图为用于示例输入图像的一组特征图。给定胶质母细胞瘤图像的特征图中的条目大部分为零。过滤器和图像图案之间的相似性以及特征图的稀疏性联合使得我们的特征表示比常规的手工设计的特征表示更具判别力。
细胞分类处理200的另一应用是执行在线视频分类。因此，可能不需要首先获取整个视频序列，然后进行分类。
为了评估本文讨论的技术的性能，使用留一视频法进行分析。更具体地，作为第一步，随机选择10个胶质母细胞瘤和10个脑膜瘤序列。接下来，作为第二步骤，从该第一集合中选择一对序列以用于测试，并且剩余的序列用于训练。然后，作为第三步，从训练集合中选择4000个胶质母细胞瘤帧和4000个脑膜瘤帧。第二和第三步骤重复5轮，并计算平均值。对于每个图像，其特征图通过使方程式3中的对象最小化来计算。然后，通过Abs、LCN和特征池化技术(上面参考图2讨论)处理特征图以产生最终图像。然后，使用SVM分类器来提供图像的最终分类。此分析利用一组不同的池化参数执行，从而证明具有10个像素间隔和30个像素的斑块大小的最大池化提供了良好的识别性能，如提供了上述关于脑肿瘤数据集的识别精度的下表所示：
精度 灵敏度 特异性
0.8758 0.841 0.92
图8示出了其中可实现本发明的实施方式的示例性计算环境800。例如，该计算环境800可用于实现图1所示的一个或多个装置，并执行图2中描述的细胞分类处理200。计算环境800可包括计算机系统810，计算机系统810为其上可实现本发明的实施方式的计算系统的一个示例。诸如计算机系统810和计算环境800的计算机和计算环境，为本领域技术人员已知的，因此在此简要描述。
如图8所示，计算机系统810可包括通信机构，诸如总线821或用于在计算机系统810内传送信息的其他通信机构。计算机系统810另外包括与总线821耦接以处理信息的一个或多个处理器820。处理器820可包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域已知的任何其他处理器。
计算机系统810还包括耦接到总线821的系统存储器830，其用于存储信息和由处理器820执行的指令。系统存储器830可包括采用易失性和/或非易失性存储器形式的诸如只读存储器(ROM)831和/或随机存取存储器(RAM)832的计算机可读存储介质。系统存储器RAM 832可包括一个或多个其他动态存储装置(例如，动态RAM、静态RAM和同步DRAM)。系统存储器ROM 831可包括一个或多个其他静态存储装置(例如，可编程ROM、可擦除PROM和电可擦除PROM)。此外，系统存储器830可用于存储在由处理器820执行指令期间的临时变量或其他中间信息。例如在启动期间，包含帮助在计算机系统810内的元件之间传送信息的基本例程的基本输入/输出系统833(BIOS)可被存储在ROM 831中。RAM 832可包含处理器820可立直接访问和/或正由其操作的数据和/或程序模块。系统存储器830可另外包括例如操作系统834、应用程序835、其他程序模块836和程序数据837。
计算机系统810还包括耦接到总线821的盘控制器840(例如，软盘驱动器、光盘驱动器、磁带驱动器和/或固态驱动器)，以控制存储信息和指令的一个或多个存储装置，诸如硬盘841和可移动介质驱动器842。可使用适当的装置接口(例如，小型计算机系统接口(SCSI)、集成装置电子装置(IDE)、通用串行总线(USB)或火线)将存储装置添加到计算机系统810。
计算机系统810还可包括耦接到总线821的显示控制器865，其控制诸如阴极射线管(CRT)或液晶显示器(LCD)的用于向计算机用户显示信息的显示器866。计算机系统包括输入接口860和一个或多个输入装置，诸如键盘862和指向装置861，其用于与计算机用户交互并向处理器820提供信息。指向装置861例如可为用于将方向信息和命令选择传送到处理器820并用于控制显示器866上的光标移动的鼠标、轨迹球或指向杆。显示器866可提供触摸屏界面，其允许输入以补充或替换指向装置861的方向信息和命令选择的通信。
响应于处理器820执行包含在诸如系统存储器830的存储器中的一个或多个指令的一个或多个序列，计算机系统810可执行本发明的实施方式的部分或全部处理步骤。此类指令可从另一计算机可读介质，诸如硬盘841或可移动介质驱动器842读入系统存储器830中。硬盘841可包含本发明的实施方式所使用的一个或多个数据存储内容和数据文件。可对数据存储内容和数据文件进行加密以提高安全性。处理器820也可用于多处理布置中，以执行包含在系统存储器830中的一个或多个指令序列。在替代实施方式中，可使用硬连线电路代替软件指令或与软件指令组合使用。因此，实施方式不限于硬件电路和软件的任何特定组合。
如上所述，计算机系统810可包括用于保存根据本发明的实施方式编程的指令以及包含数据结构、表、记录或本文所述的其他数据的至少一个计算机可读介质或存储器。本文所用的术语“计算机可读介质”是指参与向处理器820提供指令以用于执行的任何介质。计算机可读介质可采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，诸如硬盘841或可移动介质驱动器842。易失性介质的非限制性示例包括动态存储器，诸如系统存储器830。传输介质的非限制性示例包括同轴电缆、铜缆和光纤，包括构成总线821的电线。传输介质也可采取诸如在无线电波和红外数据通信期间产生的那些声波或光波的形式。
计算环境800可另外包括在使用至一个或多个远程计算机，诸如远程计算机880的逻辑连接的联网环境中操作的计算机系统810。远程计算机880可为个人计算机(笔记本或台式计算机)、移动装置、服务器、路由器、网络PC、对等装置或其他公共网络节点，并且通常包括上述关于计算机系统810的许多或全部元件。当在联网环境中使用时，计算机系统810可包括用于通过诸如互联网网的网络871建立通信的调制解调器872。调制解调器872可经由用户网络接口870或经由另一适当的机构连接到总线821。
网络871可为本领域通常已知的任何网络或系统，包括互联网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或系列连接、蜂窝电话网络或能够促成计算机系统810和其他计算机(例如，远程计算机880)之间的通信的任何其他网络或介质。网络871可为有线、无线或其组合。有线连接可使用以太网、通用串行总线(USB)、RJ-11或本领域中通常已知的任何其他有线连接来实现。无线连接可使用Wi-Fi、WiMAX和蓝牙、红外线、蜂窝网络、卫星或本领域通常已知的任何其他无线连接方法来实现。此外，若干网络可单独工作或彼此通信以促成网络871中的通信。
本公开的实施方式可利用硬件和软件的任何组合来实现。此外，本公开的实施方式可被包含在具有例如计算机可读的非暂时介质的制品(例如，一个或多个计算机程序产品)中。介质中实施了例如用于提供和促成本公开的实施方式的机制的计算机可读程序代码。制品可以作为计算机系统的一部分或单独出售。
虽然本文已经公开了各个方面和实施方式，但是其他方面和实施方式对于本领域技术人员应是显而易见的。本文公开的各个方面和实施方式是为了说明的目的而不是限制性的，其真实范围和精神由所附权利要求书指出。
如本文所使用的，可执行应用包括代码或机器可读指令，其用于调节处理器以实现诸如操作系统、上下文数据获取系统或其他信息处理系统的那些的预定功能，例如响应于用户命令或输入的预定功能。可执行程序为用于执行一个或多个特定处理的可执行应用的代码段或机器可读指令、子例程或其他不同代码段或一部分。这些处理可包括接收输入数据和/或参数，对接收到的输入数据执行操作和/或响应于接收到的输入参数而执行功能，以及提供所得的输出数据和/或参数。
如本文所使用的图形用户界面(GUI)包括由显示处理器生成的一个或多个显示图像，并支持用户能够与处理器或其他装置交互以及相关的数据采集和处理功能。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用调节显示处理器以产生表示GUI显示图像的信号。这些信号被提供给显示用户要观看的图像的显示装置。在可执行程序或可执行应用的控制下，处理器响应于从输入装置接收到的信号来操纵GUI显示图像。以此方式，用户可使用输入装置与显示图像交互，使得用户能够与处理器或其他装置进行交互。
本文的功能和处理步骤可响应于用户命令自动或全部或部分地自动执行。响应于一个或多个可执行指令或装置操作而执行自动执行的动作(包括步骤)，而无需用户直接启动动作。
附图的系统和处理不是排他性的。可根据本发明的原理导出其他系统、处理和菜单以实现相同的目的。尽管已经参考特定实施方式描述了本发明，但是应理解，本文所示和所述的实施方式和变体仅用于说明的目的。在不脱离本发明的范围的情况下，本领域技术人员可实现对当前设计的修改。如本文所述，可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和进程。本文中的任何权利要求不得根据35U.S.C.112第六款的规定进行解释，除非使用短语“用于..的装置”明确叙述了该内元素。

Claims (20)

1.一种用于执行细胞分类的方法，所述方法包括：
利用卷积稀疏编码处理来基于输入图像的集合和多个生物特异性过滤器生成多个特征图；
对所述多个特征图中的每个特征图应用特征池化操作以产生多个图像表示；以及
将每个图像表示分类为多个细胞类型之一。
2.根据权利要求1所述的方法，进一步包括：
获取多个输入图像；
计算所述多个输入图像中的每个输入图像的熵值，每个熵值表示相应图像中的纹理信息的量；
识别所述输入图像的集合中的一个或多个低熵图像，其中，所述一个或多个低熵图像各自与低于阈值的相应熵值相关联；以及
基于所述多个输入图像生成所述输入图像的集合，其中，所述输入图像的集合排除了所述一个或多个低熵图像。
3.根据权利要求2所述的方法，其中，在医疗过程期间使用显微内镜装置获取所述多个输入图像。
4.根据权利要求2所述的方法，其中，在医疗过程期间使用数字全息显微镜装置获取所述多个输入图像。
5.根据权利要求1所述的方法，进一步包括：
使用无监督学习处理来基于多个训练图像确定所述多个生物特异性过滤器。
6.根据权利要求5所述的方法，其中，所述无监督学习处理迭代地应用求解所述多个生物特异性过滤器的代价函数以及重建所述多个训练图像中的每个训练图像的最佳特征图集合。
7.根据权利要求6所述的方法，其中，使用交替投影方法来求解所述代价函数。
8.根据权利要求1所述的方法，进一步包括：
在生成多个特征图之后，对所述多个特征图应用逐元素绝对值函数。
9.根据权利要求8所述的方法，进一步包括：
在对所述多个特征图应用所述逐元素绝对值函数之后，对所述多个特征图应用局部对比度归一化。
10.根据权利要求9所述的方法，其中，所述局部对比度归一化包括对所述多个特征图中的每个特征图应用局部减法运算和除法运算。
11.根据权利要求1所述的方法，其中，所述输入图像的集合包括视频流，并且在具有预定长度的时间窗口内利用多数表决来分类每个图像表示。
12.一种用于在医疗过程期间执行细胞分类的方法，所述方法包括：
在所述医疗过程之前，使用无监督学习处理来基于多个训练图像确定多个生物特异性过滤器；以及
在所述医疗过程期间，执行细胞分类处理，所述细胞分类处理包括：
使用显微内镜装置获取输入图像，
使用卷积稀疏编码处理来基于所述输入图像和所述多个生物特异性过滤器生成特征图，
对所述特征图应用特征池化操作以产生图像表示，
使用经训练的分类器来确定与所述图像表示对应的类别标签，以及
将所述类别标签呈现在可操作地耦接到所述显微内镜装置的显示器上。
13.根据权利要求12所述的方法，其中，所述细胞分类处理进一步包括：
在应用所述特征池化操作之前，将逐元素绝对值函数应用于所述特征图。
14.根据权利要求13所述的方法，其中，所述细胞分类处理进一步包括：
在应用所述特征池化操作之前，将局部对比度归一化应用于所述特征图。
15.根据权利要求14所述的方法，其中，所述局部对比度归一化包括对所述特征图应用局部减法运算和除法运算。
16.根据权利要求12所述的方法，其中，所述类别标签提供所述输入图像中的生物材料为恶性还是良性的指示。
17.一种执行细胞分类的系统，所述系统包括：
显微镜装置，被配置为在医疗过程期间获取输入图像的集合；
成像计算机，被配置为在所述医疗过程期间执行细胞分类处理，所述细胞分类处理包括：
使用卷积稀疏编码处理来基于所述输入图像的集合和多个生物特异性过滤器生成多个特征图；
对所述多个特征图中的每个特征图应用特征池化操作以产生多个图像表示，以及
确定与所述输入图像的集合对应的一个或多个细胞类别标签；以及
显示器，被配置为在所述医疗过程期间呈现所述一个或多个细胞类别标签。
18.根据权利要求17所述的系统，其中，所述显微镜装置为共焦激光显微内镜装置。
19.根据权利要求17所述的系统，其中，所述显微镜装置为数字全息显微镜装置。
20.根据权利要求17所述的系统，其中，由所述成像计算机执行的所述细胞分类处理进一步包括：
在应用所述特征池化操作之前，对所述多个特征图中的每个特征图应用逐元素绝对值函数和局部对比度归一化。
CN201580077123.8A 2015-03-11 2015-03-11 基于解卷积网络的细胞图像和视频的分类的系统和方法 Pending CN107408197A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/019844 WO2016144341A1 (en) 2015-03-11 2015-03-11 Systems and methods for deconvolutional network based classification of cellular images and videos

Publications (1)

Publication Number Publication Date
CN107408197A true CN107408197A (zh) 2017-11-28

Family

ID=52745936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077123.8A Pending CN107408197A (zh) 2015-03-11 2015-03-11 基于解卷积网络的细胞图像和视频的分类的系统和方法

Country Status (6)

Country Link
US (1) US20180082153A1 (zh)
EP (1) EP3268894A1 (zh)
JP (1) JP2018514844A (zh)
KR (1) KR20170128454A (zh)
CN (1) CN107408197A (zh)
WO (1) WO2016144341A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388853A (zh) * 2018-02-09 2018-08-10 重庆东渝中能实业有限公司 针对白细胞与血小板共存全息图的分步重建与计数方法
CN108564114A (zh) * 2018-03-28 2018-09-21 电子科技大学 一种基于机器学习的人体粪便白细胞自动识别方法
CN109543724A (zh) * 2018-11-06 2019-03-29 南京晓庄学院 一种多层鉴别卷积稀疏编码学习方法
CN111297308A (zh) * 2018-12-12 2020-06-19 卡尔史托斯影像有限公司 操作视频镜的系统和方法
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
CN112136140A (zh) * 2018-05-14 2020-12-25 诺基亚技术有限公司 用于图像识别的方法和装置
CN113808738A (zh) * 2021-09-18 2021-12-17 安徽爱朋科技有限公司 一种基于自识别影像的疾病识别系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6503382B2 (ja) * 2014-06-16 2019-04-17 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
US10810485B2 (en) * 2016-09-13 2020-10-20 Intel Corporation Dynamic context-selective convolutional neural network for time series data classification
CN107871136A (zh) * 2017-03-22 2018-04-03 中山大学 基于稀疏性随机池化的卷积神经网络的图像识别方法
JP6710853B2 (ja) * 2017-07-07 2020-06-17 浩一 古川 プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN107967484B (zh) * 2017-11-14 2021-03-16 中国计量大学 一种基于多分辨率的图像分类方法
US11386291B2 (en) 2018-01-10 2022-07-12 Siemens Healthcare Diagnostics Inc. Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training
CN110321759B (zh) 2018-03-29 2020-07-07 北京字节跳动网络技术有限公司 一种视频特征提取方法及装置
IT201800005163A1 (it) * 2018-05-08 2019-11-08 Sistema di rilevamento di masse tumorali basato sulla risonanza magnetica per immagini
US11574476B2 (en) * 2018-11-11 2023-02-07 Netspark Ltd. On-line video filtering
IL311148A (en) 2018-11-11 2024-04-01 Netspark Ltd Online video filtering
CN109920518B (zh) * 2019-03-08 2021-11-16 腾讯科技（深圳）有限公司 医学影像分析方法、装置、计算机设备和存储介质
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262907A1 (en) * 2001-05-28 2002-12-04 Honda R&D Europe (Deutschland) GmbH Pattern recognition with hierarchical networks
JP2005252859A (ja) * 2004-03-05 2005-09-15 Kddi Corp 動画像データのシーン分割装置
US20060034524A1 (en) * 2004-08-13 2006-02-16 Fuji Photo Film Co., Ltd. Image processing apparatus, method, and program
US20080279431A1 (en) * 2007-05-08 2008-11-13 Olympus Corporation Imaging processing apparatus and computer program product
JP2011525009A (ja) * 2008-05-30 2011-09-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション １以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
CN102411715A (zh) * 2010-09-21 2012-04-11 张云超 有监督学习功能的细胞图像自动分类方法和系统
CN103116762A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于自调制字典学习的图像分类方法
CN103793709A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 细胞识别方法和装置、以及尿液分析仪
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690817B1 (en) * 1993-08-18 2004-02-10 Applied Spectral Imaging Ltd. Spectral bio-imaging data for cell classification using internal reference
US6154560A (en) * 1996-08-30 2000-11-28 The Cleveland Clinic Foundation System and method for staging regional lymph nodes using quantitative analysis of endoscopic ultrasound images
US20050196826A1 (en) * 2004-03-05 2005-09-08 Sherrill James V. Self calibrating detection
US8041090B2 (en) * 2005-09-10 2011-10-18 Ge Healthcare Uk Limited Method of, and apparatus and computer software for, performing image processing
US7606777B2 (en) * 2006-09-01 2009-10-20 Massachusetts Institute Of Technology High-performance vision system exploiting key features of visual cortex
US7427862B2 (en) * 2006-09-29 2008-09-23 Baker Hughes Incorporated Increasing the resolution of electromagnetic tools for resistivity evaluations in near borehole zones
US8031924B2 (en) * 2007-11-30 2011-10-04 General Electric Company Methods and systems for removing autofluorescence from images
JP5394485B2 (ja) * 2008-07-03 2014-01-22 エヌイーシー ラボラトリーズ アメリカ インク 印環細胞検出器及び関連する方法
NL2005325A (en) * 2009-09-24 2011-03-28 Asml Netherlands Bv Methods and apparatus for modeling electromagnetic scattering properties of microscopic structures and methods and apparatus for reconstruction of microscopic structures.
CN104346622A (zh) * 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
US9536177B2 (en) * 2013-12-01 2017-01-03 University Of Florida Research Foundation, Inc. Distributive hierarchical model for object recognition in video
US10247672B2 (en) * 2014-09-29 2019-04-02 Howard Hughes Medical Institute Non-linear structured illumination microscopy
US10795144B2 (en) * 2014-12-06 2020-10-06 Howard Hughes Medical Institute Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262907A1 (en) * 2001-05-28 2002-12-04 Honda R&D Europe (Deutschland) GmbH Pattern recognition with hierarchical networks
JP2005252859A (ja) * 2004-03-05 2005-09-15 Kddi Corp 動画像データのシーン分割装置
US20060034524A1 (en) * 2004-08-13 2006-02-16 Fuji Photo Film Co., Ltd. Image processing apparatus, method, and program
US20080279431A1 (en) * 2007-05-08 2008-11-13 Olympus Corporation Imaging processing apparatus and computer program product
JP2011525009A (ja) * 2008-05-30 2011-09-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション １以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
CN102411715A (zh) * 2010-09-21 2012-04-11 张云超 有监督学习功能的细胞图像自动分类方法和系统
CN103793709A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 细胞识别方法和装置、以及尿液分析仪
CN103116762A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于自调制字典学习的图像分类方法
CN104361363A (zh) * 2014-11-25 2015-02-18 中国科学院自动化研究所 深度反卷积特征学习网络、生成方法及图像分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHANG HANG等: "stacked predictive sparse coding for classification of distinct regions in tumor histopathology", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
YANN LECUN等: "convolutional networks and applications in vision", 《PROCEEDINGS OF 2010 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *
YIN ZHOU等: "Classification of histology sections via Multispectral convolutional sparse coding", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
刘继芳，忽满利编著: "《现代光学》", 30 September 2012, 西安电子科技大学出版社 *
姚礼庆，徐美东著: "《实用消化内镜手术学》", 31 March 2013, 华中科技大学出版社 *
蒋先刚著: "《数字图像模式识别工程项目研究》", 31 March 2014, 西南交通大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388853A (zh) * 2018-02-09 2018-08-10 重庆东渝中能实业有限公司 针对白细胞与血小板共存全息图的分步重建与计数方法
CN108388853B (zh) * 2018-02-09 2020-09-01 重庆东渝中能实业有限公司 针对白细胞与血小板共存全息图的分步重建与计数方法
CN108564114A (zh) * 2018-03-28 2018-09-21 电子科技大学 一种基于机器学习的人体粪便白细胞自动识别方法
CN108564114B (zh) * 2018-03-28 2022-05-27 电子科技大学 一种基于机器学习的人体粪便白细胞自动识别方法
CN112136140A (zh) * 2018-05-14 2020-12-25 诺基亚技术有限公司 用于图像识别的方法和装置
CN109543724A (zh) * 2018-11-06 2019-03-29 南京晓庄学院 一种多层鉴别卷积稀疏编码学习方法
CN109543724B (zh) * 2018-11-06 2021-09-03 南京晓庄学院 一种多层鉴别卷积稀疏编码学习方法
CN111297308A (zh) * 2018-12-12 2020-06-19 卡尔史托斯影像有限公司 操作视频镜的系统和方法
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
CN113808738A (zh) * 2021-09-18 2021-12-17 安徽爱朋科技有限公司 一种基于自识别影像的疾病识别系统

Also Published As

Publication number Publication date
EP3268894A1 (en) 2018-01-17
US20180082153A1 (en) 2018-03-22
JP2018514844A (ja) 2018-06-07
KR20170128454A (ko) 2017-11-22
WO2016144341A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN107408197A (zh) 基于解卷积网络的细胞图像和视频的分类的系统和方法
Qureshi et al. Recent development on detection methods for the diagnosis of diabetic retinopathy
Negassi et al. Application of artificial neural networks for automated analysis of cystoscopic images: a review of the current status and future prospects
Park et al. Colonoscopic polyp detection using convolutional neural networks
Prasath Polyp detection and segmentation from video capsule endoscopy: A review
Kharazmi et al. A computer-aided decision support system for detection and localization of cutaneous vasculature in dermoscopy images via deep feature learning
Arjmand et al. Training of deep convolutional neural networks to identify critical liver alterations in histopathology image samples
CN107408198A (zh) 细胞图像和视频的分类
Andrade-Miranda et al. Laryngeal image processing of vocal folds motion
Ooi et al. Interactive blood vessel segmentation from retinal fundus image based on canny edge detector
Gavrilov et al. Use of neural network-based deep learning techniques for the diagnostics of skin diseases
Cui et al. Deep learning in medical hyperspectral images: A review
Li et al. Fast speckle noise suppression algorithm in breast ultrasound image using three-dimensional deep learning
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Soomro et al. Impact of Novel Image Preprocessing Techniques on Retinal Vessel Segmentation
Mahmood et al. Recent advancements and future prospects in active deep learning for medical image segmentation and classification
Giannantonio et al. Intra-operative brain tumor detection with deep learning-optimized hyperspectral imaging
Vaiyapuri et al. Design of metaheuristic optimization-based vascular segmentation techniques for photoacoustic images
Rizzi et al. A decision support system for melanoma diagnosis from dermoscopic images
Srinivasan et al. A comprehensive diagnostic tool for skin cancer using a multifaceted computer vision approach
Marciniak et al. Neural Networks Application for Accurate Retina Vessel Segmentation from OCT Fundus Reconstruction
Sonia et al. Segmenting and classifying skin lesions using a fruit fly optimization algorithm with a machine learning framework
Ortega et al. Information extraction techniques in hyperspectral imaging biomedical applications
Mudduluru et al. Improving medical image segmentation and classification using a novel joint deep learning model
Bandyopadhyay et al. Artificial-intelligence-based diagnosis of brain tumor diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128