CN107408198A - 细胞图像和视频的分类 - Google Patents

细胞图像和视频的分类 Download PDF

Info

Publication number
CN107408198A
CN107408198A CN201580077304.0A CN201580077304A CN107408198A CN 107408198 A CN107408198 A CN 107408198A CN 201580077304 A CN201580077304 A CN 201580077304A CN 107408198 A CN107408198 A CN 107408198A
Authority
CN
China
Prior art keywords
feature
input picture
coded treatment
processing
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580077304.0A
Other languages
English (en)
Inventor
万韶华
孙善辉
斯蒂芬·克卢克纳
陈德仁
阿里·卡门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107408198A publication Critical patent/CN107408198A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

用于执行细胞分类的方法包括从输入图像集合(210)中提取多个局部特征描述符(220)，并应用编码处理以将多个局部特征描述符中的每一个转换成多维码(225)。对多个局部特征描述符中的每一个应用特征合并操作(230)以产生多个图像表示，并且每个图像表示被分类为多种细胞类型(240)中的一种。

Description

细胞图像和视频的分类
相关申请的交叉引用
本申请要求于2015年3月2日提交的美国临时专利申请第62/126，823号的优先权，其全部内容通过引用结合于此。
技术领域
本公开总体涉及用于执行细胞图像和视频的分类的方法、系统和装置。所提出的技术可用于例如对显微内镜图像和数字全息显微镜图像进行分类。
背景技术
体内细胞成像是使用从诸如显微内镜的成像系统获取的图像对活细胞的研究。由于荧光蛋白和合成荧光团技术的最新进展，越来越多的研究工作专注于提供对细胞和组织功能的基本性质的洞察的体内细胞成像技术。体内细胞成像技术现在跨越多种模式，包括例如多光子、旋转盘显微镜、荧光、相位对比度和差分干涉对比度以及基于激光扫描共焦的装置。
随着数字存储和处理的显微镜成像数据的量的不断增加，一个挑战是对这些图像进行分类，并在医疗过程期间可靠地将其理解。通过这些技术获得的结果可用于支持临床医生的手动/主观分析，从而产生更可靠且一致的测试结果。在常规系统中，必须通过耗时且计算密集的手动测试过程来获取结果。为此，为了解决手动测试过程的缺点，期望提供自动化技术(和相关系统)来确定体内细胞图像中的图案。
发明内容
本发明的实施方式通过提供与本文中称为“局部性约束稀疏编码(LSC)”的特征编码处理相关的方法、系统和装置来解决并克服上述缺点和不足中的一个或多个。如下面进一步详细描述的，与传统技术相比，LSC不仅执行代码稀疏性以获得更好的辨别能力，而且从每个描述符在其局部坐标系内被最佳地编码的意义上来说，LSC还保留代码局部性。这些技术可应用于包括各种细胞图像和视频分类问题的任何基于编码的图像分类问题。
根据一些实施方式，用于执行细胞分类的方法包括从输入图像集合中提取局部特征描述符，并且应用编码处理以将每个局部特征描述符转换成多维码。对多个局部特征描述符中的每一个应用特征合并操作以产生图像表示。然后将每个图像表示分类为多种细胞类型中的一种。在一些实施方式中，输入图像集合包括视频流，从而每个图像表示通过在具有预定长度的时间窗内使用多数表决来分类。
可使用各种技术来获取输入图像集合。例如，在一些实施方式中，例如在诸如全血计数血液学检查的医疗过程期间经由显微内镜装置或数字全息显微镜装置获取多个输入图像。为多个输入图像中的每一个计算熵值。每个熵值表示相应图像中的纹理信息的量。接下来，在输入图像集合中识别一个或多个低熵图像。这些低熵图像各自与低于阈值的相应熵值相关联。然后，基于除了低熵图像之外的多个输入图像生成输入图像集合。
在一些实施方式中，在上述方法中使用的编码处理可使用生成的码本。例如，在一些实施方式中，从图像训练集合中提取出训练特征。使用训练特征进行k均值聚类处理，以产生随后用于生成码本的特征簇。k均值聚类处理的确切实施方案可根据不同的实施方式而改变。例如，在一个实施方式中，k均值聚类处理使用基于穷尽最近邻搜索的欧几里得距离来获得特征簇。在其他实施方式中，k均值聚类处理使用基于分层词汇树搜索的欧几里得距离来获得特征簇。一旦生成码本，编码处理就可使用它来将每个局部特征描述符转换成多维码。
此外，应注意，在上述方法中使用的编码处理本身的实施方案可在不同的实施方式中改变。在一些实施方式中，可使用稀疏编码处理。例如，在一个实施方式中，编码处理是局部性约束线性编码(LLC)编码处理。在另一实施方式中，编码处理是LSC编码处理。在其他实施方式中，编码处理是字袋(BoW)编码处理。
根据其他实施方式，用于执行细胞分类的第二方法包括在医疗过程之前基于训练图像生成码本。在医疗过程期间，执行细胞分类处理。该处理可包括例如使用显微内镜装置获取输入图像。确定与输入图像相关联的特征描述符，并且应用编码处理以将多个特征描述符转换成编码的数据集。对编码的数据集应用特征合并操作以产生图像表示，以及使用经训练的分类器来识别对应于图像表示的类别标签。所识别的类别标签例如可被呈现在可操作地耦接到获取输入图像的显微内镜装置的显示器上。例如，该类别标签可提供诸如输入图像中的生物物质是恶性还是良性的信息。
上述第二方法中的编码处理的实施方案可根据不同的实施方式而改变。例如，在一个实施方式中，编码处理包括迭代地求解每个特征描述符的优化问题。该优化问题可被配置成相对于相应的特征描述符实施代码稀疏性和代码局部性。例如，在一些实施方式中，将k最近邻处理应用于每个相应的特征描述符以识别多个局部基。然后可使用这些局部基来执行每个优化问题中的代码局部性。每个优化问题可例如使用诸如乘数的交替方向处理来求解。
根据其他实施方式，执行细胞分类的系统包括显微镜装置、成像计算机和显示器。显微镜装置被配置成在医疗过程期间获取输入图像集合。可使用本领域已知的各种类型的显微镜装置，包括但不限于共焦激光显微内镜装置或数字全息显微镜装置。成像计算机被配置成在医疗过程期间执行细胞分类处理。该细胞分类处理可包括确定与该输入图像集合相关联的特征描述符、应用编码处理以将特征描述符转换成编码的数据集、对编码的数据集应用特征合并操作以产生图像表示，并且使用经训练的分类器来识别对应于图像表示的类别标签。显示器被配置成在医疗过程期间呈现类别标签。
从以下参照附图对所示实施方式的详细描述中，本发明的附加特征和优点将变得显而易见。
附图说明
从下面结合附图阅读的详细描述中可以最佳理解本发明的上述和其他方面。出于说明本发明的目的，在附图中示出了当前优选的实施方式，但是应理解，本发明不限于所公开的具体手段。附图中包括以下图：
图1提供了根据一些实施方式的可用于执行细胞分类的基于显微内镜的系统的示例；
图2提供了可在本发明的一些实施方式中应用的细胞分类处理的概述；
图3提供了胶质母细胞瘤和脑膜瘤的一组低熵和高熵图像；
图4提供了可在一些实施方式中使用的在脑肿瘤数据集中的图像的图像熵分布的示例；
图5提供了根据一些实施方式的可在过滤器学习期间使用的交替投影方法的示例；
图6提供了可在一些实施方式中使用的来自血细胞数据集的细胞图像的示例；
图7A提供了具有可使用本文所描述的技术收集的用于训练和测试的白血细胞数据集的详细统计的表；
图7B提供了具有根据一些实施方式的不同方法在应用于白血细胞数据集时的识别精度和速度的表；
图8A提供了可在一些实施方式中收集和使用的胶质母细胞瘤和脑膜瘤的低熵和高熵图像的图示；
图8B提供了根据一些实施方式的关于脑肿瘤数据集的不同分类方法的识别精度和速度的图示；
图9示出了根据一些实施方式的说明基于多数表决的分类相对于时间窗尺寸的性能的曲线图；以及
图10示出了在其内可实现本发明的实施方式的示例性计算环境。
具体实施方式
下面公开的几个实施方式涉及与特征编码处理相关的方法、系统和装置，特征编码处理在本文中被称为利用三部分分类流水线的局部性约束稀疏编码(LSC)。这三个部分包括离线无监督码本学习、离线监督分类器训练、以及在线图像和视频分类。另外，在一些实施方式中，基于k最近邻(K-NN)搜索和乘数的交替方向方法(ADMM)来确定LSC问题的快速近似解。用于细胞分类的各种系统、方法和装置参考两种细胞成像模式来描述：共焦激光显微内镜(CLE)和数字全息显微镜(DHM)。然而，应理解，本公开的各种实施方式不限于这些模式，并且可在各种临床设定下应用。另外，应理解，本文所描述的技术可应用于各种类型的医学图像或甚至自然图像的分类。
图1提供了根据一些实施方式的可用于使用LSC执行特征编码的基于显微内镜的系统100的示例。简而言之，显微内镜是通过被称为“光学活检”的处理从人体内部实时获得类组织学图像的技术。尽管多光子显微镜法和光学相干断层摄影术也已适用于显微内镜使用并且可同样在各种实施方式中使用，但是术语“显微内镜”通常指荧光共焦显微内镜。市售的临床显微内镜的非限制性实例包括Pentax ISC-1000/EC3870CIK和Cellvizio(法国巴黎的Mauna Kea技术公司)。传统上主要应用是在胃肠道成像，特别是用于Barrett食管、胰腺囊肿和结肠直肠病变的诊断和鉴定。共焦显微内镜的诊断范围最近已从结肠直肠癌的筛查和监测朝向Barrett食管、幽门螺杆菌相关性胃炎和早期胃癌扩展。通过点扫描激光荧光分析，显微内镜可以使在全分辨率的内窥镜检查期间进行肠粘膜和体内组织学的亚表面分析。可以详细地观察细胞、血管和结缔组织。用共焦激光显微内镜观察到的新的详细图像将允许对肠表面及其下方的细胞结构和官能的唯一查看。另外，如下面进一步详细讨论的，显微内镜也可应用于脑外科手术，在脑外科手术中，正常组织的恶性(胶质母细胞瘤)和良性(脑膜瘤)肿瘤的鉴别在临床上是重要的。
在图1的示例中，一组装置被配置成执行共焦激光显微内镜(CLE)。这些装置包括可操作地耦接到成像计算机110和成像显示器115的探针105。在图1中，探针105是共焦微型探针。然而，应注意，可使用各种类型的微型探针，包括被设计用于针对各种视场成像、针对深度、远端尖端直径以及横向和轴向分辨率成像的探针。成像计算机110在成像期间提供由探针105使用的激发光或激光源。此外，成像计算机110可包括用于执行诸如记录、重建、修改和/或导出由探针105收集的图像的任务的成像软件。成像计算机110也可被配置成执行下面关于图2更详细讨论的细胞分类处理。
脚踏开关(图1中未示出)也可连接到成像计算机110，以允许用户执行诸如例如调整共焦成像穿透的深度、开始和停止图像获取、和/或将图像保存到本地硬盘驱动器或远程数据库(诸如数据库服务器125)的功能。可替换地或此外，其他输入装置(例如，计算机、鼠标等)可连接到成像计算机110以执行这些功能。成像显示器115经由成像计算机110接收由探针105捕获的图像，并且呈现这些图像用于在临床设定下查看。
继续图1的示例，成像计算机110(直接或间接地)连接到网络120。网络120可以包括本领域已知的任何计算机网络，包括但不限于内联网或因特网。通过网络120，成像计算机110可以在远程数据库服务器125上存储图像、视频或其他相关数据。另外，用户计算机130可以与成像计算机110或数据库服务器125进行通信，以检索可以在用户计算机130本地处理的数据(例如，图像、视频或其他相关数据)。例如，用户计算机130可从成像计算机110或数据库服务器125检索数据，并使用它来执行下面在图2中讨论的细胞分类处理。
尽管图1示出了基于CLE的系统，但是在其他实施方式中，系统可以可替换地使用DHM成像装置。DHM也被称为干涉相位显微内镜术，是提供定量跟踪透明样品中亚纳米光学厚度变化的能力的成像技术。与仅捕获了关于样本的强度(幅度)信息的传统数字显微内镜不同，DHM捕获相位和强度两者。被捕获为全息图的相位信息可以被用于使用计算机算法重建关于样本的扩展形态信息(例如，深度和表面特性)。现代DHM实施方案提供了几个额外的益处，诸如快的扫描/数据获取速度、低噪声、高分辨率以及无标签样本获取的可能性。虽然DHM在20世纪60年代首次被描述，但是仪器规模、操作的复杂性和成本一直是该技术在临床或点护理应用中广泛采用的主要障碍。最近的发展尝试解决这些障碍，同时增强关键特征，提高DHM可以成为作为医疗保健领域及其他领域的核心、多重影响技术的有吸引力的选项的可能性。
DHM以潜在的无标签方式实现具有扩展深度和形态学信息的高分辨率、宽场成像的能力，将该技术定位于多种临床应用中，包括：血液学(例如RBC体积测量、白血细胞差异、细胞类型分类)、尿沉积物分析(例如，扫描层中微流体样品以重建沉积物并提高沉积物成分的分类精度)；组织病理学(例如，利用扩展的形态/DHM的对比度来区分在新鲜组织中的癌细胞和健康细胞而不进行标记)；以及罕见细胞检测(例如，利用扩展的形态/DHM的对比度来区分稀有细胞，诸如循环肿瘤/上皮细胞、干细胞、感染的细胞等)。鉴于DHM技术的最新进展——特别是尺寸减小、复杂性和成本降低——这些和其他应用(包括下面图2中描述的细胞分类处理)可以在临床环境中或以分散的方式在护理点执行。
图2提供了根据本发明的一些实施方式的应用LSC的细胞分类处理200的概述。处理200被示为包括三部分的流水线：离线无监督码本学习、离线监督分类器训练、以及在线图像和视频分类。处理200的核心组件是局部特征提取、特征编码、特征合并和分类。简而言之，在输入图像上检测到局部特征点，并从每个特征点提取描述符。这些描述符可包括例如诸如局部二进制图案(LBP)、标度不变性特征变换(SIFT)、Gabor特征和/或定向梯度直方图(HOG)。为了编码局部特征，可离线学习码本。应用具有m个条目的码本来量化每个描述符并生成“代码”层。在一些实施方式中，利用K均值聚类方法。对于监督分类，每个描述符然后被转换成Rm代码。最后，使用编码的特征训练分类器。该分类器可包括本领域已知的任何分类器，包括例如支持向量机(SVM)和/或随机森林分类器。在输入图像基于视频流的输入图像的一些实施方式中，处理100能够并入来自相邻图像的视觉提示。这显著提高了处理的性能。在输入图像为低对比度并且包含很少的分类信息的其他实施方式中，该处理能够自动地丢弃那些图像以避免进一步处理。这增加了处理100的总体稳健性。下面将更详细地描述用于执行细胞分类处理200的各种组件，以及可在一些实施方式中应用的一些额外的可选特征。
在开始细胞分类处理200之前，可以可选地使用基于熵的图像修剪组件205，来自动移除具有可能不是临床上关注的或不适于图像分类的低图像纹理信息(例如，低对比度并且包含很少的分类信息)的图像帧。例如，该移除可用来解决一些CLE装置的有限的成像能力。图像熵是用于描述图像的“信息量”的量，即包含在图像中的信息的量。低熵图像具有非常小的对比度和大量运行的具有相同或相似灰度值的像素。另一方面，高熵图像从一个像素到下一像素具有很大对比度。图3提供了胶质母细胞瘤和脑膜瘤的一组低熵和高熵图像。如图所示，低熵图像包含大量均匀的图像区域，而高熵图像通过丰富的图像结构来表征。
在一些实施方式中，基于熵的图像修剪组件205使用熵阈值来执行修剪。该阈值可基于整个数据集中的图像熵的分布来设定。图4提供了可在一些实施方式中使用的在脑肿瘤数据集中的图像的图像熵分布的示例。可以看出，存在相对大量的其熵显著低于其余图像的熵的图像。因此，对于该示例，可以将熵阈值设定成使得10％的图像将从我们系统的后期阶段被丢弃(例如，对于图4中所示的数据，为4.05)。
从一个或多个输入图像210提取局部特征220。各种技术可应用于特征提取。在一些实施方式中，使用人为设计的特征，诸如但不限于标度不变性特征变换(SIFT)、局部二进制图案(LBP)、定向梯度直方图(HOG)和Gabor特征来提取局部特征220。每种技术可被配置成基于临床应用和其他的用户期望的结果的特性。例如，SIFT是在计算机视觉中已经被用于大量目的的局部特征描述符。在图像域中的转换、旋转和缩放变换是不变的，并且对于中等透视变换和照明变化是稳健的。实际上，在现实世界条件下，SIFT描述符已在实践中被证明对图像匹配和对象识别非常有用。在一个实施方式中，利用在具有10个像素的间隔的网格上计算的20×20个像素块的密集SIFT描述符。此类密集图像描述符可用于捕获细胞结构中的均匀区域，诸如在脑膜瘤的情况下的低对比度区域。
在一些实施方式中，使用机器学习技术而不是使用人为设计的特征，基于从训练图像学习的滤波器来自动提取局部特征220。这些机器学习技术可使用各种检测技术，包括但不限于边缘检测、拐角检测、斑点检测、脊检测、边缘方向、强度变化、运动检测和形状检测。
继续参考图2，特征编码组件225应用编码处理以将每个局部特征220转换成m维码使用由构造码本组件215离线生成的m个条目的码本执行该转换。可使用各种技术来生成码本。例如，在一些实施方式中，对从训练集合中提取的大量(例如，100，000)局部特征的随机子集执行k均值聚类，以形成视觉词汇。每个特征簇可例如通过利用基于欧几里德距离的穷尽最近邻搜索或分层词汇树结构(二进制搜索树)而获得。
特征编码组件225可采用各种类型的编码处理。本文描述了四种示例性编码处理：字袋(BoW)、稀疏编码、局部性约束线性编码(LLC)以及、局部性约束稀疏编码(LSC)。在一些实施方式中，特征编码组件225所采用的编码处理可帮助确定由构造码本组件215生成的码本的参数中的一些。例如，对于BoW方案，可使用树深度为8的词汇树结构。对于稀疏编码、LLC和LSC，可使用基于欧几里德距离的穷尽最近邻搜索的k均值。
令X为从图像提取的一组d维局部描述符(即，)。在采用BoW作为编码处理的情况下，对于局部特征xi，存在一个且仅一个非零编码系数。该非零编码系数对应于经受预定义距离的最近的视觉字。当采用欧几里得距离时，代码ci可被计算为：
在稀疏编码方案中，每个局部特征xi由码本中的一组稀疏基本向量的线性组合表示。系数向量ci通过求解l1范数正则问题而获得：
其中，||·||1表示向量的l1范数。约束遵循稀疏代码的要求。
与稀疏编码不同，LLC实施码本局部性而不是稀疏性。这导致基本向量距离xi更远的较小系数。通过求解以下正则最小二乘法误差来计算代码ci：
其中⊙表示逐元素乘积，并且是将每个基本向量的与其相似度成比例的不同自由度给至输入描述符xi的局部适配器。具体地，
其中dis(xi，B)＝[dis(xi，b1)…dis(xi，bm)]T，并且dis(xi,bj)是xi与bj之间的欧几里得距离。σ的值用于调整局部适应的权重衰变速度。
LSC特征编码方法与常规方法相比的有利之处在于，它不仅实施代码稀疏性以获得更好的辨别能力，而且在每个描述符在其局部坐标系内被最佳地编码的意义上来说，还保留代码局部性。具体地，LSC代码可公式化为：
尽管存在用于求解常规稀疏编码问题的各种算法，但是由于局部权重向量di，它成为非常有挑战性的优化问题。在一些实施方式中，使用乘数的交替方向方法(ADMM)来求解等式5。首先，引入虚拟变量使得等式5可重新公式化为：
然后，我们可以形成上述目标的增强拉格朗日，成为
ADMM包括三次迭代：
ρt+1＝ρt+μ(ci-yi)，γt+1＝γt+μ(1Tyi-1) (8c)
这允许将初始问题分解成一系列子问题。在子问题8a中，我们将最小化，仅yi·和l1罚||di⊙ci||1从目标消失，使其成为非常有效和简单的最小二乘回归问题。在子问题8b中，我们将最小化，仅ci和术语 消失，从而允许ci在每个元素上独立求解。这现在允许更有效地使用软阈值化。然后，yi和ci的当前估计被组合在子问题8c中，以更新拉格朗日乘数ρ和γ的当前估计。应注意，ρ和γ在这里起着特殊的作用，因为它们允许我们在求解yi和ci两者时采用ρ和γ的不完美估算。为方便起见，可采用以下软阈值化(收缩)运算符：
图5提供了根据一些实施方式的用于求解等式5的算法的附加细节。码本B的大小对算法的时间复杂度有直接的影响。为了开发LSC的快速近似解，我们可以简单地使用xi的K(K<n)个最近邻居作为局部基Bi，并且求解小得多的稀疏重建系统来获得代码：
由于K通常非常小，所以求解方程10非常快。为了搜索K个最近邻居，可以应用简单但有效的分层K-NN搜索策略。以此方式，可以使用大得多的码本来提高建模能力，同时LSC中的计算保持快速和高效。
返回图2，特征合并组件230应用一个或多个特征合并操作来汇总特征图以生成最终图像表示。特征合并组件230可应用本领域中已知的任何合并技术，包括例如最大合并、平均合并或其组合。例如，在一些实施方式中，特征合并组件230使用最大合并和平均合并操作的组合。例如，每个特征图可被划分成规则间隔开的方形斑块，并且可应用最大轮询操作(即，可确定在每个方形斑块上的特征的最大响应)。最大合并操作允许局部不变性进行转化。然后，可从方形斑块计算最大响应的平均值，即在最大合并之后应用平均合并。最后，图像表示可通过聚合来自平均合并操作的特征响应来形成。
分类组件240基于一个或多个预定义标准来识别最终图像表示的一个或多个类别标签。分类组件240利用可基于临床研究来训练和配置的一个或多个分类器算法。例如，在一些实施方式中，使用脑肿瘤数据集来训练分类器，使得分类器可以将图像标记为胶质母细胞瘤或脑膜瘤。分类组件240可使用各种类型的分类器算法，包括但不限于支持向量机(SVM)、k最近邻(k-NN)和随机森林。另外，不同类型的分类器可以组合使用。
对于视频图像序列，多数表决组件245可以可选地执行增强视频流的识别性能的基于多数表决的分类方案。因此，如果输入图像是基于视频流的输入图像，则处理200能够并入来自相邻图像的视觉提示。多数表决组件245使用按照因果方式围绕当前帧的在固定长度时间窗内的图像的多数表决结果，将类别标签分配给当前图像。窗口的长度可基于用户输入来配置。例如，用户可提供特定长度值或可以用于导出这样的值的临床设定。可替换地，长度可基于对过去结果的分析来随时间动态调整。例如，如果用户指示多数表决组件245提供不足或提供次优的结果，则可通过以小的值修改窗口大小来调整该窗口。随着时间的推移，多数表决组件245可以学习由细胞分类处理200处理的每种类型的数据的最佳窗口长度。
作为细胞分类处理200的示例性应用，考虑白血细胞数据集，其包括五种白血细胞类别(包括T细胞、嗜中性粒细胞、单核细胞、嗜酸性粒细胞和嗜碱性粒细胞)的图像。图6中提供了此类数据集的示例。图像大小是120x 120。执行实验以评估分别使用BoW、LLC和LSC的细胞分类处理的差异。图7A提供了具有用于训练和测试的血细胞数据集的详细统计的表。图7B提供了具有当应用于白血细胞数据集时不同方法的识别精度和速度的表。如图7B所示，对于几乎所有情况，LSC提供与BoW和LLC一样好(如果不是更好)的识别。
作为另一示例，考虑使用被插入患者脑内用于检查脑肿瘤组织的CLE装置(参见图1)收集的显微内镜视频。该收集可能会产生一组胶质母细胞瘤视频和一组脑膜瘤视频。在图3中提供在这些视频中收集的图像的一个示例。为了评估本文讨论的技术的性能，使用留下一个视频方法进行分析。更具体地，作为第一步，随机选择10个胶质母细胞瘤和10个脑膜瘤序列。接下来，作为第二步，从该第一集合中选择一对序列以用于测试，并且剩余的序列用于训练。然后，作为第三步，从训练集合中选择4000个胶质母细胞瘤帧和4000个脑膜瘤帧。重复实验10次。由于脑肿瘤仅在显微镜的圆形区域内可见，所以对每个图像应用圆形掩模，并且仅从圆形掩模内提取局部特征，如图8A所示。图8B示出了详细描述在应用于脑肿瘤数据集时本文描述的不同技术的识别精度和速度的表。
另外，本文所述的多数表决的技术也可用脑肿瘤数据集来说明。图9示出了说明基于多数表决的分类相对于时间窗大小的性能的曲线图。在该示例中，滑动时间窗被设为长度为T，并且使用滑动时间窗内的帧的多数表决结果导出当前帧的类别标签。相对于时间窗长度T的识别性能如图9所示。在该示例中，在T＝5时实现最佳性能。很可能使用长得多的时间窗才可以实现更高的识别精度。然而，实际上，必须平衡识别、速度和精度之间的相对重要性。
图10示出了在其内可实现本发明的实施方式的示例性计算环境1000。例如，该计算环境1000可用于实现图1所示的一个或多个装置，并执行图2中描述的细胞分类处理200。计算环境1000可包括计算机系统1010，计算机系统1010是在其上可实现本发明的实施方式的计算系统的一个示例。诸如计算机系统1010和计算环境1000的计算机和计算环境对于本领域技术人员是已知的，因此在此简要描述。
如图10所示，计算机系统1010可包括通信机构，诸如总线1021或用于在计算机系统1010内传送信息的其他通信机构。计算机系统1010进一步包括与总线1021耦接以处理信息的一个或多个处理器1020。处理器1020可包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域已知的任何其他处理器。
计算机系统1010还包括耦接到总线1021的系统存储器1030，系统存储器1030用于存储由处理器1020执行的信息和指令。系统存储器1030可包括采用易失性和/或非易失性存储器(诸如只读存储器(ROM)1031和/或随机存取存储器(RAM)1032)形式的计算机可读存储介质。系统存储器RAM 1032可包括其他动态存储装置(例如，动态RAM、静态RAM和同步DRAM)。系统存储器ROM 1031可包括其他静态存储装置(例如，可编程ROM、可擦除PROM和电可擦除PROM)。此外，系统存储器1030可用于在由处理器1020执行指令期间存储临时变量或其他中间信息。例如，在启动期间，包含帮助在计算机系统1010内的元件之间传送信息的基本例程的基本输入/输出系统1033(BIOS)可被存储在ROM 1031中。RAM 1032可包含处理器1020可立即访问和/或正由处理器1020操作的数据和/或程序模块。系统存储器1030可另外包括例如操作系统1034、应用程序1035、其他程序模块1036和程序数据1037。
计算机系统1010还包括耦接到总线1021以控制用于存储信息和指令的一个或多个存储装置的盘控制器1040，存储装置诸如硬盘1041和可移除介质驱动器1042(例如，软盘驱动器、压缩盘驱动器、磁带驱动器和/或固态驱动器)。可使用适当的装置接口(例如，小型计算机系统接口(SCSI)、集成装置电子装置(IDE)、通用串行总线(USB)或火线)将存储装置添加到计算机系统1010。
计算机系统1010还可包括耦接到总线1021的显示控制器1065，其控制诸如阴极射线管(CRT)或液晶显示器(LCD)的显示器1066以用于向计算机用户显示信息。计算机系统包括输入接口1060和一个或多个输入装置，诸如键盘1062和指向装置1061，其用于与计算机用户交互并向处理器1020提供信息。指向装置1061例如可以是用于将方向信息和命令选择传送到处理器1020并用于控制显示器1066上的光标移动的鼠标、轨迹球或指向杆。显示器1066可提供触摸屏界面，其允许输入以补充或替换指向装置1061的方向信息和命令选择的通信。
计算机系统1010可响应于处理器1020执行包含在诸如系统存储器1030的存储器中的一个或多个指令的一个或多个序列，而执行本发明的实施方式的部分或全部处理步骤。此类指令可从另一计算机可读介质，诸如硬盘1041或可移除介质驱动器1042读入系统存储器1030中。硬盘1041可包含由本发明的实施方式所使用的一个或多个数据存储和数据文件。可对数据存储内容和数据文件进行加密以提高安全性。处理器1020也可用在多处理装置中，以执行包含在系统存储器1030中的一个或多个指令序列。在可替换的实施方式中，可使用硬连线电路代替软件指令或与软件指令组合使用。因此，实施方式不限于硬件电路和软件的任何特定组合。
如上所述，计算机系统1010可包括用于保存根据本发明的实施方式编程的指令并且包含数据结构、表、记录或本文所描述的其他数据的至少一个计算机可读介质或存储器。本文所用的术语“计算机可读介质”是指参与向处理器1020提供指令以用于执行的任何介质。计算机可读介质可采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，诸如硬盘1041或可移除介质驱动器1042。易失性介质的非限制性示例包括动态存储器，诸如系统存储器1030。传输介质的非限制性示例包括含有构成总线1021的线的同轴电缆、铜缆和光纤。传输介质也可采取诸如在无线电波和红外数据通信期间产生的那些声波或光波的形式。
计算环境1000可进一步包括在使用至一个或多个远程计算机(诸如远程计算机1080)的逻辑连接的联网环境下操作的计算机系统1010。远程计算机1080可以是个人计算机(笔记本或台式计算机)、移动装置、服务器、路由器、网络PC、对等装置或其他公共网络节点，并且通常包括上述关于计算机系统1010的许多或全部元件。当在联网环境下使用时，计算机系统1010可包括用于通过诸如因特网的网络1071建立通信的调制解调器1072。调制解调器1072可经由用户网络接口1070或经由另一适当的机构连接到总线1021。
网络1071可以是本领域通常已知的任何网络或系统，包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)，直接连接或系列连接、蜂窝电话网络或能够促成计算机系统1010和其他计算机(例如，远程计算机1080)之间的通信的任何其他网络或介质。网络1071可以是有线、无线或其组合。有线连接可使用以太网、通用串行总线(USB)、RJ-11或本领域中通常已知的任何其他有线连接来实现。无线连接可使用Wi-Fi、WiMAX和蓝牙、红外线、蜂窝网络、卫星或本领域通常已知的任何其他无线连接方法来实现。此外，几个网络可单独工作或彼此通信以促成网络1071中的通信。
本公开的实施方式可利用硬件和软件的任何组合来实现。此外，本公开的实施方式可被包含在具有例如计算机可读的非瞬时性介质的制品(例如，一个或多个计算机程序产品)中。介质中包含了例如用于提供和促成本公开的实施方式的机制的计算机可读程序代码。制品可以被包括为计算机系统的一部分或可以单独出售。
虽然本文已经公开了各个方面和实施方式，但是其他方面和实施方式对于本领域技术人员应是显而易见的。本文公开的各个方面和实施方式是为了说明的目的而不旨在是限制性的，其真实范围和精神由所附权利要求指出。
如本文所使用的，可执行应用包括代码或机器可读指令，其用于调节处理器以例如响应于用户命令或输入来实现诸如操作系统、上下文数据获取系统或其他信息处理系统的预定功能。可执行程序是代码段或机器可读指令、子例程或可执行应用的用于执行一个或多个特定处理的其他不同的代码段或部分。这些处理可包括接收输入数据和/或参数，响应于接收到的输入参数对接收到的输入数据执行操作和/或执行功能，以及提供所得的输出数据和/或参数。
如本文所使用的图形用户界面(GUI)包括由显示处理器生成的一个或多个显示图像，并且使用户能够与处理器或其他装置以及相关的数据获取和处理功能进行交互。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用使显示处理器生成表示GUI显示图像的信号。这些信号被提供给显示用户要查看的图像的显示装置。在可执行程序或可执行应用的控制下，处理器响应于从输入装置接收到的信号来操纵GUI显示图像。以此方式，用户可使用输入装置与显示图像交互，使用户能够与处理器或其他装置进行交互。
本文中的功能和处理步骤可自动执行或响应于用户命令全部或部分地执行。自动执行的动作(包括步骤)响应于一个或多个可执行指令或装置操作而执行，无需用户直接启动动作。
附图的系统和处理不是排他性的。可根据本发明的原理导出其他系统、处理和菜单以实现相同的目的。尽管已经参考特定实施方式描述了本发明，但是应理解，本文所示和所描述的实施方式和变形仅用于说明的目的。在不脱离本发明的范围的情况下，本领域技术人员可实现对当前设计的修改。如本文所描述的，可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和处理。除非使用短语“用于...的装置”明确叙述了该要素，否则本文中的任何权利要求要素不得根据35U.S.C.112第六段的规定进行解释。

Claims (20)

1.一种用于执行细胞分类的方法，所述方法包括：
从输入图像集合中提取多个局部特征描述符；
应用编码处理，以将所述多个局部特征描述符中的每一个转换成多维码；
对所述多个局部特征描述符中的每一个应用特征合并操作以产生多个图像表示；以及
将每个图像表示分类为多种细胞类型中的一种。
2.根据权利要求1所述的方法，进一步包括：
获取多个输入图像；
计算所述多个输入图像中的每一个的熵值，每个熵值表示相应图像中的纹理信息的量；
识别所述输入图像集合中的一个或多个低熵图像，其中，所述一个或多个低熵图像各自与低于阈值的相应熵值相关联；以及
基于所述多个输入图像生成所述输入图像集合，其中，所述输入图像集合排除了所述一个或多个低熵图像。
3.根据权利要求2所述的方法，其中，所述多个输入图像在医疗过程期间使用显微内镜装置来获取。
4.根据权利要求2所述的方法，其中，所述多个输入图像在全血计数血液学检查期间使用数字全息显微镜装置来获取。
5.根据权利要求1所述的方法，进一步包括：
从图像训练集合中提取多个训练特征；
使用所述多个训练特征执行k均值聚类处理，以产生多个特征簇；以及
基于所述多个特征簇生成码本，
其中，所述编码处理使用所述码本将所述多个局部特征描述符中的每一个转换成所述多维码。
6.根据权利要求5所述的方法，其中，所述k均值聚类处理使用基于穷尽最近邻搜索的欧几里得距离来获得所述多个特征簇。
7.根据权利要求6所述的方法，其中，所述编码处理是稀疏编码处理。
8.根据权利要求6所述的方法，其中，所述编码处理是局部性约束线性编码(LLC)编码处理。
9.根据权利要求6所述的方法，其中，所述编码处理是局部性约束稀疏编码(LSC)编码处理。
10.根据权利要求5所述的方法，其中，所述k均值聚类处理使用基于分层词汇树搜索的欧几里得距离来获得所述多个特征簇。
11.根据权利要求10所述的方法，其中，所述编码处理是字袋(BoW)编码处理。
12.根据权利要求1所述的方法，其中，所述输入图像集合包括视频流，并且在具有预定长度的时间窗内使用多数表决对每个图像表示进行分类。
13.一种用于执行细胞分类的方法，所述方法包括：
在医疗过程之前，基于多个训练图像生成码本；以及
在所述医疗过程期间，执行细胞分类处理，所述细胞分类处理包括：
使用显微内镜装置获取输入图像，
确定与所述输入图像相关联的多个特征描述符；
应用编码处理，以将所述多个特征描述符转换成编码的数据集；
对所述编码的数据集应用特征合并操作以产生图像表示，
使用经训练的分类器来识别对应于所述图像表示的类别标签，以及
将所述类别标签呈现在可操作地耦接到所述显微内镜装置的显示器上。
14.根据权利要求13所述的方法，其中，所述编码处理包括：
对于每个特征描述符，迭代地求解相对于相应特征描述符实施代码稀疏性和代码局部性的优化问题。
15.根据权利要求14所述的方法，其中，所述优化问题使用乘数的交替方向处理来求解。
16.根据权利要求15所述的方法，进一步包括：
将k最近邻处理应用于所述相应特征描述符以识别多个局部基，
其中，使用所述多个局部基实施每个优化问题中的所述代码局部性。
17.根据权利要求13所述的方法，其中，所述类别标签提供所述输入图像中的生物物质是恶性还是良性的指示。
18.一种执行细胞分类的系统，所述系统包括：
显微镜装置，被配置成在医疗过程期间获取输入图像集合；
成像计算机，被配置成在医疗过程期间执行细胞分类处理，所述细胞分类处理包括：
确定与所述输入图像集合相关联的多个特征描述符，
应用编码处理，以将所述多个特征描述符转换成编码的数据集，
对所述编码的数据集应用特征合并操作以产生图像表示，
使用经训练的分类器来识别对应于所述图像表示的类别标签，以及
显示器，被配置成在医疗过程期间呈现所述类别标签。
19.根据权利要求18所述的系统，其中，所述显微镜装置是共焦激光显微内镜装置。
20.根据权利要求18所述的系统，其中，所述显微镜装置是数字全息显微镜装置。
CN201580077304.0A 2015-03-02 2015-03-30 细胞图像和视频的分类 Pending CN107408198A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562126823P 2015-03-02 2015-03-02
US62/126,823 2015-03-02
PCT/US2015/023231 WO2016140693A1 (en) 2015-03-02 2015-03-30 Classification of cellular images and videos

Publications (1)

Publication Number Publication Date
CN107408198A true CN107408198A (zh) 2017-11-28

Family

ID=52875289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077304.0A Pending CN107408198A (zh) 2015-03-02 2015-03-30 细胞图像和视频的分类

Country Status (5)

Country Link
US (1) US20180082104A1 (zh)
EP (1) EP3265956A1 (zh)
JP (1) JP2018517188A (zh)
CN (1) CN107408198A (zh)
WO (1) WO2016140693A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108387553A (zh) * 2018-02-09 2018-08-10 重庆东渝中能实业有限公司 针对白细胞与血小板共存全息图的分块重建与分类计数方法
CN111912763A (zh) * 2020-08-15 2020-11-10 湖南伊鸿健康科技有限公司 一种多功能细胞分析系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706260B2 (en) * 2014-06-16 2020-07-07 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
JP6702118B2 (ja) * 2016-09-26 2020-05-27 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
CN107688815B (zh) * 2017-08-31 2022-02-22 京东方科技集团股份有限公司 医学图像的分析方法和分析系统以及存储介质
JP7138771B2 (ja) * 2019-03-18 2022-09-16 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
US20210085165A1 (en) * 2019-09-24 2021-03-25 Boston Scientific Scimed, Inc. System, device and method for turbidity analysis
WO2021242983A1 (en) * 2020-05-28 2021-12-02 Leuko Labs, Inc. A method to detect white blood cells and/or white blood cell subtypes form non-invasive capillary videos
JPWO2022244258A1 (zh) * 2021-05-21 2022-11-24
CN113792767B (zh) * 2021-08-27 2023-06-27 国网福建省电力有限公司 基于图信号处理的负荷用电特征监测分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4174279B2 (ja) * 2002-09-19 2008-10-29 日本放送協会 映像オブジェクト識別・追跡装置、その方法及びそのプログラム
JP4663273B2 (ja) * 2003-08-08 2011-04-06 オリンパス株式会社 カプセル型光センサー及びそれを用いた診断装置
US8588503B2 (en) * 2008-05-30 2013-11-19 Ge Healthcare Bio-Sciences Corp. System and method for detecting and eliminating one or more defocused or low contrast-to-noise ratio images
WO2010090837A2 (en) * 2009-01-20 2010-08-12 The General Hospital Corporation Endoscopic biopsy apparatus, system and method
CN104115074B (zh) * 2011-12-02 2017-07-04 Csir公司 全息图处理方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108387553A (zh) * 2018-02-09 2018-08-10 重庆东渝中能实业有限公司 针对白细胞与血小板共存全息图的分块重建与分类计数方法
CN111912763A (zh) * 2020-08-15 2020-11-10 湖南伊鸿健康科技有限公司 一种多功能细胞分析系统

Also Published As

Publication number Publication date
JP2018517188A (ja) 2018-06-28
WO2016140693A1 (en) 2016-09-09
EP3265956A1 (en) 2018-01-10
US20180082104A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN107408198A (zh) 细胞图像和视频的分类
Almotiri et al. Retinal vessels segmentation techniques and algorithms: a survey
CN107408197A (zh) 基于解卷积网络的细胞图像和视频的分类的系统和方法
CN107851194A (zh) 用于脑肿瘤分类的视觉表示学习
CN111954805A (zh) 用于光学组织学图像的分析和远程解译的系统和方法
Rasti et al. Automatic diagnosis of abnormal macula in retinal optical coherence tomography images using wavelet-based convolutional neural network features and random forests classifier
CN107624192A (zh) 通过内窥镜组织分化的外科引导和术中病理的系统和方法
Mazo et al. Classification of cardiovascular tissues using LBP based descriptors and a cascade SVM
Marijanović et al. A systematic overview of recent methods for non-contact chronic wound analysis
El Beze et al. Evaluation and understanding of automated urinary stone recognition methods
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Gamage et al. Instance-based segmentation for boundary detection of neuropathic ulcers through Mask-RCNN
Kriegel et al. Cell shape characterization and classification with discrete Fourier transforms and self‐organizing maps
Wu et al. A state-of-the-art survey of U-Net in microscopic image analysis: from simple usage to structure mortification
Hernández et al. Deep learning to measure the intensity of indocyanine green in endometriosis surgeries with intestinal resection
Pan et al. An instance segmentation model based on deep learning for intelligent diagnosis of uterine myomas in mri
Balasubramaniam et al. Medical Image Analysis Based on Deep Learning Approach for Early Diagnosis of Diseases
Morano et al. Deep multimodal fusion of data with heterogeneous dimensionality via projective networks
Nakao et al. Visualizing in vivo brain neural structures using volume rendered feature spaces
Arjun et al. A combined approach of VGG 16 and LSTM transfer learning technique for skin melanoma classification
Mounika et al. A Deep Hybrid Neural Network Model to Detect Diabetic Retinopathy from Eye Fundus Images
Mahbod Towards Improvement of Automated Segmentation and Classification of Tissues and Nuclei in Microscopic Images Using Deep Learning Approaches
Sharma Medical image analysis of gastric cancer in digital histopathology: methods, applications and challenges
Azad AI enabled surgery: enabling da Vinci Xi robot with live cancerous tumor detection
Sharma Medical Image Processing Using AI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128

WD01 Invention patent application deemed withdrawn after publication