CN104169945B - 对图像中的对象的两级分类 - Google Patents

对图像中的对象的两级分类 Download PDF

Info

Publication number
CN104169945B
CN104169945B CN201380013605.8A CN201380013605A CN104169945B CN 104169945 B CN104169945 B CN 104169945B CN 201380013605 A CN201380013605 A CN 201380013605A CN 104169945 B CN104169945 B CN 104169945B
Authority
CN
China
Prior art keywords
probability
probability graph
classification
image
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380013605.8A
Other languages
English (en)
Other versions
CN104169945A (zh
Inventor
G·拜耳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
77 Elektronika Muszeripari Kft
Original Assignee
77 Elektronika Muszeripari Kft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 77 Elektronika Muszeripari Kft filed Critical 77 Elektronika Muszeripari Kft
Publication of CN104169945A publication Critical patent/CN104169945A/zh
Application granted granted Critical
Publication of CN104169945B publication Critical patent/CN104169945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明是一种图像处理方法和装置，用于对体液样本的图像中的元素进行自动分类，该装置包括：‑识别模块(RM)，用于基于出现在该图像中的视觉信息来生成与每一类别相关联的概率图，所述概率图示出了给定类别的元素的存在概率分布；以及，‑决策模块(DM)，用于基于对所述概率图的分析来提供关于所述分类的元素的存在的信息。根据本发明的装置还包括：‑调用模块(CM)，用于在所述图像(10)中定位假定存在的元素，并且关于每一假定存在的元素来调用所述决策模块(DM)；以及，‑所述决策模块(DM)适于在检验所述元素的存在时，将除了与所述元素的类别相关联的概率图(11)以外的至少一个另外的概率图纳入考量。

Description

对图像中的对象的两级分类
技术领域
本发明涉及适于处理落入多个类别中的对象的数字图像的方法和装置。本发明的图像处理方法和装置旨在对表示所述对象的图像元素进行识别和分类，而且优选地，旨在自动地详细说明每一类别中的所述元素的数目。
背景技术
存在众多现有技术的方法和装置来对出现在数字图像中的元素和对象进行自动识别和分类。这样的方法和装置可尤其优选地应用在用于自动分析体液例如尿液或血液的医学和诊断设备中。
此外，图像识别方法和装置可被应用在所有这样的技术领域中：其中数字图像的对象待被进行识别和分类。这样的技术领域是例如通过卫星或望远镜的观测技术、对由户外安全监控摄像机所提供的信息的处理，或者用户舒适度功能在数字静物摄像机或电影摄影机中的实施。
在US5830141中公开了一种图像处理方法和装置，其适于以X射线扫描来自动检测预定类型的患癌区域。该已知方法和装置的目的是支持并且有助于放射学家的决策制定。在该已知方法中，由多个滤波器从已完成的X射线图像制作经变换的图像，然后通过神经网络对原始图像和经变换的图像进行分析。完整的图像或单独识别的一个或多个检验区域被分析。在该方法中，多个图像区域被分类为四种类别，使得神经网络被用于针对每一像素点，计算它属于一个类别的概率值。以这种方式，实际上从该图像生成四个类型的概率图。
接下来，基于对概率图的分析，做出关于给定图像区域落入哪个类别的决策。关于给定的图像区域，如果两个或更多个类别呈现具有高概率，则通过对给定的概率图部分的单独分析和可信度评估，做出关于待被指派给图像细节的类别的决策。该方法的劣势是，关于给定的图像细节，如果出现若干可能的类别，它不依赖于除了多个概率图之外的信息，从而针对该图像，它不能够综合地做出对彼此关联的每一分类的概率的分析。因此，该已知方法和装置工作时具有相对高的误差率。一种类似的方法被公开在Barbano P.E.等人的“Toward Automatic Phenotyping of Developing Embryos From Videos”中(IEEETransaction on Image Processing,IEEE Service Center,Piscataway,NJ,US,vol.14,no.9,2005年9月1日(2005-09-01),pages 1360-1371,XP011137594,ISSN:1057-7149,DOI:10.1109/TIP.2005.852470)。
在US7236623B2中，公开了一种用于尿液分析诊断系统的图像识别方法和装置。在该方法中，确定了关于出现在图像中的元素类别的典型视觉特性，然后按照这些特性，通过多级神经网络分析对图像中的元素进行分类。该已知方法的劣势是，多级神经网络分析仅仅遵循基于视觉特性的决策分支路径，并且不适于对图像元素进行全局分析和分类。
发明内容
本发明的一个目的是提供一种不具有现有技术解决方案的劣势的图像处理方法和装置。另一个目的是提供能够对在数字图像中出现的彼此关联的对象和元素进行综合识别和分类的图像处理方法和装置。此外，还有一个目的是提供具有更高可靠性(即，更低误差率)的图像处理和图像元素分类方法和装置。
促使做出本发明的认识是，如果与每一元素类别有关的概率图是从数字图像生成的，且这些概率图被彼此关联地检验，以及通过引入其他特性信息被检验，则相比于已知的解决方案，可更有效且更精确地实施对每一元素的存在的识别以及对它们的精确分类。
本发明的目的可通过图像处理方法以及图像处理装置来实现。在下面的描述中限定优选实施方案。
附图说明
现在参考附图，以实施例的方式来描述本发明的优选实施方案，在附图中：
图1是例示了从数字图像生成概率图的示意图；
图2是表示位于概率图中的——可能存在的——元素的组以及与所述组相关联的检验区域的示意图；
图3是例示了根据本发明的装置的决策做出模块的示例性输入信息的示意图；
图4是根据本发明的装置的示意图；
图5是通过根据本发明的方法所处理的数字尿液样本的图像；
图6是图5中的图像的标记部分的放大图；
图7示出了在根据图6的细节中，与杆菌有关的概率值的概率图；
图8示出了在根据图6的细节中，与背景有关的概率值的概率图；
图9示出了在根据图6的细节中，与鳞状上皮细胞有关的概率值的概率图；
图10示出了在根据图6的细节中，与红细胞有关的概率值的概率图；以及
图11示出了通过根据本发明的方法所获得的分类的结果。
具体实施方式
本发明的图像处理方法适于对数字图像10中的元素进行识别和分类，如图1中所示该数字图像10示出了落入多个类别中的对象，并且本发明的图像处理方法优选地适于根据图像中所示的类别来详细说明元素的总数目。
根据本发明，在图像10中所示出的元素意味着能被识别和分类的任何对象的视觉外观。下面描述的本发明的优选实施方案用于尿液分析，即用于对尿液样本的数字图像进行处理。举例而言，在尿液样本的图片中，可对下列对象或元素进行分类：
-细菌(BAC)；
-鳞状上皮细胞(EPI)；
-非鳞状上皮细胞(NEC)；
-红细胞(RBC)；
-白细胞(WBC)。
根据本发明的一个优选实施方案，可被分类的元素例如进一步是：
-背景(BKGND)；以及
-粒子的边缘。
当然，除了上面的项以外，可在尿液样本的图片中发现待被分类的其他元素和对象。包括背景，可设立总共典型地10至30个元素类别。
基于上面的描述，在分析时，如果背景(通常表示数字图片的最大表面，即其中未出现其他元素的区域)被表征为单独分类的图像元素，则是尤其有益的。因此，以这种方式，与已知的解决方案相比，借助于根据本发明的综合分析，可将背景更有效地与待被分类的其他元素区分开。
在图1中示出的数字图像10中，待被分类的元素携带多种视觉信息。在现有技术的解决方案中，主要考虑出现在图像10中的元素的大小、形状、对比度和图案来进行分类。根据本发明的图像处理与最公知的解决方案的不同之处在于，它使用图像10的所有像素(甚至可代表数百万像素点)，而不是上面描述的所谓的“特征参数”，所述“特征参数”可从待被发现的对象的图像中计算得出。
基于在图像10中可检测到的视觉信息，生成与特定的预定元素类别相关联的概率图111-n。每一概率图11示出了给定类别的元素的存在概率分布。
概率图111-n也可以与图10以相同的分辨率被生成。然而，在筹划本发明的过程中，已经意识到，在例如医疗诊断领域中可用的高分辨率图像的情形中，对这样的全分辨率概率图111-n执行分析会是极其耗时的。已经发现，通过使得图像10的若干像素与概率图111-n的某些概率值相关联的方式，以比原始图像10的分辨率更低的分辨率生成概率图111-n是足够的。在一个优选实施方案中，概率图中的光栅点被指派为图像10的8×8像素。该概率值表示关于图像10的给定8×8像素，给定类别的元素的存在概率。在筹划本发明的过程中，已经证明，这样的分辨率降低不会损害分类的准确性，因为鉴于典型的粒子大小/对象大小大于8×8像素的事实，这样的组合概率值也适当地表示了给定图像细节中的存在概率。概率图111-n也可被表示为概率图像，所述概率图像中的每一元素携带根据概率值的幅值的视觉信息，但是它也可被认为是一个矩阵，所述矩阵的每一值相应于在给定位置中存在的概率值。
在上面的优选实施方案中，应用1280×960分辨率的图像10以及相应地160×120分辨率的概率图111-n。为了生成该111-n概率图，优选地应用神经网络。通过神经网络来分析出现在图像中的视觉信息，并且基于检验该视觉信息，确定与每一位置中的多种类别相关联的概率值。神经网络的教导可以任何合适的方式进行，例如根据所提及的现有技术文件中的描述。根据本发明，为了生成概率图111-n，不仅使用图像10,而且除了图像10之外或替代图像10，优选地使用通过多种函数从该图像生成的一个或多个经变换的图像或者具有不同分辨率的图像10的一个或多个变体。在促使做出本发明的实验过程中，已经意识到，如果也使用这些经变换的或不同分辨率的图像版本，则概率图111-n可以以较高的精确度生成。也已经证明，如果多种变换和变体被供应作为神经网络的不同级上的输入是有利的。
根据本发明，生成概率图111-n的模块称为识别模块，且该识别模块包括接收图像10的像素或者经变换的不同分辨率变体的像素的输入，且它还具有提供概率图111-n的概率值的输出。
作为下一步骤，针对每一类别，检验图像10中是否有假定存在的元素。优选地，针对图2中所示的每一概率图11执行对假定存在的元素的检验。在检验期间，查找在预定阈值水平以上的概率值的邻接组12，然后基于组12的大小和/或组12中的概率值的幅值来确定组12是否对应于一个假定存在的元素。
在小粒子(意味着细胞、晶体等)的情形中，已证明借助于一种简单的对象寻找程序来寻找原始图像10中落入给定大小类别中的元素是合适的。然而，如果图像10中存在多个元素或者如果图像10的分辨率高，则该程序可能是极其耗时的。因此，单独使用这种对象寻找方法是不可取的；但是，在给定情形中，覆盖图像10的一部分或者某些部分的这种对象寻找检验可以支持对概率图11执行检验。
在确定了假定存在的元素之后，一个检验区域13被确定，该检验区域13优选地定位在对应于假定存在的元素的组12的中心。该检验区域13优选地由概率图11中的5×5个概率值组成；在每一组12的中心或重心，如图中所示确定一个检验区域13。
根据本发明，与每一检验区域13相关，关于与它们相关联的元素的存在，至少一个另外的概率图11被纳入考虑用于做出决策，优选地其概率值位于其检验区域13中，该检验区域13与上面提及的检验区域13相同地定位。以图3中示出的方式，优选地，相同地定位在所有111-n概率图中的检验区域131-n在做出决策时都被考虑到。在这些检验区域131-n中，在所描绘的优选实施方案中，存在5×5个概率值14，这表示在给定的区域中落入各个类别中的元素的存在概率，它们被投射到0至100的值范围。
根据本发明，通过被称为决策模块的设备实施对检验区域131-n的分析，所述设备优选地包括一个神经网络，所述神经网络具有被指派到检验区域131-n中的像素(即被指派到概率值14)的输入。决策模块的输出优选地提供与每一类别的元素的有关检验区域相关的概率。
通过对检验区域131-n的联合分析，能够以较高的可靠性来执行对象识别和分类。这是因为，以这种方式，也可以将相互排他类别的概率值纳入考虑，并且图像10中的邻接的多条信息可被用于做出正确决策。
在图3示出的一个特别优选的实施方案中，不仅检验区域131-n的概率值14被用于决策模块的分析，而且与元素相关联的统计数据15也被纳入考量。这些可以是局部统计数据15，所述局部统计数据15涉及概率值14在实际概率图11的检验区域13中的分布以及在另一些概率图11的相同定位的检验区域13中的分布。
作为局部统计数据，围绕有关的针点(pin point)(假定存在的元素的中心)，例如在小粒子的情形中，5×5个概率值被处理，以及例如，在大粒子的情形中，从15×15个概率值计算的5×5个概率值(决策模块的一个输入值例如是3×3个值的平均)被处理，即决策模块已经看到的点/像素被处理。局部统计数据15暗含从这些概率值14计算的预处理的非图类型信息。举例而言，优选地，可从RBC概率生成五个数据：第一数据是5×5区域中落入0至20的概率值范围的RBC概率的数目。第二数据是表示20至40的值的光栅点/像素的数目。以这样的方式，经历了更快的决策模块学习和更精确的运行，因为该决策模块快速地学习了在落入80至100的值类别中的值为高的地方(例如，来自5×5点/像素中的3或4个点/像素代表这样的高概率)，实际上高机率地存在RBC。同时，重要的是，仅仅统计途径是不足够的，而是还需要具有限定分布的图类型信息。一个很好的实施例是当高概率值位于5×5区域的一个拐角中的情形，但该高概率值位于这里是由于附近相邻的粒子。
因此，如图3中所示的包括5×5个点/像素的一个输入矩阵可包括五种类型的粒子的局部统计，例如第一行包括与检验区域131相关联的落入RBC值类别(0至20、20至40、40至60、60至80、80至100)的值的数目，以及第二行由WBC值类别的数目组成，等等。
此外，统计数据15也可以是应用至概率图111-n中的检验区域131-n之外的概率值14的分布的全局统计数据。
作为全局或图像水平的统计，位于图像内但在所检验的局部5×5个点/像素之外的区域中的概率值的某一统计特性被确定。由于极端概率值会以非常低和非常高的数目出现(稀疏或密集填充的图像)，可取的是对数地压缩元素的数目，从而允许更加有效地表示更多的幅值。这与不值得与在其他地方所经受的概率成比例地改变局部决策的概率的经验是一致的，但是较弱的干预例如对数方法是有利的。当然，也可设想一种不同的合适函数，该函数适于表示环境的权重和特性。该变换函数甚至可根据粒子种类——即元素类别——而变。
此外，也有可能利用综合统计数据15，所述综合统计数据15应用至源自与相同样本相关联的的另一些图像10的信息。例如，来自与相同样本相关联的另一些图像的信息可被用于做出决策。这要求至少一个两步迭代决策机制。不仅可使用概率图，而且可使用来自另一些图像的被认为是一定命中的元素的充分评估的数目。这在以下情况中是尤其优选的，即，粒子在一个样本的十个、十五个或二十个图像中仅稀少地存在(例如，1至5个实例)，并且它们的检测在这样小的量时也是重要的情况下。例如，如果在两个实例中可以做出确切的决策，并且在另一图像中存在第三不确定的实例，则通过与其他两个决策相关的信息可增大可靠决策的概率。如果给定的粒子在其他图像中根本未显现，则所识别的不确定的实例对应于这样的粒子的概率明显较低。
在根据本发明的图像处理方法中，使用统计数据15证明是极其有益的。借助于这些统计数据，神经网络可被提供以清楚的指导，并且被供有应表征检验区域、图像和样本的综合数据和标准。基于这些另外的输入，神经网络以较高的可靠性和较低的误差率做出决策。
为了应用神经网络，可取的是以类似于检验区域131-n的格式供给统计数据15。包括类似图的概率分布的检验区域131-n优选地包括n×n个像素，并且非图类型以及固定位置的统计数据15也被布置在一个或多个n×n格式的矩阵中。
图4是根据本发明的一个优选实施方案的装置的示意图。图像10、或者图像10的一个或多个经变换的变体、或者图像10的一个或多个不同分辨率的版本被供给到识别模块RM中。识别模块RM生成概率图111-n，基于所述概率图111-n对假定存在的元素进行识别，并且在每一类别中(即针对每一概率图11)将检验区域13指派给所述概率图111-n。根据本发明的装置的调用模块(call module)CM为每一概率图11中的每一针点调用决策做出模块DM。决策做出模块DM的输入通过概率图111-n中指派给针点的检验区域131-n给出。为了确定与给定的检验区域13相关联的元素的存在，决策模块DM也将其他检验区域13中的概率值纳入考虑，并且在此基础上，它提供了关于与每一类别相关联的元素的存在的信息。
本发明的方法和装置的一个尤其优选的实施方案也包括多个RM识别模块，所述多个RM识别模块展现对多种粒子类型的不同灵敏度。在这种情形中，决策模块DM优选地接收每一识别模块RM的图，并且将其用于决策。在我们的实验过程中已发现，应用多个识别模块RM提高了决策的质量，因为通过决策模块DM的合适配置，多个识别模块RM的不同灵敏度的优势被利用，并且它们的弱点被抑制。
决策模块DM的神经网络优选地产生落入每一类别中的元素的存在概率。基于这些概率，可通过另一最终决策做出模块FDM做出最终决策。
最终决策做出模块FDM优选地以它检验元素的存在概率的方式起作用，并且仅仅接受在一预定的阈值概率以上存在的元素。在我们的实验中已经证明，可取的是针对每一类别单独地限定该阈值概率，因为图像10中待被分类和识别的元素通常具有不同的概率值。
待被最终决策做出模块FDM引入的真实性检验的本质是，尽管随着阈值概率值的增大，命中的数目减少，但是未命中的数目也沿着不同的曲线单调地减少。针对每一类别，在针对每一粒子类型的这个情形中，可取的是设置这样一个阈值，其中误差率足够低但是正确识别率足够高。在粒子能够以高可靠性被识别且避免出现错误识别很重要的情形中，值得设置一个高阈值。
此外，可取的是不仅为每一类别确定最终决策做出模块FDM的阈值概率，而且为每一应用或者在单独针对每个样本的应用内。这是因为，可能发生一个样本(即，包括图像10的一系列图像)具有类似的视觉特性，从而识别和分类的概率显示类似的趋势。
因此，根据本发明，识别模块RM和决策模块DM优选地被实施为神经网络。根据本发明，该装置的每一模块可优选地以计算机程序模块的形式实施，但是这些模块的一些部分或整体甚至可以硬件形式实施。
根据本发明的方法可被补充以另一些步骤。例如，存在对其中具有高浓度元素的样本的分析。在这种情形中，图2中示出的组12不以所描绘的方式出现，而是频繁地依附或并入彼此。鉴于根据给定分类所期望的组大小(即，概率图11)通常已知，这些依附和接触彼此可在概率图11中被识别。优选地，如果组12的大小超出对应于给定类别的类型的典型大小的一个预定值，则该组12被认为是若干假定存在的元素接触彼此，且检验区域13的中心被定位至基于该典型大小所确定的组部分的中心。如果在给定类别中依附在一起是频繁的，且依附在一起的形式的类型在形态学上不同于单独粒子(例如，圆形形状被并排地扭曲)，则可取的是将依附在一起的对象处理成一个单独类别。
图5示出了与尿液分析相关联的尿液样本的一个示例性图像10。图6示出了图像10的标记部分的放大版本。在图6中，示出了待被分类的多个元素16的视觉表示图，即多种粒子和图像元素的视觉表示图。在图7中，根据图6的图像细节被以这样的方式呈现，即，它还示出了应用至细菌(BAC)的概率图11的概率值。以上面描述的方式，概率值14与8×8个像素点相关联，且它在8×8个像素点的给定区域中示出了细菌存在的概率。概率值14优选地以从0变化至100的尺度表示；为简便起见，该图7描绘了除以10且四舍五入为一个数字的值。未示出零概率。大于零但是四舍五入为零的概率值已通过零示出。字符A暗含100％的概率。
图8也示出了图6的图像细节，但是呈现了背景(BKGND)的概率图11的概率值14。根据本发明，通过在分析中涉及背景，待被分类的另一些元素可被非常有效地分离且隔离。这样的对待被分类的元素的隔离也通过出现在图中的概率图11的分布来示出。这样的在分析中涉及背景是该专业领域中的一种至今未知且独特的技术，并且它极大地提高了本发明的优选实施方案的效率。
在图9中，根据图6的细节也被示出具有应用至EPI的概率图11的概率值14。在图10中，描绘了与RBC有关的概率值14。
在图11中，例示了通过借助于实施例所使用的根据本发明的方法和装置做出的决策的结果。从决策做出的结果可以看到，在给定情形中，仅略微突出于背景的细菌也变得清楚可识别且可分类。
关于较接近于图的中心的细菌，通过概率图与细菌位置处的背景假定的零值相关这一事实，已极大地便利了决策，如图8中所示。
在上面的描述中，关于为尿液样本制备的图像10，出于尿液分析的目的呈现了本发明，但是当然这不限于将本发明应用于该技术领域。根据本发明的元素识别和分类也可有利地应用在引言中提及的另一些应用中，所述应用需要图像识别和分类。
本发明不限于上面详细描述的优选实施方案，而是在由本发明所限定的保护范围内，另一些变体和改型是可能的。
例如，本发明不仅适于处理二维图像，而且它也可用于分析由三维图像处理生成的图像。在这种情形中，概率图也优选地是三维图，并且检验区域是这些图的三维空间部分。

Claims (22)

1.一种图像处理方法，用于对体液样本的图像(10)中的元素(16)进行分类，所述方法包括以下步骤：
-基于在所述图像(10)中能检测到的视觉信息，生成与每一类别相关联的概率图，所述概率图示出给定类别的元素(16)的存在概率分布；以及
-基于分析所述概率图，做出关于所述类别的元素(16)的存在的决策；
其特征在于：
-针对每一类别，检验所生成的概率图，在所述图像(10)中是否有假定存在的元素；
-针对与所述元素的类别相关联的所述概率图上的每一假定存在的元素，定位一个检验区域；以及
-在关于每一假定存在的元素(16)的存在做出决策时，关于与所述检验区域相关联的元素(16)的存在，通过将至少一个另外的概率图的相同定位的检验区域纳入考量，来将除了与所述元素(16)的类别相关联的所述概率图之外的至少一个另外的概率图纳入考量；
其中针对每一概率图以这样的方式执行与所述假定存在的元素相关的检验，即，在所述概率图中寻找一个阈值水平以上的概率值(14)的邻接组(12)，然后基于所述邻接组(12)的大小和/或所述邻接组(12)中的概率值(14)的幅值的大小，确定所述邻接组(12)是否对应于所述假定存在的元素。
2.根据权利要求1所述的方法，其特征在于，在确定与所述检验区域相关联的元素(16)的存在时，也将从与所述元素相关的概率值(14)计算的统计数据(15)纳入考量。
3.根据权利要求2所述的方法，其特征在于，所述统计数据(15)是与实际概率图的检验区域中以及至少一个另外的概率图的相同定位的检验区域中的概率值(14)的分布相关的局部统计数据。
4.根据权利要求2所述的方法，其特征在于，所述统计数据(15)是与实际概率图的检验区域外侧以及至少一个另外的概率图的相同定位的检验区域外侧的概率值(14)的分布有关的全局统计数据。
5.根据权利要求2所述的方法，其特征在于，所述统计数据(15)是与来自与相同样本相关联的另一些图像(10)的信息相关的综合统计数据。
6.根据权利要求1所述的方法，其特征在于，借助于对象寻找算法执行对所述图像(10)中的假定存在的元素的搜索，并且该搜索的结果被用于限定所述组(12)。
7.根据权利要求1或6所述的方法，其特征在于，将所述检验区域的中心定位至对应于所述假定存在的元素的组(12)的中心。
8.根据权利要求1所述的方法，其特征在于，除了所述图像(10)之外或者替代所述图像(10)，从所述图像(10)生成的一个或多个经变换的图像或者所述图像(10)的一个或多个不同分辨率变体被用于生成所述概率图。
9.根据权利要求1所述的方法，其特征在于，所述概率图的分辨率低于所述图像(10)的分辨率，并且所述概率图的每一概率值与由所述图像(10)中的多个像素构成的给定区域相关联。
10.根据权利要求1所述的方法，其特征在于，确定所述元素(16)的存在概率，并且仅仅接受在一个阈值概率以上存在的元素(16)。
11.根据权利要求1所述的方法，其特征在于，在分析中包括将图像的未被其他元素覆盖的背景作为落入一个单独类别的元素。
12.根据权利要求10所述的方法，其特征在于，所述阈值概率针对每一类别被单独地限定。
13.一种图像处理装置，用于对体液样本的图像(10)中的元素(16)进行自动分类，所述装置包括：
-识别模块(RM)，用于基于在所述图像(10)中出现的视觉信息，生成与每一类别相关联的概率图，所述概率图示出了给定类别的元素(16)的存在概率分布；以及
-决策模块(DM)，用于基于对所述概率图的分析，提供关于所述类别的元素(16)的存在的信息；
其特征在于：
-包括调用模块(CM)，用于在所述图像(10)中定位假定存在的元素，并且关于每一假定存在的元素调用所述决策模块(DM)，用于定位至与该元素相关联的概率图中的假定存在的元素的检验区域；以及
-所述决策模块(DM)适于在检验所述元素(16)的存在时，通过将至少一个另一概率图的相同定位的检验区域纳入考量，来将除了与所述元素的类别相关联的概率图以外的至少一个另外的概率图纳入考量；
其中针对每一概率图以这样的方式执行与所述假定存在的元素相关的检验，即，在所述概率图中寻找一个阈值水平以上的概率值(14)的邻接组(12)，然后基于所述邻接组(12)的大小和/或所述邻接组(12)中的概率值(14)的幅值的大小，确定所述邻接组(12)是否对应于所述假定存在的元素。
14.根据权利要求13所述的装置，其特征在于，所述识别模块(RM)包括一个神经网络，所述神经网络具有：
-输入，接收所述图像(10)的像素；以及
-输出，提供所述概率图的概率值(14)。
15.根据权利要求14所述的装置，其特征在于，所述决策模块(DM)包括一个神经网络，具有：
-输入，接收处于根据调用的所述检验区域中的概率值，以及从与所述元素相关的概率值(14)计算的统计数据(15)；以及
-输出，提供落入根据调用的所述检验区域中的每一类别中的元素(16)的存在概率。
16.根据权利要求15所述的装置，其特征在于，所述统计数据(15)是根据权利要求3和/或权利要求4和/或权利要求5所述的统计数据。
17.根据权利要求16所述的装置，其特征在于，所述检验区域由n×n个概率值(14)构成，且所述统计数据(15)也被布置在一个或多个n×n格式的矩阵中。
18.根据权利要求15所述的装置，其特征在于，包括最终决策做出模块(FDM)，所述最终决策做出模块仅仅接受在一个阈值概率以上存在的元素。
19.根据权利要求13所述的装置，其特征在于，所述调用模块(CM)适于实施根据权利要求6至7中任一项所述的方法。
20.根据权利要求14所述的装置，其特征在于，所述输入除了所述图像(10)的像素之外或者替代所述图像(10)的像素，接收从所述图像(10)生成的一个或多个经变换的图像的像素、或者具有不同分辨率的所述图像(10)的一个或多个变体的像素。
21.根据权利要求14所述的装置，其特征在于，所述概率图的分辨率低于所述图像(10)的分辨率。
22.根据权利要求18所述的装置，其特征在于，所述阈值概率针对每一类别被单独地确定。
CN201380013605.8A 2012-01-11 2013-01-09 对图像中的对象的两级分类 Active CN104169945B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
HUP1200017 2012-01-11
HUP1200017 2012-01-11
PCT/HU2013/000005 WO2013104937A2 (en) 2012-01-11 2013-01-09 Image processing method and apparatus

Publications (2)

Publication Number Publication Date
CN104169945A CN104169945A (zh) 2014-11-26
CN104169945B true CN104169945B (zh) 2017-08-08

Family

ID=89662464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013605.8A Active CN104169945B (zh) 2012-01-11 2013-01-09 对图像中的对象的两级分类

Country Status (5)

Country Link
US (1) US9489562B2 (zh)
EP (1) EP2803015B1 (zh)
CN (1) CN104169945B (zh)
HU (1) HUE048285T2 (zh)
WO (1) WO2013104937A2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719939B2 (en) * 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10810407B2 (en) * 2015-11-25 2020-10-20 Riken Region detecting method and region detecting device related to cell aggregation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
CN110709749B (zh) * 2017-06-09 2021-10-26 电子慕泽雷帕里公司 组合式明视场和相衬显微镜系统及配备其的图像处理设备
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107643992B (zh) * 2017-09-27 2020-09-08 成都忆芯科技有限公司 PCIe控制器与使用PCIe控制器的环回数据通路
US11210247B2 (en) 2017-09-27 2021-12-28 Chengdu Starblaze Technology Co., Ltd. PCIe controller and loopback data path using PCIe controller
CN108491866B (zh) * 2018-03-06 2022-09-13 平安科技（深圳）有限公司 色情图片鉴定方法、电子装置及可读存储介质
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP6757378B2 (ja) * 2018-08-28 2020-09-16 株式会社モルフォ 画像識別装置、画像識別方法及び画像識別プログラム
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US11918401B2 (en) 2020-01-09 2024-03-05 Idexx Laboratories, Inc. Methods and systems for x-ray imaging and labeling

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
EP0766205B1 (fr) 1995-09-29 2003-12-03 Koninklijke Philips Electronics N.V. Procédé et dispositif de traitement d'image, pour la détection automatique de régions d'un type prédéterminé de cancer dans une image d'intensité
US6553131B1 (en) * 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
US7236623B2 (en) 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
GB0715102D0 (en) * 2007-08-03 2007-09-12 Infinitesima Ltd Vibration correction for probe microscopy and a method thereof
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
CN101853399B (zh) * 2010-05-11 2013-01-09 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An original approach for the localization of objects in images;R.Vaillant.etc;《Artificial Neural Networks》;19930527;第26-30页 *

Also Published As

Publication number Publication date
US9489562B2 (en) 2016-11-08
US20150010218A1 (en) 2015-01-08
WO2013104937A2 (en) 2013-07-18
HUE048285T2 (hu) 2020-07-28
WO2013104937A3 (en) 2013-11-07
EP2803015A2 (en) 2014-11-19
CN104169945A (zh) 2014-11-26
EP2803015B1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
CN104169945B (zh) 对图像中的对象的两级分类
US10043264B2 (en) Integration of automatic and manual defect classification
TWI585397B (zh) 用於自動缺陷分類之不明缺陷拒絕率之最佳化
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
Hyeon et al. Diagnosing cervical cell images using pre-trained convolutional neural network as feature extractor
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
US20130077850A1 (en) Method for optimizing observed image classification criterion and image classification apparatus
CN109815945B (zh) 一种基于图像识别的呼吸道检查结果判读系统和方法
US9595100B2 (en) Method and system for processing an image of a biological specimen
AU2021349226B2 (en) Critical component detection using deep learning and attention
CN107563427A (zh) 用于油画的著作权鉴定的方法以及相应的使用
CN112805719A (zh) 分类半导体样本中的缺陷
Kong et al. Mask R‐CNN‐based feature extraction and three‐dimensional recognition of rice panicle CT images
WO2020007587A1 (en) Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample
KR20200136004A (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
CN115176289A (zh) 使用卷积神经网络的细胞系发育图像表征
CN112581467A (zh) 一种基于疑似危险品评价的智能安检方法
Mohanraj et al. Classification of rice grains based on quality using probabilistic neural network
CN111401119A (zh) 细胞核的分类
Aulia et al. A Novel Digitized Microscopic Images of ZN-Stained Sputum Smear and Its Classification Based on IUATLD Grades
Rajalakshmi et al. Classification of WBC based on Deep Learning using Microscopic Images
Parvathi et al. Identification of Subtype Blood Cells Using Deep Learning Techniques
KR20230131826A (ko) 일반 콘텐츠 뇌 반응 모델을 사용한 분야별 콘텐츠 분류
Ch Novel Approach for Child and Adulthood Classification Based on Significant Prominent Binary Patterns of Local Maximum Edge (SPBPLME)
WO2023118586A1 (en) Blast cell classification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant