CN105308628B - 用于红血细胞分析的图形用户界面 - Google Patents

用于红血细胞分析的图形用户界面 Download PDF

Info

Publication number
CN105308628B
CN105308628B CN201480025957.XA CN201480025957A CN105308628B CN 105308628 B CN105308628 B CN 105308628B CN 201480025957 A CN201480025957 A CN 201480025957A CN 105308628 B CN105308628 B CN 105308628B
Authority
CN
China
Prior art keywords
red blood
blood cell
view
image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480025957.XA
Other languages
English (en)
Other versions
CN105308628A (zh
Inventor
汉斯-英奇·本特松
莉丝贝特·帕尔姆
马茨·埃里克松
肯特·斯特拉伦
马丁·阿尔默斯
安娜·卡普费雷尔
马蒂亚斯·尼尔松
本尼·克莱因
耶特-奥拉·卡尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellavision AB
Original Assignee
Cellavision AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellavision AB filed Critical Cellavision AB
Publication of CN105308628A publication Critical patent/CN105308628A/zh
Application granted granted Critical
Publication of CN105308628B publication Critical patent/CN105308628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于生成用于红血细胞分析的图形用户界面的方法。该方法通过高亮图像(106)中被分类到由用户输入指示的至少一组(116)的红血细胞(108)而生成图形用户界面的第一视图(100)。该方法还通过从红血细胞的图像(106)提取被分类到由用户输入指示的至少一组(116)的各个红血细胞且逐组显示它们而生成第二视图。

Description

用于红血细胞分析的图形用户界面
技术领域
本发明涉及红血细胞分析领域。具体地，其涉及红血细胞样本可以通过其进行分析的图形用户界面。
背景技术
为了满足医疗保健中不断增长的需求，有效地且准确地分析红血细胞样本已变得重要。存在用于对描绘红血细胞样本的图像分析的图形用户界面。
例如，具有在屏幕上显示红血细胞样本的图像的图形用户界面。用户然后可通过视觉检查扫描图像以分析样本。这样的图形用户界面给出样本中红血细胞的良好的空间概览。然而，关于红血细胞的不同属性，例如颜色、大小、形状以及内含物分析各个红血细胞是困难的。
其他的图形用户界面采取另一种方法，从图像提取红血细胞且将提取的红血细胞并排呈现在屏幕上。此外，提取的红血细胞可以基于不同的属性来排序。以这种方式，可以关于样本中的红血细胞的不同属性分析各个红血细胞。但是，由于红血细胞被从图像提取，样本中的红血细胞的空间场景丢失。因此，存在改进的空间。
发明内容
考虑到上述情况，具有在它们的空间和它们的场景环境下显示红血细胞的图形用户界面将因此是有益的。因此，本发明的一个目的是提供一种改进的用于红血细胞分析的图形用户界面。具体地说，目的是提供一种图形用户界面，其关于不同属性给出样本中红血细胞的空间概览，同时其允许关于不同属性分析各个红血细胞。
根据本发明的第一方面，上述目的是通过一种用于生成用于红血细胞分析的图形用户界面的方法来实现。该方法包括：接收描绘红血细胞样本的图像；接收红血细胞数据，对于图像中的每个红血细胞，红血细胞数据包括图像中的红血细胞的分区和位置，和红血细胞到关于红血细胞的至少一个属性的至少一组的分类；接收指示图像中的红血细胞已被分类到其中的至少一组的第一用户输入；通过下列操作生成图形用户界面的第一视图：在红血细胞数据中找出被分类到由第一用户输入指示的至少一组中的所有红血细胞，高亮图像中找出的红血细胞，以及在第一视图中显示具有高亮的红血细胞的图像；通过下列操作生成图形用户界面的第二视图，对于由第一用户输入指示的至少一组中的每一个：在红血细胞数据中找出所有被分类到该组中的红血细胞，通过从所述图像中提取落在被分类到该组中的红血细胞中的每一个的分区内的图像数据，从该图像提取被分类到该组中的红血细胞中的每一个，以及在第二视图的对应于该组的子视图中显示提取的红血细胞。
提及红血细胞的分区是指限定红血细胞的范围的数据。例如，分区可以限定图像中属于红血细胞的像素。分区可以例如限定红血细胞的轮廓，或者可以是以提供属于红血细胞的像素的指示的掩模的形式。
用上述方法生成的图形用户界面因此包括第一视图和第二视图。图形用户界面的用户可以输入对特定红血细胞组或多个特定红血细胞组的选择。在第一视图中，属于被选择的一组或多组的红血细胞在红血细胞样本的图像中被高亮，这意味着相比没有被选择的组，被选择的一组或多组的红血细胞是容易区分的。在第一视图中，用户可以因此得到被选择的一个或多个组中的空间分布或红血细胞的概览。例如，用户可观察被选择的一组或多组中的红血细胞是否倾向于聚集，这可能指示有待诊断的医疗状况或在样本的制备中有一些错误。在第二视图中，被选择的一组或多组的红血细胞被单独从图像提取并且被组织成分组。在第二视图中，用户可因此单独关于不同属性来研究红血细胞。
红血细胞可与不同属性，例如颜色、大小、形状以及内含物等相关联。每个属性可以与不同的组相关联。例如，属性“形状”可以与涉及第一形状的细胞、第二形状的细胞和第三形状的细胞的组相关联。根据本发明，第一用户输入可以指示一个或多个这样的组。可替代地，或附加地，第一用户输入可以指示红血细胞的属性，从而指示所有与该属性相关联的组。在上面的例子中，如果第一用户输入指示属性“形状”，则涉及第一、第二和第三形状的细胞的组被自动指示。这允许用户在组级别上以及属性级别上进行对红血细胞的分析。
在第一用户输入指示多于一组的情况下，该方法还可以包括：经由第一或第二视图，接收指示由第一用户输入指示的至少一组中的被选择的组的第二用户输入；以及，响应于此，更新在第一视图的子视图中显示的图像以仅高亮被选择的组的红血细胞。以这种方式，用户可以将第一用户输入的组的指示提炼成单一的组的指示。
用第二视图工作的用户可能对样本中的一个或多个特定的红血细胞的空间位置感兴趣。为了这个目的，该方法还可以包括：经由第二视图，接收指示一个或多个被选择的红血细胞的第三用户输入；以及响应于此，更新在第一视图的子视图中显示的图像以只高亮一个或多个被选择的红血细胞。
在替代实施例中，该方法可以包括经由第一视图，接收指示一个或多个被选择的红血细胞的用户输入，以及响应于此，在第二视图的子视图中包括被选择的红血细胞的图形标记。
用第二视图工作的用户可能对样本中的特定的红血细胞的空间场景感兴趣。例如，用户可能对仔细看一下特定的红血细胞及其周围感兴趣。对于此目的，该方法可以包括：经由第二视图，接收指示被选择的红血细胞的第三用户输入；以及，在红血细胞数据中找出被选择的红血细胞的位置，从所述图像提取对应于包含被选择的红血细胞的区域的图像数据，增加提取的图像数据的放大级别，以及将其显示在第二视图的第二子视图。
一种用于用户进行对红血细胞的分析工作的便利方法是依次取消针对其完成分析的组在第一视图中显示的图像中被高亮。一旦在第一视图中显示的图像中没有高亮的组，用户知道完成了完整的分析。为了达到这个目的，该方法可以包括：接收指示由第一用户输入指示的至少一组中的、已经对其完成分析的被选择的组的第四用户输入；以及响应于此，更新在第一视图的子视图中显示的图像以去除被选择的组的红血细胞的高亮。
如上所述，红血细胞数据包括细胞到关于属性的至少一个组的分类。典型地，红血细胞的分类已经由机器做出，例如通过使用神经网络、支持向量机、模糊逻辑算法或k最近邻算法。分析在第二视图的子视图中的各个红血细胞的用户可以注意到，特定细胞的分类是错误的，并且可能需要手动重新分类细胞。为了实现手动重新分类，该方法可以包括：经由第二视图接收第四用户输入，第四用户输入指示红血细胞将从由第一用户输入指示的第一组被重新分类为由第一用户输入指示的第二组，并且对于该红血细胞：将红血细胞数据中的分类从第一组更新为第二组；以及更新第二视图，以在对应第二组的子视图中而不是在对应第一组的子视图中显示提取的红血细胞。例如，第四用户输入可以是以拖放操作的形式，其中用户例如通过使用计算机鼠标来从对应于第一组的子视图拖动将被重新分类细胞并在对应于第二组的子视图中放下它。
一般来说，如果红血细胞在图像中相对于背景的对比度比其他的、非高亮的红血细胞相对于背景的对比度大的话，则红血细胞被高亮。为了实现在对比度方面的这样的差异，在图像中高亮找出的红血细胞的步骤可以包括，对于没有被分类到由第一用户输入指示的至少一组中的每个红血细胞，降低在该红血细胞的分区内的部分中的图像相对于图像的背景的对比度，其中，图像的背景由图像的没有红血细胞被描绘的地方的那些部分形成。以这种方式，没有被分类到由第一用户输入指示的至少一组中的红血细胞相对于由第一用户输入指示的红血细胞被漂白。
降低红血细胞的分区内的部分中图像的对比度的步骤可以包括：将在红血细胞的分区内的部分中的图像的强度设置为在红血细胞的分区内的部分中的图像的原始强度和图像的背景的强度的结合。这是漂白细胞的有效方法。此外，非高亮红血细胞将仍然可从背景区分。该结合可以例如是平均值或加权平均值。
本发明的图形用户界面还可以允许第二视图的子视图中的红血细胞被排序。在一个实施方案中，红血细胞可以相对于该分类的置信度水平进行排序。为了这个目的，红血细胞数据还可以包括，对于图像中的每个红血细胞，红血细胞到至少一组的分类的置信度，以及生成图形用户界面的第二视图的步骤还包括，对于由第一用户输入指示的至少一组中的每一个，关于红血细胞到该组的分类的置信度，对提取的红血细胞进行排序。以这种方式，该输入的用户可以很容易地找出那些自动分类对其不确定且可能必须手动重新分类的红血细胞。
在某些情况下，描绘红血细胞样本的图像是由多个子图像组成。子图像可具有小的重叠。在这种情况下，接收描绘了红血细胞样本的图像的步骤可以包括接收多个图像，多个图像的联合描绘红血细胞的样本，其中，红血细胞数据还包括，对图像中的每个红血细胞，多个图像中的描绘了红血细胞的图像的标识，以及其中，显示带有高亮的红血细胞的图像的步骤包括显示多个带有高亮的红血细胞的图像的联合。通过具有多个子图像，有可能得到在合成图像中的更好的分辨率。更具体地，图像的分辨率不仅由图像的像素数目限制，且其也由获取图像时施加的放大倍数限制。为了提高分辨率，增加放大倍数因此是有利的。这样做，可能有必要取得多个子图像，以便覆盖样本的整个区域。
如上所述，红血细胞被分类为关于不同属性的不同的组。这意味着特定的红血细胞可被划分到关于不同属性的若干组。在第二视图中，红血细胞被分组显示。但是，可能会对得到被分类到两个不同的组中的细胞的同步视图感兴趣。对于此目的，该方法可以包括：在对应于第三组的第二视图的子视图中包括还被分类到第四组的提取的红血细胞的图形标记，其中，第三和第四组与不同的红血细胞属性相关联。
根据本发明的第二方面，上述目的是由一种用于生成用于红血细胞分析的图形用户界面的装置实现，该装置包括：配置为接收描绘红血细胞的样本的图像和红血细胞数据的接收组件，对图像中的每个红血细胞，红血细胞数据包括图像中的红血细胞的分区和位置，以及红血细胞到关于红血细胞的至少一个属性的至少一组的分类；配置为接收第一用户输入的用户输入组件，第一用户输入指示图像中的红血细胞已被分类到其中的至少一组；配置以生成图形用户界面的第一视图的处理单元，通过以下操作来生成第一视图：在红血细胞数据中找出所有被分类到由第一用户输入指示的至少一组中的红血细胞，高亮图像中找出的红血细胞，以及在第一视图中显示具有高亮的红血细胞的图像；处理单元还被配置为通过以下操作生成图形用户界面的第二视图：对由第一用户输入指示的至少一组中的每一个：在红血细胞数据中找出所有被分类到该组中的红血细胞，通过从所述图像提取落入被分类到该组的红血细胞中的每一个的分区内的图像数据，来从图像提取被分类到该组中的红血细胞中的每一个，以及在第二视图的对应于该组的子视图中显示提取的红血细胞。
根据第三方面，上述目的是由用于红血细胞分析的图形用户界面来实现，该图形用户界面包括：配置为接收描绘红血细胞的样本的图像和红血细胞数据的接收界面，对图像中的每个红血细胞，红血细胞数据包括图像中的红血细胞的分区和位置，和红血细胞到关于红血细胞的至少一个属性的至少一组的分类；被配置为接收第一用户输入的用户输入界面，第一用户输入指示图像中的红血细胞已被分类到其中的至少一组；已经通过以下操作被生成的第一视图：在红血细胞数据中找出所有被分类到由第一用户输入指示的至少一组的红血细胞，高亮图像中找出的红血细胞，以及在第一视图中显示具有高亮的红血细胞显示图像；以及，已经通过以下操作被生成的第二视图：对由第一用户输入指示的至少一组中的每一个：在红血细胞数据中找出所有被分类到该组的红血细胞，通过从图像提取落入被分类到该组的红血细胞中的每一个的分区内的图像数据，来从图像提取被分类到该组的红血细胞中的每一个，以及在第二视图的对应于该组的子视图中显示提取的红血细胞。
根据第四方面，上述目的是通过包括计算机代码指令的计算机可读介质来实现的，计算机代码指令适于当在具有处理能力的设备中被执行时执行第一个方面的方法。
根据第五方面，上述目的是通过用于生成用于红血细胞分析的图形用户界面的系统来实现。该系统包括：描绘设备，其被布置成描绘红血细胞的样本；显示器；和用于生成根据权利要求13的图形用户界面的装置，该装置被连接到描绘设备和显示器，其中，该装置被布置为从描绘设备接收描绘红血细胞的样本的图像，以及在显示器上显示图形用户界面。该描绘设备可以是例如被布置为获得红血细胞样本的图像的显微镜。
第二、第三、第四以及第五方面大体上可以具有与第一方面相同的特征和优点。进一步注意的是，本发明涉及特征的所有可能的组合，除非另有明确声明。
通常，权利要求中使用的所有术语将根据它们在技术领域中的普通含义来解释，除非本文另有明确定义。所有对“一(a)/一(an)/该(the)[图像，步骤等]”的引用都被开放地解释为指所述图像、步骤、等等的至少一个实例，除非另有明确声明。本文公开的任何方法的步骤不必以所公开的确切顺序执行，除非明确声明。
附图说明
本发明的以上的以及另外的目的、特征和优点，将通过如下参照附图的本发明的优选实施例的说明性且非限制性的详细描述来被更好地理解，在附图中相同的参考标号将用于类似的元件，其中：
图1是根据实施例的图形用户界面的第一视图的示意图；
图2是根据实施例的图形用户界面的第二视图的示意图；
图3是根据实施例的装置的示意图；
图4是根据实施例的图形用户界面的第一视图的示意图；
图5是根据实施例的图形用户界面的第二视图的示意图；
图6是根据实施例的图形用户界面的第二视图的示意图；
图7是用于根据实施例生成图形用户界面的方法的流程图。
具体实施方式
本发明现在将在下文参照附图进行更全面地描述，附图中示出本发明的当前优选实施例。然而本发明能够以许多不同形式实施，且不应被解释为限于本文所阐述的实施例；相反，这些实施例出于彻底性和完整性被提供，并将本发明的范围充分传达给本领域技术人员。本文所公开的系统和设备将在操作期间进行描述。
图1和图2分别示出图形用户界面的第一视图100和第二视图200。该图形用户界面包括用于接收将在界面中显示的数据的接收界面。界面的用户可以在第一视图100和第二视图200之间进行切换，例如通过使用切换按钮102a和102b，或通过诸如经由选项卡或菜单等任何类似的工具进行切换。
第一视图100旨在给出样本中的红血细胞的概览。为了这个目的，第一视图100被配置为显示描绘红血细胞108的样本的图像106。例如，图像106可以被显示在第一视图100的子视图104中。图像106包括前景和背景110，前景包括在图像106中所描绘的红血细胞108，背景110由图像106中的没有描绘红血细胞108的位置的那些部分形成。
图像106可以由每一个描绘红血细胞108的样本的一部分的多个图像(图1中由虚线表示)组成。多个图像可被联结在一起，使得多个图像的联合形成描绘红血细胞108的样本的图像106。例如，可以使用在WO2002084368 A1中，特别是在21-26页描述的方法。
如将在下面更详细地描述的，一些红血细胞108在图像106中被高亮，意味着它们相比于没有被高亮的其他细胞以相对于背景108的更高的对比度被显示。在图示的例子中，红血细胞108a被高亮，而红血细胞108b则没有被高亮。
示出的第一视图100还包括配置为显示红血细胞的属性114a-d的列表的子视图112。这里，列出的属性114a-d是红血细胞的颜色114a、红血细胞的大小114b、红血细胞的形状114c和红血细胞的内含物114d。然而，属性的其他选择当然也是可能的。
每个属性114a-d被与一个或多个组116相关联。组116反映相关联的属性114a-d的不同方面。举例说明，属性“形状”114c可与反映红血细胞108可具有的不同形状的组116相关联。这里属性“形状”114c与组“异形红细胞症”、“靶细胞”、“裂红细胞症”、“盔状细胞”、“镰状细胞”、“球形红细胞症”、“椭圆形红细胞增多症”、“卵形红细胞症”、“泪滴细胞”、“泡状细胞”、“棘红血细胞”和“刺状红细胞增多”相关联。
图像106中的细胞108与属性114a-d中的一个或多个相关联。更具体地，图像106中的细胞108已被分类到关于属性114a-d中的至少一个的至少一个组116中。例如，特定的红血细胞108可以被分类到关于属性“颜色”114a的组“多染色性”中，以及关于属性“形状”114c的组“裂红细胞症”。
子视图112还可指示图像106中已被分类到不同的组116的红血细胞108的百分比118。在本实施例中，图像106中的红血细胞的51.6％已被分类到关于“颜色”属性114a的组“多染色性”中。此外，或可替代地，子视图112可被配置为显示指示被分类到某一组116的红血细胞108中的该部分的等级120。在图示的例子中，子视图112被配置为显示对应于等级0，1，2，3的四个等级。等级120还可以图形表示，例如使用图形符号122。
第一视图100被配置为接收用户输入。例如，用户可以指示被显示在子视图112中的属性114a-d。该指示可以例如由用户通过使用鼠标或经由触摸屏点击子视图112中的属性14a-d的名称来给出。在本实例中，指示属性“形状”114c的用户输入已被指示。通过指示属性114a-d，所有与指示的属性114a-d相关联的组116被自动指示。以类似的方式，用户可以指示一个或多个组116。如将在后面更详细讨论的，被分类到经由用户输入指示的组中的红血细胞108a在图像106中被高亮。
第二视图200旨在给出样本中各个血细胞108的组116的概览。为了这个目的，第二视图200包括各自对应于组116中的一个的子视图204a-d。在图示的例子中，子视图204a对应于组“靶细胞”，子视图204b对应于组“裂红细胞症”，子视图204c对应于基“盔状细胞”且子视图204d对应于组“镰状细胞”。用户可以通过执行滚动操作看到更多的子视图。
具体而言，子视图204a-d对应于已经经由用户输入指示的组116。在本实例中，所有与属性“形状”114c相关联的组116已经由用户输入指示，因此子视图204a-d对应于与“形状”属性114c相关联的组116。因此，如果属性114a-d中的另一个或如果其他组116已由用户输入指示，第二视图200将包括对应于那些指示的组的子视图。
第二视图200还可以包括对应于参照图1所描述的子视图112的子视图212。
图3示出用于生成用于红血细胞分析的图形用户界面的系统，如参照图1和图2所描述的图形用户界面。该系统包括描绘设备312、用于生成图形用户界面的装置300和显示器310。描绘设备312、装置300和显示器310可以被形成为分离的单元或单个单元。特别是，装置300和显示器310可以形成共同单元的部分。描绘设备312通常可以是被布置为获取红血细胞样本的图像的任何设备。例如，描绘设备可以是具有摄像头的显微镜。
可以在软件或硬件或其组合中实现的装置300包括接收组件302、用户输入组件304和处理单元306，例如中央处理单元。接收组件302被布置为接收红血细胞样本的图像。例如，接收组件302可以从被布置为获取红血细胞样本的图像的描绘设备312接收这样的图像。用户输入组件304可以是例如计算机鼠标或允许用户经由根据本发明的实施例的图形用户界面做出指示和选择的类似装置。装置300还可包括存储器308。存储器308可以存储不同种类的数据，如描绘红血细胞和关于红血细胞的数据的图像。此外，存储器可包括用于当由处理单元306执行时执行本文公开的任何方法的计算机代码指令
现在将参考图1和图2以及图7的流程图描述装置300的操作。
在步骤S100中，装置300接收描绘红血细胞108的样本的图像106。图像106可以例如由接收组件302从存储器308或从被布置为获取红血细胞样本的图像的描绘设备312接收。在图像106由多个图像(如参照图1描述的)组成的情况下，装置300可以在步骤S100中接收多个图像。
在步骤S102中，装置300接收红血细胞数据。红血细胞数据可以例如由接收组件302从存储器308、描绘设备312或从外部数据库(未示出)接收。
红血细胞数据包括与图像106中的红血细胞108有关的信息。红血细胞数据可以是以数据结构(例如向量)的形式，对于图像106中的每个红血细胞108，其包括多个数据元素。
具体地，红血细胞数据可以包括指示图像106中的红血细胞108的位置的数据元素。以这种方式，红血细胞数据允许每个红血细胞108用图像106中的位置来识别。如果图像106由多个图像组成，对于每个红血细胞108，红血细胞数据还可以包括红血细胞位于其中的图像的标识。该红血细胞数据还可以包括指示红血细胞108中的每一个的分区的数据元素。该分区可以是例如以图像106中的红血细胞108的轮廓，即外周界的形式。可替换地，分区可以是以标识图像106中属于红血细胞108的像素的掩模的形式。以这种方式，红血细胞数据标识图像106中的每个红血细胞108的空间范围和形状。如将在下面更详细地描述的，位置和分区数据允许处理单元306在生成第一视图100时高亮各个红血细胞108，以及在生成第二视图200时从图像106提取各个红血细胞108。
红血细胞数据，并且具体地说位置数据和分区数据，可以是已经从图像106识别和分割出各个红血细胞108的分割算法的输出。例如，处理单元306或描绘设备312可以先前已运行这样的分割算法以便存储要由装置300在执行步骤S102时读取的红血细胞数据。本领域中已知的任何合适的分割算法可以用于此目的。然而，优选地，基于边缘检测的分割算法被使用。
红血细胞数据还可以包括数据元素，对于图像106中的每个红血细胞108，数据元素指示描绘血细胞的图像区域的某些属性的值。例如，这可以包括图像区域的面积或关于该区域的平均颜色的信息。
红血细胞数据还可以包括数据元素，对于每个红血细胞108，数据元素提供红血细胞108到关于红血细胞的至少一种属性114a-d的至少一个组116的分类。在第一和第二视图100和200中呈现的组116因此是红血细胞108可能已被分类到其中的组。例如，特定的红血细胞108可以被分类为小红血细胞，即被分类到关于属性“大小”114b的组“小红血细胞”中，以及被分类为裂红细胞，即被分类到关于属性“形状”114c的组“裂红细胞症”中。
分类可以是已将各个红血细胞108分类到不同的组的分类算法，诸如神经网络的输出。为了这个目的，分类算法可以利用为来自上面提到的分割算法的输出的分割数据。分类算法通常在手动分类对其可用的红血细胞上被训练。通过进行这种训练，分类算法的参数被估计，并可以用于分类对其没有手动分类存在的红血细胞，如图像106中的红血细胞108。例如，处理单元306或描绘设备312可能先前已经运行这样的分类算法以便存储要由装置300在执行步骤S102时读取的红血细胞数据。
红血细胞数据还可以包括关于针对每个分类的置信度水平的数据元素。该置信度水平提供分类的精确性的度量。例如，置信度可以是0和1之间的描述分类正确的概率的数字。更一般地，置信度可以是任何间隔的数字。
在步骤S104中，装置300接收指示组116中的至少一个的用户输入。该用户输入可以经由用户输入组件304接收。用户可以通过例如使用鼠标或任何其他类似的工具，通过分别点击在第一和第二视图100和200的子视图112或212中的任何一个中的组116选择组116，来指示至少一个组116。以这种方式，子视图112和212用作图形用户界面的用户输入界面。该用户输入可以指示红血细胞的属性114a-d，如图1所示的属性“形状”114c。通过指示属性114a-d，用户输入指示所有与属性114a-d相关联的组。响应于接收用户输入，处理单元306可高亮第一和第二视图100和200中被指示的至少一组。
当装置300已接收到图像106和红血细胞数据时，进行到在步骤S106中生成第一视图100，以及在步骤S108中生成第二视图200。
为了生成第一视图100，并且特别是第一视图100的子视图104，处理单元306执行若干子步骤S106a-c。
在步骤S106a中，处理单元306分析该红血细胞数据以找出所有被分类到由用户输入指示的至少一组116的红血细胞108。为了这个目的，处理单元306可搜索红血细胞数据，以找出对应于已被指示的至少一个组116的数据元素。对于找出的数据元素，处理单元306可以识别出相应的红血细胞108的身份。在图1所示的例子中，用户输入已指示所有与属性“形状”114c相关联的组116。处理单元306从而通过使用红血细胞数据来识别图像106中的已被分类到与属性“形状”114c相关联的组116中的一个的所有红血细胞108。
在步骤S106b中，处理单元306在图像106中高亮在步骤S106a中找出的红血细胞108。在一般情况下，红血细胞108a的高亮意味着使得其相对于背景110的对比度比没有被高亮的红血细胞108b相对于背景110的对比度大。对于如何执行这样的高亮有许多可能性。根据第一选项，要被高亮的红血细胞108a的相对于背景110的对比度可能被增加，而不应被高亮的红血细胞108b的或相对于背景的对比度可能保持不变。根据第二选项，不应被高亮的红血细胞108b的相对于背景110的对比度可能被降低，而要被高亮的红血细胞108a的或相对于背景的对比度可能保持不变。以这种方式，红血细胞108a被高亮，由于其他的红血细胞108b被“漂白”，意味着它们将与背景较少地区分开。根据第三选项，不应被高亮的红血细胞108b的相对于背景110的对比度可能被降低，而要被高亮的红血细胞108a的或相对于背景的对比度可能被增加。
由于要由用户进行分析的红血细胞通常是已由用户输入指示的红血细胞，优选不修改图像106中的那些细胞的外观。因此，优选的选项是上述第二个选项，其中未被高亮的红血细胞，如红血细胞108b，被漂白。更详细地说，处理单元306可以通过将由分区限定的红血细胞108b内的部分中的图像106的强度设置为红血细胞108b内的部分中的图像106的强度和背景110的强度的组合，来漂白红血细胞108b。背景110的强度可以是背景110的平均强度。例如，该组合可以是平均值、加权平均值或本领域中已知的任何其他层混合方法。以这种方式，在红血细胞108b和背景110之间的对比度降低，并且因此红血细胞108b被漂白。
在步骤S106c中，处理单元306显示第一视图100中的带有高亮的红血细胞108a的图像106。例如，处理单元306可以显示第一视图100的子视图104中的图像。第一视图100，从而还有子视图104可以例如被显示在显示器310上。
应该理解的是，在图像106由多个图像组成的情况下，可以针对多个图像中的每一个执行步骤S106a-c。在最后的步骤S106c中，处理单元306随后将多个图像组合，即联合在一起，以形成具有高亮红血细胞的图像106。
为了生成第二视图200，以及特别是第二视图100的子视图204a-d，处理单元306执行若干子步骤S108a-c。如上所述，子视图204a-d中的每一个对应于组116中已经由用户输入指示的一个。在本实施例中，与属性“形状”114c相关联的组已由用户输入指示。处理单元306针对已经由用户输入指示的组116中的每一个执行步骤S108a-c，以便生成子视图204a-d中的每一个。下面，步骤S108a-c将关于指示的组中的一个，即对应于子视图204b的组“裂红细胞症”116b进行解释。
在步骤S108a中，处理单元306在红血细胞数据中找出所有被分类到组116b(这里是组“裂红细胞症”)的红血细胞。为了做到这一点，处理单元306可以以如参照步骤S106a说明的相同的方式进行。
在步骤S108b中，处理单元306根据红血细胞数据提取被分类到组116b的红血细胞108中的每一个。提及提取红血细胞，如红血细胞108a，一般地指红血细胞被从图像106切割出。更具体地，为了提取红血细胞108，处理单元306可以提取落入如由红血细胞数据给出的红血细胞108a的分区内(如轮廓内)的图像106的部分。
当所有被分类到组116b的红血细胞已从图像106被提取时，处理单元306进行到在对应于组116b的子视图204b中显示提取的红血细胞。如示于图2中的，提取的红血细胞并排在子视图204b中示出。
处理单元306然后重复步骤S108a-c，直到已为由用户输入指示的所有组生成子视图204a-d。应该理解的是，在图像106由多个图像组成的情况下，可以针对多个图像中的每一个执行步骤S108a-c。
处理单元306还可关于不同的参数对子视图204a-d中的每一个内的提取的红血细胞进行排序。这种排序可以响应于另外的用户输入而执行。例如，在红血细胞数据包括到组116的分类的置信度水平的情况下，处理单元306可以关于置信度水平对特定组，如组116b的提取的红血细胞进行排序。该排序可以按照置信度水平增加的顺序或按照递减的顺序来执行。根据另一个例子，对应于与第一属性(这里是“形状”114c)相关联的组116b的提取的红血细胞可以关于第二属性(如“大小”114b)进行排序。
作为上述公开的方法的结果，存在具有第一视图100和第二视图200的图形用户界面。在第二视图200中，该界面的用户可以容易地经由子视图204a-d来逐组分析各个红血细胞。同时，用户可以经由第一视图100看到对应于子视图204a-d的组的红血细胞样本中的空间分布。以这种方式，用户有机会检测第二视图中的红血细胞的某一分析结果的原因是否是由于样本中红血细胞的某一空间分布。例如，如果某一组的红血细胞在样本中是非均匀分布的，这可能意味着该样本没有正确地被制备。此外，如果第一视图100表明某一组的红血细胞倾向于形成簇，这可能指向仅通过在第二视图200中的个体基础上研究提取的红血细胞不能检测到的某一诊断。
处理单元306可以接收另外的用户输入。例如，处理单元306可以经由第一视图100或第二视图200接收另外的用户输入，该另外的用户输入指示由第一用户输入指示的至少一个组中的被选择的组。这进一步示于图4，其示出了第一视图100。在本实施例中，处理单元306已经接收到指示所有与属性“形状”114c相关联的组116的第一用户输入。此外，处理单元306接收选择组“裂红细胞症”116b的另外的用户输入。响应于接收到该另外的用户输入，处理单元306更新在子视图104中显示的图像106。更详细地，处理单元306进行到根据红血细胞数据仅高亮那些被分类到组“裂红细胞症”116b的红血细胞。例如，并且如上面进一步讨论，这可包括漂白所有没有被分类到组“裂红细胞症”116b中的红血细胞。在本例中，更新的图像106显示，组“裂红细胞症”的红血细胞似乎聚集在样本的某一部分。
与之相似的，处理单元306可以经由第二视图200接收指示要被高亮的一个或多个特定的红血细胞的另外的用户输入。通常，用户可以通过在第二视图200的子视图204a-d中的一个或多个中进行选择，来指示一个或多个特定的红血细胞。响应于接收到另外的用户输入，处理单元306可以进行到更新第一图像106以只高亮被选择的一个或多个红血细胞。例如，处理单元306可以进行到漂白图像106中除了被选择的红血细胞之外的所有红血细胞。
在一些实施例中，处理单元306可接收指示被选择的组将要被取消被高亮的另外的用户输入。响应于接收到这样的另外的输入，处理单元306可以更新第一视图100的图像106以去除被选择的组的红血细胞的高亮。例如去除关注的红血细胞的高亮可通过如前所述的漂白关注的红血细胞来进行。这个实施例对于分析第二视图200中的红血细胞的用户是特别有用的。一旦相应于子视图204a-d的特定组的分析已经完成，该特定组的高亮可以从第一视图100被去除。用户然后可以在没有红血细胞在第一视图100中被高亮时再确认一次所有组的分析被完成。
图5示出用户界面的另一个功能。更具体地说，图5示出图形用户界面的第二视图200。处理单元306可以从子视图204a-d中的一个接收指示选择的红血细胞508的另外的用户输入。一旦接收到另外的用户输入，处理单元306可以在红血细胞数据中搜索以找出被选择的红血细胞508的位置。一旦找出该位置，处理单元306可以提取图像106的对应于包括被选择的红血细胞508的区域的部分506。处理单元306然后可以进行到增加提取的部分506的放大级别，也就是，放大选择的红血细胞508。处理单元306然后可以在第二视图200的子视图504中显示提取的部分506。
图6示出用户界面的另一个功能。图6示出图形用户界面的第二视图200。如前讨论的，第二视图200包括在本例中对应于与属性“形状”114c相关联的组116的子视图204a-d。特别是，子视图204b对应于组“裂红细胞症”。处理单元306可以接收指示另外的组616的用户输入，这里是组“大红血细胞”，除了相应于子视图204a-d的组116。另外的组616与另一个属性，这里是属性“大小”114c相关联。响应于另外的用户输入，处理单元306可以包括子视图204a-d中的一个或多个中的提取的红血细胞的图形标记。该标记与子视图204a-d中的也被分类到另外的组616的提取的红血细胞相关。在这个例子中，被分类到组“裂红细胞症”和组“大红血细胞”的提取的红血细胞608被图形标记。该标记可以例如通过围绕提取的红血细胞的矩形或任何适合于该目的的其他图形标记做出。同时基于两个属性来选择或标记红血细胞的可能性在有些情况下可以给出重要的诊断优势。例如，当分析形状组“球形红血细胞”中的细胞时，知道这些细胞是否也落入大小组“大红细胞”或“正常大小”是有意义的。
本文公开的图形用户界面的用户可以手动地重新分类细胞。优选地这样的重新分类经由第二视图200制成。例如，该重新分类可以由拖放操作进行，其中用户将提取的红血细胞从子视图204a-d中的一个移动到子视图204a-d中的另一个。一旦接收到指示这样的重新分类的用户输入，处理单元306可以在红血细胞数据中更新关于所关注的红血细胞的分类。此外，处理单元306可更新第二视图以从子视图204a-d中的一个去除已重新分类的红血细胞并且将其添加到由另外的用户输入指示的子视图204a-d中的另一个。
应该理解的是，本领域技术人员能够在许多方面修改上述实施例并且仍然利用如上述实施例中所示的本发明的优点。例如，可能有高亮红血细胞的其他方法，可以不同地对第一视图和第二视图进行布局，可使用关于描述的属性的附加的组以及红血细胞的附加的属性可以使用本发明来分析等。因此，本发明不应该被局限于所示的实施例，而是应该仅由所附的权利要求限定。另外，如本领域技术人员理解的，所示出的实施例可以被组合。

Claims (41)

1.一种用于在用于红血细胞分析的图形用户界面中显示红血细胞的方法，包括：
接收(S100)描绘红血细胞(108)的样本的图像(106)；
接收(S102)红血细胞数据，对于所述图像(106)中的每个红血细胞(108)，所述红血细胞数据包括：
·所述图像(106)中的所述红血细胞(108)的分区和位置，及
·所述红血细胞(108)到关于红血细胞的至少一个属性(114a-d)的至少一组(116)的分类；
接收(S104)第一用户输入，所述第一用户输入指示所述图像(106)中的所述红血细胞(108)已被分类到其中的至少一组(116)；
通过以下操作生成(S106)所述图形用户界面的第一视图(100)：
·在所述红血细胞数据中找出(S106a)被分类到由所述第一用户输入指示的所述至少一组(116)中的所有红血细胞(108a)，
·高亮(S106b)所述图像中的所找出的红血细胞(108a)，以及
·在所述第一视图(100)中显示具有高亮的红血细胞的图像(106)；
对于由所述第一用户输入指示的所述至少一组(116)中的每一个，通过以下操作来生成(S108)所述图形用户界面的第二视图(200)：
·在所述红血细胞数据中找出(S108a)被分类到所述至少一组(116)中的所有红血细胞，
·通过从所述图像中提取落在被分类到所述至少一组的红血细胞中的每一个的分区内的图像数据，来从所述图像提取(S108b)被分类到所述至少一组(116)中的红血细胞中的每一个，以及
·在所述第二视图(200)的对应于所述至少一组(116)的子视图(204a-d)中，显示(S108c)所提取的红血细胞。
2.如权利要求1所述的方法，其中，所述第一用户输入指示红血细胞的属性(114a-d)，从而指示与该属性(114a-d)相关联的所有组(116)。
3.如权利要求1所述的方法，还包括：
经由用户输入组件接收第二用户输入，所述第二用户输入指示由所述第一用户输入指示的至少一组中的被选择的组(116b)；以及
响应于此，更新在所述第一视图(100)的子视图(104)中显示的所述图像(106)，以仅高亮所述被选择的组(116b)的红血细胞。
4.如权利要求2所述的方法，还包括：
经由用户输入组件接收第二用户输入，所述第二用户输入指示由所述第一用户输入指示的至少一组中的被选择的组(116b)；以及
响应于此，更新在所述第一视图(100)的子视图(104)中显示的所述图像(106)，以仅高亮所述被选择的组(116b)的红血细胞。
5.如权利要求1-4中的任一项所述的方法，还包括：
经由用户输入组件接收指示一个或多个被选择的红血细胞的第三用户输入；以及
响应于此，更新在所述第一视图(100)的子视图(104)中显示的所述图像(106)，以只高亮所述被选择的一个或多个红血细胞。
6.如权利要求1-4中的任一项所述的方法，包括：
经由用户输入组件接收指示被选择的红血细胞(508)的第三用户输入；以及
在所述红血细胞数据中找出所述被选择的红血细胞(508)的位置，从所述图像提取对应于包含所述被选择的红血细胞(508)的区域(506)的图像数据，增加所提取的图像数据的放大倍数，以及将其显示在所述第二视图(200)的第二子视图(504)中。
7.如权利要求5所述的方法，包括：
经由用户输入组件接收指示被选择的红血细胞(508)的第三用户输入；以及
在所述红血细胞数据中找出所述被选择的红血细胞(508)的位置，从所述图像提取对应于包含所述被选择的红血细胞(508)的区域(506)的图像数据，增加所提取的图像数据的放大倍数，以及将其显示在所述第二视图(200)的第二子视图(504)中。
8.如权利要求1-4和7中的任一项所述的方法，包括
经由用户输入组件接收第四用户输入，所述第四用户输入指示所述第二视图(200)中的红血细胞，以及对于该红血细胞：
将所述红血细胞数据中的分类从由所述第一用户输入指示的第一组更新为由所述第一用户输入指示的第二组，
更新所述第二视图(200)，以在对应于所述第二组的子视图中而不是在对应于所述第一组的子视图中显示所提取的红血细胞。
9.如权利要求5所述的方法，包括
经由用户输入组件接收第四用户输入，所述第四用户输入指示所述第二视图(200)中的红血细胞，以及对于该红血细胞：
将所述红血细胞数据中的分类从由所述第一用户输入指示的第一组更新为由所述第一用户输入指示的第二组，
更新所述第二视图(200)，以在对应于所述第二组的子视图中而不是在对应于所述第一组的子视图中显示所提取的红血细胞。
10.如权利要求6所述的方法，包括
经由用户输入组件接收第四用户输入，所述第四用户输入指示所述第二视图(200)中的红血细胞，以及对于该红血细胞：
将所述红血细胞数据中的分类从由所述第一用户输入指示的第一组更新为由所述第一用户输入指示的第二组，
更新所述第二视图(200)，以在对应于所述第二组的子视图中而不是在对应于所述第一组的子视图中显示所提取的红血细胞。
11.如权利要求1-4、7和9-10中的任一项所述的方法，其中，高亮所述图像(106)中的所找出的红血细胞的步骤包括：
对于没有被分类到由所述第一用户输入指示的所述至少一组中的每个红血细胞(108b)，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)相对于所述图像(106)的背景(110)的对比度，其中，所述图像(106)的所述背景(110)由所述图像(106)中没有描绘红血细胞(108)的那些部分形成。
12.如权利要求5所述的方法，其中，高亮所述图像(106)中的所找出的红血细胞的步骤包括：
对于没有被分类到由所述第一用户输入指示的所述至少一组中的每个红血细胞(108b)，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)相对于所述图像(106)的背景(110)的对比度，其中，所述图像(106)的所述背景(110)由所述图像(106)中没有描绘红血细胞(108)的那些部分形成。
13.如权利要求6所述的方法，其中，高亮所述图像(106)中的所找出的红血细胞的步骤包括：
对于没有被分类到由所述第一用户输入指示的所述至少一组中的每个红血细胞(108b)，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)相对于所述图像(106)的背景(110)的对比度，其中，所述图像(106)的所述背景(110)由所述图像(106)中没有描绘红血细胞(108)的那些部分形成。
14.如权利要求8所述的方法，其中，高亮所述图像(106)中的所找出的红血细胞的步骤包括：
对于没有被分类到由所述第一用户输入指示的所述至少一组中的每个红血细胞(108b)，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)相对于所述图像(106)的背景(110)的对比度，其中，所述图像(106)的所述背景(110)由所述图像(106)中没有描绘红血细胞(108)的那些部分形成。
15.如权利要求11所述的方法，其中，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)的对比度的步骤包括：
将在所述红血细胞的所述分区内的所述部分中的所述图像(106)的强度设置为在所述红血细胞的所述分区内的所述部分中的所述图像(106)的原始强度和所述图像(106)的所述背景(110)的强度的组合。
16.如权利要求12-14中的任一项所述的方法，其中，降低所述红血细胞(108b)的所述分区内的部分中的所述图像(106)的对比度的步骤包括：
将在所述红血细胞的所述分区内的所述部分中的所述图像(106)的强度设置为在所述红血细胞的所述分区内的所述部分中的所述图像(106)的原始强度和所述图像(106)的所述背景(110)的强度的组合。
17.如权利要求1-4、7、9-10和12-15中的任一项所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
18.如权利要求5所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
19.如权利要求6所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
20.如权利要求8所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
21.如权利要求11所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
22.如权利要求16所述的方法，其中，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据还包括所述红血细胞(108)到所述至少一组(116)的分类的置信度，且其中，生成(S108)所述图形用户界面的第二视图(200)的步骤还包括，对由所述第一用户输入指示的所述至少一组(116)中的每一个，关于所述红血细胞到所述至少一组(116)中的分类的所述置信度对所提取的红血细胞进行排序。
23.如权利要求1-4、7、9-10、12-15和18-22中的任一项所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
24.如权利要求5所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
25.如权利要求6所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
26.如权利要求8所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
27.如权利要求11所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
28.如权利要求16所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
29.如权利要求17所述的方法，其中，接收(S100)描绘红血细胞(108)的样本的图像的步骤包括接收多个图像，所述多个图像的联合描绘红血细胞的所述样本，其中，对所述图像中的每个红血细胞(108)，所述红血细胞数据还包括所述多个图像中的其中描绘了所述红血细胞(108)的图像的标识，并且其中，显示(S106c)具有高亮的红血细胞的图像的步骤包括显示具有高亮的红血细胞的所述多个图像的联合。
30.如权利要求1-4、7、9-10、12-15、18-22和24-29中的任一项所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
31.如权利要求5所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
32.如权利要求6所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
33.如权利要求8所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
34.如权利要求11所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
35.如权利要求16所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
36.如权利要求17所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
37.如权利要求23所述的方法，还包括
在所述第二视图(200)的对应于第三组的子视图(204b)中包括还被分类到第四组中的所提取的红血细胞(608)的图形标记，其中，所述第三组和所述第四组与红血细胞的不同的属性(114a-d)相关联。
38.一种用于在用于红血细胞分析的图形用户界面中显示红血细胞的装置(300)，包括：
接收组件(302)，其被配置为接收描绘红血细胞(108)的样本的图像(106)和红血细胞数据，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据包括
·所述图像(106)中的所述红血细胞(108)的分区和位置，以及
·所述红血细胞(108)到关于红血细胞的至少一个属性(114a-d)的至少一组(116)的分类；
用户输入组件(304)，其被配置为接收指示所述图像中的所述红血细胞(108)已被分类到其中的至少一组(116)的第一用户输入；
处理单元(306)，其被配置为通过以下操作生成所述图形用户界面的第一视图(100)：
·在所述红血细胞数据中找出被分类到由所述第一用户输入指示的所述至少一组(116)的所有红血细胞(108a)，
·高亮所述图像(106)中所找出的红血细胞(108a)，以及
·在所述第一视图(100)中显示具有高亮的红血细胞的所述图像(106)；
-所述处理单元(306)还被配置为，对由所述第一用户输入指示的所述至少一组(116)中的每一个，通过以下操作来生成所述图形用户界面的第二视图(200)：
·在所述红血细胞数据中找出被分类到所述至少一组(116)中的所有红血细胞，
·通过从所述图像提取落入被分类到所述至少一组(116)中的所述红血细胞中的每一个的所述分区内的图像数据，来从所述图像(106)提取被分类到所述至少一组(116)中的红血细胞中的每一个，以及
·在所述第二视图(200)的对应于所述至少一组(116)的子视图(204a-d)中显示所提取的红血细胞。
39.一种用于红血细胞分析的图形用户界面，包括：
接收界面，其被配置为接收描绘红血细胞的样本的图像(106)和红血细胞数据，对所述图像(106)中的每个红血细胞(108)，所述红血细胞数据包括：
·所述图像(106)中的所述红血细胞(108)的分区和位置，及
·所述红血细胞(108)到关于红血细胞的至少一个属性(114a-d)的至少一组(116)的分类，
用户输入界面，其被配置为接收指示所述图像(106)中的所述红血细胞(108)已被分类到其中的至少一组(116)的第一用户输入；
第一视图(100)，其已经通过以下操作来被生成：
·在所述红血细胞数据中找出被分类到由所述第一用户输入指示的所述至少一组(116)中的所有红血细胞(108a)，
·高亮所述图像(106)中所找出的红血细胞(108a)，以及
·在所述第一视图(100)中显示具有高亮的红血细胞的所述图像(106)；
第二视图(200)，对由所述第一用户输入指示的所述至少一组(116)中的每一个，已经通过以下操作生成所述第二视图(200)：
·在所述红血细胞数据中找出被分类到所述至少一组(116)的所有红血细胞，
·通过从所述图像提取落入被分类到所述至少一组(116)中的所述红血细胞中的每一个的所述分区内的图像数据，来从所述图像提取被分类到所述至少一组中的红血细胞中的每一个，以及
·在所述第二视图(200)的对应于所述至少一组的子视图(204a-d)中显示所提取的红血细胞。
40.一种计算机可读介质(308)，其包括当在具有处理能力的设备中被执行时适于执行权利要求1-37中任一项所述的方法的计算机代码指令。
41.一种用于在用于红血细胞分析的图形用户界面中显示红血细胞的系统，包括：
描绘设备(312)，其被布置为描绘红血细胞的样本；
显示器(310)；以及
用于生成根据权利要求39的图形用户界面的装置(300)，所述装置(300)被连接到所述描绘设备(312)和所述显示器(310)，其中，所述装置(300)被布置为从所述描绘设备(312)接收描绘红血细胞(108)的样本的图像(106)，并且在所述显示器(310)上显示所述图形用户界面。
CN201480025957.XA 2013-05-08 2014-05-02 用于红血细胞分析的图形用户界面 Active CN105308628B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1350568-0 2013-05-08
SE1350568A SE537088C2 (sv) 2013-05-08 2013-05-08 Grafiskt användargränssnitt för analys av röda blodkroppar
PCT/EP2014/058979 WO2014180747A1 (en) 2013-05-08 2014-05-02 Graphical user interface for analysis of red blood cells

Publications (2)

Publication Number Publication Date
CN105308628A CN105308628A (zh) 2016-02-03
CN105308628B true CN105308628B (zh) 2019-05-21

Family

ID=50687462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025957.XA Active CN105308628B (zh) 2013-05-08 2014-05-02 用于红血细胞分析的图形用户界面

Country Status (7)

Country Link
US (1) US10089518B2 (zh)
EP (1) EP2994852A1 (zh)
JP (1) JP6373359B2 (zh)
CN (1) CN105308628B (zh)
AU (1) AU2014264775B2 (zh)
SE (1) SE537088C2 (zh)
WO (1) WO2014180747A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489633B2 (en) * 2016-09-27 2019-11-26 Sectra Ab Viewers and related methods, systems and circuits with patch gallery user interfaces
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
JP6857088B2 (ja) * 2017-06-20 2021-04-14 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
USD877174S1 (en) 2018-06-03 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD883312S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
US11301966B2 (en) * 2018-12-10 2022-04-12 Apple Inc. Per-pixel filter
EP3876193A1 (de) 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
WO2022021224A1 (zh) * 2020-07-30 2022-02-03 深圳迈瑞生物医疗电子股份有限公司 样本分类方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101762584A (zh) * 2008-12-25 2010-06-30 希森美康株式会社 细胞图像显示装置、细胞图像显示方法、以及控制系统
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3812185B2 (ja) * 1998-12-01 2006-08-23 株式会社日立製作所 欠陥分類方法およびその装置
DE60231032D1 (de) 2001-04-12 2009-03-19 Cellavision Ab Verfahren in der mikroskopie und mikroskop, wobei teilbilder aufgezeichnet und in demselben koordinatensystem im puzzle-verfahren angeordnet werden, um eine präzise positionierung der mikroskopstufe zu ermöglichen
US7801361B2 (en) 2002-10-15 2010-09-21 Definiens Ag Analyzing pixel data using image, thematic and object layers of a computer-implemented network structure
JP4578135B2 (ja) * 2004-03-30 2010-11-10 シスメックス株式会社 標本画像の表示方法および標本画像表示用プログラム
US7925070B2 (en) 2004-03-30 2011-04-12 Sysmex Corporation Method for displaying virtual slide and terminal device for displaying virtual slide
JP5466825B2 (ja) * 2008-01-23 2014-04-09 シスメックス株式会社 細胞画像処理システム、細胞画像表示システムおよび細胞画像表示方法
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
US8711149B2 (en) * 2010-12-08 2014-04-29 Definiens Ag Graphical user interface for interpreting the results of image analysis
AU2012242587B2 (en) * 2011-04-15 2015-11-26 Roche Diagnostics Hematology, Inc. Measuring volume and constituents of cells
CA2839531A1 (en) * 2011-06-17 2012-12-20 Constitution Medical, Inc. Systems and methods for sample display and review
US8737709B2 (en) * 2012-04-30 2014-05-27 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
CN101762584A (zh) * 2008-12-25 2010-06-30 希森美康株式会社 细胞图像显示装置、细胞图像显示方法、以及控制系统

Also Published As

Publication number Publication date
JP6373359B2 (ja) 2018-08-15
JP2016517989A (ja) 2016-06-20
SE537088C2 (sv) 2015-01-07
SE1350568A1 (sv) 2014-11-09
AU2014264775B2 (en) 2019-04-04
EP2994852A1 (en) 2016-03-16
US10089518B2 (en) 2018-10-02
AU2014264775A1 (en) 2015-11-12
WO2014180747A1 (en) 2014-11-13
US20160078276A1 (en) 2016-03-17
CN105308628A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105308628B (zh) 用于红血细胞分析的图形用户界面
US8699769B2 (en) Generating artificial hyperspectral images using correlated analysis of co-registered images
JP6763781B2 (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
US8391575B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
US9159129B2 (en) Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images
EP2765557B1 (en) Coregistering images of needle biopsies using multiple weighted landmarks
JP2018509591A5 (zh)
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
JP2008249440A (ja) クロマトグラフィー質量分析方法、及びクロマトグラフ質量分析装置
JP2018512072A (ja) 自動化スライド全域解析の品質管理
EP2936431B1 (en) Improved gleason grading by segmenting and combining co-registered images of differently stained tissue slices
JP2015527622A (ja) 生物組織に対するバイオマーカーの品質レビュースコアリング及び画像解析方法を実行するためのシステム並びに方法
CN108780065A (zh) 质谱分析数据解析装置以及质谱分析数据解析用程序
JP2009066088A (ja) 多変量解析装置及びコンピュータプログラム
US10127473B2 (en) Diagnosis assisting system, diagnosis assisting method, and program thereof
JP2020171545A (ja) 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
JP5007326B2 (ja) クロマトグラフィー質量分析方法、及びクロマトグラフ質量分析装置
JP6092336B1 (ja) 画像処理システム、画像処理方法及び画像処理プログラム
CN114660057A (zh) 生成用于细胞分析的图形用户界面的方法、装置和系统
KR20230144555A (ko) 진단적 중요도의 순서대로 세포 및 조직을 동적으로 우선순위를 매기고 조직화하며 표시하는 시스템 및 방법
JP2022162444A (ja) 情報処理装置、情報処理方法、およびプログラム
US20210192734A1 (en) Electronic method and device for aiding the determination, in an image of a sample, of at least one element of interest from among biological elements, associated computer program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant