CN110050281B - 学习图像中的对象的注释 - Google Patents

学习图像中的对象的注释 Download PDF

Info

Publication number
CN110050281B
CN110050281B CN201780075488.6A CN201780075488A CN110050281B CN 110050281 B CN110050281 B CN 110050281B CN 201780075488 A CN201780075488 A CN 201780075488A CN 110050281 B CN110050281 B CN 110050281B
Authority
CN
China
Prior art keywords
image
scale
processor
annotation
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780075488.6A
Other languages
English (en)
Other versions
CN110050281A (zh
Inventor
D·N·兹纳缅斯基
K·西戈德尔
M·范德里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110050281A publication Critical patent/CN110050281A/zh
Application granted granted Critical
Publication of CN110050281B publication Critical patent/CN110050281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19167—Active pattern learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

提供一种系统和方法，其使用机器学习算法以多尺度图像的一个或多个尺度来获得所学习的对象的注释。提供用于观察所述多尺度图像的观察窗口(300)。所述观察窗口是基于放大系数和空间偏移参数可配置的，所述放大系数选择多个尺度中的一个用于观察。用户可以提供所述观察窗口中的对象的手动注释，所述手动注释然后用作所述机器学习算法的学习中的训练反馈。为了使得用户能够更有效地提供所述手动注释，针对所述观察窗口的所述放大系数和所述空间偏移参数可以被自动确定，即通过系统和方法确定在所述多尺度图像中何处所述对象的所述手动注释将会对由所述机器学习算法提供的所学习的注释具有足够的影响。所确定的影响可以以叠加(350)的形式被示出在所述观察窗口中。

Description

学习图像中的对象的注释
技术领域
本发明涉及一种用于学习图像中的对象的注释的系统和计算机实施的方法。本发明进一步涉及包括所述系统的工作站和成像装置，并且涉及包括用于使处理器系统执行所述方法的指令的计算机可读介质。
背景技术
在数字病理学中，使用计算机视觉算法并且具体地使用机器学习算法来执行自动细胞或组织类型检测是已知的。这种机器学习算法的训练需要手动组织或细胞注释。然而，病理图像进行手动注释以表征不同类型的组织或细胞是耗时的工作。可靠的注释需要病理学家，这使它成为昂贵的过程。此外，病理图像的手动注释是单调乏味的工作，并且即使对于训练过的病理学家，也会是易出错的任务。
以上问题也发生在除了数字病理学的领域中。因此希望减少用户训练机器学习算法的努力。
CN104537676描述了基于在线学习的逐步图像分割方法。据称逐步图像分割方法包括以下步骤：对输入图像执行多层分解，并且获得图像的多层表示；在用户标记的基础上执行交互式分割，训练并更新分割模型，并且通过迭代循环逐步对图像进行准确分割；在所述交互式分割过程中，被错误分割的那部分区域通过用户标记来校正，从用户标记提取训练样本，并且样本通过样本扩展策略来进行扩展；通过扩展得到的训练样本用于训练并更新分割模型，对输入图像执行分割预测。
CN104537676因此描述了一种不同于在训练之前让用户手动注释大量图像而是以交互式方式(即通过用户在分割过程期间校正分割结果)训练并更新分割模型的方法。训练因此被逐步执行。
不利地，它仍然会需要用户的大量努力来校正CN104537676的所有错误分割结果。
Dhruv Batra等人的标题为“Interactively Co-segmentating TopicallyRelated Images with Intelligent Scribble Guidance”的出版物(Int J Comput Vis,2011,vol.93,no.3)描述了用于从一组相关图像交互式协同分割前景对象的算法。描述了被认为智能地建议用户下一次应当在哪里涂画的自动建议系统。考虑到来自用户的一组初始涂画，针对该组中的每个图像计算建议图。具有最高建议分数的图像(和区域)被呈现给用户以接收更多的涂画。作为建议分数，多个“线索”被组合。
发明内容
获得允许用户更选择性地为机器学习算法的训练提供反馈的系统和方法将会是有利的。
本发明的第一方面提供了一种用于学习图像中的对象的注释的系统，所述系统包括：
-图像数据接口，其被配置为访问表示图像的多尺度表示的图像数据，所述图像的所述多尺度表示包括以不同空间分辨率表示所述图像的多个尺度；
-存储器，其包括表示指令集的指令数据；
-处理器，其被配置为与所述图像数据接口和所述存储器通信，并且执行所述指令集，其中，当由所述处理器执行时，所述指令集令所述处理器使用机器学习算法以所述多尺度图像的一个或多个尺度来获得所学习的对象的注释；以及
-用户接口子系统，其包括：
i)显示处理器，其被配置为在显示器上建立观察窗口以观察所述多尺度图像，所述观察窗口是在放大系数和空间偏移参数的基础上可配置的，所述放大系数确定所述多个尺度中的哪一个尺度要被示出在所述观察窗口中，所述空间偏移参数定义所述尺度中的哪一个部分要被示出；以及
ii)用户输入接口，其被配置为接收指示由用户对所述观察窗口中的对象的手动注释的用户输入数据；
其中，当由所述处理器执行时，所述指令集令所述处理器：
-使用由所述用户对所述对象的所述手动注释作为所述机器学习算法中的学习输入；以及
-在接收所述用户输入数据之前，通过识别在所述多尺度图像中何处由所述用户对所述对象的所述手动注释产生满足改变标准的由所述机器学习算法所学习的对象的注释的改变来确定针对所述观察窗口的所述放大系数和所述空间偏移参数。
本发明的又一方面提供了一种包括所述系统的工作站或成像装置。
本发明的又一方面提供了一种用于学习图像中的对象的注释的计算机实施的方法，所述方法包括：
-访问表示图像的多尺度表示的图像数据，所述图像的所述多尺度表示包括以不同空间分辨率表示所述图像的多个尺度；
-使用机器学习算法以所述多尺度图像的一个或多个尺度来获得所学习的对象的注释；
-在显示器上建立观察窗口以观察所述多尺度图像，所述观察窗口是在放大系数和空间偏移参数的基础上可配置的，所述放大系数确定所述多个尺度中的哪一个尺度要被示出在所述观察窗口中，所述空间偏移参数定义所述尺度中的哪一个部分要被示出；以及
-接收指示由用户对所述观察窗口中的对象的手动注释的用户输入数据；
其中，所述方法进一步包括：
-使用由所述用户对所述对象的所述手动注释作为所述机器学习算法的学习中的训练反馈；以及
-在接收所述用户输入数据之前，通过识别在所述多尺度图像中何处由所述用户对所述对象的所述手动注释产生满足改变标准的由所述机器学习算法所学习的对象的注释的改变来确定针对所述观察窗口的所述放大系数和所述空间偏移参数。
本发明的又一方面提供了一种计算机可读介质，包括表示被布置为令处理器系统执行所述方法的指令的瞬态或非瞬态数据。
以上措施涉及图像的多尺度表示的注释。这种多尺度表示是本身已知的。非限制性范例是图像的金字塔表示。例如，在数字病理学中，图像通常被存储为多分辨率图像金字塔，其中，相比于第(n-1)个图像水平，第n个图像水平具有2x较低分辨率。另一非限制性范例是图像的尺度-空间表示。一般来说，这种多尺度表示包括或提供以不同空间细节水平表示相同图像内容的多个尺度。
以上措施进一步使得用户能够在显示器上的观察窗口中观察所述多尺度图像。观察窗口是通过放大系数可配置的，所述放大系数确定多个图像尺度中的哪一个图像尺度被示出。由于通常所选择的图像尺度大于观察窗口，所述观察窗口具有一个或多个可配置的空间偏移参数，例如，水平和垂直偏移。这种空间偏移可以允许图像内容在观察窗口中的平移。应注意，如在该段落中描述的功能性例如从医学工作站是本身已知的。
以上措施进一步涉及使用机器学习算法以所述多尺度图像的一个或多个尺度来提供对象的注释。这样的机器学习算法的非限制性范例是增强学习算法或卷积神经网络。所获得的(一个或多个)注释也被称为“所学习的注释”。机器学习算法进一步使用由用户对对象的手动注释作为训练反馈。手动注释可以由用户使用观察窗口来提供，例如，通过拖曳观察窗口中的轮廓，或以图像注释的领域中本身已知的任何其他方式。手动注释也可以涉及所学习的注释的校正。例如，手动注释可以涉及用户校正所注释的对象的标记。在特定的范例中，手动注释可以以与CN104537676相同或类似的方式用作训练反馈。在这方面，应注意，注释可以包括分割或勾画，而且也可以包括将标记分配给已经分割的对象或改变已经分割的对象的标记。
以上措施进一步涉及自动确定针对所述观察窗口的所述放大系数和所述空间偏移参数。即，所述措施识别在多尺度图像中何处由用户对对象的手动注释将会产生由机器学习算法所学习的多尺度图像中的对象的注释的足够改变。此处，“何处”一词可以涉及图像尺度和图像尺度内的空间位置。通过识别图像尺度，可以识别针对观察窗口的放大系数。通过识别图像尺度中的空间位置，可以确顶针对观察窗口的空间偏移参数。观察窗口然后可以自动利用放大系数和空间偏移参数来进行配置。备选地，放大系数和空间偏移参数可以例如以图形指示符或文本的形式向用户进行指示，以使得用户能够相应地手动配置观察窗口。
以上措施具有朝向用户的反馈被认为足够改变由机器学习算法所学习的多尺度图像中的对象的注释的多尺度图像中的位置引导他/她的效果。此处，“足够改变”一词要在技术上被理解为满足改变标准的改变。例如，改变标准可以是绝对或相对阈值。另一范例是改变标准可以识别最大可获得的改变。应意识到，这种改变可以通过各种量度来进行量化。非限制性范例是量度可以确定在使用手动注释作为训练反馈之前与之后的所学习的注释之间的差异。在特定的范例中，如果所学习的注释产生逐像素的标记，逐像素的标记的差异可以在多尺度图像的所有像素内进行求和，以便获得改变的量化。
通过识别在多尺度图像中何处由用户对对象的手动注释将会足够改变由机器学习算法的全部所学习的对象的注释，用户将会被引导朝向他/她的反馈提供显著贡献的地方。应当意识到，当被用作训练反馈时，实质上不改变所学习的注释的手动注释可以被认为是多余的。这种类型的手动注释因此可以被避免。有利地，用户可以在机器学习算法的训练期间更选择性地提供输入，因为对所学习的注释几乎没有影响的手动注释可以被避免。
应当意识到，在本发明的领域内，“模拟手动注释”应被理解为被“自动”执行(即，不涉及用户)的注释。这种自动注释通常力求模拟人类注释者，其使用手动注释作为训练输入和通常基于手动注释的地面真值/参考来遵循几乎所有基于学习的自动注释技术。因此，“模拟手动注释”的概念表示由处理器/方法而非由用户的自动注释。
当由所述处理器执行时，所述指令集可以令所述处理器识别在多尺度图像中何处由用户对对象的手动注释产生由机器学习算法所学习的对象的注释的最大改变或超过绝对或相对阈值的改变。因此，用户可以被引导朝向他/她的反馈提供对机器学习算法的训练的最大贡献或超过阈值的足够贡献的地方。
例如，当由所述处理器执行时，所述指令集可以令所述处理器通过以下来确定针对所述观察窗口的所述放大系数和所述空间偏移参数：
-以所述多尺度图像的不同的尺度和/或以所述多尺度图像的每个尺度的不同部分来模拟对象的手动注释；
-使用模拟手动注释作为所述机器学习算法中的不同学习输入；
-量化得到的不同的所学习的对象的注释的改变，以便识别在由所述机器学习算法所学习的对象的注释中提供最大改变的模拟手动注释；并且
–基于所识别的模拟手动注释来选择针对所述观察窗口的所述放大系数和所述空间偏移参数。
以上措施涉及模拟不同的手动注释并且针对模拟手动注释中的每一个量化得到的改变。这允许识别提供由机器学习算法所学习的对象的注释的最大改变的模拟手动注释。通过朝向模拟手动注释所处的图像尺度和位置引导用户，用户可以被引导朝向他/她的反馈为机器学习算法的训练做出最大贡献的地方。在这方面，应注意，模拟手动注释可以并且实际上可能不同于用户的手动注释。例如，模拟手动注释可以是粗糙的，例如，涉及基于区域而非局部地分配标记等。然而，模拟手动注释可以允许针对由用户的后续手动注释识别最大影响的区域。
任选地，当由所述处理器执行时，所述指令集令所述处理器：
-将所述多尺度图像的每个尺度分成图像部分；以及
-通过将对象标记分配给所述图像部分中的至少一个或改变所述图像部分中的至少一个的先前分配的对象标记来模拟所述对象的所述手动注释。
手动注释可以在相对粗糙的水平上进行模拟，例如，通过基于每个图像部分量化手动注释的改变的影响。例如，图像部分可以是例如8x8或16x16个像素的块。这可以允许限制识别在多尺度图像中何处由用户对对象的手动注释产生最大改变的计算复杂性。备选地，图像部分可以是例如使用分割算法被自动分割的对象。
任选地，所述处理器可以被配置为生成受每个图像部分中的所述手动注释影响的改变的程度的图，并且所述用户接口子系统可以被配置为将所述图叠加在所显示的多尺度图像上。例如，改变的程度可以使用颜色编码来进行可视化，其中，颜色的强度、饱和度和色调根据改变的程度来改变。
任选地，所述用户接口子系统被配置为自动将由所述处理器确定的所述放大系数和所述空间偏移参数应用所述观察窗口。因此，用户被直接引导朝向要被注释的图像区域。
任选地，
-所述用户接口子系统被配置为使得所述用户能够在图像观察期间手动地选择针对所述观察窗口的所述放大系数和所述空间偏移参数，以便确定用户选择的图像区域；
-当由所述处理器执行时，所述指令集令所述处理器使用所述机器学习算法来获得所述用户选择的图像区域中的学习的对象的注释；以及
-所述用户接口子系统被配置为在所述观察窗口中对学习的对象的注释进行可视化。
因此，为用户提供了关于由机器学习算法提供的所学习的注释的反馈。因此，由用户的手动注释可以考虑多尺度图像中的所学习的注释的当前状态。此外，如果手动注释涉及所学习的注释的校正，用户可以容易地校正所述所学习的注释，因为它在观察窗口中对他/她是可见的。为了后一目的，所述用户接口子系统可以被任选地配置为使得所述用户能够手动地校正所述观察窗口中的所学习的对象的注释，并且当由所述处理器执行时，所述指令集可以任选地令所述处理器使用所述经校正的注释作为所述机器学习算法中的训练反馈。
任选地，当由所述处理器执行时，所述指令集令所述处理器将所述机器学习算法应用于所述多尺度图像的每个尺度，从而获得多个注释图，所述多个注释图中的每个以相应尺度表示所学习的对象的注释。任选地，当由所述处理器执行时，所述指令集令所述处理器通过组合或重叠所述多个注释图来生成所述多尺度图像的语义描述。在不同尺度上的同时注释可以提供多尺度图像的语义理解。例如，在较精细的图像尺度上，可以检测到不同的细胞类型，而在较粗糙的图像尺度上，可以检测到不同的组织类型。通过组合或重叠多个注释图，可以自动生成语义描述，例如基于根据跨过图像尺度的图像区域中的注释提供针对相同图像区域的语义描述的规则集。
本领域技术人员应意识到，可以以任何被认为是有用的方式来将上面提到的本发明的实施例、实现方式和/或可选方面中的两个或多个进行组合。
本领域技术人员基于本说明书能够实现与所描述的系统的修改和变型相对应的工作站、成像装置、计算机实施的方法、和/或计算机程序产品的修改和变型。
本领域技术人员应意识到，所述系统和方法可以适于通过各种采集模态采集的图像数据，诸如但不限于，标准X-射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。然而，非医学用途也被设想。图像数据也可以是非医学图像数据。
附图说明
参考以下描述中的以范例的方式描述的实施例并且参考附图，本发明的这些和其他方面将会是显而易见的并且得到进一步阐明，其中
图1示出了用于学习对象的注释的系统；
图2示出了图像金字塔形式的多尺度图像；
图3示出了可以由系统建立在显示器上以使得用户能够观察多尺度图像的观察窗口；
图4示出了由系统自动配置为显示对所学习的注释具有最大影响的图像区域的观察窗口；
图5示出了在观察窗口中的图像内容上提供叠加以向用户视觉地指示影响的系统；
图6示出了用于学习对象的注释的方法；以及
图7示出了包括用于令处理器系统执行所述方法的指令的计算机可读介质。
应当注意附图是单纯图解性的并未按比例进行绘制。在附图中，对应于已经描述的元件的元件可以具有相同的参考编号。
参考数字列表
提供了参考编号的以下列表以便于附图的解读，并不应当被理解为对权利要求进行限制。
020 图像库
022 数据通信
030 图像数据
060 显示器
062 显示数据
080 用户输入设备
082 用户输入数据
100用于学习对象的注释的系统
120 图像数据接口
122 内部数据通信
140 处理器
142、144 内部数据通信
160 存储器
180 用户接口子系统
182 显示处理器
184 用户输入接口
200 多尺度图像
202-208 图像尺度
210 组织
220 细胞
300 观察窗口310、312针对放大系数的UI元件
320、322针对水平偏移的UI元件
330、332针对垂直偏移的UI元件
350指示影响的图像区域的叠加
400用于学习对象的注释的方法
410访问图像数据420获得所学习的对象的注释
430 建立观察窗口
440 识别影响的图像区域
450 配置观察窗口
460 接收手动注释470使用手动注释作为训练反馈
500 计算机可读介质510 表示指令的非瞬态数据
具体实施方式
图1示出了用于学习图像中的对象的注释的系统100。系统100被示为包括图像数据接口120，所述图像数据接口120被配置为经由数据通信022访问表示图像的多尺度表示的图像数据030。图像的多尺度表示可以包括以不同空间分辨率表示图像的多个尺度。在图1的范例中，图像数据接口120被示为被连接到外部图像库020，所述外部图像库020包括多尺度图像的图像数据030。例如，图像库020可以由系统100可以被连接到或被包括在其中的医院信息系统(HIS)的影像归档和通信系统(PACS)构成或是其一部分。因此，系统100可以经由HIS获得对多尺度图像的图像数据030的访问。备选地，多尺度图像的图像数据030可以从系统100的内部数据存储设备访问。一般来说，图像数据接口120可以采取各种形式，诸如到局域或广域网(例如，互联网)的网络接口、到内部或外部数据存储设备的存储设备接口等。
系统100被进一步示为包括处理器140、存储器160和用户接口子系统180，所述处理器140被配置为经由数据通信122与图像数据接口120内部地通信，所述存储器160可由处理器140经由数据通信142访问，所述用户接口子系统180具有显示处理器182和用户输入接口184，所述用户输入接口184被配置为经由数据通信144与处理器140内部地通信。
用户接口子系统180可以被配置为在系统100的操作期间使得用户能够手动地注释多尺度图像中的对象。为此目的，显示处理器182可以被配置为生成针对显示器060的显示数据062，以在显示器060上建立观察窗口以观察多尺度图像。例如，观察窗口可以是由显示处理器182生成的图形用户接口的一部分。用户输入接口184可以被配置为从可由用户操作的用户输入设备080接收用户输入数据082，以使得用户能够指示手动操作，并且可能一般地，与图形用户接口交互。
尽管在图1中被示为是外部显示器，显示器060也可以是内部显示器。观察窗口可以通过作为数据被存储在可由显示处理器182访问的存储器中的接口指令集来表示，所述存储器例如是存储器160或系统100的另一存储器。用户输入设备080可以采取各种形式，包括但不限于计算机鼠标、触摸屏、键盘、麦克风等。图1示出了为计算机鼠标的用户输入设备。一般来说，用户输入接口184可以是与用户输入设备080的类型相对应的类型，即，它可以是与之相对应的用户设备接口。
处理器140可以被配置为在系统100的操作期间使用机器学习算法来获得所述多尺度图像的一个或多个尺度中的所学习的对象的注释。机器学习算法可以通过作为数据被存储在存储器160中的指令集来表示。机器学习算法的范例包括但不限于深度学习算法，例如，卷积神经网络。这样的算法本身在机器学习和计算机视觉的领域中是已知的。
尽管未在图1中示出，在显示器上建立的观察窗口可以是在放大系数和空间偏移参数的基础上可配置，所述放大系数确定多个尺度中的哪一个要被显示在观察窗口中，所述空间偏移参数定义所述尺度的哪个部分要被显示在观察窗口中。处理器140可以被配置为在系统100的操作期间通过识别在多尺度图像中何处由用户对对象的手动注释产生满足变化准则的由机器学习算法所学习的对象的注释的变化来确定针对观察窗口的放大系数和空间偏移参数。因此，手动注释可以在由处理器140识别的多尺度图像的期望区域中被执行。
系统100的操作(包括其各个任选方面)将会参考图2-5进行描述。
一般来说，图1的系统可以被体现为设备或装置(诸如工作站或成像装置)或在其中。设备或装置可以包括执行适当软件的一个或多个(微)处理器。所述系统的处理器和显示处理器均可以通过这些(微)处理器中的一个或多个或通过相同的(微)处理器来体现。实施例如机器学习算法、观察窗口或图形用户接口(包括系统的观察窗口和/或其他功能性)的软件可以已经被下载和/或被存储在对应的一个或多个存储器中，例如，在诸如RAM的易失性存储器中或在诸如闪烁存储器的非易失性存储器中。备选地，所述系统的处理器和显示处理器可以以可编程逻辑(例如，如现场可编程门阵列(FPGA))的形式被实施在设备或装置中。图像数据接口和用户输入接口可以由设备或装置的相应接口来实施。一般来说，所述系统的每个单元可以以电路的形式来实施。应注意，所述系统也可以以分布式方式来实施，例如，涉及不同的设备或装置。例如，所述系统的分布可以是根据客户端-服务器模型，例如，使用服务器和瘦客户端PACS工作站。
图2示出了图像金字塔形式的多尺度图像200，其为可以作为输入被图1的系统100使用的图像的多尺度表示的范例。如能够在图2中看出的，多尺度图像200可以包括多个图像尺度(出于清楚的原因，图2仅示出了有限数量的尺度)。举例来说，图2的多尺度图像可以是数字病理图像。这样的数字病理图像通常被存储为多分辨率图像金字塔，其中，相比于第(n-1)个图像水平，第n个图像水平具有2x较低分辨率。在图2的范例中，图像尺度“0”208可以对应于“原始”病理图像，例如，对应于原有成像分辨率，而较高的图像尺度(例如，尺度“5”206、尺度“6”204和尺度“8”202可以具有通过32、64和256的系数被减小的分辨率。应注意，这样的尺度也可以被称为“水平”。
为了用户观察每个图像尺度的固定尺寸部分(例如，X乘Y个像素的窗口)，图像内容和背景可以相当不同地出现在每个图像尺度上。例如，用户可以以图像尺度“0”208察觉个体细胞220，而以图像尺度“5”206及以上看见微器官和不同的组织210。
图3示出了可以由系统在显示器上建立以使得用户能够观察多尺度图像的观察窗口300。这样的观察窗口300可以显示每个选定图像尺度的前面提到的固定尺寸部分。在图3的范例中，观察窗口被示为以示出组织210的图像尺度(例如，以图像尺度5或6)显示多尺度图像。用户可以使用观察窗口来放大或缩小多尺度图像，从而触发系统显示另一图像尺度。为此目的，用户可以使用UI元件，诸如表示放大系数的滑动块310。类似地，为了平移选定的图像尺度，用户可以使用UI元件(诸如滑动块320、330)来选择水平和/或垂直空间偏移参数，并且由此在观察窗口内平移图像内容。
如参考图1简短描述的，图3的观察窗口可以由用户用于提供训练反馈，即通过手动地注释对象。例如，用户可以勾画对象，将对象标签分配给图像部分，或改变先前由机器学习算法分配的对象标签。
本身已知的是使用如在图3中示出的观察窗口用于对象(诸如细胞和组织)的手动注释。然而，应意识到在病理图像的范例中，细胞功能取决于背景。当已知细胞位于哪一个组织/器官时，更容易区别细胞类型。即，取决于这种背景，细胞可以属于不同的细胞类型和功能。病理学家通常隐含地在不同的放大水平下使用图像背景来注释/检测特定的组织/细胞类型。具体地，将特定的细胞/组织组合分类为恶性的或健康的而非从其背景中对个体细胞进行分类可以是更容易的。此外，采用差别分类以一致的方式同时对若干细胞/组织类型进行注释和分类可以是更容易的。
从注释角度来看，所注释的/所分割的对象的背景可以被认为是在特定的观察窗口内可见并且以某一分辨率采样的所有其他对象中的多个。当用户进行放大/缩小时，对象的背景可以在数量(例如，可见对象的数量)和质量(例如，对象在某一分辨率下的像素表示是困难的)两方面改变。例如，对于放大的图像，细胞的背景可以是多个相邻的细胞，而对于缩小的图像，背景可以是多个周围的组织。
在注释多尺度图像的现有技术方式中，图像的注释经常以某一放大系数来完成，其中没有关于精确放大值的信息被保留。针对注释选择的放大系数可以在注释速度、准确性与一致性之间进行权衡。因此，在高缩放系数下，注释可以是准确的，但是缓慢的且更不一致的，因为仅观察窗口内的对象能够被直接比较，并且周围的细胞结构和组织的背景在观察窗口的边界之外。对低缩放系数，注释是更快的，但是更不准确的，因为个体细胞是几乎不可见的。
图4示出了被配置为自动示出对所学习的注释具有最大影响的图像区域的图1的系统的结果。即，能够看出，观察窗口300示出了不同的图像尺度，即，个体细胞220在其中被示出的图2的图像尺度“0”。此外，水平和垂直空间偏移参数可以已经被选择，其示出了最大影响的特定图像区域。此处，“最大影响的图像区域”一词被理解为由用户的手动注释被认为最大解决了由机器学习算法所学习的注释的模糊性的图像尺度和图像位置。可以通过根据手动注释被应用于的图像区域确定多尺度图像中的所学习的注释的改变的程度并且通过选择与最大改变相关联的图像区域来计算最大影响。备选地，图像区域也可以基于相当大的所学习的注释的改变来识别，例如，通过超过绝对或相对阈值。因此，对“最大影响”的提及也可以适于“足够影响”。
为了识别最大影响的图像区域，系统的处理器可以通过适当的指令被配置为通过将改变的程度量化作为模拟手动注释的结果来确定针对观察窗口并且由此图像区域的放大系数和空间偏移参数。例如，处理器可以以多尺度图像的不同尺度和/或以所述多尺度图像的每个尺度的不同部分模拟对象的手动注释，使用所述模拟手动注释作为机器学习算法中的不同学习输入，量化得到的不同的所学习的对象的注释的改变以便识别提供由机器学习算法所学习的对象的注释的最大改变的模拟手动注释，并且基于所识别的模拟手动注释来选择针对观察窗口的放大系数和空间偏移参数。
在另一范例中，所述系统可以执行可以由系统迭代地执行的以下伪代码：
A.用户或系统选择放大系数和空间偏移
B.对于多尺度图像的所有图像部分，进行：
a.选择标记
b.选择(非监督式)分割方法
c.使用非监督式算法来将图像部分分割成集群
d.通过分配/擦除标记来编辑分割图
e.更新机器学习算法
f.量化受以上步骤影响的改变
C.搜索提供由用户的注释将会最大地影响自动注释图的图像部分的放大系数和空间偏移；当回到步骤A时，这可以由系统进行选择。应注意，步骤a-b可以从注释图的第一次重新计算向前是可选的。
不同于以集群方式分割图像内容来模拟由用户的手动注释，图像内容的规律区分也可以被使用。例如，图像内容可以被区分成块，其标记可以被改变以模拟由用户对特定块的手动注释。在特定的范例中，系统可以执行可以由系统迭代地执行的以下伪代码。首先，多尺度图像可以被分成例如8x8个像素的块。然后每个块或块的选择的“影响”可以通过以下来计算：
a)改变块的标记
b)将具有改变的标记的块看作手动注释
c)更新机器学习算法
d)对被不同地注释的像素的数量进行计数；像素的这种数量可以被看作块的“影响”。
应注意，一旦块或其他图像部分已经被识别，放大系数和(一个或多个)空间偏移参数可以被选择为示出包括特定块或图像部分的图像区域。例如，放大系数和(一个或多个)空间偏移参数可以集中在特定块或图像部分。
一般来说，处理器可以通过分割或区分将多尺度图像的每个尺度分成图像部分，并且通过将对象标记分配给图像部分中的至少一个或改变图像部分中的至少一个的先前分配的对象标记来模拟对象的手动注释。考虑到特定图像部分将会改变标记，特定图像部分的影响可以被计算为将会改变标记的图像部分的尺寸。此处，“改变标记”一词可以包括对象类型(诸如细胞类型)的改变，而且还包括可以在注释期间被分配的任何其他种类的标记。
图5示出了在观察窗口中示出的图像区域上提供叠加350以向用户视觉地指示图像部分的系统。叠加350可以指示在图像区域中何处由用户的手动注释被认为最大地影响所学习的注释。为了生成叠加350，系统可以利用已经被确定的模拟手动注释的影响。叠加350可以是图像尺度上面的透明颜色叠加，其中，透明度、强度、色调、饱和度或其他视觉性质可以由系统选择为与该图像部分中的手动注释的影响成比例。在图5的范例中，较暗的阴影指示更少的影响，而较亮的阴影指示更高的影响。
一般来说，由系统在不同放大水平下获得的注释图可以被组合，以提供图像背景的语义描述。所述系统可以自动创建/细化语义描述以a)与图像注释一致(例如，语义描述与手动注释相符)、b)与图像内容一致(例如，图像内容的类似像素将会被分配类似的语义描述)。为此目的，系统可以组合或重叠针对每个图像尺度获得的注释图。例如，如果更精细的分辨率层上的一个注释图分割出个体细胞，并且更粗糙的分辨率层上的另一注释图在蓝色血管与肌肉组织之间进行区分，则通过将这些注释图组合成一个可以识别“血管细胞”和“肌肉细胞”。基于规则的系统、查找表或类似的技术可以用来获得语义描述。例如，考虑到特定的空间位置，如果细胞已经在更精细的分辨率层被识别并且肌肉组织已经在更粗糙的分辨率层被识别，基于规则的系统可以确定语义描述为“肌肉细胞”。
应意识到，系统可以在以下具体背景中有利地使用。在图像注释过程期间，当病理学家正在浏览并缩放多尺度图像时，系统可以自动分析当前观察窗口中的图像内容来建议(一个或多个)自动注释图。病理学家可以通过剔除错误分类的标记(例如，细胞或组织类型)来回顾这些注释图。病理学家也可以通过指定他/她自己的新的分割或新的标记来提供新的注释。注释图可以被认为图像尺度(例如，分辨率水平)特异性的，并且因此被定义为仅在相邻图像尺度的有限范围内是可见的。然而，在图像尺度的有限范围内，注释图也可以被传播为在那里是可见的。
应进一步意识到，机器学习算法可以在每个图像尺度上并行地进行训练。机器学习算法可以具有取决于在当前图像坐标处可获得的所有手动注释图的重叠的成本函数。机器学习算法可以是深度学习算法。
图6示出了用于学习图像中的对象的注释的计算机实施的方法400。应注意，方法400可以但不一定对应于如参考图1以及其他描述的系统100的操作。
方法400包括，在标题为“访问图像数据”410的操作中，访问表示图像的多尺度表示的图像数据。方法400进一步包括，在标题为“获得所学习的对象的注释”420的操作中，使用机器学习算法以所述多尺度图像中的一个或多个尺度来获得所学习的对象的注释。方法400进一步包括，在标题为“建立观察窗口”430的操作中，在显示器上建立观察窗口以观察多尺度图像。方法400进一步包括，在标题为“识别影响的图像区域”440的操作中，识别在多尺度图像中何处由用户对对象的手动注释产生满足改变标准的由机器学习算法所学习的对象的注释的改变。方法400进一步包括，在标题为“配置观察窗口”450的操作中，确定针对观察窗口的放大系数和空间偏移参数。方法400进一步包括，在标题为“接收手动注释”460的操作中，接收指示由用户对观察窗口中的对象的手动注释的用户输入数据。方法400进一步包括，在标题为“使用手动注释作为训练反馈”470的操作中，使用由用户对对象的手动注释作为机器学习算法的学习中的训练反馈。
将认识到，以上操作可以以任何合适的顺序(例如，连续地、同时地、或其组合)被执行，在适当的情况下经受例如输入/输出关系所必需的具体顺序。
方法400可以作为计算机实施的方法、作为专用硬件、或作为两者的组合被实施在计算机上。如同样在图7中图示的，用于计算机的指令(例如，可执行代码)可以例如以一系列510机器可读物理标记的形式和/或作为具有不同的电气性质(例如，磁性或光学性质或值)的一系列元件被存储在计算机可读介质500上。可执行代码可以以暂态或非暂态的方式被存储。计算机可读介质的范例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图7示出了光盘500。
范例、实施例或其他可选特征(不论是被指示为非限制性的还是限制性的)不被理解为对如所要求保护的本发明进行限制。
将认识到，本发明也应用于计算机程序，特别是在载体上或在载体中的计算机程序，所述计算机程序适于将本发明付诸实践。程序可以是以源代码、目标代码、代码中间源和诸如以部分编译形式的目标代码的形式，或者以适合用于实施根据本发明的方法的任何其他形式。还应认识到，这样的程序可以具有许多不同的架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对本领域技术人员来说将是显而易见的。子例程可以被共同存储在一个可执行文件中，以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。备选地，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且静态地或动态地(例如在运行时)与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括计算机可执行指令，其对应于本文中提出的至少一个方法的每个处理阶段。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括计算机可执行指令，其对应于本文中提出的系统和/或产品中的至少一个的每个单元。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如ROM(例如，CDROM或半导体ROM)，或者磁记录介质(例如，硬盘)。此外，载体可以是诸如电学或光学信号的可传送载体，其可以经由电缆或光缆或通过无线电或其他工具来传达。当程序体现在这种信号中时，载体可以由这种线缆或其他设备或单元构成。备选地，载体可以是程序被体现在其中的集成电路，集成电路适于执行相关方法，或者用于相关方法的执行。
应当注意，上述实施例图示而非限制本发明，并且本领域技术人员能够在不脱离所附权利要求的范围的情况下设计许多备选实施例。在权利要求中，置于括号中的任何附图标记不应被解释为限制权利要求。动词“包括”及其词性变化的使用不排除存在不同于权利要求中所述的其他元件或步骤。在元件之前的冠词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干个不同元件的硬件来实施，并且可以借助于适当编程的计算机来实施。在列举了若干器件的设备权利要求中，这些器件中的若干可以具体实现为一个相同的硬件。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不表示不能有利地使用这些措施的组合。

Claims (14)

1.一种用于学习图像中的对象的注释的系统(100)，所述系统包括：
-图像数据接口(120)，其被配置为访问表示多尺度图像的多尺度表示的图像数据(030)，所述多尺度图像(200)的所述多尺度表示包括以不同空间分辨率表示所述多尺度图像的多个不同尺度(202-208)；
-存储器(160)，其包括表示指令集的指令数据；
-处理器(140)，其被配置为与所述图像数据接口和所述存储器通信，并且执行所述指令集，其中，当由所述处理器执行时，所述指令集令所述处理器使用机器学习算法以所述多尺度图像的一个或多个尺度来获得所学习的对象的注释；以及
-用户接口子系统(180)，其包括：
i)显示处理器(182)，其被配置为在显示器(060)上建立观察窗口(300)以观察所述多尺度图像，所述观察窗口是在放大系数(310-312)和空间偏移参数(320-332)的基础上可配置的，所述放大系数确定所述多个尺度中的哪一个尺度要被示出在所述观察窗口中，所述空间偏移参数定义所述尺度中的哪一个部分要被示出；以及
ii)用户输入接口(184)，其被配置为接收指示由用户对所述观察窗口中的对象的手动注释的用户输入数据(082)；
其中，当由所述处理器执行时，所述指令集令所述处理器：
-以所述多尺度图像的不同尺度(202-208)和/或以所述多尺度图像的每个尺度的不同部分模拟对象的手动注释；
-使用模拟手动注释作为所述机器学习算法中的不同学习输入；
-量化得到的不同的所学习的对象的注释的改变，以便识别提供由所述机器学习算法所学习的对象的注释的最大改变、或者超过绝对或相对阈值的改变的模拟手动注释；
-基于所识别的模拟手动注释来选择针对所述观察窗口(300)的所述放大系数(310-312)和所述空间偏移参数(320-332)；以及
-在接收到所述用户输入数据之后，使用由所述用户对所述对象的所述手动注释作为所述机器学习算法中的学习输入。
2.根据权利要求1所述的系统(100)，其中，当由所述处理器执行时，所述指令集令所述处理器(140)：
-将所述多尺度图像的每个尺度分成图像部分；以及
-通过将对象标记分配给所述图像部分中的至少一个或改变所述图像部分中的至少一个的先前分配的对象标记来模拟对所述对象的所述手动注释。
3.根据权利要求2所述的系统(100)，其中，当由所述处理器执行时，所述指令集令所述处理器(140)生成受每个图像部分中的所述手动注释影响的改变的程度的图，并且其中，所述用户接口子系统(180)被配置为在所述观察窗口(300)中叠加所述图。
4.根据权利要求1所述的系统(100)，其中，所述用户接口子系统(180)被配置为自动将由所述处理器(140)确定的所述放大系数(310-312)和所述空间偏移参数(320-332)应用到所述观察窗口(300)。
5.根据权利要求1所述的系统(100)，其中：
-所述用户接口子系统(180)被配置为使得所述用户能够在图像观察期间手动地选择针对所述观察窗口(300)的所述放大系数(310-312)和所述空间偏移参数(320-332)以便确定用户选择的图像区域；
-当由所述处理器执行时，所述指令集令所述处理器(140)使用所述机器学习算法来获得所述用户选择的图像区域中的学习的对象的注释；以及
-所述用户接口子系统被配置为在所述观察窗口中对所学习的对象的注释进行可视化。
6.根据权利要求5所述的系统(100)，其中：
-所述用户接口子系统(180)被配置为使得所述用户能够手动地校正所述观察窗口(300)中的所学习的对象的注释；以及
-当由所述处理器执行时，所述指令集令所述处理器(140)使用经校正的注释作为所述机器学习算法中的学习输入。
7.根据权利要求1-6中任一项所述的系统，其中，当由所述处理器(140)执行时，所述指令集令所述处理器将所述机器学习算法应用于所述多尺度图像(200)的每个尺度(202-208)，从而获得多个注释图，所述多个注释图中的每个以相应尺度表示所学习的对象的注释。
8.根据权利要求7所述的系统(100)，其中，当由所述处理器执行时，所述指令集令所述处理器(140)通过组合或重叠所述多个注释图来生成所述多尺度图像(200)的语义描述。
9.根据权利要求1-6中任一项所述的系统(100)，其中，所述机器学习算法包括卷积神经网络。
10.一种工作站，包括根据权利要求1至9中任一项所述的系统。
11.一种成像装置，包括根据权利要求1至9中任一项所述的系统。
12.一种计算机可读介质，包括表示使用根据权利要求1至9中任一项所述的系统训练的机器学习算法的瞬态或非瞬态数据。
13.一种用于学习图像中的对象的注释的计算机实施的方法(400)，所述方法包括：
-访问表示多尺度图像的多尺度表示的图像数据(410)，所述多尺度图像的所述多尺度表示包括以不同空间分辨率表示所述多尺度图像的多个尺度；
-使用机器学习算法以所述多尺度图像的一个或多个尺度来获得所学习的对象的注释(420)；
-在显示器上建立观察窗口(430)以观察所述多尺度图像，所述观察窗口是在放大系数和空间偏移参数的基础上可配置的，所述放大系数确定所述多个尺度中的哪一个尺度要被示出在所述观察窗口中，所述空间偏移参数定义所述尺度中的哪一个部分要被示出；以及
-接收指示由用户对所述观察窗口中的对象的手动注释的用户输入数据(460)；
其中，所述方法还包括：
-以所述多尺度图像的不同尺度和/或以所述多尺度图像的每个尺度的不同部分模拟对象的手动注释；
-使用模拟手动注释作为所述机器学习算法中的不同学习输入；
-量化得到的不同的所学习的对象的注释的改变，以便识别提供由所述机器学习算法所学习的对象的注释的最大改变、或者超过绝对或相对阈值的改变的模拟手动注释(440)；
-基于所识别的模拟手动注释来选择针对所述观察窗口的所述放大系数和所述空间偏移参数(450)；以及
-在接收到所述用户输入数据之后，使用由所述用户对所述对象的所述手动注释作为所述机器学习算法中的学习输入(470)。
14.一种计算机可读介质(500)，包括表示被布置为令处理器系统执行根据权利要求13所述的方法的指令的瞬态或非瞬态数据(510)。
CN201780075488.6A 2016-12-08 2017-12-05 学习图像中的对象的注释 Active CN110050281B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16202827 2016-12-08
EP16202827.8 2016-12-08
PCT/EP2017/081585 WO2018104342A1 (en) 2016-12-08 2017-12-05 Learning annotation of objects in image

Publications (2)

Publication Number Publication Date
CN110050281A CN110050281A (zh) 2019-07-23
CN110050281B true CN110050281B (zh) 2023-06-20

Family

ID=57542777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075488.6A Active CN110050281B (zh) 2016-12-08 2017-12-05 学习图像中的对象的注释

Country Status (6)

Country Link
US (1) US10885392B2 (zh)
EP (1) EP3552151A1 (zh)
JP (1) JP6636678B2 (zh)
CN (1) CN110050281B (zh)
RU (1) RU2739713C1 (zh)
WO (1) WO2018104342A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657514A1 (en) 2018-11-22 2020-05-27 Koninklijke Philips N.V. Interactive iterative image annotation
US10853704B2 (en) * 2018-12-18 2020-12-01 Clarifai, Inc. Model-based image labeling and/or segmentation
US11170264B2 (en) * 2019-05-31 2021-11-09 Raytheon Company Labeling using interactive assisted segmentation
US20210035015A1 (en) 2019-07-31 2021-02-04 GE Precision Healthcare LLC Annotation pipeline for machine learning algorithm training and optimization
CN112991145B (zh) * 2019-12-16 2023-03-24 杭州海康威视数字技术股份有限公司 图像生成方法、系统、电子设备及机器可读存储介质
JP2021096748A (ja) * 2019-12-19 2021-06-24 ソニーグループ株式会社 医療画像分析方法、医療画像分析プログラムおよび医療画像分析システム
US11574246B2 (en) * 2020-01-21 2023-02-07 Microsoft Technology Licensing, Llc Updating training examples for artificial intelligence
US11449716B2 (en) 2020-03-31 2022-09-20 International Business Machines Corporation Model training using partially-annotated images
US11526694B2 (en) 2020-03-31 2022-12-13 International Business Machines Corporation Model training using fully and partially-annotated images
US20210334955A1 (en) * 2020-04-24 2021-10-28 Nvidia Corporation Image annotation using one or more neural networks
US11189375B1 (en) * 2020-05-27 2021-11-30 GE Precision Healthcare LLC Methods and systems for a medical image annotation tool
KR102246266B1 (ko) * 2020-06-08 2021-04-29 주식회사 루닛 레이블 정보에 대한 피드백을 제공하는 방법 및 시스템
US11531829B2 (en) * 2020-07-24 2022-12-20 Accenture Global Solutions Limited Automatic image annotation
US11651499B2 (en) * 2020-09-17 2023-05-16 International Business Machines Corporation Reducing structural redundancy in automatic image segmentation
JP7444098B2 (ja) 2021-02-15 2024-03-06 Ｊｆｅスチール株式会社 スラグ流出判定方法、転炉操業方法、溶鋼製造方法、スラグ流出判定装置、転炉操業設備、及び溶鋼製造設備
KR102582431B1 (ko) * 2021-07-13 2023-09-26 (주)블루컴 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템
US11556335B1 (en) 2021-09-14 2023-01-17 International Business Machines Corporation Annotating program code

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606000A (zh) * 2003-10-10 2005-04-13 微软公司 计算机辅助的查询－任务映射
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN103838951A (zh) * 2012-11-20 2014-06-04 通用电气公司 标注放射学图像的方法和设备
CN105027164A (zh) * 2013-03-14 2015-11-04 文塔纳医疗系统公司 完整载片图像配准和交叉图像注释设备、系统和方法
CN105144242A (zh) * 2013-04-19 2015-12-09 皇家飞利浦有限公司 对图像注释进行分组
CN105761269A (zh) * 2016-03-14 2016-07-13 北京大学 基于多尺度区分性子空间的图像显著对象的检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7551187B2 (en) * 2004-02-10 2009-06-23 Microsoft Corporation Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US8280132B2 (en) * 2006-08-01 2012-10-02 Rutgers, The State University Of New Jersey Malignancy diagnosis using content-based image retreival of tissue histopathology
CN102156752A (zh) 2011-04-27 2011-08-17 北京数码大方科技有限公司 Cad中注释性对象的更新方法和装置
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
KR20150095646A (ko) * 2012-12-06 2015-08-21 클래리언트 다이아그노스틱 서비시즈, 인크. 바이오마커 발현의 선택 및 디스플레이
US9113781B2 (en) * 2013-02-07 2015-08-25 Siemens Aktiengesellschaft Method and system for on-site learning of landmark detection models for end user-specific diagnostic medical image reading
WO2014144234A1 (en) 2013-03-15 2014-09-18 Sony Corporation Combining information of different levels for content-based retrieval of digital pathology images
US9412162B2 (en) 2013-08-21 2016-08-09 Sectra Ab Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images
US10853407B2 (en) * 2013-09-05 2020-12-01 Ebay, Inc. Correlating image annotations with foreground features
WO2015035229A2 (en) * 2013-09-05 2015-03-12 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
US20170193009A1 (en) * 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US9760990B2 (en) * 2014-12-14 2017-09-12 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition
CN104537676B (zh) 2015-01-12 2017-03-22 南京大学 一种基于在线学习的渐进式图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606000A (zh) * 2003-10-10 2005-04-13 微软公司 计算机辅助的查询－任务映射
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN103838951A (zh) * 2012-11-20 2014-06-04 通用电气公司 标注放射学图像的方法和设备
CN105027164A (zh) * 2013-03-14 2015-11-04 文塔纳医疗系统公司 完整载片图像配准和交叉图像注释设备、系统和方法
CN105144242A (zh) * 2013-04-19 2015-12-09 皇家飞利浦有限公司 对图像注释进行分组
CN105761269A (zh) * 2016-03-14 2016-07-13 北京大学 基于多尺度区分性子空间的图像显著对象的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Interactively Co-segmentating Topically Related Images with International Scribble Guidance";Dhruv Batra et al.;《International Journal of Computer Vision》;20110107;第93卷(第3期);全文 *

Also Published As

Publication number Publication date
WO2018104342A1 (en) 2018-06-14
JP6636678B2 (ja) 2020-01-29
US20190347524A1 (en) 2019-11-14
RU2739713C1 (ru) 2020-12-28
US10885392B2 (en) 2021-01-05
JP2020501273A (ja) 2020-01-16
EP3552151A1 (en) 2019-10-16
CN110050281A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110050281B (zh) 学习图像中的对象的注释
US11100683B2 (en) Image color adjustment method and system
Olabarriaga et al. Interaction in the segmentation of medical images: A survey
Banerjee et al. Single seed delineation of brain tumor using multi-thresholding
CN107567637B (zh) 脑组织分类
Banerjee et al. Automated 3D segmentation of brain tumor using visual saliency
JP2007111531A (ja) 画像の一貫性を改善する方法、信号、機械読出可能媒体およびシステム
CN109416835B (zh) 医学图像中的变化检测
CN107567638B (zh) 对解剖结构的基于模型的分割
Oulefki et al. Virtual Reality visualization for computerized COVID-19 lesion segmentation and interpretation
Cheng et al. Automatic centerline detection of small three-dimensional vessel structures
EP4216156A1 (en) Analysing liver lesions in medical images
US11830622B2 (en) Processing multimodal images of tissue for medical evaluation
Rebelo et al. Automatic epicardial fat segmentation and volume quantification on non-contrast cardiac Computed Tomography
Pretorius et al. Visual Parameter Optimization for Biomedical Image Analysis: A Case Study.
EP4198884A1 (en) Method and system for processing an image
Bacchuwar et al. Scale-space for empty catheter segmentation in PCI fluoroscopic images
EP4016448A1 (en) Image analysis method for improved clinical decision making
Shakir Early detection of lung cancer
Subasi Medical image segmentation using artificial intelligence
McLeod et al. PhenoImageShare: a phenotype image annotation, sharing and discovery platform
Zhang Textbook for 1 st Math-Clinic Bioimage Analysis Training Course

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant