CN114600196A - 特定领域的人类模型协同注释工具 - Google Patents

特定领域的人类模型协同注释工具 Download PDF

Info

Publication number
CN114600196A
CN114600196A CN201980101444.5A CN201980101444A CN114600196A CN 114600196 A CN114600196 A CN 114600196A CN 201980101444 A CN201980101444 A CN 201980101444A CN 114600196 A CN114600196 A CN 114600196A
Authority
CN
China
Prior art keywords
annotator
annotation
human
image
human annotator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980101444.5A
Other languages
English (en)
Inventor
罗睿
罗杰波
陈林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Publication of CN114600196A publication Critical patent/CN114600196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

一种用于训练人类注释器的人类模型协同注释系统，包括：数据库，所述数据库存储先前由专家人类注释器和/或机器学习注释器注释的图像；显示器，所述显示器显示从所述数据库中选择的图像；注释系统，所述注释系统使所述人类注释器注释呈现在所述显示器上的图像；注释训练系统。所述注释训练系统：从所述数据库中选择图像样本以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较步骤中识别的任何错误从所述数据块中选择下一个训练图像样本。

Description

特定领域的人类模型协同注释工具
技术领域
本申请涉及注释工具，具体涉及特定领域的人类模型协同注释工具，这些工具训练人类注释器和机器学习系统，以提高特定领域的图像标记过程的效率。
背景技术
在医学成像领域，深度学习被广泛用于解决分类、检测和分割问题。标签(注释)数据对于训练深度学习模型至关重要。但是，医学图像数据类型因使用的成像设备类型和正在检查的解剖/组织而异，这增加了标记此类特定领域数据的难度。
特定领域的图像注释需要受过专业训练和具有领域知识的注释器。注释器的经验水平在很大程度上影响注释质量。不幸的是，缺乏有经验的注释器来标记不同的生物医学数据，这在提供高效的评估和治疗方面造成了问题。
目前，有几种通用标记工具用于标记图像。一组标记工具使用手绘注释。例如，LabelIMG工具支持边界框和一类标记。VGG图像注释器具有添加对象和图像属性或标记的选项。其它标记工具，如Supervise.ly和Labelbox，使用模型提供语义分割，并帮助预测标签，以便通过人工确认进行模型训练。其它标记工具使用主动学习或强化学习来训练使用少量标记图像的模型。主动学习模型选择不确定的示例，并寻求人类审核人的帮助，以完成标记。为了产生更准确的预测，机器学习模型被用于AWS SageMaker Ground Truth和华为云ModelArts等系统。这些系统提供了注释工具，这些工具选择图像来显示人类注释器，并使用新标记图像来进一步训练机器学习模型。Polygon RNN++分割工具依次生成多边形的顶点，从而勾勒出对象。这支持人类注释器随时干涉，并根据需要校正顶点，以产生更准确的分割。
不幸的是，这种现有技术系统通常无助于解决注释领域专家短缺这一问题。
发明内容
现在描述各种示例，以简化形式引入一些概念，在具体实施方式中会进一步描述这些概念。发明内容并非旨在确定请求保护的主题的关键或必要特征，也并非旨在用于限制请求保护的主题的范围。
描述了一种端到端特定领域的人类模型协同注释系统和方法，该系统和方法训练人类注释器，以提高特定领域的图像标记过程的效率，从而解决人类领域专家短缺的这一问题。本文描述的人类模型协同注释系统通过个性化训练过程将专家知识转移到新的人注释器，同时提供用于训练机器学习系统的附加样本。在示例性实施例中，人类模型协同注释系统至少包括以下特征：
1.一种注释系统，包括注释器训练系统，注释器训练系统为无经验的注释器提供图像样本以进行标记。采样和训练过程是个性化的，并基于注释器的错误。注意力图用于指导注释器，以从其错误中学习。
2.注释器训练系统中的评估阶段对注释器进行评分，并根据注释器提交的注释向注释器提供可靠的个性化反馈。
3.通过整合学习的领域知识和一般的人类智能，新训练的注释器可以添加标签，以帮助扩大标记样本的池，并改进注释系统训练模型。
根据本发明的第一方面，提供了一种用于训练人类注释器以注释图像的训练方法。训练方法包括：将图像样本呈现给人类注释器用于注释，其中，图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从人类注释器接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；呈现注意力图以使人类注释器注意到通过比较识别的注释错误；根据在比较中识别的任何错误选择下一个图像样本。
根据本发明的第二方面，提供了一种人类模型协同注释系统，包括：数据库，数据库存储先前由专家人类注释器和机器学习注释器中的至少一个注释的图像；显示器，显示器显示从数据库中选择的图像；注释系统，注释系统用于使人类注释器能够注释呈现在显示器上的图像；注释训练系统。注释训练系统：从数据库中选择图像样本以显示在显示器上，以便由人类注释器注释；从注释系统接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；在显示器上呈现注意力图以使人类注释器注意到通过比较识别的任何注释错误；根据在比较中识别的任何错误从数据块中选择下一个图像样本。
根据本发明的第三方面，提供了一种非瞬时性计算机可读介质，存储用于训练人类注释器以注释图像的计算机指令，当计算机指令由一个或多个处理器执行时，使一个或多个处理器执行以下操作：
将图像样本呈现给人类注释器用于注释，其中，图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；从人类注释器接收一个或多个建议的注释；将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较；呈现注意力图以使人类注释器注意到通过比较识别的注释错误；根据在比较中识别的任何错误选择下一个图像样本。
在任一上述方面的第一种实现方式中，通过将加权函数和数字度量应用于将人类注释器的一个或多个建议的注释与专家人类注释器或机器学习注释器对图像样本的先前注释进行比较的比较结果，来评估人类注释器的注释性能。
在任一上述方面的第二种实现方式中，在人类注释器被评估为具有高于阈值的注释性能时，用于由人类注释器注释的图像样本被呈现，并且来自人类注释器的注释图像样本被添加到图像样本池，图像样本池包括先前由专家人类注释器或机器学习注释器注释的图像样本。
在任一上述方面的第三种实现方式中，来自人类注释器的添加到池的注释图像样本包括基于人类注释器的注释性能的权重。
在任一上述方面的第四种实现方式中，当人类注释器的注释性能高于人类注释器已经被训练过的类型的注释的预定水平时，人类注释器被认证，用于未来的注释任务。
在任一上述方面的第五种实现方式中，多个人类注释器的注释性能针对同一组图像进行比较，以建立多个人类注释器的质量度量。
在任一上述方面的第六种实现方式中，注意力图被呈现给显示器以对注释错误进行个性化解释。
在任一上述方面的第七种实现方式中，待注释的图像包括医学图像、地理图像和/或行业图像。
方法可以被执行，并且计算机可读介质中的指令可以由系统处理，以训练注释器，例如医学成像注释器，并且方法的进一步特征和计算机可读介质中的指令由系统的功能产生。此外，针对每个方面及其实现方式提供的解释同样适用于其它方面和相应的实现方式。不同的实施例可以以硬件、软件或其任何组合实现。此外，上述任一个示例可以与上述其它示例中的任一个或多个组合以在本发明范围内创建新实施例。
附图说明
在不一定按比例绘制的附图中，不同视图中相同的数字可以描述类似组件。附图通过示例而非限制的方式一般地示出了在本文中描述的各种实施例。
图1A至图1C示出了显示不同类型的图像注释的图像，包括分类(图1A)、检测(图1B)和分割(图1C)。
图2示出了人类模型协同注释系统的示例性实施例的框图。
图3A示出了示例性实施例中用于生成用于注释器训练的注释图像的方法的流程图。
图3B示出了示例性实施例中注释器训练系统的操作流程图。
图4A至图4C示出了未注释的样本图像，包括正常肺部图像(图4A)、双侧胸腔积液的肺部图像(图4B)，以及肺部混浊的肺部图像(图4C)。
图4D示出了已分割的肺部图像。
图4E用方框示出了肺部图像，这些方框示出了领域专家用于样本疾病检测的地面真值注释。
图4F至图4G示出了机器生成的注意力图，用于显示人类注释器在注释过程中遗漏的内容，包括双侧胸腔积液(图4F)和肺部混浊(图4G)。
图5示出了用于执行根据示例性实施例的方法的电路的框图。
具体实施方式
首先应理解，尽管下文提供一个或多个实施例的说明性实现方式，但本发明所公开的关于图1至图5描述的系统和/或方法可以使用任何数量的技术来实现，无论这些技术是当前已知的技术还是现有的技术。本发明不应限于下文所说明的说明性实现方式、附图和技术，包括本文所说明并描述的示例性设计和实现方式，且可以在所附权利要求书的范围以及其等效部分的完整范围内进行修改。
在一个实施例中，本文描述的功能或算法可以以软件实现。该软件可以包括存储于计算机可读介质或计算机可读存储设备(如一个或多个非瞬时性存储器或其它类型的基于硬件的本地或网络存储设备)中的计算机可执行指令。此外，这些功能可以对应于模块，模块可以是软件、硬件、固件或它们的任何组合。根据需要，可以在一个或多个模块中执行多个功能，所描述的实施例仅仅是示例。软件可以在数字信号处理器、ASIC、微处理器或在计算机系统(例如个人计算机、服务器或其它计算机系统)上运行的其它类型的处理器上执行，将这种计算机系统转变成经特定编程的机器。
上述类型的传统注释工具通常将人和注释模型之间的交互限制为对图像的标记(注释)。对于一些工具，仅提供了标签的简单解释。对于特定领域的标记任务，传统的注释工具，如上面提到的那些注释工具，无助于消除注释器(特别是无经验的注释器)的障碍。这种系统不转移知识，也不提供指导或评估功能。通常，传统的注释工具无法通过训练人类注释器或改进机器学习模型来解决注释领域专家短缺这一问题。
本文描述的人类模型协同注释系统使用人类专家和机器学习模型来训练非专家人类注释器，而人类专家同时训练机器学习模型。自动指导系统使用比较函数和注意力图指导非专家注释器，以使非专家注释器注意到任何注释错误。指导系统对注释器是个性化的，并包含交互式学习元素，该交互式学习元素包含比较函数，该比较函数列出和比较正样本与负样本，或具有不同标签的样本，供注释器识别差异。指导系统还利用训练模型中的注意力图来突出显示给定标签的信号，以指导注释器。注释器可以放大/缩小并根据注释器出错的位置选择要查看的示例，以使注释器更快地加快速度。指导系统还包括一个全面的注释器评估系统，该系统可以用于指导训练、认证注释器，并加权注释器在训练后对注释图像数据库的添加。指导系统进一步解释标签背后的推理以及注意力图，以增强训练。
在示例性实施例中，注释系统提供包括地面真值收集过程的服务，其中，对于给定的生物医学图像标记任务，可以根据由具有领域知识的专家标记的样本来训练机器学习模型。地面真值收集过程得到了个性化的指导过程的补充，该个性化的指导过程及时地指导缺乏领域知识的无经验的注释器理解如何标记图像，从而将专家的知识转移给新的注释器。还提供了对注释器性能的评估，以生成客观的评估分数。然后，评估分数可以用于进一步训练新的注释器，并使用受加权因子约束的新标记数据进一步细化机器学习模型。训练系统根据注释器的错误确定下一个要显示的样本，并使用注意力图突出显示注释错误。例如，下一个样本可以是与相似注意力图类型相同的图像。样本将具有相同类型的注意区域，用于注释图像。
本文描述的图像注释可以是不同的形式，并应用于不同类型的图像。图1A至图1C示出了三种主要类型的图像注释，包括分类(图1A)、检测(图1B)和分割(图1C)。图像级别注释用于分类。在这种类型的注释中，如果图像的内容中包含标签，则图像将被赋予标签(例如脑肿瘤)。例如，图1A示出了包含这些元素中每一个的图像的“户外”、“马”、“草”和“人”的分类。如图1B所示的边界框注释可用于检测。在这种类型的注释中，绘制矩形以紧密包围图像中的对象。矩形通常包含感兴趣的对象，如“人”、“马”或“肿瘤区域”。图1C示出了分割的轮廓注释。在这种类型的注释中，围绕对象的轮廓绘制多边形，以在与标签相对应的图像中勾勒出对象。多边形通常包含感兴趣的区域，如“人”、“马”或“肿瘤”。在每种情况下，对象都与标签匹配。本文描述的系统和方法支持所有三种类型的注释。
图2示出了人类模型协同注释系统200的示例性实施例的框图。在系统200中，来自数据库210的未标记图像数据(D1)被提供给专家，用于使用具有注释软件220的专家计算机系统进行标记。所得到的由专家(A1)标记的图像被提供至标记图像数据库230，以创建注释图像的数据库。标记图像还用于训练机器学习系统240的机器学习模型，在机器学习模型被训练后，该机器学习模型反过来可以从数据库210接收未标记图像，并生成更多的注释图像以存储在标记图像数据库230中。此外，在机器学习模型被训练后，机器学习系统240的协同训练的机器学习模型可以被部署来供非专家注释器使用。
在示例性实施例中，系统200还包括注释系统250，该注释系统250选择样本以呈现给显示器260上的非专家人类注释器以进行标记。在示例性实施例中，非专家人类注释器可以从注释器训练系统270接收反馈，该注释器训练系统270将由非专家人类注释器使用注释系统250生成的注释图像与由标记的图像数据库230提供的对应的专家注释图像进行比较。反馈包括注意力图，注意力图指导非专家人类注释器从他们的错误中学习。评估者的性能被进行评估，并且用于由非专家人类注释器在注释系统250上注释的下一个图像基于非专家人类注释器在标记先前呈现的图像时的性能进行选择。在非专家人类注释器从性能评估系统接收到一致的良好评级时，非专家人类注释器可以被添加到专家注释器池中，并支持注释可能添加到标记图像数据库230中的标记样本池中的附加图像。添加的图像可以根据非专家人类注释器注释的准确性用权重进行加权，从而改进训练模型。
在示例性实施例中，用于分类的注释可以通过注释器在文本框中输入标签或检查给定标签的是或否按钮来捕获。分类矩形的注释可以通过注释器将鼠标从左上角拖动到右下角来捕获。通过单击多边形的顶点，可以捕获用于分割的注释。比较可以通过将注释器的建议的标签Z与地面真值标签G进行比较来进行，其中，G和Z是用于分类的标签，矩形用于检测，轮廓/多边形用于分割。
性能分数是通过将地面真值标签G与注释器标签Z进行比较并对注释器注释的所有图像求平均值来计算的。对于分类，只有当Z等于G时，才是正确的。对于检测和分割，使用交并比(Intersection over Union，IOU)，IOU通过Z和G的交集面积除以Z和G的并集面积计算。只有当IOU大于预定义的阈值(如0.5)时，注释才是正确的。然后，如果注释器的性能分数大于预定义的阈值(如99％)，则性能分数用于对注释器注释进行加权。
图3A示出了示例性实施例中用于生成用于注释器训练的注释图像的方法300的流程图。方法300从310处开始，并在320处，从未标记图像数据库210接收未标记图像集Du。在330处，对来自Du的图像子集进行采样。采样的子集表示为Dl，Du通过删除Dl进行更新。在340处，采样子集D1被提供给领域专家注释器的注释系统220，使得专家注释器可以注释D1中的样本。所得到的注释Al被提供给标记图像数据库230。在350处，D1中的样本图像的专家注释A1也可用于训练机器学习系统240的机器学习模型。在360处，机器学习(machinelearning，ML)模型也可以用于在Du中标记更多样本，但不在Dl中标记样本。由机器学习模型生成的Du中的注释样本可以与机器学习模型标记的注释一起添加到标记图像数据库230中。然后，在370处，标记图像数据库230中的标记图像准备好供注释器训练系统270使用。下面参考图3B描述注释器训练系统270的操作。
如上所述，注释器训练系统270指导新注释器专家注释器的领域知识。在指导的第一迭代期间，非专家人类注释器被提供从标记图像数据库230随机选择的样本以进行标记，并且自动评估系统如以上所描述评估非专家人类注释器的性能。根据性能，后续指导过程个性化如下：
1.个性化采样：更多的图像被采样，这些图像包括相同类型的特征，这些特征在前几轮注释中导致非专家人类注释器的错误，并且可能证明一些混乱性。与传统注释系统中使用的主动学习范式不同(该范式仅涉及让模型选择最不确定的样本供注释器标记)，本文描述的个性化注释训练系统解决了特定非专家人类注释器在训练过程中表现出的混乱性或不确定性。
2.个性化评估：评估函数将注释器的错误与已知标签进行比较，并使用注意力图(如图4所示)突出显示差异和区域，供注释器学习(使用通用人类认知智能)。
3.个性化指导：该系统通过根据每个注释器自己的认知智能和学习速度选择更多的样本，来区分学习过程。这使得学习更有效、更吸引人，从而更快地训练注释器，并使注释过程更高效。
图3B示出了示例性实施例中注释器训练系统270的操作流程图。如图所示，该方法从372处开始，从标记图像数据库230中抽取一批图像X及其注释A的随机样本，在374处，将X和A呈现给非专家人类注释器，其中，注释在原始图像中突出显示作为注意力图。在376处，抽取另一批图像X及其注释A的随机样本。仅图像X被呈现给非专家人类注释器，要求非专家人类注释器用注释Y标记图像。在378处，注释Y被评估，以通过将注释器注释Y与专家或机器学习模型注释A进行比较来评估非专家人类注释器的性能，如以上所描述。可选地，在378处，注释Y可以与来自其它注释器的注释进行比较，以针对同一组图像评估多个人类注释器的注释性能，以建立多个人类注释器的质量度量。
应理解，评估是指导系统的一个关键组成部分，指导系统应全面分析注释器的性能。在示例性实施例中，评估度量可以包括但不限于每个任务和每个标签上的注释器的准确性(例如，检测和分割以及度量图像中重叠程度的交并比(Intersection over Union，IOU))、注释器标签的整体质量，以及注释器的学习曲线(包括速度和准确性的历史)。
在378处，注释器的性能被评估之后，在该方法的380处，进行检查以确定注释器的性能是否高于预定义的阈值。如果注释器的性能高于预定义的阈值，则在382处，注释器可以添加到提供专家注释的专家领域(图2中在220处)中。但是，注释器也被分配了一个等级级别，该级别可用于加权其未来的注释。例如，根据注释器在注释训练期间的性能，未来的注释可以通过0至1之间的权重进行调整。可选地，在384处，注释器训练系统270可以根据设计为提供“专家”注释器的客观度量的预定认证过程来认证注释器。然后，在386处，注释器训练过程结束。
另一方面，在380处，当注释器的性能低于预定义的阈值时，训练可以继续进行。进一步的训练包括，在388处，生成注意力图，该注意力图通过注释器注释Y和专家或机器学习模型注释A的比较结果突出显示注释错误。在390处，注意力图被呈现给注释器，其中，突出显示错误和对这些错误的解释，以提供个性化训练。然后，在392处，注释器训练系统270确定训练是否继续。如果注释器的性能不高于预定义的阈值，则在386处，训练结束。但是，如果训练要继续，则该过程将返回到376，以抽取另一批图像及其注释的另一个随机样本，以重复该过程。
在示例性实施例中，注释训练系统270还根据在训练过程的一个或多个先前迭代中突出显示的错误，提供关于下一步要显示什么样本图像的指导。例如，在图像分类的情况下，注释训练系统270可以向注释器呈现图像X，其中，图像X的地面真值标签已知为Y，但未向注释器显示。注释器错误地给出了一个不同于Y的标签Z。系统生成注意力图，其中，与Y相关的区域在X中突出显示，并显示图像X和突出显示的注意力图，以指导注释器。然后，注释训练系统270提供具有相同标签Y的另一图像的样本，以针对识别标签Y中的错误来加强训练。对于检测和分割，过程相似，不同的是以标签Y的形式，它是一个矩形用于检测，一个轮廓用于分割。此过程通过呈现强调注释器遇到困难的区域的图像，进一步实现了个性化训练。通过这样的评估系统，注释训练系统270学习如何在下一阶段以个性化的方式训练注释器，以及如何在加权因子的约束下将注释器的标签与其它标签整合。注释训练系统270还可以为需要相同专业知识的未来任务认证注释器。
图4A至图4C示出了未注释的样本图像，包括正常肺部图像(图4A)、双侧胸腔积液的肺部图像(图4B)，以及肺部混浊的肺部图像(图4C)。图4D在400处示出了已分割的肺部图像。图4E用方框示出了肺部图像，这些方框示出了领域专家用于样本疾病检测的地面真值注释。图4F至图4G示出了机器生成的注意力图，用于显示人类注释器在注释过程中遗漏的内容，包括双侧胸腔积液(图4F)和肺部混浊(图4G)。这种注意力图使注释器注意到感兴趣的区域，重点是注释器所犯的错误。在示例性实施例中，用于改进训练，还可以向注意力图呈现正确注释和/或错误注释的解释。
在示例性实施例中，注意力图在410使用不同的颜色或强度值来突出显示区域，以将用户引导到正确的区域来校正注释。注意力图可以包括以下特征：
·由于突出显示的区域，图像被赋予标签；
·注释器在突出显示的区域中出错。
本领域中使用了许多方法来获得这些注意力图。例如，给训练良好的机器学习模型(如深度神经网络)一个输入图像，该机器学习模型可以输出一个标签，该标签具有与领域专家的注释完全匹配的地面真值。这个过程被称为从输入图像到输出预测的前向过程(forward pass)。通过用地面真值替换输出预测并反向进行该过程，输入图像可以恢复，其中，与地面真值相关的区域被突出显示。因此，机器生成的注意力图用于向人类注释器显示注释过程中遗漏的内容。
本文描述的指导组件和人类模型协同注释系统与传统注释系统相比提供了几个优点。例如，本文描述的人类模型协同注释系统可以缓解或解决专家注释器的短缺。人类模型协同注释系统还通过机器智能和人类智能(专家智能和通用人类认知智能)之间的知识转移，消除或减少特定领域注释任务(包括医学图像、地理图像和行业图像的注释)的障碍。此外，经过训练的注释器可以获得认证，以执行未来需要相同或类似专业知识的注释任务。即使没有完全认证，经过训练的注释器也可以使用加权注释创建新的训练图像，供训练系统使用。
评估系统也可以用于评估众多工人的标记质量。通过将注释相互比较，人类模型协同注释系统可以帮助整合来自不同时间和地点的不同工人的标签。
还将理解，人类模型协同注释系统可以利用机器学习模型和深度学习算法将领域专家知识转移给其它人。除了用于本文所描述的注释，本文所描述的人类模型协同注释系统还可以用于教育和工业专业训练。
图5示出了注释训练系统等示例性机器500的框图，本文论述的任何一种或多种技术(例如方法)可以在机器500上执行。在替代实施例中，机器500可以作为独立设备操作，或者可以连接(例如，联网)到其它机器。在网络部署中，机器500可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的容量运行。在一个示例中，机器500可以充当对等(P2P)(或其它分布式)网络环境中的对等机器。机器500可以是个人计算机(personalcomputer，PC)、平板PC、机顶盒(set-top box，STB)、个人数字助理(personal digitalassistant，PDA)、移动电话、网络电器、IoT设备、汽车系统，或任何能够执行指定该机器要采取的操作的指令(顺序的或其它)的机器。此外，虽然仅示出了单个机器，但术语“机器”也应被视为包括单独或联合执行一组(或多组)指令以执行本文论述的任何一种或多种方法的任何机器集合，例如云计算、软件即服务(software as a service，SaaS)、其它计算机集群配置。
本文所描述的示例可以包括逻辑、组件、设备、封装或机制，或可以通过逻辑、组件、设备、封装或机制操作。电路是在有形实体中实现的电路的集合(例如，集)，包括硬件(例如，简单电路、门、逻辑等)。电路成员资格可能会随着时间的推移和潜在的硬件可变性而变化。电路包括在操作时可以单独或组合执行特定任务的成员。在一个示例中，电路的硬件可以被不变地设计成执行特定操作(例如，硬连线)。在一个示例中，电路的硬件可以包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，该物理组件包括物理修改(例如，磁、电、不变质量粒子的可移动放置等)的计算机可读介质，以对特定操作的指令进行编码。在连接物理组件时，硬件组件的底层电性能被改变，例如，从绝缘体改变为导体，或从导体改变为绝缘体。指令使参与的硬件(例如，执行单元或加载机构)能够通过可变连接在硬件中创建电路的成员，以在操作时执行特定任务的部分。因此，当设备工作时，计算机可读介质通信地耦合到电路的其它组件。在一个示例中，任何物理组件都可以用于多个电路的多个成员中。例如，在操作时，执行单元可以在一个时间点在第一电路系统的第一电路中使用，并由第一电路系统中的第二电路重用，或由第二电路系统中的第三电路在不同时间重用。
机器(例如计算机系统)500(例如，注释系统250、注释器训练系统270等)可以包括硬件处理器502(例如，CPU、图形处理单元(graphics processing unit，GPU)、硬件处理器核心或其任何组合)、主存储器504和静态存储器506，其中一些或全部可以通过互连链路(例如，总线)508彼此通信。机器500还可以包括显示设备510、字母数字输入设备512(例如，键盘)和用户界面(user interface，UI)导航设备514(例如，鼠标)。在一个示例中，显示单元510、输入设备512和UI导航设备514可以是触摸屏显示器。机器500还可以包括信号生成设备518(例如，扬声器)、网络接口设备520和一个或多个传感器516，例如全球定位系统(global positioning system，GPS)传感器、指南针、加速度计或其它传感器。机器500可以包括输出控制器528，例如串行(例如，USB)连接、并行连接，或其它有线或无线(例如，红外(infrared，IR)、近场通信(near field communication，NFC)等)连接，用于通信或控制一个或多个外围设备(例如打印机、读卡器等)。
机器500可以包括机器可读介质522，其中存储有一组或多组数据结构或指令524(例如，软件)，该一组或多组数据结构或指令524体现本文描述的任何一种或多种技术或功能或由本文描述的任何一种或多种技术或功能使用。指令524还可以完全或至少部分地位于主存储器504内、静态存储器506内或在由机器500执行期间位于硬件处理器502内。在一个示例中，硬件处理器502、主存储器504或静态存储器506中的一个或任何组合可以构成机器可读介质522。
虽然机器可读介质522被示为单个介质，但术语“机器可读介质”可以包括用于存储一个或多个指令524的单个介质或多个介质(例如，集中式或分布式数据库，或关联的高速缓存和服务器)。
术语“机器可读介质”可以包括能够存储或编码用于由机器500执行并使机器500执行本发明的任何一种或多种技术的指令的任何介质，或能够存储、编码或携带由此类指令使用或与此类指令相关的数据结构的任何介质。非限制性机器可读介质的示例包括固态存储器、光学和磁性介质。在一个示例中，大容量机器可读介质包括具有不变(例如，静止)质量的多个粒子的机器可读介质。因此，大容量机器可读介质不是暂存传播信号。大容量机器可读介质的具体示例可以包括：非易失性存储器，例如半导体存储设备(例如，电可编程只读存储器(electrically programmable read-only memory，EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM))和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；CD-ROM和DVD-ROM磁盘。
指令524(例如，软件、程序、操作系统(operating system，OS)等)或其它数据存储在存储设备521中，可以由存储器504访问供处理器502使用。存储器504(例如，DRAM)通常是快速的，但是易失性的，因此是与存储设备521(例如，SSD)不同的存储类型，存储设备521适合长期存储，在“关闭”状态时也可以使用。用户或机器500使用的指令524或数据通常加载在存储器504中，供处理器502使用。当存储器504已满时，来自存储设备521的虚拟空间可以被分配来补充存储器504；但是，由于存储设备521通常比存储器504慢，并且写入速度通常是读取速度的至少两倍，存在存储设备延迟(与存储器504(例如DRAM)相比)，所以虚拟内存的使用可以大大降低用户体验。此外，将存储设备521用于虚拟内存会大大缩短存储设备521的可用寿命。
与虚拟内存相比，虚拟内存压缩(例如，
Figure BDA0003601325750000091
内核功能“ZRAM”)使用部分内存作为压缩块存储，以避免存储设备521分页。在需要将这些数据写入存储设备521之前，在压缩块中进行分页。虚拟内存压缩增加了存储器504的可用大小，同时减少了存储设备521的磨损。
指令524还可以通过利用多个传输协议(例如，帧中继、互联网协议(internetprotocol，IP)、传输控制协议(transmission control protocol，TCP)、用户数据报协议(user datagram protocol，UDP)、超文本传输协议(hypertext transfer protocol，HTTP)等中的任何一个)的网络接口设备520，使用传输介质通过通信网络526发送或接收。示例性通信网络可以包括局域网(local area network，LAN)、广域网(wide area network，WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、传统电话业务(plain oldtelephone service，POTS)网络，和无线数据网络(例如，电气和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)802.11系列标准称为
Figure BDA0003601325750000092
IEEE 802.16系列标准称为
Figure BDA0003601325750000093
)、IEEE 802.15.4系列标准、P2P网络等。在一个示例中，网络接口设备520可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络526。在一个示例中，网络接口设备520可以包括多个天线，以使用单输入多输出(single-input multiple-output，SIMO)、多输入多输出(multiple-input multiple-output，MIMO)或多输入单输出(multiple-input single-output，MISO)技术中的至少一种进行无线通信。
术语“传输介质”应被视为包括能够存储、编码或携带供机器500执行的指令的任何无形介质，并包括数字或模拟通信信号或其它无形介质，以促进此类软件的通信。
上面的详细描述包括对附图的引用，这些附图构成了详细描述的一部分。附图通过说明的方式示出了可以实施本文描述的系统和方法的具体实施例。这些实施例在本文中也被称为“示例”。除了所示或描述的元件之外，这些示例还可以包括其它元件。但是，本发明人也考虑了其中仅提供所示或描述的那些元件的示例。此外，相对于特定示例(或其一个或多个方面)，或相对于本文所示或描述的其它示例(或其一个或多个方面)，本发明人还考虑使用所示或描述的那些元件(或其一个或多个方面)的任何组合或排列的示例。
在本文中，如专利文件中常见的，术语“一”或“一个”用于包括一个或多个，独立于“至少一个”或“一个或多个”的任何其它实例或用法。在本文中，术语“或”用于指非排他性或，因此，除非另有说明，否则“A或B”可指“包括A但不包括B”、“包括B但不包括A”和“包括A和B”。在所附权利要求中，术语“包括”和“在……中”用作相应术语“包含”和“其中”的同义词。此外，在所附权利要求中，术语“包括”和“包含”是开放式的，即包括除了在权利要求中在这些术语之后列出的那些元件之外的元件的系统、设备、物品或过程仍然被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅用作标签，并不旨在对其对象施加数字要求。
在各种示例中，本文描述的组件、控制器、处理器、单元、引擎或表可以包括存储在物理设备中的物理电路或固件。如本文所使用的，“处理器”是指任何类型的计算电路，例如但不限于微处理器、微控制器、图形处理器、数字信号处理器(digital signal processor，DSP)或任何其它类型的处理器或处理电路，包括一组处理器或多核设备。
应理解，当一个元件被称为“在另一个元件上”、“连接到另一个元件”、“耦合到另一个元件”时，该元件可以直接在另一个元件上、连接到另一个元件或耦合到另一个元件，或者它们之间可以存在中间元件。相反，当一个元件被称为“直接在另一个元件上”、“直接连接到另一个元件”、“直接耦合到另一个元件”时，不存在中间元件或层。如果在附图中示出用一条线连接两个元件，则除非另有说明，否则两个元件可以耦合或直接耦合。
本文描述的方法示例可以至少部分地是机器或计算机实现的。一些示例可以包括用可操作的指令编码的计算机可读介质或机器可读介质，以使电子设备能够执行上述示例中描述的方法。这些方法的实现方式可以包括代码，例如微码、汇编语言代码、高级语言代码等。这些代码可以包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的部分。此外，例如在执行期间或在其它时间，代码可以有形地存储在一个或多个易失性或非易失性有形计算机可读介质中。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如CD和DVD)、磁带盒、存储卡或棒、RAM、ROM、SSD、UFS设备、eMMC设备等。
以上描述旨在为说明性的，而非限制性的。例如，上述实施例(或其一个或多个方面)可以相互结合使用。例如，在阅读以上描述后，本领域普通技术人员可以使用其它实施例。提交它是基于这样的理解，即它将不用于解释或限制权利要求的范围或含义。此外，在上述具体实施方式中，各种特征可以分组在一起以简化本发明。这不应被解释为未要求保护的公开特征对任何权利要求都是必不可少的。相反，发明主题可以少于特定公开实施例的所有特征。因此，所附权利要求在此并入具体实施方式中，每项权利要求作为单独的实施例单独存在，并且可以设想这些实施例可以以各种组合或排列相互组合。本发明的范围应参考所附权利要求以及这些权利要求的等同物的全部范围来确定。

Claims (20)

1.一种用于训练人类注释器以注释图像的训练方法，其特征在于，包括：
将图像样本呈现给人类注释器用于注释，其中，所述图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；
从所述人类注释器接收一个或多个建议的注释；
将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；
呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误；
根据在所述比较中识别的任何错误选择下一个图像样本。
2.根据权利要求1所述的方法，其特征在于，还包括根据所述比较使用加权函数和数字度量来评估所述人类注释器的注释性能。
3.根据权利要求2所述的方法，其特征在于，还包括在所述人类注释器被评估为具有高于阈值的注释性能时，呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到图像样本池，所述图像样本池包括先前由所述专家人类注释器或所述机器学习注释器注释的图像样本。
4.根据权利要求3所述的方法，其特征在于，来自所述人类注释器的添加到所述池的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。
5.根据权利要求1所述的方法，其特征在于，还包括当所述人类注释器的注释性能高于所述人类注释器已经被训练过的类型的注释的预定水平时，认证所述人类注释器用于未来的注释任务。
6.根据权利要求1所述的方法，其特征在于，还包括针对同一组图像比较多个人类注释器的注释性能，以建立所述多个人类注释器的质量度量。
7.根据权利要求1所述的方法，其特征在于，呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误包括利用所述注意力图在显示器上提供对所述注释错误的个性化解释。
8.根据权利要求1所述的方法，其特征在于，所述待注释的图像包括医学图像、地理图像和行业图像中的至少一个。
9.一种人类模型协同注释系统，其特征在于，包括：
数据库，所述数据库存储先前由专家人类注释器和机器学习注释器中的至少一个注释的图像；
显示器，所述显示器显示从所述数据库中选择的图像；
注释系统，所述注释系统用于使人类注释器能够注释呈现在所述显示器上的图像；
注释训练系统，所述注释训练系统：从所述数据库中选择图像样本以显示在所述显示器上，以便由所述人类注释器注释；从所述注释系统接收一个或多个建议的注释；将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；在所述显示器上呈现注意力图以使所述人类注释器注意到通过所述比较识别的任何注释错误；根据在所述比较中识别的任何错误从所述数据块中选择下一个图像样本。
10.根据权利要求9所述的系统，其特征在于，所述注释训练系统通过将加权函数和数字度量应用于将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较的比较结果，进一步评估所述人类注释器的注释性能。
11.根据权利要求10所述的系统，其特征在于，在所述人类注释器被评估为具有高于阈值的注释性能时，所述注释训练系统还呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到所述数据库。
12.根据权利要求11所述的系统，其特征在于，来自所述人类注释器的添加到所述数据库的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。
13.根据权利要求9所述的系统，其特征在于，当所述人类注释器的注释性能高于所述人类注释器已经被训练过的类型的注释的预定水平时，所述注释训练系统还认证所述人类注释器用于未来的注释任务。
14.根据权利要求9所述的系统，其特征在于，所述注释训练系统还针对同一组图像比较多个人类注释器的注释性能，以建立所述多个人类注释器的质量度量。
15.根据权利要求9所述的系统，其特征在于，所述注释训练系统利用所述注意力图在所述显示器上提供对所述注释错误的个性化解释。
16.根据权利要求9所述的系统，其特征在于，所述待注释的图像包括医学图像、地理图像和行业图像中的至少一个。
17.一种计算机可读介质，其特征在于，存储用于训练人类注释器以注释图像的计算机指令，当所述计算机指令由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：
将图像样本呈现给人类注释器用于注释，其中，所述图像样本先前已经由专家人类注释器和机器学习注释器中的至少一个注释；
从所述人类注释器接收一个或多个建议的注释；
将所述人类注释器的一个或多个建议的注释与所述专家人类注释器或所述机器学习注释器对所述图像样本的先前注释进行比较；
呈现注意力图以使所述人类注释器注意到通过所述比较识别的注释错误；
根据在所述比较中识别的任何错误选择下一个图像样本。
18.根据权利要求17所述的介质，其特征在于，还包括指令，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器根据所述比较使用加权函数和数字度量来评估所述人类注释器的注释性能。
19.根据权利要求18所述的介质，其特征在于，还包括指令，当所述指令由所述一个或多个处理器执行时，使所述一个或多个处理器在所述人类注释器被评估为具有高于阈值的注释性能时，呈现用于由所述人类注释器注释的图像样本，并将来自所述人类注释器的注释图像样本添加到图像样本池，所述图像样本池包括先前由所述专家人类注释器或所述机器学习注释器注释的图像样本。
20.根据权利要求19所述的介质，其特征在于，来自所述人类注释器的添加到所述池的所述注释图像样本包括基于所述人类注释器的所述注释性能的权重。
CN201980101444.5A 2019-10-17 2019-10-17 特定领域的人类模型协同注释工具 Pending CN114600196A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/056758 WO2021076139A1 (en) 2019-10-17 2019-10-17 Domain-specific human-model collaborative annotation tool

Publications (1)

Publication Number Publication Date
CN114600196A true CN114600196A (zh) 2022-06-07

Family

ID=68468824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980101444.5A Pending CN114600196A (zh) 2019-10-17 2019-10-17 特定领域的人类模型协同注释工具

Country Status (4)

Country Link
US (1) US20220222952A1 (zh)
EP (1) EP3970157A1 (zh)
CN (1) CN114600196A (zh)
WO (1) WO2021076139A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3832491A1 (en) * 2019-12-06 2021-06-09 Idemia Identity & Security France Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model
KR102155748B1 (ko) * 2020-01-03 2020-09-17 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
WO2022183002A2 (en) * 2021-02-26 2022-09-01 Alectio, Inc. Real-time recommendation of data labeling providers
US20230214994A1 (en) * 2022-01-05 2023-07-06 Merative Us L.P. Medical image study difficulty estimation
US11775153B2 (en) * 2022-02-17 2023-10-03 Fujifilm Medical Systems U.S.A., Inc. Assessing measurement errors in software calculations

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366676B2 (en) * 2001-05-29 2008-04-29 Mevis Breastcare Gmbh & Co. Kg Method and system for in-service monitoring and training for a radiologic workstation
US20120070811A1 (en) * 2010-09-22 2012-03-22 General Electric Company Systems and methods for measuring and manipulating a radiologist's exam sensitivity and specificity in real time
KR102673817B1 (ko) * 2018-07-30 2024-06-10 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
KR102653177B1 (ko) * 2018-10-29 2024-04-01 삼성에스디에스 주식회사 객체 정보 추출 장치 및 방법
US11966454B2 (en) * 2021-10-28 2024-04-23 Shanghai United Imaging Intelligence Co., Ltd. Self-contrastive learning for image processing

Also Published As

Publication number Publication date
US20220222952A1 (en) 2022-07-14
WO2021076139A1 (en) 2021-04-22
EP3970157A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP7177653B2 (ja) 敵対的ニューラル・ネットワーク・トレーニングを使用するフォント認識の改善
CN114600196A (zh) 特定领域的人类模型协同注释工具
US11907675B2 (en) Generating training datasets for training neural networks
CN109902672B (zh) 图像标注方法及装置、存储介质、计算机设备
WO2021027256A1 (zh) 处理交互序列数据的方法及装置
US10459975B1 (en) Method and system for creating an automatic video summary
JP2019083002A (ja) トリプレット損失ニューラル・ネットワーク・トレーニングを使用するフォント認識の改善
CN111444320A (zh) 文本检索方法、装置、计算机设备和存储介质
JP6402408B2 (ja) タグ処理方法及びタグ処理装置
CN116402063B (zh) 多模态讽刺识别方法、装置、设备以及存储介质
CN112256537B (zh) 模型运行状态的展示方法、装置、计算机设备和存储介质
Nakhle et al. Ready, Steady, Go AI: A practical tutorial on fundamentals of artificial intelligence and its applications in phenomics image analysis
CN112861012A (zh) 基于上下文和用户长短期偏好自适应学习的推荐方法及装置
US20230127525A1 (en) Generating digital assets utilizing a content aware machine-learning model
US20220083907A1 (en) Data generation and annotation for machine learning
CN113159315A (zh) 一种神经网络的训练方法、数据处理方法以及相关设备
CN115131604A (zh) 一种多标签图像分类方法、装置、电子设备及存储介质
CN113704420A (zh) 文本中的角色识别方法、装置、电子设备及存储介质
CN110807693A (zh) 专辑的推荐方法、装置、设备和存储介质
EP4060553A1 (en) Systems, methods, and storage media for creating image data embeddings to be used for image recognition
CN113656797A (zh) 行为特征提取方法以及行为特征提取装置
CN111814044B (zh) 一种推荐方法、装置、终端设备及存储介质
CN117009621A (zh) 信息搜索方法、装置、电子设备、存储介质及程序产品
CN116956102A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination