CN109389275B - 一种图像标注方法和装置 - Google Patents

一种图像标注方法和装置 Download PDF

Info

Publication number
CN109389275B
CN109389275B CN201810687971.6A CN201810687971A CN109389275B CN 109389275 B CN109389275 B CN 109389275B CN 201810687971 A CN201810687971 A CN 201810687971A CN 109389275 B CN109389275 B CN 109389275B
Authority
CN
China
Prior art keywords
annotation
annotator
image
determining
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810687971.6A
Other languages
English (en)
Other versions
CN109389275A (zh
Inventor
刘思远
侯晓迪
周锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN109389275A publication Critical patent/CN109389275A/zh
Application granted granted Critical
Publication of CN109389275B publication Critical patent/CN109389275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种图像标注的实现方法和装置，用以解决现有技术中缺乏高效且有效的图像标注处理方法的问题。该方法包括：为多个标注员中的每个标注员分发一个图像标注任务；接收每个标注员针对图像标注任务反馈的标注结果数据；从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；为各个标注员随机分发一个评价任务；接收各个标注员针对评价任务反馈的标注结果数据；根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。

Description

一种图像标注方法和装置
技术领域
本发明涉及图像处理领域，特别涉及一种图像标注方法和装置。
背景技术
在自动驾驶的控制和模拟研究中，图像和图像分析日益变得重要起来。图像分析的一个重要方面在于从输入的图像或者视频数据中识别出物体。物体的识别和定位对于车辆控制和模拟来说非常重要。但是目前很难实现自动的图像分析和物体标注。图像质量、环境条件和处理能力的不同给图像分析和物体标注处理带来阻力。没有了准确的图像标注的基础，自动驾驶车辆的控制和模拟系统将很难进行有效的工作。
目前，图像标注的一个方法是由标注员来人工对图像中的物体进行标注。标注的物体可以被分类以及进一步用于定位和速度确定。但是，传统的手工标注的方法非常耗时、费用开销大，并且由于各个标注员主观上的不同理解，容易造成标注的物体类别不一致的问题。针对手工标注的这些问题，研究人员对自动标注进行了研发。自动标注能够提供工作效率和工作量，但是自动标注容易产生大量的错误标注。
可见，目前缺乏一种高效且有效的图像标注处理方法。
发明内容
有鉴于此，本发明实施例提供了一种图像标注的实现方法和装置，用以解决现有技术中缺乏高效且有效的图像标注处理方法的问题。
根据本申请的一个方面，提供了一种图像标注的实现方法，包括：
为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收各个标注员针对评价任务反馈的标注结果数据；
根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。根据本申请的另一个方面，提供了一种图像标注的实现装置，包括：
分发模块，用于为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收模块，用于接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；接收各个标注员针对评价任务反馈的标注结果数据；
提取模块，用于从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
第一确定模块，用于根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
第二确定模块，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
根据本申请的另一个方面，提供了一种图像标注的实现装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：
为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收各个标注员针对评价任务反馈的标注结果数据；
根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
根据本申请实施例提供的图像标注的实现方法和装置，为多个标注员中的每一个标注员分配一个图像标注任务和一个评价任务，接收各个标注员反馈的标注结果数据，从中提取对图像标注任务中待标注物体的标注；并且，分别确定各个标注员完成图像标注任务和/或评价任务的标注质量，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。从而，本申请实施例能够自动有效地从标注员的反馈中提取出对物体的标注，并根据标注员的标注质量确定分发下一次图像标注任务的标注员，能够实现高效且有效的图像标注。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的图像标注的实现方法的处理流程图；
图2为图1中步骤102的处理流程图；
图3为图1中步骤103的处理流程图；
图4为图3中步骤1031中确定各个标注的标注分数的处理流程图；
图5为图3中步骤1032的处理流程图；
图6为图1中步骤106的处理流程图；
图7为图6中步骤1061的处理流程图；
图8为图6中步骤1062的处理流程图；
图9为本申请实施例提供的图像标注的实现装置的结构框图；
图10为本申请实施例提供的图像标注的实现装置的另一结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
针对现有技术中缺乏高效且有效的图像标注处理方法的问题，本申请实施例提供了一种图像标注的实现方法和装置，用以解决该问题。在本申请实施例提供的方法中，为多个标注员中的每一个标注员分配一个图像标注任务和一个评价任务，接收各个标注员反馈的标注结果数据，从中提取对图像标注任务中待标注物体的标注；并且，分别确定各个标注员完成图像标注任务和/或评价任务的标注质量，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。从而，本申请实施例能够自动有效地从标注员的反馈中提取出对物体的标注，并根据标注员的标注质量确定分发下一次图像标注任务的标注员，能够实现高效且有效的图像标注。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的图像标注的实现方法的处理流程，该方法包括：
步骤101、为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
步骤102、接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
步骤103、从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
步骤104、为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
步骤105、接收各个标注员针对评价任务反馈的标注结果数据；
步骤106、根据各个标注员针对图像标注任务反馈的标注结果数据和/或针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
步骤107、根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
图1所示的方法可以运行在一个图像标注的处理平台上(以下简称为图像标注平台或者系统)，该平台包括与标注员平台之间的接口，通过该接口与分布式的标注员平台进行连接。各个标注员可以预先在标注员平台上进行注册，并提供具体的标注员信息。标注员平台将标注员的标识等相关信息发送给图像标注平台。图像标注平台根据接收到的标注员的相关信息，来确定分发图像标注任务的标注员。
具体地，系统以通过该接口将图像标注任务和后续的评价任务发送给标注员，标注员可以通过登录该标注员平台并连接到图像标注平台，对图像标注任务和评价任务进行处理，并反馈标注结果数据。
该图像标注平台还可以包括进行支付的接口，在确定标注员的标注质量后，可以进一步根据标注质量确定支付给标注员的薪酬，并通过支付接口对标注员进行支付。
在步骤101中，以一个图像标注任务为例，对本申请实施例提供的图像标注的实现方法进行说明。在具体应用的过程中，也可以根据具体需要向标注员发送多个图像标注任务。图像标注任务中的多个图像数据可以是相关联的图像数据，也可以是不相关联的图像数据。例如，多个图像数据可以是一个图像标注项目中的一系列图像数据，并且是针对特定的场景获取的；也可以是多个图像标注项目中的没有关联的图像数据。
在步骤102中，在接收各个标注员反馈的标注结果数据的过程中，可以如图2所示，根据如下的方式来记录和保存各个标注员反馈的标注结果数据：
步骤1021、针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；
步骤1022、建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
通过如图2所示的处理方式，在一个标注员反馈了第一个标注结果数据后，保存该标注结果数据中对各个待标注物体的标注，对一个物体的标注可以包括标注框、类别的信息。后续其它的标注员对相同的图像数据进行反馈时，标注员可以在保存的第一个标注结果数据的基础上，对每个待标注物体进行标注操作，例如增加类别、删除类别、修改类别，处理系统记录并保存标注员对待标注物体的标注操作和标注结果。
在步骤1022中，可以针对每一个图像数据形成一个标注链，通过该标注链来记录标注员反馈的顺序，以及各个标注员对物体的标注操作和标注结果。在步骤103中，从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注的处理，可以如图3所示，包括如下处理过程：
步骤1031、对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；
其中，如图4所示，确定各个标注的标注分数的操作包括：
步骤S1、对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值。
具体地，包括如下步骤：
步骤S11、将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；
步骤S12、根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
步骤S2、对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值。
具体地，包括如下步骤：
步骤S21、将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；
步骤S22、对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；
步骤S23、将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
步骤S3、根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
步骤1032、确定该图像数据的全部待选标注的标注图像分数；
具体地，如图5所示，确定一个图像数据的全部待选标注的标注图像分数的处理包括：
步骤T1、确定该图像数据的全部待选标注的置信度；
具体包括：步骤T11、对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；
步骤T12、根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；
其中，该马尔可夫链可以根据上述步骤1022中的标注链来构建；
步骤T13、确定该马尔科夫链的置信度。
步骤T2、将该置信度确定为该图像数据的全部待选标注的标注图像分数。
步骤1033a、在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；
具体地，该预定阈值可以是一个预定的置信度值，也即上述步骤1032中的马尔可夫链大于或等于一个预定的置信度时，图像标注任务可以结束。
步骤1033b、在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员；
也即上述步骤1032中的马尔可夫链未达到一个预定的置信度时，图像标注任务需要重新启动。
通过上述图3所示的处理，可以确定何时停止对图像数据的标注或标定，从而得到对图像数据中各个待标注物体的标注。
在步骤104中，可以随机地给各个标注员随机分发一个评价任务，由于评价任务中也包括图像数据，标注员并不能区别出评价任务与图像标注任务的不同。另一方面，评价任务还包括一个真实数据，该真实数据中包括对图像数据中的待标注物体的真实标注。
在步骤105中，可以为各个标注员保存各自反馈的针对评价任务完成的标注结果数据。
在步骤106中，根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量的处理，如图6所示，可以包括如下的处理方式：
步骤1061、对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；
步骤1062、在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
其中，在步骤1061中，确定标注员的标注质量为不可接受或者可接受的处理，如图7所示，可以包括：
步骤R1、将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；
也即，将标注员对各个物体的标注与真实数据中对应的真实标注进行对比，可以对比标注框的位置、面积和/或标注类别；对比结果一致的标注为正确标注，对比结果为不一致的标注为错误标注；
步骤R2、根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
其中，预设的质量判断规则可以根据具体的应用场景的需要而设定，本申请这里不做具体限定。例如，预设的质量判断规则可以包括以下之一：
超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
预设的质量判断规则也可以是上述规则的组合，例如，在预定的关键物体的标注是正确的、且超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受。或者对图像数据中预定部分的标注是正确的、且超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受。
在步骤1062中，确定根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数的处理，如图8所示，可以包括：
步骤X1、对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；
具体地，可以确定该标注的标注分数与待选标注的标注分数之间的差值；该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
步骤X2、使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率。
具体地，如前步骤102所示，在系统接收多个标注员依次反馈标注结果数据的过程中，后续反馈结果的标注员是在之前反馈的数据的基础上进行的标注操作，并且可以通过标注链来记录和保存各个标注员对同一个物体的标注操作类型和操作结果，这样可以根据该标注链来确定得到对一个物体的标注的状态转换情况。在标注的过程中，可能会发生四种标注状况，也即将正确的标注继续标注为正确的情况、将正确的标注修改为错误的情况、将错误的标注修改为正确的情况、以及将错误的标注继续标注为错误的情况。根据这样的状态变迁的情况，通过预设的概率模型，可以确定得到一个标注员对一个物体的标注的正确的概率或者错误的概率。
例如，根据步骤X1确定得到标注员对一个物体的标注是正确之后，根据标注链可以确定该标注员是将之前正确的标注继续标注为正确的标注，这样通过概率模型的计算，该标注员对该物体的标注可能会具有较高的正确概率。或者，根据步骤X1确定得到的一个标注是正确的，根据标注链的记录情况，该标注员是将之前错误的标注修改为正确的标注，则该标注员对该物体的标注可能会具有更高的正确概率。或者，根据步骤X1确定得到的一个标注视错误的，该标注员是将之前正确的标注修改为错误的标注，则该标注员对该物体的标注可能会具有较高的错误概率。
这样可知，针对下列情况的标注可能会确定得到一个较高的正确概率：(1)、增加了一个正确的标注；(2)、删除了一个错误的标注；(3)将错误的标注修改为正确的标注。另一方面，针对下列情况的标注可能会确定得到一个较高的错误概率：(1)增加了一个错误的标注；(2)删除了一个正确的标注；(3)、将一个正确的标注修改为错误的标注。
步骤X3、根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
其中，预设的分数确定规则可以根据具体应用场景的需要而具体设定，本申请这里不做具体限定。例如，预设的分数规则可以包括以下之一或者组合：
将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
在步骤107中，根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员的处理，可以根据具体应用场景的需要而具体设定，例如包括以下之一或组合：
在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；或者，选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；或者，选择随机选择标注员作为下一次图像标注任务分发的标注员。
进一步地，本申请实施例还可以支付标注员的标注酬劳，可以根据标注的数量来进行支付，也可以根据完成的图像标注任务中的图像数据的数量来进行支付。当根据标注的数量来进行支付时，可以根据标注员完成的标注的数量和确定得到的各个标注的标注分数来确定支付金额。当根据完成图像数据的数量来进行支付时，可以根据标注员完成的图像数据的数量和确定得到的标注员的标注质量来确定支付金额。本申请这里不一一举例。
根据本申请实施例提供的方法，为多个标注员中的每一个标注员分配一个图像标注任务和一个评价任务，接收各个标注员反馈的标注结果数据，从中提取对图像标注任务中待标注物体的标注；并且，分别确定各个标注员完成图像标注任务和/或评价任务的标注质量，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。从而，本申请实施例能够自动有效地从标注员的反馈中提取出对物体的标注，并根据标注员的标注质量确定分发下一次图像标注任务的标注员，能够实现高效且有效的图像标注。
基于相同的发明构思，本申请实施例还提供了一种图像标注的实现装置。
如图9所示，本申请实施例提供的图像标注的实现装置包括：
分发模块91，用于为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收模块92，用于接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；接收各个标注员针对评价任务反馈的标注结果数据；
提取模块93，用于从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
第一确定模块94，用于根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
第二确定模块95，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
在一些实施例中，提取模块93从多个标注员反馈的标注结果中提取对各个待标注物体的标注，包括：对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；确定该图像数据的全部待选标注的图像分数；在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员。
在一些实施例中，提取模块93确定各个标注的标注分数，包括：对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值；对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值；根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
在一些实施例中，提取模块93根据各个边界框重叠的情况，分别确定各个标注的物体标注权值，包括：将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
在一些实施例中，提取模块93根据对全部物体标注的各个边界框重叠的情况，分别确定各个标注的图像标注权值，包括：将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框的与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
在一些实施例中，提取模块93确定该图像数据的全部待选标注的标注图像分数，包括：确定该图像数据的全部待选标注的置信度；将该置信度确定为该图像数据的全部待选标注的标注图像分数。
在一些实施例中，提取模块93确定该图像数据的全部待选标注的置信度，包括：对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；确定该马尔科夫链的置信度。
在一些实施例中，接收模块92接收每个标注员针对图像标注任务反馈的标注结果数据，包括：针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
在一些实施例中，第一确定模块94根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量，包括：对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
在一些实施例中，第一确定模块94根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受，包括：将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
在一些实施例中，质量判断规则至少包括以下之一或者组合：超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
在一些实施例中，第一确定模块94根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数，包括：对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率；根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
在一些实施例中，第一确定模块94将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确，包括：确定该标注的标注分数与待选标注的标注分数之间的差值；该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
在一些实施例中，分数确定规则至少包括以下之一或者组合：将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
在一些实施例中，第二确定模块95根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员，包括至少以下之一或者组合：在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；选择随机选择标注员作为下一次图像标注任务分发的标注员。
在一些实施例中，第一确定模块94还用于：根据标注员的标注质量确定支付给该标注员的标注酬劳。
根据本申请实施提供的装置，为多个标注员中的每一个标注员分配一个图像标注任务和一个评价任务，接收各个标注员反馈的标注结果数据，从中提取对图像标注任务中待标注物体的标注；并且，分别确定各个标注员完成图像标注任务和/或评价任务的标注质量，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。从而，本申请实施例能够自动有效地从标注员的反馈中提取出对物体的标注，并根据标注员的标注质量确定分发下一次图像标注任务的标注员，能够实现高效且有效的图像标注。
基于相同的发明构思，本申请实施例还提供了一种图像标注的实现装置。
图10示出了本申请实施例提供的图像标注的实现装置的结构框图，包括：一个处理器1001和至少一个存储器1002，至少一个存储器1002中存储有至少一条机器可执行指令，处理器1001执行至少一条机器可执行指令以执行：
为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收各个标注员针对评价任务反馈的标注结果数据；
根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行从多个标注员反馈的标注结果中提取对各个待标注物体的标注，包括：对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；确定该图像数据的全部待选标注的图像分数；在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行确定各个标注的标注分数，包括：对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值；对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值；根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据各个边界框重叠的情况，分别确定各个标注的物体标注权值，包括：将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据对全部物体标注的各个边界框重叠的情况，分别确定各个标注的图像标注权值，包括：将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框的与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行确定该图像数据的全部待选标注的标注图像分数，包括：确定该图像数据的全部待选标注的置信度；将该置信度确定为该图像数据的全部待选标注的标注图像分数。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行确定该图像数据的全部待选标注的置信度，包括：对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；确定该马尔科夫链的置信度。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行接收每个标注员针对图像标注任务反馈的标注结果数据，包括：针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量，包括：对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受，包括：将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
在一些实施例中，质量判断规则至少包括以下之一或者组合：超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数，包括：对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率；根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确，包括：确定该标注的标注分数与待选标注的标注分数之间的差值；该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
在一些实施例中，分数确定规则至少包括以下之一或者组合：将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
在一些实施例中，处理器1001执行至少一条机器可执行指令以执行根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员，包括至少以下之一或者组合：在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；选择随机选择标注员作为下一次图像标注任务分发的标注员。
在一些实施例中，处理器1001执行至少一条机器可执行指令还执行：根据标注员的标注质量确定支付给该标注员的标注酬劳。
根据本申请实施提供的装置，为多个标注员中的每一个标注员分配一个图像标注任务和一个评价任务，接收各个标注员反馈的标注结果数据，从中提取对图像标注任务中待标注物体的标注；并且，分别确定各个标注员完成图像标注任务和/或评价任务的标注质量，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。从而，本申请实施例能够自动有效地从标注员的反馈中提取出对物体的标注，并根据标注员的标注质量确定分发下一次图像标注任务的标注员，能够实现高效且有效的图像标注。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (48)

1.一种图像标注的实现方法，其特征在于，包括：
为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收各个标注员针对评价任务反馈的标注结果数据；
根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
2.根据权利要求1所述的方法，其特征在于，从多个标注员反馈的标注结果中提取对各个待标注物体的标注，包括：
对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；
确定该图像数据的全部待选标注的标注图像分数；
在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；
在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员。
3.根据权利要求2所述的方法，其特征在于，确定各个标注的标注分数，包括：
对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值；
对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值；
根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
4.根据权利要求3所述的方法，其特征在于，根据各个边界框重叠的情况，分别确定各个标注的物体标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；
根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
5.根据权利要求3所述的方法，其特征在于，根据对全部物体标注的各个边界框重叠的情况，分别确定各个标注的图像标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；
对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框的与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；
将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
6.根据权利要求2所述的方法，其特征在于，确定该图像数据的全部待选标注的标注图像分数，包括：
确定该图像数据的全部待选标注的置信度；
将该置信度确定为该图像数据的全部待选标注的标注图像分数。
7.根据权利要求6所述的方法，其特征在于，确定该图像数据的全部待选标注的置信度，包括：
对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；
根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；
确定该马尔科夫链的置信度。
8.根据权利要求1所述的方法，其特征在于，接收每个标注员针对图像标注任务反馈的标注结果数据，包括：
针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；
建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
9.根据权利要求2所述的方法，其特征在于，根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量，包括：
对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；
在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
10.根据权利要求9所述的方法，其特征在于，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受，包括：
将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；
根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
11.根据权利要求10所述的方法，其特征在于，质量判断规则至少包括以下之一或者组合：
超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
12.根据权利要求9所述的方法，其特征在于，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数，包括：
对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；
使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率；
根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
13.根据权利要求12所述的方法，其特征在于，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确，包括：
确定该标注的标注分数与待选标注的标注分数之间的差值；
该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
14.根据权利要求12所述的方法，其特征在于，分数确定规则至少包括以下之一或者组合：
将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
15.根据权利要求9所述的方法，其特征在于，根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员，包括至少以下之一或者组合：
在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；或者
选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；或者
选择随机选择标注员作为下一次图像标注任务分发的标注员。
16.根据权利要求1所述的方法，其特征在于，还包括：
根据标注员的标注质量确定支付给该标注员的标注酬劳。
17.一种图像标注的实现装置，其特征在于，包括：
分发模块，用于为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收模块，用于接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；接收各个标注员针对评价任务反馈的标注结果数据；
提取模块，用于从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
第一确定模块，用于根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
第二确定模块，根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
18.根据权利要求17所述的装置，其特征在于，提取模块从多个标注员反馈的标注结果中提取对各个待标注物体的标注，包括：
对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；
确定该图像数据的全部待选标注的标注图像分数；
在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；
在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员。
19.根据权利要求18所述的装置，其特征在于，提取模块确定各个标注的标注分数，包括：
对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值；
对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值；
根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
20.根据权利要求19所述的装置，其特征在于，提取模块根据各个边界框重叠的情况，分别确定各个标注的物体标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；
根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
21.根据权利要求19所述的装置，其特征在于，提取模块根据对全部物体标注的各个边界框重叠的情况，分别确定各个标注的图像标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；
对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框的与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；
将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
22.根据权利要求18所述的装置，其特征在于，提取模块确定该图像数据的全部待选标注的标注图像分数，包括：
确定该图像数据的全部待选标注的置信度；
将该置信度确定为该图像数据的全部待选标注的标注图像分数。
23.根据权利要求22所述的装置，其特征在于，提取模块确定该图像数据的全部待选标注的置信度，包括：
对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；
根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；
确定该马尔科夫链的置信度。
24.根据权利要求17所述的装置，其特征在于，接收模块接收每个标注员针对图像标注任务反馈的标注结果数据，包括：
针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；
建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
25.根据权利要求18所述的装置，其特征在于，第一确定模块根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量，包括：
对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；
在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
26.根据权利要求25所述的装置，其特征在于，第一确定模块根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受，包括：
将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；
根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
27.根据权利要求26所述的装置，其特征在于，质量判断规则至少包括以下之一或者组合：
超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
28.根据权利要求25所述的装置，其特征在于，第一确定模块根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数，包括：
对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；
使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率；
根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
29.根据权利要求28所述的装置，其特征在于，第一确定模块将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确，包括：
确定该标注的标注分数与待选标注的标注分数之间的差值；
该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
30.根据权利要求28所述的装置，其特征在于，分数确定规则至少包括以下之一或者组合：
将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
31.根据权利要求25所述的装置，其特征在于，第二确定模块根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员，包括至少以下之一或者组合：
在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；
选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；
选择随机选择标注员作为下一次图像标注任务分发的标注员。
32.根据权利要求17所述的装置，其特征在于，第一确定模块还用于：
根据标注员的标注质量确定支付给该标注员的标注酬劳。
33.一种图像标注的实现装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：
为多个标注员中的每个标注员分发一个图像标注任务，其中，一个图像标注任务中包括多个图像数据，一个图像数据中包括至少一个待标注物体；
接收每个标注员针对图像标注任务反馈的标注结果数据，其中，标注结果数据中包括对各个待标注物体的标注；
从多个标注员反馈的标注结果数据中提取对各个待标注物体的标注；
为各个标注员随机分发一个评价任务，其中，一个评价任务中包括一个图像数据，该图像数据中包括至少一个待标注物体；该图像数据具有一个对应的真实数据，该真实数据中包括该图像数据中至少一个待标注物体的真实标注；
接收各个标注员针对评价任务反馈的标注结果数据；
根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量；
根据各个标注员的标注质量，确定下一次分发图像标注任务的标注员。
34.根据权利要求33所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行从多个标注员反馈的标注结果中提取对各个待标注物体的标注，包括：
对于不同标注员对同一个待标注物体的不同标注，确定各个标注的标注分数，将标注分数最高的标注确定为对该物体的待选标注，得到一个图像数据的全部待选标注；
确定该图像数据的全部待选标注的标注图像分数；
在该标注图像分数大于或等于一个预定阈值的情况下，确定该图像数据的各个待选标注为该图像数据中对应的各个待标注物体的标注；
在该标注图像分数小于该预定阈值的情况下，抛弃该图像数据的全部待选标注，并将该图像数据重新分发给所述多个标注员，或者分发给其它的多个标注员。
35.根据权利要求34所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行确定各个标注的标注分数，包括：
对于一个相同的待标注物体，对比各个标注员反馈的标注该物体的边界框，根据各个边界框重叠的情况，分别确定对该待标注物体的各个标注的物体标注权值；
对比各个标注员反馈的包括该待标注物体的标注结果数据中的对全部待标注物体标注的边界框，根据对全部物体标注的各个边界框重叠的情况，分别确定对该待标注物体的各个标注的图像标注权值；
根据各个标注的物体标注权值和图像标注权值，确定各个标注的标注分数。
36.根据权利要求35所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据各个边界框重叠的情况，分别确定各个标注的物体标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定该物体的全部标注框共同重叠的部分；
根据各个标注的标注框与共同重叠部分的面积对比关系和/或标注类别的对比，确定各个标注的物体标注权值。
37.根据权利要求35所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据对全部物体标注的各个边界框重叠的情况，分别确定各个标注的图像标注权值，包括：
将包括该待标注物体的多个标注结果数据进行重叠，确定全部物体的标注框共同重叠的部分；
对于一个标注结果数据，根据其中全部标注框包括共同重叠部分的数量、其中全部标注框的与共同重叠部分的面积对比关系和/或标注类别的对比，确定该标注结果数据的图像标注权值；
将图像标注权值确定为该标注结果数据中各个标注的图像标注权值。
38.根据权利要求34所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行确定该图像数据的全部待选标注的标注图像分数，包括：
确定该图像数据的全部待选标注的置信度；
将该置信度确定为该图像数据的全部待选标注的标注图像分数。
39.根据权利要求38所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行确定该图像数据的全部待选标注的置信度，包括：
对于该图像数据，根据各个标注员反馈的标注结果数据中全部标注的标注分数，确定各个标注员对该图像数据的标注分数；
根据各个标注员反馈标注结果数据的顺序，将各个标注员对该图像的标注分数构建成一个马尔科夫链；
确定该马尔科夫链的置信度。
40.根据权利要求33所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行接收每个标注员针对图像标注任务反馈的标注结果数据，包括：
针对一个图像数据，接收并保存反馈的第一个标注结果数据中的物体的标注，记录并保存后续其它标注员在所保存的标注上对物体上进行的标注操作类型和标注结果，标注操作类型包括增加类别操作、删除类别操作和修改类别操作；
建立该图像数据、反馈标注结果数据的各标注员、以及各标注员执行的标注操作类型和标注结果之间的对应关系。
41.根据权利要求34所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据各个标注员针对图像标注任务反馈的标注结果数据和针对评价任务反馈的标注结果数据，分别确定各个标注员的标注质量，包括：
对于一个标注员，根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受；
在该标注员的标注质量是可接受的情况下，根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数。
42.根据权利要求41所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据该标注员针对评价任务反馈的标注结果数据，确定该标注员的标注质量为不可接受或者可接受，包括：
将该标注员针对评价任务反馈的标注结果数据与相对应的真实数据进行对比；
根据对比情况和预设的质量判断规则，确定该标注员的标注质量是不可接受或者是可接受。
43.根据权利要求42所述的装置，其特征在于，质量判断规则至少包括以下之一或者组合：
超过预定数量的物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对预定的关键物体的标注是正确的情况下，标注员的标注质量为可接受，否则为不可接受；
对图像数据中预定部分中的物体的标注是正确的情况下，标注员的标注质量为可接收，否则为不可接受。
44.根据权利要求41所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据该标注员针对图像标注任务反馈的标注结果数据，确定该标注员的标注分数，包括：
对于一个标注员对一个物体的标注，将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确；
使用预先构建的概率模型，根据该标注是否正确、标注员以及其它标注员依次反馈的该物体的标注的状态转换情况，确定该标注员对该物体的标注的正确概率或者错误概率；
根据该标注员对多个图像数据中物体进行标注的正确概率或者错误概率，以及预设的分数确定规则，确定得到该标注员完成图像标注任务的标注分数。
45.根据权利要求44所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行将该标注的标注分数与该物体的待选标注的标注分数进行对比，确定该标注结果是否正确，包括：
确定该标注的标注分数与待选标注的标注分数之间的差值；
该差值小于或等于一个预定差值的情况下，确定该标注是正确标注；当差值大于预定差值的情况下，确定该标注是错误标注。
46.根据权利要求44所述的装置，其特征在于，分数确定规则至少包括以下之一或者组合：
将该标注员对多个图像数据的全部物体进行标注的全部正确概率的均值、全部错误概率的均值、或者全部正确概率和全部错误概率的加权均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定关键物体的标注的正确概率的均值确定为该标注员的标注分数；
将该标注员对多个图像数据中预定图像部分的物体的正确概率的均值确定为该标注员的标注分数。
47.根据权利要求41所述的装置，其特征在于，处理器执行至少一条机器可执行指令以执行根据各个标注员的标注质量，确定下一次图像标注任务分发的标注员，包括至少以下之一或者组合：
在标注质量可接受的标注员中，选择标注分数大于或等于预定分数的标注员作为下一次图像标注任务分发的标注员；
选择两次标注分数的增量大于预定增量的标注员作为下一次图像标注任务分发的标注员；
选择随机选择标注员作为下一次图像标注任务分发的标注员。
48.根据权利要求33所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
根据标注员的标注质量确定支付给该标注员的标注酬劳。
CN201810687971.6A 2017-08-08 2018-06-28 一种图像标注方法和装置 Active CN109389275B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/672,217 2017-08-08
US15/672,217 US10360257B2 (en) 2017-08-08 2017-08-08 System and method for image annotation

Publications (2)

Publication Number Publication Date
CN109389275A CN109389275A (zh) 2019-02-26
CN109389275B true CN109389275B (zh) 2021-02-26

Family

ID=65275249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810687971.6A Active CN109389275B (zh) 2017-08-08 2018-06-28 一种图像标注方法和装置

Country Status (2)

Country Link
US (1) US10360257B2 (zh)
CN (1) CN109389275B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188769B (zh) * 2019-05-14 2023-09-05 广州虎牙信息科技有限公司 关键点标注的审核方法、装置、设备及存储介质
CN110472054B (zh) * 2019-08-15 2023-05-23 北京爱数智慧科技有限公司 一种数据处理方法和装置
CN110750694A (zh) * 2019-09-29 2020-02-04 支付宝(杭州)信息技术有限公司 数据标注实现方法及装置、电子设备、存储介质
CN112749150B (zh) * 2019-10-31 2023-11-03 北京中关村科金技术有限公司 一种错误标注数据的识别方法、装置和介质
CN112749725A (zh) * 2019-10-31 2021-05-04 北京中关村科金技术有限公司 一种标注数据的处理方法、装置和介质
CN110826101B (zh) * 2019-11-05 2021-01-05 安徽数据堂科技有限公司 用于企业的私有化部署数据处理方法
CN110991486B (zh) * 2019-11-07 2023-12-29 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111027543B (zh) * 2019-11-25 2023-04-07 北京云测信息技术有限公司 一种图像标注方法及装置
CN111061901A (zh) * 2019-11-28 2020-04-24 中国船舶重工集团公司第七0九研究所 一种图像智能标注方法、系统及图像标注质量分析方法
US11790411B1 (en) 2019-11-29 2023-10-17 Wells Fargo Bank, N.A. Complaint classification in customer communications using machine learning models
CN111259251A (zh) * 2020-01-21 2020-06-09 北京爱数智慧科技有限公司 一种推荐标注任务的方法和装置
CN111291567B (zh) * 2020-02-05 2023-08-25 北京明略软件系统有限公司 人工标注质量的评估方法、装置、电子设备及存储介质
CN111597467A (zh) * 2020-05-08 2020-08-28 北京字节跳动网络技术有限公司 展示方法、装置和电子设备
CN111292839B (zh) * 2020-05-13 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
US11361152B2 (en) * 2020-07-20 2022-06-14 Labelbox, Inc. System and method for automated content labeling
US11270062B2 (en) 2020-07-20 2022-03-08 Labelbox, Inc. System and method for automated content annotation workflow
US11733424B2 (en) 2020-07-31 2023-08-22 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as functions of feature positions in a subsurface volume of interest
US11841479B2 (en) 2020-07-31 2023-12-12 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as a function of position in a subsurface volume of interest
WO2022038440A1 (en) * 2020-08-19 2022-02-24 Tasq Technologies Ltd. Distributed dataset annotation system and method of use
US11645449B1 (en) * 2020-12-04 2023-05-09 Wells Fargo Bank, N.A. Computing system for data annotation
CN113240126A (zh) * 2021-01-13 2021-08-10 深延科技(北京)有限公司 标注管理方法、装置、设备及存储介质
CN112685584A (zh) * 2021-03-22 2021-04-20 北京世纪好未来教育科技有限公司 图像内容标注方法和装置
CN113326890B (zh) * 2021-06-17 2023-07-28 北京百度网讯科技有限公司 标注数据处理方法、相关装置及计算机程序产品
CN113989610B (zh) * 2021-12-27 2022-04-05 广州思德医疗科技有限公司 一种图像智能标注方法、装置及系统

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
WO2005098782A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Collision warning system
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8064643B2 (en) 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US8190990B2 (en) * 2008-06-27 2012-05-29 Google Inc. Annotating webpage content
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US20100174603A1 (en) * 2008-10-14 2010-07-08 Robert Hughes System and Method for Advertising Placement and/or Web Site Optimization
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8582881B2 (en) 2009-03-26 2013-11-12 Tp Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9225531B2 (en) * 2009-06-18 2015-12-29 Visa International Service Association Automated test to tell computers and humans apart
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) * 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
US8713703B2 (en) * 2011-07-31 2014-04-29 International Business Machines Corporation Advanced CAPTCHA using images in sequence
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9355359B2 (en) * 2012-06-22 2016-05-31 California Institute Of Technology Systems and methods for labeling source data using confidence labels
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
WO2014201324A1 (en) 2013-06-13 2014-12-18 Gideon Stein Vision augmented navigation
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
CN110920609B (zh) 2013-12-04 2023-08-22 移动眼视力科技有限公司 用于模仿前车的系统和方法
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9205835B2 (en) 2014-01-30 2015-12-08 Mobileye Vision Technologies Ltd. Systems and methods for detecting low-height objects in a roadway
CN109884618B (zh) 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
WO2015177648A1 (en) 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
CN106796648B (zh) 2014-06-03 2020-11-24 御眼视觉技术有限公司 用于检测对象的系统和方法
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
US9881236B2 (en) * 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
CN106997585A (zh) * 2016-01-22 2017-08-01 同方威视技术股份有限公司 成像系统及图像质量评价方法
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US9990687B1 (en) * 2017-01-19 2018-06-05 Deep Learning Analytics, LLC Systems and methods for fast and repeatable embedding of high-dimensional data objects using deep learning with power efficient GPU and FPGA-based processing platforms
US11194852B2 (en) * 2017-07-19 2021-12-07 International Business Machines Corporation Rapid cross-validated ground truth annotation of large image datasets for image analytics

Also Published As

Publication number Publication date
CN109389275A (zh) 2019-02-26
US20190050428A1 (en) 2019-02-14
US10360257B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
CN109389275B (zh) 一种图像标注方法和装置
US10878372B2 (en) Method, system and device for association of commodities and price tags
CN110705405B (zh) 目标标注的方法及装置
CN110704633A (zh) 命名实体识别方法、装置、计算机设备及存储介质
CN105404993A (zh) 一种智能物资管理系统
CN109858476B (zh) 标签的扩充方法和电子设备
CN106485261B (zh) 一种图像识别的方法和装置
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN111259980B (zh) 标注数据的处理方法和装置
CN111652208A (zh) 用户界面组件的识别方法、装置、电子设备及存储介质
CN111159167B (zh) 标注质量检测装置和方法
US20210201014A1 (en) Extracting values from images of documents
CN116229469A (zh) 一种基于ar技术的多目标拣货系统和拣货方法
CN115082659A (zh) 一种图像标注方法、装置、电子设备及存储介质
CN113065447A (zh) 一种图像集中自动识别商品的方法和设备
CN115358751B (zh) 一种交易单据的自动审核方法、装置及电子设备
CN109325557B (zh) 基于计算机视觉图像识别的数据智能采集方法
CN112905722B (zh) 一种行为识别的方法、装置及存储介质
CN114359670A (zh) 非结构化数据标注方法、装置、计算机设备及存储介质
CN114140751A (zh) 一种考场监控方法及系统
CN110766010A (zh) 一种信息识别方法、模型训练方法和相关装置
CN111506554A (zh) 数据标注方法以及相关装置
CN113190277A (zh) 设备识别方法、设备识别装置及终端设备
CN116187899B (zh) 一种箱码输送对接wms系统
CN114549647B (zh) 一种hsk刀柄摆放朝向的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant