CN109359558B - 图像标注方法、目标检测方法、装置及存储介质 - Google Patents

图像标注方法、目标检测方法、装置及存储介质 Download PDF

Info

Publication number
CN109359558B
CN109359558B CN201811125625.5A CN201811125625A CN109359558B CN 109359558 B CN109359558 B CN 109359558B CN 201811125625 A CN201811125625 A CN 201811125625A CN 109359558 B CN109359558 B CN 109359558B
Authority
CN
China
Prior art keywords
image
label
region
regions
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811125625.5A
Other languages
English (en)
Other versions
CN109359558A (zh
Inventor
何长伟
汪铖杰
李季檩
熊意超
钮小光
彭瑾龙
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811125625.5A priority Critical patent/CN109359558B/zh
Publication of CN109359558A publication Critical patent/CN109359558A/zh
Application granted granted Critical
Publication of CN109359558B publication Critical patent/CN109359558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了图像标注方法、目标检测方法、装置及存储介质。其中，一种图像标注方法，包括：获取第一图像集合和第二图像集合；根据所述标签，从第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域；将第一图像区域生成为正样本；对于任一个第二图像区域，为其添加标签而得到一个负样本；通过区域推荐方式，从第二图像集合提取候选图像区域；基于图的半监督学习方式，确定候选图像区域的标签；根据候选图像区域的标签，确定第二图像集合的图像中目标对象对应的区域并添加与目标对象有关的标签。

Description

图像标注方法、目标检测方法、装置及存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及图像标注方法、目标检测方法、装置及存储介质。
背景技术
目标检测(也可以称为目标提取)，可以对图像中目标对象进行识别和分割。随着计算机视觉技术的发展，目标检测广泛应用在交通、安防、军事等领域中。为了训练目标检测模型，各种目标检测的应用方案中需要大量经过标注的图像作为训练样本。然而，现有的训练样本通常需要人工标注。因此，标注图像的效率有待提高。
发明内容
本申请提出了一种图像标注方案，能够提高图像标注的效率。
根据本申请一方面，提供一种图像标注方法。所述方法包括：获取第一图像集合和第二图像集合，其中，所述第一图像集合中图像包含目标对象的标签，所述第二图像集合待对其包含的所述目标对象进行标注；根据所述标签，从所述第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域，其中，所述第一图像区域包含所述目标对象，所述第二图像区域未包含所述目标对象；将所述第一图像区域生成为正样本，其中，所述正样本包括所述目标对象的标签；对于任一个所述第二图像区域，为其添加标签而得到一个负样本，所述负样本的标签表示所述第二图像区域未包含所述目标对象；通过区域推荐方式，从所述第二图像集合提取候选图像区域；基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定所述候选图像区域的标签；以及根据所述候选图像区域的标签，确定所述第二图像集合的图像中所述目标对象对应的区域并添加与所述目标对象有关的标签。
根据本申请一方面，提供一种目标检测模型的训练方法。所述训练方法包括：利用根据本申请的图像标注方法获取具有与目标对象有关的标签的图像；利用所述具有与所述目标对象有关的标签的图像，训练所述目标检测模型。
根据本申请一方面，提供一种目标检测方法。所述方法包括：获取待检测的图像；利用根据本申请的训练方法得到的经过训练的目标检测模型，对待检测的图像进行目标检测。
根据本申请一方面，提供一种图像标注装置。所述装置包括：图像获取单元，用于获取第一图像集合和第二图像集合，其中，所述第一图像集合中图像包含目标对象的标签，所述第二图像集合待对其包含的所述目标对象进行标注；区域提取单元，用于根据所述标签，从所述第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域，其中，所述第一图像区域包含所述目标对象，所述第二图像区域未包含所述目标对象；正样本生成单元，用于将所述第一图像区域生成为正样本，其中，所述正样本包括所述目标对象的标签；负样本生成单元，用于对于任一个所述第二图像区域，为其添加标签而得到一个负样本，所述负样本的标签表示所述第二图像区域未包含所述目标对象；候选区域获取单元，用于通过区域推荐方式，从所述第二图像集合提取候选图像区域；标签确定单元，用于基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定所述候选图像区域的标签；以及标注单元，用于根据所述候选图像区域的标签，确定所述第二图像集合的图像中所述目标对象对应的区域并添加与所述目标对象有关的标签。
根据本申请一方面，提供一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序。一个或多个程序存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行本申请的图像标注方法的指令、目标检测模型的训练方法的指令或者目标检测方法的指令。
根据本申请一方面，提供一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行本申请的本申请的图像标注方法、目标检测模型的训练方法或者目标检测方法。
综上，根据本申请的技术方案可以利用已标注的第一图像集合对未标注的第二图像集合进行标注，从而可以避免人工对第二图像集合进行标注的麻烦，进而可以提高图像标注的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一些实施例的应用场景100的示意图；
图2示出了根据本申请一些实施例的图像标注方法200的流程图；
图3示出了根据本申请一些实施例的图像标注方法300的流程图；
图4示出了根据本申请一些实施例的确定正样本和负样本的示意图；
图5示出了根据本申请一些实施例的提取候选图像区域的方法500的流程图；
图6示出了根据本申请一些实施例的从一张图像中提取候选图像区域的示意图；
图7示出了根据本申请一些实施例的确定候选图像区域的标签的方法700的流程图；
图8A示出了根据本申请一些实施例的无向加权图中部分节点的示意图；
图8B示出了据本申请一些实施例的无向加权图中部分节点之间的相关度；
图8C至8E分别示出了无向加权图的连通子图的示意图；
图9示出了根据本申请一些实施例目标检测模型的训练方法900的流程图；
图10示出了根据本申请一些实施例的图像标注装置1000的示意图；以及
图11示出了一个计算设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一些实施例中，为了获取用于训练目标检测模型的训练样本，标注人员需要人工对图像进行标注。这里，标注是指确定图像中目标对象对应的区域和标记目标对象所对应的区域的类别。在一些实施例中，标注的具体操作可以包括：在图像中确定目标对象对应区域的边界框和标记边界框的类别标签。这里，一个边界框的类别标签用于描述这个边界框内目标对象的类别。类别标签例如可以用边界框的颜色表示，但不限于此。为了简化描述，下文中类别标签简称为标签。在一些应用场景中，由于训练目标检测网络需要大量的训练样本，标注图像的效率有待提高。
图1示出了根据本申请一些实施例的应用场景100的示意图。如图1所述，图像标注系统102可以通过一个或多个网络106与模型训练系统104通信。图像标注系统102可以对图像进行标注处理。图像标注系统102可以对图像中一类或多类目标对象进行标注。在此基础上，图像标注系统102可以向模型训练系统104提供经过标注的图像。模型训练系统104可以利用经过标注的图像训练目标检测模型。目标检测模型例如可以是深度神经网络模型等等，本申请对此不做限制。
在一些实施例中，图像标注系统102和模型训练系统104均可以包括一个或多个计算设备(图1未示出)。这里，计算设备例如可以是笔记本电脑、台式计算机或者服务器等等，本申请对此不做限制。
一个或多个网络106的示例包括局域网(LAN)和广域网(WAN)诸如互联网。可选地，本申请的实施例可以使用任意公知的网络协议来实现一个或多个网络106，包括各种有线或无线协议，诸如，以太网、通用串行总线(USB)、FIREWIRE、全球移动通讯系统(GSM)、增强数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、WiFi、IP语音(VoIP)，Wi-MAX，或任意其他适合的通信协议。
在一些实施例中，图像标注系统102可以包括第一图像集合108和第二图像集合110。其中，第一图像集合108中图像已经被标注换言之，第一图像集合108中图像包含目标对象的标签。这里，一个图像所包含的目标对象的标签例如可以是该图像中目标对象对应的区域(该区域例如可以通过边界框进行限定)的标签。第二图像集合110中图像待标注目标对象。换言之，第二图像集合110中图像待确定目标对象对应的区域和添加目标对象的标签。
图像标注系统102可以利用第一图像集合108，对第二图像集合110中图像进行标注。模型训练系统104可以利用来自图像标注系统102的经过标注的图像训练目标检测模型112。下面结合图2对图像标注系统102的图像标注方式进行说明。
图2示出了根据本申请一些实施例的图像标注方法200的流程图。图像标注方法200例如可以由图像标注系统102执行。
如图2所示，在步骤S201中，获取第一图像集合和第二图像集合，其中，第一图像集合中图像包含目标对象的标签。第二图像集合待对其包含的目标对象进行标注。在一些实施例中，步骤S201的实施方式与下文中步骤S301一致，这里不再赘述。
在步骤S202中，根据标签，从第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域。其中，第一图像区域包含目标对象，第二图像区域未包含目标对象。这里，一个第一图像区域可以是目标对象对应的一个边界框所限定的区域。一个图像中第一区域之外的图像区域可以称为目标对象的背景区域。一个第二图像区域可以是背景区域的一个子区域。在一些实施例中，步骤S202的实施方式与下文中步骤S302一致，这里不再赘述。
在步骤S203中，将第一图像区域生成为正样本。其中，正样本包括目标对象的标签。在一些实施例中，步骤S203的实施方式与下文中步骤S303一致，这里不再赘述。
在步骤S204中，对于任一个第二图像区域，为其添加标签而得到一个负样本。负样本的标签表示第二图像区域未包含目标对象。在一些实施例中，步骤S204的实施方式与下文中步骤S304一致，这里不再赘述。
在步骤S205中，通过区域推荐方式，从第二图像集合提取候选图像区域。在一些实施例中，步骤S205的实施方式与下文中步骤S305一致，这里不再赘述。
在步骤S206中，基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定候选图像区域的标签。在一些实施例中，步骤S206的实施方式与下文中步骤S306一致，这里不再赘述。
在步骤S207中，根据候选图像区域的标签，识别第二图像集合的图像中目标对象并添加与目标对象有关的标签。在一些实施例中，步骤S207的实施方式与下文中步骤S307一致，这里不再赘述。
综上，方法200可以利用已标注的第一图像集合对未标注的第二图像集合进行标注，从而可以避免人工对第二图像集合进行标注的麻烦，进而可以提高图像标注的效率。
图3示出了根据本申请一些实施例的图像标注方法300的流程图。图像标注方法300例如可以由图像标注系统102执行。
如图3所示，在步骤S301中，获取第一图像集合和第二图像集合。其中，第一图像集合的图像包含目标对象的标签。第二图像集合待对其包含的目标对象进行标注。这里，第一图像集合可以包括多张具有与目标对象有关的标签的图像，第二图像集合中图像不具有与目标对象有关的标签。换言之，第一图像集合可以包括多张已标注的图像。第二图像集合可以包括多张待标注的图像。
在一些实施例中，目标对象可以包括一个或多个类别的对象。这里，对象的类别可以是任意能够标注的对象，例如，人体、人体的头部、汽车、自行车等等。在目标对象只包括一个类别的对象时，第一图像集合中标签属于同一个类别。例如，在目标对象为人体时，第一图像集合的图像中标签为表示类别为人体的标签。在目标对象包括多个类别的对象时，第一图像集合中标签包括多个类别的标签。例如，在目标对象包括人体和人体的头部时，第一图像集合的标签包括对人体的标签和对头部的标签。需要说明的是，第一图像集合中任一个标签是对图像中一个边界框的标签。
在步骤S302中，根据标签，从第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域。其中，第一图像区域包含目标对象，第二图像区域未包含目标对象。这里，一个第一图像区域可以是目标对象对应的一个边界框所限定的区域。一个图像中第一区域之外的图像区域可以称为目标对象的背景区域。一个第二图像区域可以是背景区域的一个子区域。
在一些实施例中，步骤S302可以通过步骤S3021和步骤S3022来提取一个或多个第一图像区域和一个或多个第二图像区域。
在步骤S3021中，从第一图像集合的图像中提取与标签对应的边界框内的区域，并将边界框内的区域作为第一图像区域。
在步骤S3022中，从第一图像集合的图像中提取与标签对应的边界框之外的子区域，并将边界框之外的每个子区域作为一个第二图像区域。在一些实施例中，步骤S3022可以在边界框之外的区域中随机选定一个或多个子区域，并将每个子区域作为一个第二图像区域。这里，随机选定子区域的方式是指可以在边界框之外的区域内随机选定子区域的尺寸和位置。在一些实施例中，步骤3022可以根据边界框的尺寸和位置，在边界框之外的区域内选定靠近边界框的子区域作为第二图像区域。在一些实施例中，第一图像区域和第二图像区域的重合度小于0.3。重合度是指两个区域的交集面积与并集面积的比值。
在步骤S303中，将第一图像区域生成为正样本。其中，正样本包括目标对象的标签。在一些实施例中，步骤S303可以将各个第一图像区域分别生成为一个正样本。
在步骤S304中，对于任一个第二图像区域，为其添加标签而得到一个负样本。负样本的标签表示第二图像区域未包含目标对象。
在一些实施例中，正负样本的比例为1:2。
综上，基于步骤S302至步骤S304，图像标注方法300可以利用经过标注的图像生成关于目标对象的正样本和负样本。图4示出了根据本申请一些实施例的确定正样本和负样本的示意图。
如图4所示，样本a1、a2、a3和a4均为正样本，样本b1、b2、b3和b4均为负样本。图像401中目标对象包括人体和头部两种类型。样本a1和a2的标签均为人体，样本a3和a4的标签均为头部。样本b1、b2、b3和b4的标签均为背景，这里，表示背景的标签表明样本中不包括人体和头部。样本a1、a2、a3和a4对应图像401中边界框内的区域，即第一图像区域。样本b1、b2、b3和b4的区域为对应图像401中第二图像区域。由图4可知，步骤S303可以将目标对象(人体和头部)生成为正样本，步骤S304可以将目标对象之外背景区域的子区域生成负样本。
在步骤S305中，通过区域推荐方式，从所述第二图像集合提取候选图像区域。这里，步骤S305可以利用各种区域推荐方式从第二图像集合中提取候选图像区域。候选图像区域是针对目标对象的候选区域。换言之，在一个图像包含目标对象时，来自这个图像的候选图像区域可以包括目标图像。在一些实施例中，步骤S305可以利用选择性搜索(Selective Search)方式，确定第二图像集合中各图像的候选图像区域。在一些实施例中，步骤S305可以实现为方法500。
如图5所示，在步骤S501中，对于第二图像集合中任一个图像，将该图像划分成多个区域，以得到包含多个区域的第一集合。
在步骤S502中，确定第一集合中各对相邻的两个区域之间的相似度，而得到包含个队相邻的两个区域之间相似度的第二集合。
在步骤S503中，迭代执行下述操作S5031-S5035，直到第二集合为空。
具体而言，在步骤S5031中，确定第二集合中最大值。
在步骤S5032中，将最大值对应的两个区域合并为一个新的区域。
在步骤S5033中，删除第二集合中与最大值对应的两个区域有关的相似度。
在步骤S5034中，计算新的区域与相邻区域的相似度，并将计算得到的相似度添加到第二集合中。
在步骤S5035中，将新的区域加入到第一集合中。
在步骤S504中，基于步骤S503得到的第一集合，从第一集合中挑选区域作为候选图像区域。在一些实施例中，步骤S504可以根据第一集合中区域的权重选定候选图像区域。具体而言，第一集合中区域的权重可以根据第一集合中区域的生成顺序进行确定。这里，权重与生成顺序成正比，即区域的生成顺序越早，权重越大。步骤S504可以将区域按照权重由大到小进行排序，并选定排名靠前的多个区域作为候选图像区域。
例如，图6示出了从一张图像中提取候选图像区域的示意图。如图6所示，步骤S305可以从图像601中提取候选图像区域c1、c2、c3、c4、c5、c5、c6、c7和c8。这里，来自图6的候选图像区域c1-c8可以被是可能存在目标对象的备选区域。另外说明的是，除了选择性搜索方式，步骤S305还可以采用其他类型的区域推荐方式提取候选图像区域，本申请对此不做限制。
在步骤S306中，基于图的半监督学习方式，利用正样本的标签和负样本的标签确定候选图像区域的标签。
在一些实施例中，步骤S306可以实施为方法700。
如图7所示，在步骤S701中，基于正样本、负样本和候选图像区域，生成无向加权图。其中，无向加权图中任一个节点表示正样本、负样本和候选图像区域中一个区域。无向加权图中任意两个节点之间的权重表示这两个节点代表的区域之间的图像相似度。这里，步骤S701可以采用各种相似度判断算法确定两个区域之间的图像相似度。例如，图8A示出了根据本申请一些实施例的无向加权图中部分节点的示意图。图8A中节点各自代表一个区域。图8A中节点包括表示图4中正样本和负样本的节点，以及表示图6中候选区域的节点。为了简化描述，图8A中各节点的编号直接采用各自代表的区域的编号。另外，图8A省略了表示节点之间权重的连接线。
在步骤S702中，基于无向加权图，利用正样本和负样本，确定候选图像区域的标签。在一些实施例中，步骤S702可以通过步骤S7021至S7024来实现。
在步骤S7021中，为无向加权图中各个节点确定k个与这个节点相关联的节点，以使无向加权图中各对相关联的节点之间权重的累积和达到最大极值，其中，k为正整数，例如为50等等。这里，针对无向加权图中任一个节点，该节点与k各相关联的节点之外的其他节点不相关。在一些实施例中，步骤S7021可以基于下述方式，利用拉格朗日乘数法确定各个节点的k个相似节点：
Figure BDA0001812308460000101
Figure BDA0001812308460000102
其中，n表示所述无向加权图中节点总数，i和j表示无向加权图中节点的编号，Wij表示节点i和节点j之间的权值，Pij表示节点i和节点j的相关度。Pij在取值为1时表示节点i和j相关联。Pij在取值为0时表示节点i和j不相关。
在步骤S7022中，将无向加权图中相关联的各对节点连通，以生成无向加权图的连通子图，其中，各个连通子图中任意两个节点路径连通。不同连通子图的节点之间不相关。在一些实施例中，步骤S7022可以基于广度优先搜索等各种算法确定无向加权图的各个连通子图。例如，图8B示出了无向加权图中部分节点之间的相关度。其中，直接线连接的两个节点相关联。没有之间线连接的两个节点不相关。图8C至8E分别示出了无向加权图的连通子图的示意图。这里，连通子图中任意两个节点路径连通。另外说明的是，在本申请实施例中，两个不相关的节点如果存在间接路径，这两个节点路径连通。
在步骤S7023中，在包含代表正样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域添加对应目标对象的第一标签。
在步骤S7024中，在包含代表负样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域添加表示不包含目标对象的第二标签。
综上，通过步骤S7023和S7024，方法700可以利用连通子图中具有标签的节点(即，样本对应的节点)标注该连通子图中待标注的节点(即标注候选图像区域)。例如，图8C中连通子图包括正样本a1和a2对应的节点。步骤S7023可以为图8C中节点c2和c4添加表示人体的标签。类似地，步骤S7023可以将图8D中节点c1和c3的标签设置为与正样本a3和a4一致，即，为节点c1和c3添加表示头部的标签。步骤S7023可以为图8E中节点c2和c4添加表示背景区域的标签(即，表示不包含目标对象的标签)。
在步骤S307中，根据候选图像区域的标签，确定第二图像集合的图像中目标对象并添加与目标对象有关的标签。在一些实施例中，步骤S307可以在第二图像在所述第二图像集合中，将与具有第一标签的候选图像区域对应的区域作为目标对象对应的区域，并为目标对象对应的区域添加与目标对象有关的标签。
综上，方法300可以利用已标注的第一图像集合对未标注的第二图像集合进行标注，从而可以避免对第二图像集合进行人工标注的麻烦，进而可以提高图像标注的效率。
图9示出了根据本申请一些实施例目标检测模型的训练方法900的流程图。训练方法900例如可以由模型训练系统104执行。如图9所示，在步骤S901中，利用图像标注方法获取具有与目标对象有关的标签的图像。这里，图像标注方法例如可以是方法200或者方法300。在步骤S902中，利用所述具有与目标对象有关的标签的图像，训练目标检测模型。这里，目标检测模型可以是各种能够对图像目标进行检测的模型，例如基于深度神经网路的监测模型等等。
在一些应用场景中，本申请的实施例可以获取待检测的图像。本申请的实施例可以利用图9所示训练方法900得到的经过训练的目标检测模型，对待检测的图像进行目标检测。
图10示出了根据本申请一些实施例的图像标注装置1000的示意图。图像标注装置1000例如可以安装在图像标注系统102中。如图10所示，图像标注装置1000可以包括图像获取单元1001、区域提取单元1002、正样本生成单元1003、负样本生成单元1004、候选区域获取单元1005、标签确定单元1006和标注单元1007。
图像获取单元1001用于获取第一图像集合和第二图像集合。其中，第一图像集合中图像包含目标对象的标签。第二图像集合待对其包含的所述目标对象进行标注。
区域提取单元1002用于根据标签，从第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域。其中，第一图像区域包含目标对象。第二图像区域未包含目标对象。在一些实施例中，区域提取单元1002可以从第一图像集合的图像中，提取与目标对象的标签对应的边界框内的区域，并将每个边界框内的区域作为一个第一图像区域。区域提取单元1002还可以从第一图像集合的图像中提取边界框之外的子区域，并将边界框之外的每个子区域作为一个第二图像区域。
正样本生成单元1003用于将第一图像区域生成为正样本。其中，正样本包括目标对象的标签。
对于任一个所述第二图像区域，负样本生成单元1004用于为其添加标签而得到一个负样本。负样本的标签表示所述第二图像区域未包含所述目标对象；
候选区域获取单元1005用于通过区域推荐方式，从第二图像集合提取候选图像区域。在一些实施例中，候选区域获取单元1005可以利用选择性搜索方式，确定候选图像区域。具体而言，对于第二图像集合中任一个图像，候选区域获取单元1005可以将该图像划分成多个区域，以得到包含多个区域的第一集合。候选区域获取单元1005可以确定第一集合中各对相邻的两个区域之间的相似度，而得到包含相似度的第二集合。在此基础上，候选区域获取单元1005可以迭代执行下述操作，直到第二集合为空：确定所述第二集合中最大值；将最大值对应的两个区域合并为一个新的区域；删除第二集合中与所述最大值对应的两个区域有关的相似度；计算新的区域与相邻区域的相似度，并将所述计算得到的所述相似度添加到所述第二集合中；将新的区域加入到所述第一集合中；从第一集合中挑选区域作为候选图像区域。
标签确定单元1006用于基于图的半监督学习方式，利用正样本的标签和负样本的标签，确定候选图像区域的标签。
在一些实施例中，基于所述正样本、所述负样本和所述候选图像区域，标签确定单元1006可以生成无向加权图。其中，无向加权图中任一个节点表示正样本、负样本和候选图像区域中一个区域。无向加权图中任意两个节点之间的权重表示这两个节点对应的区域之间的图像相似度。基于无向加权图，标签确定单元1006可以利用正样本的标签和负样本的标签，确定候选图像区域的标签。
在一些实施例中，标签确定单元1006可以为无向加权图中各个节点确定k个与这个节点相关联的节点，以使无向加权图中各对相关联的节点之间权重的累积和达到最大极值。其中，k为正整数。
标签确定单元1006可以将无向加权图中各对相关联的节点连通，以生成无向加权图的连通子图。其中，各个连通子图中任意两个节点路径连通。
在包含代表正样本的节点的连通子图中，标签确定单元1006可以为与该连通子图中节点对应的候选图像区域添加对应目标对象的第一标签。在包含代表负样本的节点的连通子图中，标签确定单元1006可以为与该连通子图中节点对应的候选图像区域添加表示不包含目标对象的第二标签。
在一些实施例中，标签确定单元1006可以基于下述方式，利用拉格朗日乘数法确定各个节点的k个与这个节点相关联的节点：
Figure BDA0001812308460000131
Figure BDA0001812308460000132
其中，n表示所述无向加权图中节点总数，i和j表示无向加权图中节点的编号，Wij表示节点i和节点j之间的权重，Pij表示节点i和节点j的关联度。
标注单元1007用于根据候选图像区域的标签，确定第二图像集合的图像中目标对象对应的区域，并添加与目标对象有关的标签。在一些实施例中，在第二图像集合中，标注单元1007可以将与具有第一标签的候选图像区域对应的区域作为目标对象对应的区域，并为目标对象对应的区域添加与目标对象有关的标签。装置1000更具体的实施方式与图像标注方法300一致，这里不再赘述.
综上，图像标注装置1000可以利用已标注的第一图像集合对未标注的第二图像集合进行标注，从而可以避免对第二图像集合进行人工标注的麻烦，进而可以提高图像标注的效率。
图11示出了一个计算设备的组成结构图。该计算设备例如可以是图像标注系统112或者模型训练系统114中一个节点。如图11所示，该计算设备包括一个或者多个处理器(CPU)1102、通信模块1104、存储器1106、用户接口1110，以及用于互联这些组件的通信总线1110。
处理器1102可通过通信模块1104接收和发送数据以实现网络通信和/或本地通信。
用户接口1111包括一个或多个输出设备1112，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1110也包括一个或多个输入设备1114。
存储器1106可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1106存储处理器1102可执行的指令集，包括：
操作系统1116，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；图像标注系统102和模型训练系统104
在计算设备实现为图像标注系统102的一个节点时，应用1018，可以包括用于实现上述图像标注方法的各种程序，比如可以包括图10所示图像标注装置1000。在计算设备实现为模型训练系统104的一个节点时，应用1018，可以包括用于实现上述目标检测模型的训练方法900的各种程序。
另外，本申请的各一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。
此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述图像标注方法或目标检测模型的训练方法的任意一种实施例。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (15)

1.一种图像标注方法，其特征在于，所述方法包括：
获取第一图像集合和第二图像集合，其中，所述第一图像集合中图像包含目标对象的标签，所述第二图像集合待对其包含的所述目标对象进行标注；
根据所述标签，从所述第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域，其中，所述第一图像区域包含所述目标对象，所述第二图像区域未包含所述目标对象；将所述第一图像区域生成为正样本，其中，所述正样本包括所述目标对象的标签；对于任一个所述第二图像区域，为其添加标签而得到一个负样本，所述负样本的标签表示所述第二图像区域未包含所述目标对象；
通过区域推荐方式，从所述第二图像集合提取候选图像区域；基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定所述候选图像区域的标签；以及
根据所述候选图像区域的标签，确定所述第二图像集合的图像中所述目标对象对应的区域并添加与所述目标对象有关的标签；
所述基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定所述候选图像区域的标签，包括：
基于所述正样本、所述负样本和所述候选图像区域，生成无向加权图；为所述无向加权图中各个节点确定k个与这个节点相关联的节点，以使所述无向加权图中各对相关联的节点之间权重的累积和达到最大极值，其中，k为正整数；生成所述无向加权图的连通子图；在包含代表所述正样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域，添加对应所述目标对象的第一标签；在包含代表所述负样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域，添加表示不包含所述目标对象的第二标签。
2.如权利要求1所述的方法，其特征在于，所述根据所述标签，从所述第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域，包括：
从所述第一图像集合的图像中提取与所述目标对象的标签对应的边界框内的区域，并将每个所述边界框内的区域作为一个所述第一图像区域；
从所述第一图像集合的图像中提取所述边界框之外的子区域，并将所述边界框之外的每个子区域作为一个所述第二图像区域。
3.如权利要求1所述的方法，其特征在于，所述通过区域推荐方式，从所述第二图像集合提取候选图像区域，包括：
利用选择性搜索方式，确定所述第二图像集合中图像的所述候选图像区域。
4.如权利要求3所述的方法，其特征在于，所述利用选择性搜索方式，确定所述第二图像集合中图像的所述候选图像区域，包括：
对于所述第二图像集合中任一个图像，将该图像划分成多个区域，以得到包含所述多个区域的第一集合；
确定所述第一集合中各对相邻的两个区域之间的相似度，而得到包含所述相似度的第二集合；
迭代执行下述操作，直到所述第二集合为空：确定所述第二集合中的最大值，将所述最大值对应的两个区域合并为一个新的区域，删除所述第二集合中与所述最大值对应的两个区域有关的相似度，计算所述新的区域与相邻区域的相似度，并将计算得到的相似度添加到所述第二集合中，将所述新的区域加入到所述第一集合中；
从所述第一集合中挑选区域作为所述候选图像区域。
5.如权利要求1所述的方法，其特征在于，其中，所述无向加权图中任一个节点表示所述正样本、所述负样本和所述候选图像区域中的任一个区域，所述无向加权图中任意两个节点之间的权重表示这两个节点对应的区域之间的图像相似度。
6.如权利要求1所述的方法，其特征在于，所述生成所述无向加权图的连通子图，包括：
将所述无向加权图中各对相关联的节点连通，以生成所述无向加权图的连通子图，其中，各个所述连通子图中任意两个节点路径连通。
7.如权利要求1所述的方法，其特征在于，所述为所述无向加权图中各个节点确定k个与这个节点相关联的节点，以使所述无向加权图中各对相关联的节点之间权重的累积和达到最大极值，包括：
基于下述方式，利用拉格朗日乘数法确定各个节点的k个与这个节点相关联的节点：
Figure FDA0002763990320000031
Figure FDA0002763990320000032
Pii＝0,Pij＝{0,1}
其中，n表示所述无向加权图中节点总数，i和j表示无向加权图中节点的编号，Wij表示节点i和节点j之间的权重，Pij表示节点i和节点j的关联度。
8.如权利要求1所述的方法，其特征在于，所述根据所述候选图像区域的标签，确定所述第二图像集合的图像中所述目标对象对应的区域并添加与所述目标对象有关的标签，包括：
在所述第二图像集合中，将与具有所述第一标签的候选图像区域对应的区域作为所述目标对象对应的区域，并为所述目标对象对应的区域添加与所述目标对象有关的标签。
9.一种目标检测模型的训练方法，其特征在于，所述训练方法包括：
利用如权利要求1-8中任一项所述的图像标注方法获取具有与目标对象有关的标签的图像；
利用所述具有与所述目标对象有关的标签的图像，训练所述目标检测模型。
10.一种目标检测方法，其特征在于，所述方法包括：
获取待检测的图像；
利用如权利要求9所述的训练方法得到的经过训练的目标检测模型，对所述待检测的图像进行目标检测。
11.一种图像标注装置，其特征在于，所述装置包括：
图像获取单元，用于获取第一图像集合和第二图像集合，其中，所述第一图像集合中图像包含目标对象的标签，所述第二图像集合待对其包含的所述目标对象进行标注；
区域提取单元，用于根据所述标签，从所述第一图像集合的图像中提取一个或多个第一图像区域和一个或多个第二图像区域，其中，所述第一图像区域包含所述目标对象，所述第二图像区域未包含所述目标对象；
正样本生成单元，用于将所述第一图像区域生成为正样本，其中，所述正样本包括所述目标对象的标签；
负样本生成单元，用于对于任一个所述第二图像区域，为其添加标签而得到一个负样本，所述负样本的标签表示所述第二图像区域未包含所述目标对象；
候选区域获取单元，用于通过区域推荐方式，从所述第二图像集合提取候选图像区域；
标签确定单元，用于基于图的半监督学习方式，利用所述正样本的标签和所述负样本的标签确定所述候选图像区域的标签；以及
标注单元，用于根据所述候选图像区域的标签，确定所述第二图像集合的图像中所述目标对象对应的区域并添加与所述目标对象有关的标签；
其中，所述标签确定单元用于，基于所述正样本、所述负样本和所述候选图像区域，生成无向加权图；为所述无向加权图中各个节点确定k个与这个节点相关联的节点，以使所述无向加权图中各对相关联的节点之间权重的累积和达到最大极值，其中，k为正整数；生成所述无向加权图的连通子图；在包含代表所述正样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域，添加对应所述目标对象的第一标签；在包含代表所述负样本的节点的连通子图中，为与该连通子图中节点对应的候选图像区域，添加表示不包含所述目标对象的第二标签。
12.如权利要求11所述的装置，其特征在于，所述区域提取单元用于，从所述第一图像集合的图像中提取与所述目标对象的标签对应的边界框内的区域，并将每个所述边界框内的区域作为一个所述第一图像区域；
从所述第一图像集合的图像中提取所述边界框之外的子区域，并将所述边界框之外的每个子区域作为一个所述第二图像区域。
13.如权利要求11所述的装置，其特征在于，所述候选区域获取单元用于，利用选择性搜索方式，确定所述第二图像集合中图像的所述候选图像区域。
14.一种计算设备，其特征在于包括：
处理器；
存储器；以及
一个或多个程序，存储在该存储器中并被配置为由所述处理器执行，所述一个或多个程序包括用于执行权利要求1-10中任一项所述的方法的指令。
15.一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-10中任一项所述的方法。
CN201811125625.5A 2018-09-26 2018-09-26 图像标注方法、目标检测方法、装置及存储介质 Active CN109359558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811125625.5A CN109359558B (zh) 2018-09-26 2018-09-26 图像标注方法、目标检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811125625.5A CN109359558B (zh) 2018-09-26 2018-09-26 图像标注方法、目标检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109359558A CN109359558A (zh) 2019-02-19
CN109359558B true CN109359558B (zh) 2020-12-25

Family

ID=65347740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811125625.5A Active CN109359558B (zh) 2018-09-26 2018-09-26 图像标注方法、目标检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109359558B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914863B (zh) * 2019-05-09 2024-08-02 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN112308106A (zh) * 2019-11-15 2021-02-02 北京京邦达贸易有限公司 一种图像标注的方法及系统
CN111523597B (zh) * 2020-04-23 2023-08-25 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN114092709B (zh) * 2021-11-23 2023-10-31 北京百度网讯科技有限公司 一种识别图像中目标轮廓的方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN103605667A (zh) * 2013-10-28 2014-02-26 中国计量学院 一种图像自动标注算法
CN104063713A (zh) * 2014-07-04 2014-09-24 中国地质大学（武汉） 一种基于随机蕨分类器的半自主在线学习方法
CN106570453A (zh) * 2015-10-09 2017-04-19 北京市商汤科技开发有限公司 用于行人检测的方法、装置和系统
CN107967494A (zh) * 2017-12-20 2018-04-27 华东理工大学 一种基于视觉语义关系图的图像区域标注方法
US9984147B2 (en) * 2008-08-08 2018-05-29 The Research Foundation For The State University Of New York System and method for probabilistic relational clustering

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068666B2 (en) * 2016-06-01 2018-09-04 Grand Rounds, Inc. Data driven analysis, modeling, and semi-supervised machine learning for qualitative and quantitative determinations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984147B2 (en) * 2008-08-08 2018-05-29 The Research Foundation For The State University Of New York System and method for probabilistic relational clustering
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN103605667A (zh) * 2013-10-28 2014-02-26 中国计量学院 一种图像自动标注算法
CN104063713A (zh) * 2014-07-04 2014-09-24 中国地质大学（武汉） 一种基于随机蕨分类器的半自主在线学习方法
CN106570453A (zh) * 2015-10-09 2017-04-19 北京市商汤科技开发有限公司 用于行人检测的方法、装置和系统
CN107967494A (zh) * 2017-12-20 2018-04-27 华东理工大学 一种基于视觉语义关系图的图像区域标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Automatic image annotation via compact graph based semi-supervised learning";Mingbo Zhao 等;《Knowledge-Based Systems》;20150331;148-165 *
"Graph-based active semi-supervised learning: A new perspective for relieving multi-class annotation labor";Lei Huang 等;《2014 IEEE International Conference on Multimedia and Expo (ICME)》;20140908;全文 *
"基于优化图的半监督学习的行人检测";杨绍红 等;《计算机科学与应用》;20180726;第8卷(第7期);1125-1133 *

Also Published As

Publication number Publication date
CN109359558A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN109359558B (zh) 图像标注方法、目标检测方法、装置及存储介质
US11610384B2 (en) Zero-shot object detection
US10885383B2 (en) Unsupervised cross-domain distance metric adaptation with feature transfer network
US11983269B2 (en) Deep neural network system for similarity-based graph representations
WO2022037573A1 (zh) 表单识别方法、装置、设备及计算机可读存储介质
Liu et al. Open-world semantic segmentation via contrasting and clustering vision-language embedding
US20200193269A1 (en) Recognizer, object recognition method, learning apparatus, and learning method for domain adaptation
EP3926531B1 (en) Method and system for visio-linguistic understanding using contextual language model reasoners
CN111602141A (zh) 影像视觉关系检测方法和系统
US11907675B2 (en) Generating training datasets for training neural networks
US11544348B2 (en) Neural network based position estimation of target object of interest in video frames
EP4034840B1 (en) System and method for navigating a vehicle using language instructions
CN107292349A (zh) 基于百科知识语义增强的零样本分类方法、装置
JP2023176023A (ja) 分散型データ分析のためのシステムおよび方法
CN111859002B (zh) 兴趣点名称生成方法及装置、电子设备和介质
CN112070071B (zh) 视频中的对象标注方法、装置、计算机设备及存储介质
CN109271624A (zh) 一种目标词确定方法、装置及存储介质
Shi et al. A brief survey of relation extraction based on distant supervision
US20200050899A1 (en) Automatically filtering out objects based on user preferences
CN114118410A (zh) 图结构的节点特征提取方法、设备及存储介质
CN112711645B (zh) 一种位置点信息扩展方法、装置、存储介质和电子设备
Zhou et al. Self-supervised saliency estimation for pixel embedding in road detection
Wang et al. ATG-PVD: ticketing parking violations on a drone
CN113762292B (zh) 一种训练数据获取方法、装置及模型训练方法、装置
Rao et al. Common object discovery as local search for maximum weight cliques in a global object similarity graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant