CN111259772B - 图像标注方法、装置、设备和介质 - Google Patents

图像标注方法、装置、设备和介质 Download PDF

Info

Publication number
CN111259772B
CN111259772B CN202010032419.0A CN202010032419A CN111259772B CN 111259772 B CN111259772 B CN 111259772B CN 202010032419 A CN202010032419 A CN 202010032419A CN 111259772 B CN111259772 B CN 111259772B
Authority
CN
China
Prior art keywords
contour
image
target
determined
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010032419.0A
Other languages
English (en)
Other versions
CN111259772A (zh
Inventor
胡文魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010032419.0A priority Critical patent/CN111259772B/zh
Publication of CN111259772A publication Critical patent/CN111259772A/zh
Application granted granted Critical
Publication of CN111259772B publication Critical patent/CN111259772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例公开了一种图像标注方法、装置、设备和介质。该方法包括：根据目标标注模型对待标注图像进行预标注，生成掩膜图像；根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；将所述目标轮廓作为所述待标注图像的标注数据。上述技术方案，在提高标注效率的基础上，还提升了模型标注结果的准确率，以此也可降低人工对模型标注结果的修改量。

Description

图像标注方法、装置、设备和介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像标注方法、装置、设备和介质。
背景技术
近年来，随着高性能图像处理器和人工智能深度学习技术的进一步发展，越来越多的用户使用人工智能深度学习技术去进行图像识别，而实现基于人工智能深度学习的图像识别的前提是大量的图像标注数据。
传统的图像标注方法中，由标注员根据个人经验和一些已有规则自行判断后完成标注，需要耗费大量的人力和时间，标注效率低，而图像语义分割作为复杂度较高、耗时较长的一种标注任务，会使标注成本更高、标注效率更低。
发明内容
本发明实施例提供一种图像标注方法、装置、设备和介质，以减低标注成本，提高标注效率。
第一方面，本发明实施例提供了一种图像标注方法，包括：
根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
将所述目标轮廓作为所述待标注图像的标注数据。
第二方面，本发明实施例还提供了一种图像标注装置，该装置包括：
模型预标注模块，用于根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
标注数据调整模块，用于根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
标注数据确认模块，用于将所述目标轮廓作为所述待标注图像的标注数据。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任意实施例所述的图像标注方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意实施例所述的图像标注方法。
本发明实施例中，首先根据预先生成的目标标注模型对待标注图像进行预标注生成掩膜图像，得到初步标注结果，然后根据初步标注结果对待标注图像中目标对象的轮廓进行调整，确定出目标对象的目标轮廓，作为目标标注模型对待标注图像的最终标注结果，进而在提高标注效率的基础上，提升了模型标注结果的准确率，以此也可降低人工对模型标注结果的修改量。
附图说明
图1是本发明实施例一中的一种图像标注方法的流程图；
图2是本发明实施例二中的一种图像标注方法的流程图；
图3是本发明实施例二中的一种图像标注方法中生成的不同待定轮廓的对比示意图；
图4是本发明实施例二中的一种图像标注方法所适用的一种工作流程图；
图5是本发明实施例三中的一种图像标注装置的模块结构示意图；
图6是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种图像标注方法的流程图，本实施例可适用于如何生成大量标注复杂度较高、耗时较长的图像语义分割标注样本的情况，该方法可以由本发明任意实施例提供的图像标注装置来执行，该装置可由硬件和/或软件组成，并一般可集成在计算机设备中。
如图1所述，本实施例提供的图像标注方法包括以下步骤：
S110、根据目标标注模型对待标注图像进行预标注，生成掩膜图像。
待标注图像，指的是未进行标注的样本图像。目标标注模型，指的是预先选定的用于对待标注图像进行图像语义分割标注的标注模型，或者是基于大量图像标注样本训练原始机器学习模型生成的用于对待标注图像进行图像语义分割标注的标注模型。
其中，待标注图像中包括目标对象，以及所述目标对象的背景。例如，当待标注图像为人脸图像时，目标对象可以是人脸。图像语义分割标注具体可以指的是，将待标注图像中目标对象的轮廓标注出来，例如是将人脸图像中人脸的轮廓标注出来。
使用目标标注模型对待标注图像进行预标注，即为对待标注图像中的目标对象的轮廓进行标注，同时，基于预标注结果生成掩膜图像。在生成的掩膜图像中，与目标对象轮廓及轮廓内区域对应的像素点的像素值为1，与目标对象轮廓外区域对应的像素点的像素值为0。
在一种可选的实施方式中，在S110之前，还包括：
在标注图像样本中，确定训练样本集和测试样本集；加载至少两种原始模型以及匹配的数据库，并根据所述训练样本集对所述至少两种原始模型进行训练，生成至少两种训练模型；根据所述测试样本集对所述至少两种训练模型分别进行测试，并记录每个所述训练模型的性能指标；将所述性能指标最优的一个训练模型作为所述目标标注模型。
标注图像样本，指的是标注员人工按照实际需求(例如是图像语义分割等)进行标注后的图像。当标注图像样本的数量达到设定阈值时，即可实现对原始模型(例如是机器学习模型)的训练，生成训练模型。
具体的，当标注图像样本的数量达到设定阈值时，可以依据预设规则将标注图像样本划分为训练样本集和测试样本集，例如是在标注图像样本中随机选取总数量的70％作为训练样本集，在标注图像样本中随机选取总数量的30％作为测试样本集。
分别从模型库中加载不同的机器学习模型以及匹配的数据库，使用生成的训练样本集分别对不同的机器学习模型进行训练，生成对应的训练模型。生成训练模型之后，使用测试样本集分别对不同的训练模型进行测试，记录每个训练模型的性能指标，选择出其中性能指标最优的一个训练模型，作为目标标注模型，其中，性能指标具体可以是指标注准确率。
S120、根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓。
轮廓，可以指的是具有至少三个顶点的多边形。掩膜图像中存在所述待标注图像中目标对象的原始轮廓，该原始轮廓为通过目标标注模型对待标注图像进行预标注确定的。
具体的，可以根据所述掩膜图像中的原始轮廓，重新确定出所述目标对象的至少一个待定轮廓。典型的，可以按照预设条件在构成所述原始轮廓的多个顶点中选取一些点作为一个待定轮廓的顶点，以此得到所述目标对象的至少一个待定轮廓。然后，在所述至少一个待定轮廓中依据预设筛选条件选取一个待定轮廓作为目标轮廓，其中，预设筛选条件可以是与轮廓平滑度、顶点数量、轮廓内区域面积等因素相关的筛选条件。
S130、将所述目标轮廓作为所述待标注图像的标注数据。
在本实施例中，目标轮廓即为目标标注模型对待标注图像的自动标注结果。
进一步的，在一种可选的实施方式中，将所述目标轮廓作为所述待标注图像的标注数据之后，还包括：
针对所述待标注图像的标注数据发起人工审核请求；接收对所述待标注图像的标注数据的人工确认信息或人工修改信息。
在得到目标轮廓之后，针对所述待标注图像的标注数据发起人工审核请求，将目标轮廓作为目标标注模型对待标注图像的自动标注结果提供给标注员，以使标注员对待标注图像的自动标注结果(也即目标轮廓)进行人工审核，判断目标标注模型对待标注图像的自动标注结果是否恰当。标注员如果确认标注恰当，则点击确认，如果确认标注不恰当，则点击修改，并对目标标注模型的自动标注结果进行修改。
本发明实施例中，首先根据预先生成的目标标注模型对待标注图像进行预标注生成掩膜图像，得到初步标注结果，然后根据初步标注结果对待标注图像中目标对象的轮廓进行调整，确定出目标对象的目标轮廓，作为目标标注模型对待标注图像的最终标注结果，进而在提高标注效率的基础上，提升了模型标注结果的准确率，以此也可降低人工对模型标注结果的修改量。
实施例二
图2是本发明实施例二提供的一种图像标注方法的流程图。本实施例以上述实施例为基础进行具体化，其中，可以将根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓，具体为：
根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并对所述至少一个待定轮廓分别进行评分，将评分最高的待定轮廓作为所述目标轮廓。
进一步的，还可以将根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，具体为：
根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点；
按照预设斜率阈值调整范围调整所述目标斜率阈值，返回执行根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点的操作，直至得到所述目标对象的所有待定轮廓。
如图2所示，本实施例提供的图像标注方法包括以下步骤：
S210、根据目标标注模型对待标注图像进行预标注，生成掩膜图像。
S220、根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点。
目标斜率阈值，是依据经验预设的一个斜率值或者是一个斜率值区间。
所述目标对象的初始轮廓是由多个点构成的，通过初始轮廓中连续两点的连线斜率与所述目标斜率阈值的关系，来确定所述初始轮廓中每个点是否需要保留，所有保留的点构成一个待定轮廓的所有顶点。目标斜率阈值不同时，得到的待定轮廓也不同。
在一种可选的实施方式中，可以将S220具体为：
在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点；
如果所述第一点与所述第二点的连线斜率不存在，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点的操作，直至所述第一点与所述第二点的连线斜率存在，将所述第一点作为一个待定轮廓顶点；
如果所述第一点与所述第二点的连线斜率大于等于所述目标斜率阈值，则将所述第二点作为一个待定轮廓顶点；
如果所述第一点与所述第二点的连线斜率小于所述目标斜率阈值或者确定出一个待定轮廓顶点，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点的操作，直至处理完所述初始轮廓中的所有点，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点。
具体的，在所述掩膜图像中目标对象的初始轮廓中随机选取一个点(假设为n0点)作为第一点，顺时针或者逆时针选取与第一点相邻的点(假设为n1点)作为第二点，根据下述公式计算第一点(n0点)与第二点(n1点)连线的斜率k：
Figure BDA0002364815150000081
其中，(xi-1,yi-1)是第一点的坐标，(xi,yi)是第二点的坐标。
如果第一点与第二点连线的斜率k不存在(也即为无穷大)，则在所述掩膜图像中目标对象的初始轮廓中按照顺时针或者逆时针的顺序依次选取下一个点(也即上述第二点n1点)重新作为第一点，以及与第一点相邻的点(假设为n2点)重新作为第二点，并根据上述公式重新计算第一点(n1点)与第二点(n2点)连线的斜率k，直至第一点与第二点连线的斜率k存在，将此时的第一点保留，作为待定轮廓的一个顶点，然后继续执行在所述掩膜图像中目标对象的初始轮廓中按照顺时针或者逆时针的顺序依次选取下一个点重新作为第一点，以及与第一点相邻的点重新作为第二点，并根据上述公式重新计算第一点与第二点连线的斜率k的操作，直至处理完所述初始轮廓中的所有点。
如果第一点(n0点)与第二点(n1点)连线的斜率k存在，则判断斜率k与目标斜率阈值的大小关系，如果斜率k大于等于所述目标斜率阈值，则将此时的第二点(n1点)保留，作为待定轮廓的一个顶点，然后继续执行在所述掩膜图像中目标对象的初始轮廓中按照顺时针或者逆时针的顺序依次选取下一个点重新作为第一点，以及与第一点相邻的点重新作为第二点，并根据上述公式重新计算第一点与第二点连线的斜率k的操作，直至处理完所述初始轮廓中的所有点；如果斜率k小于所述目标斜率阈值，则继续执行在所述掩膜图像中目标对象的初始轮廓中按照顺时针或者逆时针的顺序依次选取下一个点(也即上述第二点n1点)重新作为第一点，以及与第一点相邻的点(假设为n2点)重新作为第二点，并根据上述公式重新计算第一点(n1点)与第二点(n2点)连线的斜率k的操作，直至处理完所述初始轮廓中的所有点。
当处理完所述掩膜图像中目标对象的初始轮廓中所有点之后，即可得到构成一个待定轮廓的所有轮廓顶点，将这些轮廓顶点连接起来即为根据所述掩膜图像选取的所述待标注图像中目标对象的一个待定轮廓。
S230、按照预设斜率阈值调整范围调整所述目标斜率阈值，返回执行根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点的操作，直至得到所述目标对象的所有待定轮廓。
预设斜率阈值调整范围，是依据经验预设的一个斜率值调整范围。按照预设斜率阈值调整范围调整所述目标斜率阈值，可以是按照一定的调整步长，在预设斜率阈值调整范围重新确定所述目标斜率阈值的取值。
其中，根据一个目标斜率阈值可以唯一确定所述目标对象的一个待定轮廓，也即所述目标对象的待定轮廓的数量与所述目标斜率阈值的总数量相等。
S240、对所述至少一个待定轮廓分别进行评分，将评分最高的待定轮廓作为所述目标轮廓。
在得到每个待定轮廓之后，依据预设的评分规则对每个待定轮廓进行打分，将得分最高的一个待定轮廓作为目标轮廓。其中，初始轮廓可以作为一个待定轮廓进行打分，并参与目标轮廓的筛选。
在一种可选的实施方式中，可以将对所述待定轮廓进行评分，具体为：
根据所述掩膜图像中所述目标对象的初始轮廓与所述待定轮廓的拟合相似度，以及所述待定轮廓的轮廓顶点数量，对所述待定轮廓进行评分。
其中，所述初始轮廓与所述待定轮廓的拟合相似度，可以根据所述初始轮廓内区域和所述待定轮廓内区域的交集面积与并集面积的比值确定；所述待定轮廓的轮廓顶点数量，可以是归一化后的轮廓顶点数量，典型的，可以根据所述初始轮廓的轮廓顶点数量对所述待定轮廓的轮廓顶点数量进行归一化处理。
具体的，可以根据下述公式对待定轮廓进行评分：
Figure BDA0002364815150000101
其中，λ1为拟合相似度的权重，λ2为归一化后的待定轮廓的轮廓顶点数量的权重，Sn为待定轮廓内区域面积，S0为初始轮廓内区域面积，n为构成待定轮廓的轮廓顶点的数量，N0为构成初始轮廓的轮廓顶点的数量。具体的，拟合相似度的权重λ1可以大于归一化后的待定轮廓的轮廓顶点数量的权重λ2。
针对同一张待标注图像进行标注时，例如是人脸图像，需要基于图像语义分割标注人脸轮廓，图3示出了三种不同的待定轮廓，不同待定轮廓的轮廓顶点的数量n不同。当n过小时，待定轮廓拟合区域重复部分差异较大，当n过大时，待定轮廓拟合区域重复部分差异较小，但标注数据存储量增大，如果标注数据不准确，标注员人工修改量也会增大。
S250、将所述目标轮廓作为所述待标注图像的标注数据。
S260、针对所述待标注图像的标注数据发起人工审核请求，并接收对所述待标注图像的标注数据的人工确认信息或人工修改信息。
标注员获取携带标注数据的待标注图像之后，仅需作简单判断或者微调，不需要人工对每一张待标注图像进行标注，明显提高了标注效率。当目标标注模型以及目标轮廓选取适当时，经实践检验上述技术方案能将标注效率提高几倍甚至是几十倍。
图4示出了上述技术方案所适用的一种工作流程图。如图4所示，标注员从服务器上获取未标注的样本图像，按照实际需求对样本进行标注并将带有标注信息的样本图像提交到服务器；服务器在接收到提交请求后启动一个异步线程，该异步线程检测当前标注任务已标注的样本数量是否达到设置数量阈值，若未达到设定数量阈值则退出异步线程，主线程循环“标注员标注提交，服务器启动异步线程检测样本数量”的过程；随着标注样本图像数量的增加，异步线程检测到当前标注任务已标注的样本图像数量达到设置数量阈值时，异步线程获取到已标注的所有样本图像并生成训练样本集和测试样本集；同时分别从模型库中加载不同的原始模型和数据库，基于训练样本集分别启动训练任务，生成多个训练模型；分别基于测试样本集对多个训练模型进行测试，记录每个训练模型的性能指标；在多个训练模型中选择性能最优的一个训练模型作为目标标注模型，目标标注模型从服务器上获取未标注的样本图像(也即待标注图像)进行预标注，生成mask图像；根据mask图像计算待标注图像中目标对象的初始面积S0以及目标对象初始轮廓包含像素点的数量N0，同时根据mask图像调整所述目标对象的轮廓，得到所述目标对象的至少一个待定轮廓(方法如上所述)，并根据待定轮廓内区域的面积Sn、待定轮廓包含像素点的数量n、目标对象的初始面积S0以及目标对象初始轮廓包含像素点的数量N0，对每个待定轮廓进行评分(方法如上所述)，将评分最高的一个待定轮廓作为目标轮廓，并将所述目标轮廓的轮廓顶点(也即带有标注信息的样本图像)写回服务器；标注员从服务器获取标注有所述目标轮廓的样本图像，判断目标轮廓标注得是否准确，若准确向服务器提交确认信息，若不准确则进行适当修改后提交到服务器。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案，不仅提高了标注效率，也提升了模型标注结果的准确率，进而能够降低人工对模型标注结果的修改量。
实施例三
图5是本发明实施例三提供的一种图像标注装置的模块结构示意图，本实施例可适用于如何生成大量标注复杂度较高、耗时较长的图像语义分割标注样本的情况，该装置可以采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图5所示，该装置包括：模型预标注模块510、标注数据调整模块520和标注数据确认模块530，其中，
模型预标注模块510，用于根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
标注数据调整模块520，用于根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
标注数据确认模块530，用于将所述目标轮廓作为所述待标注图像的标注数据。
本发明实施例中，首先根据预先生成的目标标注模型对待标注图像进行预标注生成掩膜图像，得到初步标注结果，然后根据初步标注结果对待标注图像中目标对象的轮廓进行调整，确定出目标对象的目标轮廓，作为目标标注模型对待标注图像的最终标注结果，进而在提高标注效率的基础上，提升了模型标注结果的准确率，以此也可降低人工对模型标注结果的修改量。
进一步的，标注数据调整模块520，具体用于根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并对所述至少一个待定轮廓分别进行评分，将评分最高的待定轮廓作为所述目标轮廓。
进一步的，标注数据调整模块520，具体用于根据所述掩膜图像中所述目标对象的初始轮廓与所述待定轮廓的拟合相似度，以及所述待定轮廓的轮廓顶点数量，对所述待定轮廓进行评分。
进一步的，标注数据调整模块520，具体包括：待定轮廓生成单元和循环单元，其中，
待定轮廓生成单元，用于根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点；
循环单元，用于按照预设斜率阈值调整范围调整所述目标斜率阈值，返回执行根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点的操作，直至得到所述目标对象的所有待定轮廓。
进一步的，待定轮廓生成单元，具体用于在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点；如果所述第一点与所述第二点的连线斜率不存在，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点的操作，直至所述第一点与所述第二点的连线斜率存在，将所述第一点作为一个待定轮廓顶点；如果所述第一点与所述第二点的连线斜率大于等于所述目标斜率阈值，则将所述第二点作为一个待定轮廓顶点；如果所述第一点与所述第二点的连线斜率小于所述目标斜率阈值或者确定出一个待定轮廓顶点，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点的操作，直至处理完所述初始轮廓中的所有点，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点。
进一步的，上述装置还包括：模型生成模块，用于在所述根据目标标注模型对待标注图像进行预标注之前，在标注图像样本中，确定训练样本集和测试样本集；加载至少两种原始模型以及匹配的数据库，并根据所述训练样本集对所述至少两种原始模型进行训练，生成至少两种训练模型；根据所述测试样本集对所述至少两种训练模型分别进行测试，并记录每个所述训练模型的性能指标；将所述性能指标最优的一个训练模型作为所述目标标注模型。
进一步的，上述装置还包括：人工核验模块，用于在所述将所述目标轮廓作为所述待标注图像的标注数据之后，针对所述待标注图像的标注数据发起人工审核请求；接收对所述待标注图像的标注数据的人工确认信息或人工修改信息。
本发明实施例所提供的图像标注装置可执行本发明任意实施例所提供的图像标注方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6是本发明实施例四提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器60、存储器61、输入装置62和输出装置63；计算机设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；计算机设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像标注方法对应的程序指令/模块(例如，附图5所示的图像标注装置中的模型预标注模块510、标注数据调整模块520和标注数据确认模块530)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的图像标注方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种图像标注方法，该方法包括：
根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
将所述目标轮廓作为所述待标注图像的标注数据。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像标注方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述图像标注装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种图像标注方法，其特征在于，包括：
根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
将所述目标轮廓作为所述待标注图像的标注数据；
所述根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓，包括：
根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并对所述至少一个待定轮廓分别进行评分，将评分最高的待定轮廓作为所述目标轮廓；
所述根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，包括：
根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点；
按照预设斜率阈值调整范围调整所述目标斜率阈值，返回执行根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点的操作，直至得到所述目标对象的所有待定轮廓。
2.根据权利要求1所述的方法，其特征在于，所述对所述待定轮廓进行评分，包括：
根据所述掩膜图像中所述目标对象的初始轮廓与所述待定轮廓的拟合相似度，以及所述待定轮廓的轮廓顶点数量，对所述待定轮廓进行评分。
3.根据权利要求1所述的方法，其特征在于，所述根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点，包括：
在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点；
如果所述第一点与所述第二点的连线斜率不存在，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点，并按设定顺序选取与所述第一点相邻的一个第二点的操作，直至所述第一点与所述第二点的连线斜率存在，将所述第一点作为一个待定轮廓顶点；
如果所述第一点与所述第二点的连线斜率大于等于所述目标斜率阈值，则将所述第二点作为一个待定轮廓顶点；
如果所述第一点与所述第二点的连线斜率小于所述目标斜率阈值或者确定出一个待定轮廓顶点，则返回执行在所述掩膜图像中目标对象的初始轮廓中依次选取一个点作为第一点的操作，直至处理完所述初始轮廓中的所有点，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述根据目标标注模型对待标注图像进行预标注之前，还包括：
在标注图像样本中，确定训练样本集和测试样本集；
加载至少两种原始模型以及匹配的数据库，并根据所述训练样本集对所述至少两种原始模型进行训练，生成至少两种训练模型；
根据所述测试样本集对所述至少两种训练模型分别进行测试，并记录每个所述训练模型的性能指标；
将所述性能指标最优的一个训练模型作为所述目标标注模型。
5.根据权利要求1-3任一项所述的方法，其特征在于，在所述将所述目标轮廓作为所述待标注图像的标注数据之后，还包括：
针对所述待标注图像的标注数据发起人工审核请求；
接收对所述待标注图像的标注数据的人工确认信息或人工修改信息。
6.一种图像标注装置，其特征在于，包括：
模型预标注模块，用于根据目标标注模型对待标注图像进行预标注，生成掩膜图像；
标注数据调整模块，用于根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并在所述至少一个待定轮廓中确定目标轮廓；
标注数据确认模块，用于将所述目标轮廓作为所述待标注图像的标注数据；
标注数据调整模块，具体用于根据所述掩膜图像选取所述待标注图像中目标对象的至少一个待定轮廓，并对所述至少一个待定轮廓分别进行评分，将评分最高的待定轮廓作为所述目标轮廓；
标注数据调整模块，具体包括：待定轮廓生成单元和循环单元；
待定轮廓生成单元，用于根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点；
循环单元，用于按照预设斜率阈值调整范围调整所述目标斜率阈值，返回执行根据所述掩膜图像中所述目标对象的初始轮廓中相邻两点的连线斜率与目标斜率阈值的关系，得到构成所述目标对象的一个待定轮廓的所有轮廓顶点的操作，直至得到所述目标对象的所有待定轮廓。
7.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像标注方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像标注方法。
CN202010032419.0A 2020-01-13 2020-01-13 图像标注方法、装置、设备和介质 Active CN111259772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010032419.0A CN111259772B (zh) 2020-01-13 2020-01-13 图像标注方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010032419.0A CN111259772B (zh) 2020-01-13 2020-01-13 图像标注方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111259772A CN111259772A (zh) 2020-06-09
CN111259772B true CN111259772B (zh) 2023-05-30

Family

ID=70948749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010032419.0A Active CN111259772B (zh) 2020-01-13 2020-01-13 图像标注方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111259772B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838076A (zh) * 2020-06-24 2021-12-24 深圳市中兴微电子技术有限公司 目标图像中的对象轮廓的标注方法及装置、存储介质
CN111768405B (zh) * 2020-08-05 2024-02-13 赛维森(广州)医疗科技服务有限公司 处理标注图像的方法、装置、设备和存储介质
CN112862020B (zh) * 2021-04-25 2021-08-03 北京芯盾时代科技有限公司 一种数据识别方法、装置及存储介质
CN115393379A (zh) * 2021-05-24 2022-11-25 华为技术有限公司 一种数据标注方法及相关产品
CN113343857B (zh) * 2021-06-09 2023-04-18 浙江大华技术股份有限公司 标注方法、装置、存储介质及电子装置
CN113313720B (zh) * 2021-06-30 2024-03-29 上海商汤科技开发有限公司 对象分割方法和装置
CN113421319A (zh) * 2021-06-30 2021-09-21 重庆小雨点小额贷款有限公司 一种图像处理方法、装置以及计算机设备
CN114972846A (zh) * 2022-04-29 2022-08-30 上海深至信息科技有限公司 一种超声图像标注系统
CN116071605B (zh) * 2023-03-07 2023-09-01 超音速人工智能科技股份有限公司 基于深度学习的标注方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831584B (zh) * 2012-08-02 2015-04-22 中山大学 一种数据驱动的物体图像修复系统及方法
CN110570434B (zh) * 2018-06-06 2022-09-30 杭州海康威视数字技术股份有限公司 一种图像分割标注方法和装置
CN108898610B (zh) * 2018-07-20 2020-11-20 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109765634B (zh) * 2019-01-18 2021-09-17 广州市盛光微电子有限公司 一种深度标注装置
CN110473243B (zh) * 2019-08-09 2021-11-30 重庆邮电大学 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN110674735B (zh) * 2019-09-23 2022-05-24 中国科学院地理科学与资源研究所 基于精细分类的农业设施遥感提取方法和装置

Also Published As

Publication number Publication date
CN111259772A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111259772B (zh) 图像标注方法、装置、设备和介质
US20210256390A1 (en) Computationally efficient neural network architecture search
US10949744B2 (en) Recurrent neural network architectures which provide text describing images
Liu et al. Cdas: a crowdsourcing data analytics system
WO2018040899A1 (zh) 搜索词纠错方法及装置
US11886494B2 (en) Utilizing natural language processing automatically select objects in images
CN112631997B (zh) 数据处理方法、装置、终端及存储介质
US11861925B2 (en) Methods and systems of field detection in a document
CN109492213B (zh) 句子相似度计算方法和装置
CN111340054A (zh) 数据标注方法、装置及数据处理设备
CN108959474B (zh) 实体关系提取方法
CN107704512A (zh) 基于社交数据的金融产品推荐方法、电子装置及介质
EP3602419A1 (en) Neural network optimizer search
WO2022042297A1 (zh) 文本聚类方法、装置、电子设备及存储介质
CN109857846A (zh) 用户问句与知识点的匹配方法和装置
CN110458600A (zh) 画像模型训练方法、装置、计算机设备及存储介质
CN108182448B (zh) 一种标注策略的选择方法及相关装置
CN113360582A (zh) 基于bert模型融合多元实体信息的关系分类方法及系统
CN112287656A (zh) 文本比对方法、装置、设备和存储介质
CN108268258B (zh) 一种用于获取网页代码的方法、装置及电子设备
Wang et al. Image captioning based on deep learning methods: A survey
CN113705207A (zh) 语法错误识别方法及装置
CN109657710B (zh) 数据筛选方法、装置、服务器及存储介质
JP2021163477A (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN108153829B (zh) 一种简历评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant