CN110188769B - 关键点标注的审核方法、装置、设备及存储介质 - Google Patents

关键点标注的审核方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110188769B
CN110188769B CN201910399585.1A CN201910399585A CN110188769B CN 110188769 B CN110188769 B CN 110188769B CN 201910399585 A CN201910399585 A CN 201910399585A CN 110188769 B CN110188769 B CN 110188769B
Authority
CN
China
Prior art keywords
labeling
key point
key points
auditing
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910399585.1A
Other languages
English (en)
Other versions
CN110188769A (zh
Inventor
周详
曾梓华
陈聪
彭勇华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910399585.1A priority Critical patent/CN110188769B/zh
Publication of CN110188769A publication Critical patent/CN110188769A/zh
Application granted granted Critical
Publication of CN110188769B publication Critical patent/CN110188769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种关键点标注的审核方法、装置、电子设备及介质，其中的方法包括：获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值；根据判断结果确定关键点的坐标参数的审核结果。

Description

关键点标注的审核方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及关键点标注的审核方法、装置、设备及存储介质。
背景技术
在有监督的深度学习中，通常需要对数据进行标注，数据标注的精度会很大程度上影响学习效率和模型精度。由于数据标注任务庞大而繁琐，大部分训练数据会被分发到专门的标注人员进行统一标注；并出于效率考虑，在大多数任务中，每位标注人员独立地标注一份数据，而不对已标注或将要被标注的数据进行重复标注。这种方法对于简单或对精度要求不高的标注任务而言是可行的，比如常见的物体大框和图像分类等；但对于特殊的关键点识别项目，由于其标签定义的复杂性和专业性，这样的标注流程可能会带来以下一系列问题：1、各标注人员可能对关键点位置理解有差异，导致一批数据中出现多种不同的标注结果；2、对于内容复杂的图片，可能会出现难以被发现的错误标注；3、客观因素(如对关键点位置理解和标注水平一致的不同标注人员对同一个关键点进行标注时，也可能会出现随机的位置偏差)带来的随机差异。
发明内容
基于此，本发明提供一种关键点标注的审核方法、装置、电子设备及存储介质。
根据本发明实施例的第一方面，本发明提供了一种关键点标注的审核方法，所述方法包括：
获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值；
根据判断结果确定关键点的坐标参数的审核结果。
根据本发明实施例的第二方面，本发明提供了一种关键点标注的审核装置，所述装置包括：
获取模块，用于获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
判断模块，用于对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值；
确定模块，用于根据判断结果确定关键点的坐标参数的审核结果。
根据本发明实施例第三方面，本发明提供了一种电子设备，其包括：
处理器；
存储器，用于存储可由所述处理器执行的计算机程序；
其中，所述处理器执行所述程序时实现所述关键点标注的审核方法的步骤。
根据本发明实施例第四方面，本发明提供了一种机器可读存储介质，其上存储有程序；所述程序被处理器执行时实现所述关键点标注的审核方法的步骤。
相对于相关技术，本发明实施例至少产生了以下有益技术效果：
通过对关键点标注进行自动审核得到审核结果，由此识别出标注位置合理和标注位置不合理的关键点，有利于在后续可以对标注位置合理和标注位置不合理的关键点分别进行处理，并使标注人员根据审核结果得知关键点标注的情况，从而有利于避免因不同标注人员对关键点位置理解的差异所导致的一批数据中出现不同的标注结果，降低内容复杂的图片中的错误标注被发现的难度，避免客观因素带来的随机差异。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明根据一示例性实施例示出的一种关键点标注的审核方法的流程图；
图2是本发明根据一示例性实施例示出的左面图像所对应的所有关键点的距离相关性的统计示意图；
图3是本发明根据一示例性实施例示出的一种组间相关性的散点图；
图4是本发明根据一示例性实施例示出的一种关键点标注的审核装置的结构框图；
图5是本发明根据一示例性实施例示出的一种电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例提供了一种关键点标注的审核方法，可以应用于终端中，也可以应用于服务器中。所述方法用于对所有标注人员标注所得的关键点标注位置进行审核，将标注位置合理和标注位置不合理的关键点识别出来，有利于后续可以根据审核结果对关键点的标注位置进行相应的处理，并使标注人员根据审核结果得知关键点标注的情况，从而避免因不同标注人员对关键点位置理解的差异所导致的一批数据中出现不同的标注结果，降低内容复杂的图片中的错误标注被发现的难度，并避免客观因素带来的随机差异。
如图1所示，本发明实施例提供的关键点标注的审核方法包括：
S011，获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
S012，对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值；
S013，根据判断结果确定关键点的坐标参数的审核结果。
上述中，所述被测对象为基于关键点的深度学习任务中所针对的对象，包括基于受测者任一角度拍摄所得的图像，例如，当所述深度学习任务为人体体态检测任务时，所述被测对象可以包括基于受测人体的任一角度拍摄所得的人体图像，如，包括若干人体的正面图像、侧面图像和/或背面图像。
所述关键点定义用于表示对于被测对象，标注人员所需标注的所有关键点所对应的定义，例如，在人体体态检测任务中，对于人体正面部位，可以包含有被预先定义的20个关键点；对于人体侧面部位，可以包含有被预先定义的13个关键点；对于人体背面部位，可以包含有被预先定义的18个关键点。可以理解为，每个标注人员可以基于人体正面被预定义的20个关键点的定义，从每张正面图像中标注出20个关键点；可以基于人体侧面被预定义的13个关键点定义，从每张侧面图像标注出13个关键点；可以基于人体背面被预定义的18个关键点定义，从每张背面图像标注出18个关键点。
需要说明的是，上述各个面所包含的关键点的数量不限，可以依需增加或减少。另外，上述所有关键点可以根据所需计算的体态指标进行定义，例如，在人体体态检测中，人体左右肩部上的点可以被用于量化高低肩程度，而耳孔上的某个点和肩部上的某个点可以被用于量化头部倾斜程度。基于此，可以根据上述需求，预先定义左肩部、右肩部、耳孔上的关键点。因此，在实际应用中，可以根据所需评价的体态指标定义相应的关键点，在本发明实施例中不对关键点的选取和定义进行一一赘述。
由此，各标注人员可以基于预先定义好的关键点定义来对被测对象进行标注，以下，以被测对象包括N个受测者的正面图像(即有N张正面图像)、人体正面对应有n个关键点为例说明一下一个标注人员对被测对象的标注过程：
对于每张人体正面图像，一个标注人员可以根据人体正面所定义的n个关键点定义，对一张正面图像进行关键点标注得到n个关键点的坐标参数。随后，可以将一张正面图像被一个标注人员标注所得的n个关键点的坐标参数保存为一个标注集合。
由此可知，一个标注人员对N张正面图像进行关键点标注之后，可以得到与所述N张正面图像一一对应的N个标注集合，每个标注集合包含n个关键点的坐标参数。并且，一张正面图像被Z个标注人员分别进行关键点标注之后，可以得到与所述Z个标注人员一一对应的Z个标注集合，每个标注集合包含n个关键点的坐标参数，基于此，一张正面图像可以对应有由不同标注人员标注所得的Z个标注集合。
在一实施例中，还可以对所述N个受测者的侧面图像和背面图像进行关键点标注，以分别得到各受测者的侧面图像和背面图像中的关键点的标注集合。
在一实施例中，可以通过摄像设备分别获取N个受测者的正面图像、侧面图像和背面图像，并在获得所有图像之后，将图像传输到可以被标注人员进行标注处理的终端中。由此，所有标注人员可以根据关键点定义各自对所有图像或部分图像进行关键点标注，随后，本发明实施例所述方法的执行主体即可根据每个标注人员所标注的图像，识别得到各图像中所有关键点的坐标参数，并存储为对应的标注集合。每个标注集合记录一个标注人员对一张图像中的各关键点标注的坐标参数。
在本实施例中，为减少关键点标注数据审核的处理量，所述多个标注集合由已经接受过培训的两位标注人员对所有图像总量的5％～10％进行预标注所得。基于此，每个被测对象对应两个标注集合，每个关键点的标注距离基于每个关键点在所述两个标注集合中的坐标参数计算得到。
由此可知，获得所述多个标注集合之后，每个被测对象将产生由两个标注人员分别进行关键点标注所得的两组标注结果，例如，假设正面图像有N张，N张的5％～10％为M，则对于M张正面图像中的第j张图像，两个标注人员对该第j张正面图像进行n个关键点预标注后得到的两个标注集合可以分别记录为Aj和Bj，Aj＝[(xaj1，yaj1)，(xaj2，yaj2)…(xajn，yajn)]，Bj＝[(xbj1，ybj1)，(xbj2，ybj2)…(xbjn，ybjn)]，其中，j为整数且1≤j≤M；n为整数且n≥1；(xajn，yajn)表示第一标注人员对第j张正面图像的第n个关键点进行标注得到的位置坐标，(xbjn，ybjn)表示第二标注人员对第j张正面图像的第n个关键点进行标注得到的位置坐标。
由此，M张图像被两个标注人员分别标注之后，都会产生两组标注集合，通过比对每张图像的这两组标注集合，即可得到这两组标注集合中每个关键点的两个坐标参数之间的标注距离，例如，以第j张正面图像的关键点i距离说明一下每个关键点的标注距离的计算过程，i为整数且1≤i≤n：
由于第j张正面图像的关键点i在第j张正面图像的两个标注集合中的坐标参数分别为(xaji，yaji)和(xbji，ybji)，则可以通过 计算得到所述第j张正面图像的关键点i被两次标注得到的点之间的标注距离。因此，可以通过上述公式①计算得到每张图像中每个关键点的标注距离。
需要说明的是，在另一实施例中，标注人员的人数可以多于两个，基于此，对于每张图像的关键点i，可以先计算出每两个标注人员所标注的关键点i的标注距离，随后求取关键点i在一张图像中被多次标注所得的所有标注距离的均值，并将该均值作为关键点i最终的标注距离。
通过上述计算方式得到每个被测对象的每个关键点的标注距离之后，即可判断每个关键点的标注距离是否满足预设的合格阈值，并根据判断结果确定关键点的坐标参数的审核结果。具体的，当关键点的标注距离小于预设的合格阈值时，表示关键点的审核结果为审核合格；当关键点的标注距离大于或等于预设的合格阈值时，表示关键点的审核结果为审核不合格。由此，通过将每个关键点的标注距离与合格阈值进行比对，以确定对关键点进行审核的审核结果，有利于快速地识别出标注位置合理和不合理的关键点，降低内容复杂的图片中错误标注被发现的难度，并有利于后续可以根据审核结果对关键点的标注位置进行相应的处理，使得标注人员根据审核结果得知关键点标注的情况，避免因不同标注人员对关键点位置理解的差异所导致的一批数据中出现不同的标注结果和客观因素带来的随机差异。
在一实施例中，所述合格阈值可以是根据经验或实验所得的一个恒值，其中，为提高审核的合理性，不同的关键点对应的合格阈值不同。
在另一实施例中，为提高合格阈值的合理性，以进一步提高审核的合理性和判断结果的准确性，所述合格阈值基于关键点定义相同的若干关键点的标注距离计算得到，计算过程包括：
S021，对于所有被测对象，根据定义相同的若干关键点的标注距离，计算得到所述定义相同的若干关键点的标注距离的均值和标注距离标准差；
S022，根据计算所得的标注距离均值和标注距离标准差，计算得到每个关键点的标注距离的合格阈值。
以下，举个例子说明一下所述步骤S021的计算过程：
以两个标注人员对M张正面图像进行n个关键点标注为例，对于关键点i，其在M张正面图像中由其中一标注人员标注所得的坐标参数分别为(xa1i，ya1i)，(xa2i，ya2i)…(xaMi，yaMi)，其在M张正面图像中由另一标注人员标注所得的坐标参数分别为(xb1i，yb1i)，(xb2i，yb2i)…(xbMi，ybMi)。因此，定义相同的若干关键点可以理解为关键点i在M张图像中被标注所得的点。
接着，通过公式①可以计算得到关键点i对应于M张正面图像的标注距离分别为：
…
基于此，可以通过计算得到关键点i在M张正面图像中的标注点的标注距离均值。可以通过/>计算得到关键点i对应的所有标注距离的标准差。
通过公式②和③计算得到各个关键点的标注距离均值和标注距离标准差之后，在一实施例中，可以通过以下步骤计算得到每个关键点的标注距离的合格阈值：
S0221，获取每个关键点定义对应的审核系数，定义相同的若干关键点的审核系数相同，所述审核系数为预设值，或为基于其所对应的关键点定义的审核通过率计算得到的值；
S0222，计算所述审核系数和所述标注距离标准差之积与所述标注距离均值之和，以获得合格阈值；定义相同的各关键点的标注距离的合格阈值相同。
以下，沿用上述用于说明所述步骤S021的例子，说明一下所述步骤S0221和所述步骤S0222的计算过程：
假设对于关键点i，其对应的审核系数为zi，则可以通过 计算得到每个关键点的标注距离的合格阈值；Dbi表示关键点i的标注距离的合格阈值。
由上述可知，对于某一张图像，如第j张图像，当其关键点i在两个标注集合对应的坐标参数所指向的标注点之间的标注距离dji满足 时，即小于标准距离均值与zi个标准差之和时，该关键点i在第j张图像的标注位置被判定为审核通过，即审核合格；否者被判定为审核不通过，即审核不合格。
上述中，可以将人为设定的预设值作为审核系数，以设定对标注位置的审核严格程度，本例中，所述审核系数与审核严格程度呈负相关关系，因为，合格阈值越小，要求关键点被标注所得的标注点之间的距离偏差越小，则关键点对应的标注距离需要更小才能满足审核通过的要求，审核严格程度提高了；并由合格阈值可知，zi越小，合格阈值Dbi也会越小；故所述审核系数与审核严格程度呈负相关关系。该预设值可以根据实验或经验所得，在本实施例中不进行赘述。
但由于实际操作中，如果审核过严，则会影响标注效率；如果审核过松，则会影响标注质量。所以，仅依据人为自定义的审核系数对标注位置进行判断，很容易导致标注效率和标注质量不能满足实际需求。故为了获取一个合理的审核严格程度，本实施例还提供了根据项目需求来对审核严格程度，即审核系数进行调控的技术方案，通过在部分图片的标注距离分布已知的情况下，根据标注距离的概率密度分布图预测每个关键点的审核通过率，并基于审核通过率来计算所述审核系数。基于此，在一实施例中，对于每个关键点定义，基于其审核通过率对审核系数进行计算的过程包括：
S031，通过关键点定义相同的若干关键点的标注距离的概率密度分布函数，基于关键点定义的审核通过率计算得到对应的标准标注距离；
S032，根据关键点定义相同的若干关键点的标注距离均值和标注距离标准差、以及所述标准标注距离，计算得到对应的审核系数。
上述中，所述关键点定义的审核通过率可以根据经验或实验获得，例如，可以为各关键点定义预设对应的审核通过率，不同关键点定义对应的审核通过率可以相同，也可以不同，或者，部分关键点定义对应的审核通过率相同，其余关键点定义对应的审核通过率不同。
为提高审核通过率的计算效率和审核效率，在一实施例中，所有关键点定义的审核通过率相同，所述审核通过率的计算过程包括：
S030，根据预设的总审核通过率和所有关键点定义的总数，计算得到所述审核通过率。
在所述步骤S030中，可以根据实际标注情况设定所有关键点定义的总审核通过率P，并基于一个总审核通过率P确定每个关键点的审核通过率，以下举个例子说明一下根据总审核通过率计算得到每个关键点的审核通过率的过程：
对于基于同一角度所拍摄的受测者的任一图像，假设其所包含的关键点共有n个，则对于任一图像，其所有关键点的总审核通过率 由于所述任一图像中的所有关键点的审核通过率相同，则基于上述公式⑤，可以计算得到每个关键点定义对应的审核通过率/>
获得每个关键点定义对应的审核通过率之后，对于每个关键点定义，可以基于关键点定义相同的若干关键点的标注距离(如关键点i对应M张图像的标注距离为d1i～dMi)，获得定义相同的若干关键点的标注距离的概率密度分布函数对于关键点i，由于其审核通过率为Pi，这么一来，可以根据/>计算得到所述概率密度分布函数中对应于审核通过率Pi时的x值(该x值即上述所提及的标准标注距离)，公式⑥中，μ表示关键点i对应的所有标注距离的均值(即上述所提及的/>)。计算得到x值后，可以通过公式⑦——x＝μ+zi*σi计算得到审核系数zi的值。
由此，可以通过上述计算方式计算得到每个关键点定义所对应的审核系数，并进一步基于审核系数、标注距离标注差和标注距离均值计算得到定义相同的各关键点的标注距离对应的合格阈值。
在一实施例中，为提高本发明实施例所提供的所述方法的智能性，在得到审核结果之后，还可以根据审核结果对关键点的标注位置进行相应的处理，基于此，所述方法还可以包括：当所述审核结果表示审核合格时，从审核合格的关键点对应的所有坐标参数中选取其中任一坐标参数，以作为审核合格的关键点最终的位置标注结果。可以理解为，对于审核合格的关键点，其被标注所得的所有坐标参数之间的误差较小，则可以从中选取任一作为关键点最终的坐标参数。
但是，通过选取所有坐标参数中的任一坐标参数作为审核合格的关键点最终的坐标参数的这一方式，不能很好地平衡所有坐标参数之间的偏差，最终选取得到的坐标参数并不是最理想的，如果直接使用可能会导致后续处理结果的精度降低，因此，为解决这一技术问题，以提高最终获取的关键点的坐标参数的准确度，在一实施例中，所述方法可以包括：
S0141，当所述审核结果表示审核合格时，计算审核合格的关键点在所述至少两个标注集合中的水平坐标参数的均值和垂直坐标参数的均值；
S0142，根据审核合格的关键点的水平坐标参数的均值和垂直坐标参数的均值更新审核合格的关键点的坐标参数。
以下举个例子说明所述步骤S0141和所述步骤S0142对审核合格的关键点的坐标参数更新的过程：
假设在第j张图像中，关键点i在所述第j张图像对应的两个标注集合的标注点之间的标注距离被判定为审核通过，这么一来，可以将关键点i在所述第j张图像对应的两个标注集合中的坐标参数的均值作为关键点i的最终标注位置，即，关键点i更新之后的坐标参数为(xaji+xbji/2，yaji+ybji/2)。
在另一实施例中，本发明实施例还在关键点的标注距离审核不合格的情况下，提供了相应的处理方案，即，所述方法还可以包括：
S0143，当所述审核结果表示审核不合格时，输出审核不合格的关键点及其被测对象，以提示所有标注人员对审核不合格的关键点进行重新标注。
由此，通过提示标注人员对审核不合格的关键点进行重新标注，有利于对标注不准确的关键点进行纠正，进一步提高标注结果的准确性。
虽然审核不合格的关键点被重新标注，但不能保证重新标注后的关键点的坐标参数就具备很好的准确性，故为提高重新标注所得的关键点的坐标参数的准确性，在一实施例中，所述方法还可以包括：获取重新标注所得的关键点的标注集合，并通过所述步骤S012～S013对重新标注的关键点的坐标参数进行审核。
在另一实施例中，为提高标注人员基于关键点定义对被测对象进行关键点标注所得的坐标参数的准确度，减小不同标注人员对同一关键点定义理解的偏差，精确定义人体各部位的关键点，提高关键点定义的可用性，在所述步骤S011之前，所述方法还包括：
S001，获取基于初始关键点定义标注的多个初始标注集合，其中，所述初始标注集合用于记录其中一个标注人员对一个被测对象的各关键点标注的坐标参数；
S002，根据获得的初始标注集合计算关键点的坐标参数之间的相关性；
S003，根据计算得到的相关性确定是否更新所述初始关键点定义。
需要说明的是，确定更新所述初始关键点定义时，所述步骤S011中，获取基于关键点定义标注的多个标注集合，所述关键点定义为更新后的初始关键点定义。
对多个初始标注集合获取的过程可参见前述对多个标注集合获取的过程，在此不进行赘述。
获得所述多个初始标注集合之后，就可以执行步骤S002，即根据获得的初始标注集合计算关键点的坐标参数之间的相关性，在一实施例中，所述相关性可以包括距离相关性，基于此，在每个被测对象对应两个初始标注集合的前提下，可以理解为在每个对象被两个标注人员进行关键点标注的前提下，所述根据获得的初始标注集合计算关键点的坐标参数之间的相关性，包括：
S0021，对于每个被测对象，根据每个关键点在两个初始标注集合中的坐标参数，计算每个关键点的距离；
S0022，基于所有被测对象定义相同的关键点的距离，计算定义相同的关键点的距离之间的距离相关性。
以下，举个例子说明一下通过所述步骤S0021和所述步骤S0022对距离相关性的计算过程：
假设有N个受测者，对于每个受测者，分别摄取了其正面图像、左面图像、右面图像和背面图像；则可知，对于N个受测者，一共有N张正面图像、N张左面图像、N张右面图像和N张背面图像。假设两个标注人员根据各自对关键点定义的理解，独立(即相互毫无交流地)对所有摄取的图像进行标注得到每张图像的初始标注集合。以N张正面图像中的第j张图像为例，假设其中一个标注人员对第j张正面图像进行n个关键点标注得到的初始标注集合为[(xaj1，yaj1)，(xaj2，yaj2)…(xajn，yajn)]，另一标注人员对第j张正面图像进行n个关键点标注得到的初始标注集合为[(xbj1，ybj1)，(xbj2，ybj2)…(xbj，ybjn)]；其中，j为整数且1≤j≤N；n为整数且n≥1；(xajn，yajn)表示第一标注人员对第j张正面图像的第n个关键点进行标注得到的坐标，(xbjn，ybjn)表示第二标注人员对第j张正面图像的第n个关键点进行标注得到的坐标。
由此，每张图像被两个标注人员分别标注之后，都会产生两组初始标注集合，通过比对每张图像的这两组初始标注集合，即可得到这两组初始标注集合中每个关键点的两个坐标参数之间的距离，所述距离包括欧式距离，水平距离和垂直距离。其中，以第j张正面图像的关键点n举例说明一下每个关键点的所述距离的计算过程：
由于所述第j张正面图像的关键点n在第j张正面图像的两个初始标注集合中的坐标参数分别为(xajn，yajn)和(xbjn，ybjn)；基于此，可以通过 计算得到所述第j张正面图像的关键点n被两次标注得到的点之间的欧式距离dljn，可以通过公式⑧——dxjn＝|xajn-xbjn|计算得到所述第j张正面图像的关键点n被两次标注得到的点之间的水平距离dxjn，可以通过公式⑨——dyjn＝|yajn-ybjn|计算得到所述第j张正面图像的关键点n被两次标注得到的点之间的垂直距离dyjn。
由上述可知，可以根据上述公式⑦、公式⑧和公式⑨计算得到每张图像中的每个关键点被进行两次标注后得到的点之间的欧式距离、水平距离和垂直距离。
得到每张图像中的每个关键点的欧式距离、水平距离和垂直距离之后，可以计算定义相同的关键点的所有距离之间的距离相关性，在本实施例中，所述距离相关性包括欧式距离均值，水平距离均值和垂直距离均值，可以理解为：对于关键点n，基于其在N张正面图像中被标注所得的点的坐标计算得到的欧式距离分别为dl1n、dl2n…dlNn，水平距离分别为dx1n、dx2n…dxNn，垂直距离分别为dy1n、dy2n…dyNn；则可以通过计算得到该关键点n的欧式距离均值/>可以通过/>计算得到该关键点n的水平距离均值/>可以通过/>计算得到该关键点n的垂直距离均值/>
由上述可知，可以通过公式10、公式11和公式12计算得到所述N张正面图像中定义相同的关键点的欧式距离均值、水平距离均值和垂直距离均值，每个关键点的欧式距离均值、水平距离均值和垂直距离均值用于表征该关键点对应于所有图像的距离相关性。
同理，可以根据上述计算过程计算得到N张背面图像中每个关键点的距离相关性、N张左面图像中每个关键点的距离相关性、以及N张右面图像中每个关键点的距离相关性。
在另一个实施例中，标注人员的人数可以不限于两个，例如，可以为两个以上。基于此，对于每张正面图像的关键点n，可以先计算出每两个标注人员所标注的关键点n之间的欧式距离、水平距离和垂直距离，随后求取关键点n在一张图像中被多次标注所得的所有欧式距离的第一均值、所有水平距离的第二均值和所有垂直距离的第三均值；随后，对于N张正面图像的关键点n，根据公式10基于所述关键点n的所有第一均值，计算得到欧式距离均值，根据公式11基于所述关键点n的所有第二均值，计算得到水平距离均值，根据公式12基于所述关键点n的所有第三均值，计算得到垂直距离均值。
得到每个关键点的距离相关性之后，在一实施例中，为了提高各关键点的距离相关性的可视化程度，可以将基于同一角度拍摄所得的图像计算得到的所有关键点的距离相关性绘制成统计图，例如，如图2所示，图2是本发明根据一示例性实施例示出的左面图像所对应的所有关键点的距离相关性的统计示意图，从图2中可以清楚地得知各关键点的距离相关性的大小情况。在一实施例中，还可以在统计图中以一定的排列规律排布各关键点的距离相关性，如图2所示，在图2中，是以各关键点的距离相关性中的欧式距离均值的大小为依据，按照欧式距离均值从小到大的顺序，依序排列各关键点的距离相关性。
得到每个关键点的距离相关性之后，可以基于每个关键点的距离相关性确定对应的关键点定义是否准确，可以理解为：可以基于每个关键点的距离相关性来了解各个关键点的标注精确程度，同时也可以得知标注差异的来源方向。其中，可以先根据各关键点的欧式距离均值的大小来判断各关键点的标注精确程度，例如，如果关键点的欧式距离均值小于预设的第一阈值，则可以表示关键点的误差较小，属于可以忽略不计的误差，那么可以认为该关键点的定义足够精准，不需要进行更新。但如果关键点的欧式距离均值大于或等于所述第一阈值，则可以表示关键点的误差较大，属于不可忽略的误差，那么可以认为该关键点的定义不够精准，需要进行更新。另外，对于欧式距离均值大于或等于第一阈值的关键点，可以进一步根据关键点的水平距离均值和垂直距离均值的大小来得知引起关键点误差较大的来源，例如，如果关键点的水平距离均值远大于垂直距离均值或预设的第二阈值，则表示误差来源主要是水平方向。
基于此，在一实施例中，可以输出更新误差较大的关键点定义的提示，输出提示的内容可以包括以下至少之一：关键点名称、关键点定义、关键点的误差来源。在另一实施例中，还可以自行对关键点的定义进行更新。其中，为提高关键点定义的明确性和精准度，在一实施例中，所述关键点定义可以包括所述关键点的水平坐标参数的定义和/或垂直坐标参数的定义；确定更新所述关键点定义时，所述方法还可以包括：S0041，根据所述距离相关性更新所述关键点的水平坐标参数的定义和/或垂直坐标参数的定义。
所述步骤S0041中，对于欧式距离均值大于或等于第一阈值的关键点，如果其水平距离均值大于或等于第二阈值和垂直距离均值大于或等于第三阈值，则对所述关键点的水平坐标参数的定义和垂直坐标参数的定义进行更新；如果水平距离均值大于或等于第二阈值且垂直距离均值小于第三阈值，则只对所述关键点的水平坐标参数的定义进行更新；如果垂直距离均值大于或等于第三阈值且水平距离均值小于第二阈值，则只对所述关键点的垂直坐标参数的定义进行更新。
上述中，可以通过缩小关键点的水平坐标参数的定义范围和/或垂直坐标参数的定义范围，比如在水平坐标参数的定义和/或垂直坐标参数的定义中加入该关键点与其附近参照物之间的位置关系的描述，以使关键点的水平坐标参数的定义和垂直坐标参数的定义趋于精准，以使不同标注人员对同一关键点定义具有相同的理解，这样可以保证任何人基于关键点定义都可以在图像中标注得到准确的关键点，从而得到准确的模型训练用的标签。
在另一个实施例中，可以直接通过人工判断是否需要进行关键点定义的更新。以下基于图2进行说明如何通过人工判断是否需要进行关键点定义的更新：从图2可知，在图2所示的12个关键点中，关键点10、11和12的欧式距离均值相对较大，且这3个关键点的垂直距离均值与欧式距离均值差不多大，而水平距离均值却比垂直距离均值小很多。因此，通过人工观察图2，可以直接得知关键点10、11和12存在较大的误差，且这些误差主要来源于关键点垂直方向上所存在的距离偏差，由此判断得到这些关键点的垂直坐标参数的定义不够精准。随后，可以通过人工对这些关键点的垂直坐标参数的定义进行更新，比如在垂直坐标参数的定义中加入该关键点与其附近参照物之间的位置关系的描述，以提高关键点定义的精准性。
虽然可以通过上述任一实施例提高关键点定义的明确性，减少不同标注人员对同一关键点定义理解的偏差，提高关键点定义的可用性和基于关键点定义得到的标签训练得到的模型的预测效果，但是，在一些任务中，如体态检测任务，在得到关键点坐标之后，还需要根据多个关键点的位置关系计算出体态指标。因此体态检测的结果不仅取决于单个关键点的位置精度，而且还会受到多个关键点之间的相对位置的影响，比如，人体左右肩膀的水平程度是由左右肩膀上的两个关键点的坐标计算得到，这就还要求两个关键点的相对位置满足要求。因此，为更好地提高关键点的可用性和模型的预测效果，在一实施例中，除了距离相关性以外，所述相关性还包括组间相关性，所述组间相关性用于评估不同标注人员所标注的多个关键点的相对位置的相似度，例如，假设其中一标注人员所标注的关键点中的关键点A和关键点B可以用于评估体态指标a，同理，另一标注人员所标注的关键点中的关键点A和关键点B也可以用于评估体态指标a，这么一来，所述相对位置的相似度可以理解为：基于其中一标注人员所标注的关键点A和关键点B计算得到的体态指标a与基于另一标注人员所标注的关键点A和关键点B计算得到的体态指标a之间的相似度，这可以视为一种结果相似度。基于此，所述步骤S002中，根据获得的初始标注集合计算关键点的坐标参数之间的相关性，还包括：
S0023，对于每个被测对象的每个初始标注集合，根据指定的若干关键点的坐标参数计算得到对应的指标评价参数；
S0024，基于计算得到的指标评价参数获得不同标注人员的指标评价参数之间的组间相关性。
上述中，指定的若干关键点用于计算指标评价参数，需要说明的是，所需计算的指标评价参数的数量与所述指定的若干关键点的组数相同，例如，假设所需计算的指标评价参数有3个，则可以指定3组关键点，每组关键点至少包括两个关键点，由此可以基于3组关键点的坐标参数分别计算得到3个指标评价参数。
以下，举个例子说明一下通过所述步骤S0023和所述步骤S0024对组间相关性的计算过程：
假设对于N张侧面图像中的每张侧面图像(左面图像或右面图像)，可以检测得到I个体态指标评价参数，I为整数，且I≥1；在一个例子中，I的值可以为7。这些体态指标评价参数可以表现为侧面图像中的两个关键点的连线和水平线之间的夹角，和/或侧面图像中的三个关键点的连线所形成的夹角。其中的任一种夹角都可以基于相应的关键点的坐标参数计算得到，具体的计算方式可参见相关技术，在此不进行赘述。
基于此，假设标注人员的数量为2个，基于其中一标注人员对第j张侧面图像标注得到的所述指定的若干关键点，计算得到的I个体态指标评价参数分别为a1j1、a2j1、…aIj1。基于另一个标注人员对第j张侧面图像标注得到的所述指定的若干关键点，计算得到的I个体态指标评价参数分别为a1j2、a2j2、…aIj2。其中，aIj1中的aI表示第I个体态指标评价参数，aIj1中的aIj表示第j张侧面图像的第I个体态指标评价参数，aIj1表示第一个标注人员的第j张侧面图像的第I个体态指标评价参数，可以基于此对任一体态指标评价参数的标号进行理解。
由此可知，对于任一个体态指标评价参数，基于任一标注人员对N张侧面图像标注所得的指定关键点分别计算得到的结果有N个，例如，对于其中一个体态指标评价参数ak，k为整数且1≤k≤I；基于N张侧面图像，任一标注人员产生的结果有N个，对应于其中一个标注人员的N个结果为：ak11，ak21，ak31，…akj1，ak(j+1)1…akN1；对应于另一个标注人员的N个结果为：ak12，ak22，ak32，…akj2，ak(j+1)2…akN2。
由上述可知，基于K个标注人员对N张侧面图像所标注的指定关键点，K为整数且K≥2，得到的体态指标评价参数ak的K×N个数据结果可见表1：
表1体态指标评价参数ak的数据表
需要说明的是，在表1中，将同一个标注人员产生的体态指标评价参数ak的N个结果数据作为同一列中的列数据，将K个标注人员基于同一侧面图像产生的体态指标评价参数ak的K个结果数据作为同一行中的行数据。
由此，基于一个体态指标评价参数ak的N×K个结果数据，可以通过 计算得到体态指标评价参数ak的组间相关性ICCk。公式13中，MSR为行因素的均方，MSRk为体态指标评价参数ak的行因素的均方；MSE为误差的均方，MSEk为体态指标评价参数ak的误差的均方；MSC为列因素的均方，MSCk为体态指标评价参数ak的列因素的均方。由此通过公式13计算得到的任一体态指标评价参数对应的组间相关性，本例中用ICC(Intraclass Correlation Coefficient，组内相关系数)来表示组间相关性，其取值范围为[0，1]，用于表征个体变异度与总变异度的比例，其中，当ICC的值为0时，表示对应的体态指标评价参数的所有结果之间无关联；ICC的值为1时，表示对应的体态指标评价参数的所有结果之间强关联。
同理，可以根据上述计算过程计算得到N张正面图像所涉及的指标评价参数之间的组间相关性，N张背面图像所涉及的指标评价参数之间的组间相关性。
得到不同标注人员的指标评价参数之间的组间相关性之后，可以基于组件相关性和距离相关性确定是否更新关键点定义，基于此，在一实施例中，所述步骤S003中，根据计算得到的相关性确定是否更新所述关键点定义，可以包括：
S0031，从指定的若干关键点中获取所述组间相关性小于预设的第四阈值的关键点；
S0032，根据获取的每个关键点对应的距离相关性确定是否更新关键点定义。
上述中，各阈值可以根据经验或实验所得，在此不进行赘述。
在一个例子中，所述第四阈值可以为0.5。
以下，举个例子说明根据组间相关性和距离相关性来确定是否对关键点定义进行更新的过程：
当组间相关性小于所述第四阈值时，表示该组间相关性对应的指标评价参数(以下简称为目标指标评价参数)的所有结果之间无关联或弱关联(可以理解为所有结果的一致性不满足要求)，则进一步确定计算所述目标指标评价参数所用到的关键点的距离相关性确定关键点定义是否准确，其中，根据关键点的距离相关性确定关键点定义是否准确的实现过程可见上述相关记载，在此不进行赘述。
确定存在定义不准确的关键点定义时，表示所述目标指标评价参数的所有结果之间的无关联或弱关联现象有可能是因为关键点定义不准确所引起的，基于此，可以根据上述步骤S0041对定义不准确的关键点定义进行更新，以提高所述目标指标评价参数的所有结果之间的一致性，进而提高模型的预测效果。
但在实际中，也存在根据关键点的距离相关性确定得到所有关键点的定义都准确的情况，也即，不存在定义不准确的关键点定义。此时，表示所述目标指标评价参数的所有结果之间的无关联或弱关联现象不是因为关键点定义不准确所引起的，有可能是因为关键点选取不对或该目标指标评价参数对关键点标注的准确性要求过高所引起的，基于此，在一实施例中，可以重新选取用于计算所述目标指标评价参数的关键点，或者，将所述目标指标评价参数删除。与此相应，在一实施例中，所述方法还包括：
S0042，确定不更新从所述指定的若干关键点中所获取的关键点的定义时，输出用于指示所述指标评价参数不适用于评价被测对象的提示信息，或更新所述指标评价参数计算所需的关键点。
由此，本发明实施例通过结合距离相关性和组间相关性来确定是否更新关键点定义、指标评价参数之间的一致性、和指标评价参数是否合理，有利于更好地提高最终确定得到的关键点定义的明确性和可用性、以及指标评价参数的合理性和可靠性，进而更好地提高了最终训练得到的模型的预测准确性和可靠性，为深度学习项目的开发效率和模型质量的提高奠定了坚实的基石。
在另一实施例中，为提高各指标评价参数的所有结果的组间相关性的直观性，还可以生成各指标评价参数对应的组间相关性的散点图，如图3所示，图3是本发明根据一示例性实施例示出的一种组间相关性的散点图，图3是以基于人体侧面图像中被标注的指定的若干关键点的坐标计算得到的7个指标评价参数所对应的组间相关性为例示出的一种散点图，从图3可知，可以依据结果之间的关联性的强弱程度，将组间相关性的大小划分为4个级别，以用于表示结果之间的关联性的强弱程度。第一级别对应的值域为[0.00，0.25)，第二级别对应的值域为[0.25，0.50)，第三级别对应的值域为[0.50，0.75)，第四级别对应的值域为[0.75，1]。其中，如果组间相关性属于第一级别，则表示其对应的指标评价参数的所有结果之间没有关联或关联性很弱；如果组间相关性属于第二级别，则表示其对应的指标评价参数的所有结果之间存在一定关联，但关联性较弱；如果组间相关性属于第三级别，则表示其对应的指标评价参数的所有结果之间的关联性中等；如果组间相关性属于第四级别，则表示其对应的指标评价参数的所有结果之间的关联性较好或关联性强。
并且，从图3所展示的各指标评价参数的组间相关性可知，“指标7”的组间相关性为0.389，属于第二级别，则可直接知道“指标7”对应的指标评价参数的所有结果之间的关联性较弱，这么一来，可以根据上述相关记载去更新关键点定义，或选取新的关键点，或删除“指标7”并输出用于指示所述“指标7”不适用于评价被测对象的提示信息。
需要说明的是，虽然上述中以人体体态检测任务为例对本发明实施例所提供的方法进行说明，但不表示本发明实施例所提供的方法只能应用于人体体态检测任务中，本发明实施例所提供的方法还可以应用于人体体态检测任务以外的其他关键点检测任务中，例如，涉及关键点的坐标、和/或指标评价参数是基于关键点的坐标计算得到的检测任务。
与前述关键点标注的审核方法对应，本发明还提供了一种关键点标注的审核装置，所述关键点标注的审核装置可以应用于终端，也可以应用于服务器中。如图4所示，图4是本发明根据一示例性实施例示出的一种关键点标注的审核装置的结构框图，所述关键点标注的审核装置200包括：
第二获取模块201，用于获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
判断模块202，用于对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值；
第二确定模块203，用于根据判断结果确定关键点的坐标参数的审核结果。
在一实施例中，每个被测对象对应两个标注集合；所述判断模块202包括：
标注距离计算单元，用于对于每个被测对象，根据每个关键点在所述两个标注集合中的坐标参数，计算得到每个关键点的标注距离；判断单元，用于判断每个关键点的标注距离是否满足预设的合格阈值。
在一实施例中，所述合格阈值基于关键点定义相同的若干关键点的标注距离计算得到，基于此，所述装置200还包括：
中间值计算模块，用于对于所有被测对象，根据定义相同的若干关键点的标注距离，计算得到所述定义相同的若干关键点的标注距离均值和标注距离标准差；
阈值计算模块，用于根据中间值计算模块计算所得的标注距离均值和标注距离标准差，计算得到每个关键点的标注距离的合格阈值。
在一实施例中，所述阈值计算模块包括：
审核系数获取单元，用于获取每个关键点定义对应的审核系数；其中，定义相同的若干关键点的审核系数相同，所述审核系数为预设值，或为基于其所对应的关键点定义的审核通过率计算得到的值；
阈值计算单元，用于计算所述审核系数和所述标注距离标准差之积与所述标注距离均值之和，以获得合格阈值；定义相同的各关键点的标注距离的合格阈值相同。
在一实施例中，对于每个关键点定义，其审核系数基于其所对应的审核通过率计算得到，基于此，所述装置200还包括：
标准标注距离计算模块，用于通过关键点定义相同的若干关键点的标注距离的概率密度分布函数，基于关键点定义的审核通过率计算得到对应的标准标注距离；
审核系数计算模块，用于根据关键点定义相同的若干关键点的标注距离均值和标注距离标准差、以及所述标准标注距离，计算得到对应的审核系数。
在一实施例中，所有关键点定义的审核通过率相同，为获取每个关键点定义的审核通过率，所述装置200还包括：
审核通过率计算模块，用于根据预设的总审核通过率和所有关键点定义的总数，计算得到所述审核通过率。
在一实施例中，所述装置200还包括：
合格处理模块，用于在所述审核结果表示审核合格时，计算审核合格的关键点在所述至少两个标注集合中的水平坐标参数的均值和垂直坐标参数的均值；
坐标更新模块，用于根据审核合格的关键点的水平坐标参数的均值和垂直坐标参数的均值更新审核合格的关键点的坐标参数。
在一实施例中，所述装置200还包括：
提示模块，用于在所述审核结果表示审核不合格时，输出审核不合格的关键点及其被测对象，以提示所有标注人员对审核不合格的关键点进行重新标注。
在一实施例中，所述装置200还包括：
第一获取模块，用于在所述第二获取模块获取基于关键点定义标注的多个标注集合之前，获取基于初始关键点定义标注的多个初始标注集合，其中，所述初始标注集合用于记录其中一个标注人员对一个被测对象的各关键点标注的坐标参数；
计算模块，用于根据获得的初始标注集合计算关键点的坐标参数之间的相关性；
第一确定模块，用于根据计算得到的相关性确定是否更新所述初始关键点定义。
由此，在所述第一确定模块确定更新所述初始关键点定义时，所述第二获取模块获得的多个标注集合是基于更新后的初始关键点定义获得的集合。
在一实施例中，在每个被测对象对应两个初始标注集合的前提下，所述相关性包括距离相关性时，所述计算模块包括：
第一计算单元，用于对于每个被测对象，根据每个关键点在两个初始标注集合中的坐标参数，计算每个关键点的距离；
第二计算单元，用于基于所有被测对象中定义相同的关键点的距离，计算定义相同的关键点的距离之间的距离相关性。
在一实施例中，基于上一实施例，所述关键点定义包括所述关键点的水平坐标参数的定义和/或垂直坐标参数的定义；所述装置200还包括：
第一更新模块，用于在所述第一确定模块确定更新所述关键点定义时，根据所述距离相关性更新所述关键点的水平坐标参数的定义和/或垂直坐标参数的定义。
在一实施例中，在每个被测对象对应两个初始标注集合的前提下，所述相关性包括距离相关性和组间相关性时，所述计算模块除了包括第一计算单元和第二计算单元之外，还包括：
第三计算单元，用于对于每个被测对象的每个初始标注集合，根据指定的若干关键点的坐标参数计算得到对应的指标评价参数；
第四计算单元，用于基于计算得到的指标评价参数获得不同标注人员的指标评价参数之间的组间相关性。
在一实施例中，基于上一实施例，所述关键点定义包括所述关键点的水平坐标参数的定义和/或垂直坐标参数的定义；所述装置200还包括：
第二更新模块，用于在所述第一确定模块确定不更新从所述指定的若干关键点中所获取的关键点的定义时，输出用于指示所述指标评价参数不适用于评价被测对象的提示信息，或更新所述指标评价参数计算所需的关键点。
在一实施例中，所述被测对象包括任一角度拍摄的人体图像。
上述装置200中各个模块和单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
与前述关键点标注的审核方法对应，本发明还提供了一种关键点标注的审核装置的电子设备，所述电子设备可以包括：
处理器；
存储器，用于存储可由所述处理器执行的计算机程序；
其中，所述处理器执行所述程序时实现前述任一方法实施例中的关键点标注的审核方法的步骤。
本发明实施例所提供的关键点标注的审核装置的实施例可以应用在所述电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，图5是本发明根据一示例性实施例示出的一种电子设备的硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，所述电子设备还可以包括实现前述关键点标注的审核方法的其他硬件，如摄像模块；或通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
与前述方法实施例对应，本发明实施例还提供一种机器可读存储介质，其上存储有程序，所述程序被处理器执行时实现前述任一方法实施例中的关键点标注的审核方法的步骤。
本发明实施例可采用在一个或多个包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。所述机器可读存储介质可以包括：永久性或非永久性的可移动或非可移动媒体。所述机器可读存储介质的信息存储功能可以由任何可以实现的方法或技术实现。所述信息可以是计算机可读指令、数据结构、程序的模型或其它数据。
另外，所述机器可读存储介质包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术的记忆体、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储器、磁盒式磁带、磁带磁盘存储或其它磁性存储设备或可用于存储可被计算设备访问的信息的其它非传输介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种关键点标注的审核方法，其特征在于，所述方法包括：
在获取基于关键点定义标注的多个标注集合之前，获取基于初始关键点定义标注的多个初始标注集合，其中，所述初始标注集合用于记录其中一个标注人员对一个被测对象的各关键点标注的坐标参数；
根据获得的初始标注集合计算关键点的坐标参数之间的相关性；
根据计算得到的相关性确定是否更新所述初始关键点定义；
确定更新所述初始关键点定义时，所述获取基于关键点定义标注的多个标注集合中，所述关键点定义为更新后的初始关键点定义；
获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值，所述合格阈值由定义相同的若干关键点的标注距离均值、标注距离标准差和审核系数计算获得；其中，所述定义相同的若干关键点的标注距离均值和标注距离标准差根据定义相同的若干关键点的标注距离计算得到；所述审核系数由以下步骤得到：
获取每个关键点定义对应的审核系数，定义相同的若干关键点的审核系数相同，所述审核系数为基于其所对应的关键点定义的审核通过率计算得到的值，其中，计算过程包括：
通过关键点定义相同的若干关键点的标注距离的概率密度分布函数，基于关键点定义的审核通过率计算得到对应的标准标注距离；
根据关键点定义相同的若干关键点的标注距离计算得到的所述标注距离均值和所述标注距离标准差、以及所述标准标注距离，计算得到对应的审核系数；
根据判断结果确定关键点的坐标参数的审核结果。
2.根据权利要求1所述的方法，其特征在于，每个被测对象对应两个标注集合；每个关键点的标注距离基于每个关键点在所述两个标注集合中的坐标参数计算得到。
3.根据权利要求2所述的方法，其特征在于，根据所述标注距离均值和所述标注距离标准差，计算得到每个关键点的标注距离的合格阈值，包括：
计算所述审核系数和所述标注距离标准差之积与所述标注距离均值之和，以获得合格阈值；定义相同的各关键点的标注距离的合格阈值相同。
4.根据权利要求3所述的方法，其特征在于，所有关键点定义的审核通过率相同，所述审核通过率的计算过程包括：
根据预设的总审核通过率和所有关键点定义的总数，计算得到所述审核通过率。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述审核结果表示审核合格时，计算审核合格的关键点在所述至少两个标注集合中的水平坐标参数的均值和垂直坐标参数的均值；
根据审核合格的关键点的水平坐标参数的均值和垂直坐标参数的均值更新审核合格的关键点的坐标参数。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述审核结果表示审核不合格时，输出审核不合格的关键点及其被测对象，以提示所有标注人员对审核不合格的关键点进行重新标注。
7.根据权利要求1所述的方法，其特征在于，所述被测对象包括任一角度拍摄的人体图像。
8.一种关键点标注的审核装置，其特征在于，包括：
第二获取模块，用于获取基于关键点定义标注的多个标注集合，其中，所述标注集合用于记录其中一个标注人员对一个被测对象的各关键点进行标注的坐标参数，每个被测对象对应至少两个标注集合；
判断模块，用于对于每个被测对象，根据每个关键点在所述至少两个标注集合中的坐标参数，判断每个关键点的标注距离是否满足预设的合格阈值，所述合格阈值由定义相同的若干关键点的标注距离均值、标注距离标准差和审核系数计算获得；
中间值计算模块，用于对于所有被测对象，根据定义相同的若干关键点的标注距离，计算得到所述定义相同的若干关键点的标注距离均值和标注距离标准差；
审核系数获取单元，用于获取每个关键点定义对应的审核系数，定义相同的若干关键点的审核系数相同，所述审核系数为基于其所对应的关键点定义的审核通过率计算得到的值：
标准标注距离计算模块，用于通过关键点定义相同的若干关键点的标注距离的概率密度分布函数，基于关键点定义的审核通过率计算得到对应的标准标注距离；
审核系数计算模块，用于通过关键点定义相同的若干关键点的标注距离均值和标注距离标准差、以及所述标准标注距离，计算得到对应的审核系数；
第二确定模块，用于根据判断结果确定关键点的坐标参数的审核结果；
第一获取模块，用于在所述第二获取模块获取基于关键点定义标注的多个标注集合之前，获取基于初始关键点定义标注的多个初始标注集合，其中，所述初始标注集合用于记录其中一个标注人员对一个被测对象的各关键点标注的坐标参数；
计算模块，用于根据获得的初始标注集合计算关键点的坐标参数之间的相关性；
第一确定模块，用于根据计算得到的相关性确定是否更新所述初始关键点定义。
9.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储可由所述处理器执行的计算机程序；
其中，所述处理器执行所述程序时实现权利要求1～7任一项所述方法的步骤。
10.一种机器可读存储介质，其上存储有计算机程序；其特征在于，所述程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
CN201910399585.1A 2019-05-14 2019-05-14 关键点标注的审核方法、装置、设备及存储介质 Active CN110188769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399585.1A CN110188769B (zh) 2019-05-14 2019-05-14 关键点标注的审核方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399585.1A CN110188769B (zh) 2019-05-14 2019-05-14 关键点标注的审核方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110188769A CN110188769A (zh) 2019-08-30
CN110188769B true CN110188769B (zh) 2023-09-05

Family

ID=67716281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399585.1A Active CN110188769B (zh) 2019-05-14 2019-05-14 关键点标注的审核方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110188769B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质
CN111783535B (zh) * 2020-05-28 2024-06-18 北京沃东天骏信息技术有限公司 关键点数据增强方法和装置、以及关键点检测方法和装置
CN111626233B (zh) * 2020-05-29 2021-07-13 江苏云从曦和人工智能有限公司 一种关键点标注方法、系统、机器可读介质及设备
CN111966674B (zh) * 2020-08-25 2024-03-15 北京金山云网络技术有限公司 标注数据的合格性判断方法、装置和电子设备
CN112309432A (zh) * 2020-10-27 2021-02-02 暨南大学 一种基于数据驱动的音符起始点检测方法
CN112270532B (zh) * 2020-11-12 2023-07-28 北京百度网讯科技有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN117609748A (zh) * 2024-01-17 2024-02-27 沈阳知友网络科技有限公司 一种医学图像关键点检测模型推理效果评估的系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944174A (zh) * 2012-11-28 2013-02-27 北京矿冶研究总院 一种点云数据的处理方法及系统
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
CN105426925A (zh) * 2015-12-28 2016-03-23 联想(北京)有限公司 图像标注方法和电子设备
CN106231597A (zh) * 2015-06-02 2016-12-14 中国科学院上海高等研究院 一种伪基站的定位方法和系统
CN108062394A (zh) * 2017-12-18 2018-05-22 北京中关村科金技术有限公司 一种数据集的标注方法及相关装置
CN108536662A (zh) * 2018-04-16 2018-09-14 苏州大学 一种数据标注方法及装置
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109325489A (zh) * 2018-09-14 2019-02-12 浙江口碑网络技术有限公司 图像的识别方法及装置、存储介质、电子装置
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689758B1 (ja) * 2010-04-22 2011-05-25 株式会社市川ソフトラボラトリー 画像一致点検出装置、画像一致点検出方法および記録媒体
US9646226B2 (en) * 2013-04-16 2017-05-09 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
US10360257B2 (en) * 2017-08-08 2019-07-23 TuSimple System and method for image annotation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944174A (zh) * 2012-11-28 2013-02-27 北京矿冶研究总院 一种点云数据的处理方法及系统
CN106231597A (zh) * 2015-06-02 2016-12-14 中国科学院上海高等研究院 一种伪基站的定位方法和系统
CN105404896A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 标注数据处理方法和标注数据处理系统
CN105426925A (zh) * 2015-12-28 2016-03-23 联想(北京)有限公司 图像标注方法和电子设备
CN108062394A (zh) * 2017-12-18 2018-05-22 北京中关村科金技术有限公司 一种数据集的标注方法及相关装置
CN108536662A (zh) * 2018-04-16 2018-09-14 苏州大学 一种数据标注方法及装置
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109325489A (zh) * 2018-09-14 2019-02-12 浙江口碑网络技术有限公司 图像的识别方法及装置、存储介质、电子装置
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种鲁棒的人脸关键点实时跟踪方法;徐威威，李俊;计算机工程;第44卷(第4期);281-286 *

Also Published As

Publication number Publication date
CN110188769A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188769B (zh) 关键点标注的审核方法、装置、设备及存储介质
CN110188633B (zh) 人体体态指标预测方法、装置、电子设备及存储介质
CN110175544B (zh) 目标模型的构建方法、装置、电子设备及存储介质
CN108280477B (zh) 用于聚类图像的方法和装置
CN1871622B (zh) 图像比较系统和图像比较方法
CN108319981A (zh) 一种基于密度的时序数据异常检测方法及装置
CN113688889A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN110188634B (zh) 人体体态模型的构建方法、装置、电子设备及存储介质
BR102012017010A2 (pt) detecÇço de presenÇa de vida
CN110211670B (zh) 指标预测方法、装置、电子设备及存储介质
CN108257670B (zh) 医学解释模型的建立方法和装置
TW202009681A (zh) 樣本標註方法及裝置、損傷類別的識別方法及裝置
Muñoz‐Muñoz et al. Photogrammetry: a useful tool for three‐dimensional morphometric analysis of small mammals
JP2021530773A (ja) 画像に基づく関係分析の方法およびそのシステム
CN109272003A (zh) 一种消除深度学习模型中未知错误的方法与装置
CN111274821B (zh) 一种命名实体识别数据标注质量评估方法及装置
CN111126268A (zh) 关键点检测模型训练方法、装置、电子设备及存储介质
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN116402739A (zh) 一种用于电子内窥镜检测流程的质量评估方法及装置
KR102232880B1 (ko) 인공지능 학습데이터 생성을 위한 이미지 또는 동영상 수집을 위한 크라우드소싱 기반 프로젝트의 검수자 평가 방법
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN115527083B (zh) 图像标注方法、装置和电子设备
CN112668365A (zh) 一种物料入库识别方法、装置、设备及存储介质
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
Ergashev Should risk managers rely on maximum likelihood estimation method while quantifying operational risk?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant