CN111783535A - 关键点数据增强方法和装置、以及关键点检测方法和装置 - Google Patents

关键点数据增强方法和装置、以及关键点检测方法和装置 Download PDF

Info

Publication number
CN111783535A
CN111783535A CN202010468511.1A CN202010468511A CN111783535A CN 111783535 A CN111783535 A CN 111783535A CN 202010468511 A CN202010468511 A CN 202010468511A CN 111783535 A CN111783535 A CN 111783535A
Authority
CN
China
Prior art keywords
key point
point data
data
keypoint
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010468511.1A
Other languages
English (en)
Inventor
陈建业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010468511.1A priority Critical patent/CN111783535A/zh
Publication of CN111783535A publication Critical patent/CN111783535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Abstract

本公开提出一种关键点数据增强方法和装置、以及关键点检测方法和装置，涉及计算机技术领域。在本公开中，利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度；根据第一关键点数据集合中的每条关键点数据与基准数据之间的差异度，将第一关键点数据集合进行分组；根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；根据复制次数复制相应分组内对应的每条关键点数据，将复制所得的关键点数据的集合作为第二关键点数据集合。实现了数据增强的同时，无需额外收集和标注其他关键点数据，避免了浪费额外较大的人工成本。

Description

关键点数据增强方法和装置、以及关键点检测方法和装置
技术领域
本公开涉及计算机技术领域，特别涉及一种关键点数据增强方法和装置、以及关键点检测方法和装置。
背景技术
关键点检测，也被称为关键点定位或关键点对齐，其任务是指，在给定一张待检测的图像数据以后，定位出该图像数据中的关键特征点。例如在人脸关键点检测中，关键特征点例如可以是眼睛、眉毛、嘴唇、鼻子等部位的特征点。在构建关键点检测模型时，需要预先收集一定量的预先标注了关键点的训练数据，利用这些训练数据来构建关键点检测模型。
目前主流的关键点数据集，通常是不均衡的数据集，即，正向无偏转的数据更多，而某些特殊角度、特殊光线或者部分遮挡的数据较少。利用不均衡数据集进行训练，来得到关键点检测模型，会导致关键点检测模型对正向无偏转的数据具有较好的定位的准确度，但是对某些特殊角度、特殊光线或者部分遮挡的数据的检测准确度较低。也就是说，利用不均衡数据集进行训练，会降低关键点检测模型的稳定性和泛化性能。
在一些相关技术中，通过额外收集这类特殊数据，并且需要人工根据特定关键点的顺序在图像数据上标注关键点，来达到数据增强的目的，从而解决利用不均衡数据集来构建关键点检测模型而导致的模型准确率和泛化性能降低的问题。
发明内容
发明人发现，在相关技术中，通过额外收集特殊的关键点数据，并提供人工标注的方法，来达到数据增强的目的，从而提高模型训练的稳定性和泛化性能，这种数据增强的方法需要浪费额外较大的人工成本。
为此，本公开提供一种能够避免浪费额外较大的人工成本的关键点数据增强方法。
在本公开的实施例中，利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度；根据第一关键点数据集合中的每条关键点数据与基准数据之间的差异度，将第一关键点数据集合进行分组；根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；根据每个分组对应的复制次数，复制相应组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。通过计算关键点数据与基准数据的差异度，区分出特殊的关键点数据和常见的关键点数据，并根据预设规则分别设置不同的复制次数，将特殊的关键点数据复制较多的次数，增大特殊的关键点数据的数量，以达到数据增强的目的。该方法根据已有的关键点数据集进行数据增强处理，无需额外收集和标注其他的关键点数据，避免浪费额外较大的人工成本。从而使得利用增强后的所有关键点数据训练关键点检测模型，能够提高关键点检测模型的稳定性和泛化性。
根据本公开的一些实施例，提供一种关键点数据增强方法，其中，包括：利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；计算所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度；根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组；根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；根据每个分组对应的所述复制次数，复制相应分组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
在一些实施例中，其中，所述利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据包括：计算第一关键点数据集合中的所有关键点数据对应的每个关键点的坐标平均值；将由所有关键点的坐标平均值所构成的数据作为所述基准数据。
在一些实施例中，其中，所述根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组包括：在所得到的差异度中选择最小值和最大值；将由所述最小值及所述最大值所构成的区间，划分为多个预定长度的子区间或者预设个数的等长子区间；将差异度属于同一子区间的所述关键点数据，划分到一个分组中。
在一些实施例中，其中，所述根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数包括：确定所有分组中包含关键点数据的数量的最大值；根据所述关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的分组相应的复制次数。
在一些实施例中，其中，所述根据所述关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的分组相应的复制次数包括：在所述复制次数小于预设门限的情况下，将所述复制次数作为所确定的复制次数；在所述复制次数不小于预设门限的情况下，将所述预设门限作为所确定的复制次数。
在一些实施例中，其中，所述关键点数据包括人脸关键点数据。
根据本公开的另一些实施例，提供一种关键点数据增强装置，其中，包括：基准数据生成模块，被配置为利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；差异度确定模块，被配置为计算所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度；分组模块，被配置为根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组；复制次数确定模块，被配置为根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；复制模块，被配置为根据每个分组对应的所述复制次数，复制相应分组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
根据本公开的又一些实施例，提供一种关键点数据增强装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一实施例所述的关键点数据增强方法。
根据本公开的又再一些实施例，提供一种关键点检测方法，包括：利用任一实施例所述的关键点数据增强方法对第一关键点数据集合进行增强处理，以得到第二关键点数据集合；将所述第一关键点数据集合以及所述第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型；利用所述关键点检测模型，对待检测数据进行关键点检测。
根据本公开的又再一些实施例，提供一种关键点检测装置，其中，包括：数据增强模块，被配置为利用任一实施例所述的关键点数据增强方法对第一关键点数据集合进行增强处理，以得到第二关键点数据集合；模型训练模块，被配置为将所述第一关键点数据集合以及所述第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型；关键点检测模块，被配置为利用所述关键点检测模型，对待检测数据进行关键点检测。
根据本公开的又再一些实施例，提供一种关键点检测装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一实施例所述的关键点检测方法。
根据本公开的又再一些实施例，提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的关键点数据增强方法，或者，该程序被处理器执行时实现任一实施例所述的关键点检测方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开的一些实施例的关键点数据增强方法的流程示意图。
图2示出根据本公开的一些实施例的第一关键点数据集合内关键点数据所对应的差异度的分布情况的示意图。
图3示出根据本公开的一些实施例的关键点数据增强装置的示意图。
图4示出根据本公开的另一些实施例的关键点数据增强装置的示意图。
图5示出根据本公开的一些实施例的关键点检测方法的流程示意图。
图6示出根据本公开的一些实施例的关键点检测装置的示意图。
图7示出根据本公开的另一些实施例的关键点检测装置的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1示出根据本公开的一些实施例的关键点数据增强方法的流程示意图。该方法例如可以由关键点数据增强装置执行。
本公开中的关键点数据(也称关键点图像数据)例如包括人脸关键点数据。
如图1所示，该实施例的方法包括步骤101-105。
在步骤101，利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据。
其中，第一关键点数据集合中的关键点数据是经过标注的关键点数据，即，第一关键点数据集合中的关键点数据包含每个特征点在对应图像上的坐标值。
在一些实施例中，首先，计算第一关键点数据集合中的所有关键点数据对应的每个关键点(也称特征点)的坐标平均值；将由所有关键点的坐标平均值所构成的数据作为基准数据。例如，某个第一关键点数据集合中的每条关键点数据都具有68个特征点，根据第一关键点数据集合的坐标信息，经过计算可以得到一个具有68个特征点的基准数据。又例如，如果某个第一关键点数据集合中的每条关键点数据都具有106个特征点，根据第一关键点数据集合的坐标信息，经过计算可以得到一个具有106个特征点的基准数据。
在一些实施例中，利用所有关键点数据的坐标信息，生成基准数据之前还包括：对所有关键点数据进行归一化，例如，将所有关键点图像数据归一化到同一尺寸上，并更新每条关键点数据的所有特征点在新尺寸下的对应的新的坐标值，得到归一化后的第一关键点数据集合。将所有的关键点数据归一化到同一尺寸之后再计算基准数据，可以使得基准数据作为其他数据的基准的参考性更强，基准数据的表征也更加准确。
在步骤102，计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度。
在一些实施例中，例如，可以通过分析算法(例如相似变换算法、普氏分析Procrustes Analysis算法等)计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度，也就是指，利用分析算法将每条关键点数据的坐标值变换到最为接近步骤101所述的基准数据的表示，从而得到每条关键点数据与基准数据之间的差异度。例如，与基准数据之间的差异度越高，表示该条关键点数据越特殊，数据量越小；而与基准数据之间的差异度越低，则表示该条关键点数据越常见，数据量越大。
在一些实施例中，计算差异度之前或者计算差异度之后还包括：对第一关键点数据集合中的关键点数据进行特征压缩。例如，可以通过主成分分析(Principal ComponentsAnalysis，PCA)算法对关键点数据进行特征压缩。对关键点数据进行特征压缩之后，可以保留较少的主成分特征。例如，进行压缩前的每条关键点数据例如包括了68个特征，通过特征压缩之后，每条关键点数据例如可以保留1个主成分特征、2个主成分特征等(其中，压缩后的特征个数不限于所举的示例)。此时，用压缩后的特征来表示关键点数据，可以提高后续计算(例如计算差异度)的效率。
在步骤103，根据第一关键点数据集合中的每条关键点数据与基准数据之间的差异度，将第一关键点数据集合进行分组。
在一些实施例中，将第一关键点数据集合进行分组包括：在所得到的所有差异度中选择其中的差异度最小值和差异度最大值；将由最小值及最大值所构成的区间，划分为多个预定长度的子区间或者预设个数的等长子区间；将差异度属于同一子区间的关键点数据，划分到一个分组中。
例如，通过特征压缩将关键点数据压缩到了一个特征，则差异度表示为一组一维的数据，那么，假设某一第一关键点数据集合有6条关键点数据，计算其中的每条关键点数据与基准数据之间的差异度，得到对应的差异度分别为7，-4，5，-1，1.2，8。首先，确定差异度最小值为-4，差异度最大值为8。然后，得到由最小值及最大值所构成的区间为[-4,8]。接着，例如将每个子区间的预设长度设置为4，那么，可以将区间划分为[-4,0]，[0,4]，[4,8]这样的三个子区间；或者，例如设置等长子区间的预设个数为3，那么，可以将区间为[-4,8]划分为3个等长(即等长为4)的子区间[-4,0]，[0,4]，[4,8]。然后，将差异度属于子区间[-4,0]的所有关键点数据划分到一个分组中，例如标记为分组1，分组1包括差异度为-4和-1所对应的所有关键点数据；将差异度属于子区间[0,4]的所有关键点数据划分到一个分组中，例如标记为分组2，分组2包括差异度为1.2所对应的所有关键点数据；将差异度属于子区间[4,8]的所有关键点数据划分到一个分组中，例如标记为分组3，分组3包括差异度为5，7和8所对应的所有关键点数据。
又例如，通过特征压缩将关键点数据压缩到了多个特征，则差异度表示为多维数据，那么，需要在每个维度上进行区间的划分。例如可以用多维空间的一个局部区域对应于划分所得的一个子区间。
下面以差异度为二维数据为例说明区间划分的方法。
如果通过特征压缩将关键点数据压缩到了两个特征，则差异度表示为一组二维的数据，例如利用二维中的其中一维表示关键点数据的其中一个特征(例如确定的最小值Xmin和最大值Xmax)，利用二维中的其中另一维表示关键点数据的其中另一个特征(例如确定的最小值Ymin和最大值Ymax)，将Xmin和Xmax构成的区间[Xmin,Xmax]划分为多个预定长度的子区间或者预设个数的等长子区间，将Ymin和Ymax构成的区间[Ymin,Ymax]划分为多个预定长度的子区间或者预设个数的等长子区间，然后，将差异度属于同一子区间的关键点数据，划分到一个分组中。
在一些实施例中，将第一关键点数据集合进行分组之前还包括：删除差异度中的离群值。离群值例如可能是由于原始数据的标注错误而产生的，因此，删除离群值可以提高数据增强的准确性，从而提高后续训练出的关键点检测模型的稳定性。
在步骤104，根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数。
根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数包括：确定所有分组中包含关键点数据的数量的最大值；根据关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的分组相应的复制次数。
根据关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的组相应的复制次数包括：在复制次数小于预设门限(即表示复制次数的上限值)的情况下，将复制次数作为所确定的复制次数；在复制次数不小于预设门限的情况下，将预设门限作为所确定的复制次数。
在一些实施例中，采用如下公式确定每个分组中的关键点数据对应的复制次数：
αm＝min(αmax,[nmax/nm+a])
其中，αm表示分组m的复制次数，αmax表示预设门限，即预设的复制次数的上限值，nmax表示所有分组中包含关键点数据的数量的最大值，nm表示分组m内的关键点数据的数量。a表示预设参数。另外，min表示求最小值，[]表示取整计算。
假设分组1包括差异度的值属于子区间[-4,0]的所有关键点数据，有100条关键点数据，即可以表示为n1＝100；分组2包括差异度的值属于子区间[0,4]的所有关键点数据，有1200条关键点数据，即可以表示为n2＝1200；分组3包括差异度的值属于子区间[4,8]的所有关键点数据，有60条关键点数据，即可以表示为n3＝60。假设预设参数a设置为0.5，预设门限αmax例如设置为20。那么，可以根据分组1、分组2、分组3所有分组中分别包含关键点数据的数量确定包含的关键点数据的数量最大值为即可以表示为nmax＝1200。例如，计算分组1所对应的复制次数α1，可以表示为α1＝min(αmax,[nmax/nm+a])＝min(20,[1200/100+0.5])＝min(20,12)＝12，即表示分组1中的每个关键点数据对应的复制次数为12次。又例如，计算分组3所对应的复制次数α3，可以表示为α3＝min(αmax,[nmax/nm+a])＝min(20,[1200/60+0.5])＝min(20,21)＝20，根据[nmax/nm+a]＝21计算的复制次数为21(21>20)，21超过了预设的门限值20，因为复制次数不能大于预设门限值，即，表示分组3中的每个关键点数据对应的复制次数为预设门限值20次。
在步骤105，根据每个分组对应的复制次数，复制相应组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
上述实施例中，通过计算关键点数据与基准数据的差异度，区分出特殊的关键点数据和常见的关键点数据，根据差异度将这些关键点数据划分到不同的分组中，并根据预设规则为这些分组分别设置不同的复制次数，将特殊的关键点数据复制较多的次数，增大特殊的关键点数据的数量，以达到数据增强的目的。上述实施例直接根据已有的关键点数据集进行数据增强处理，无需额外收集和标注其他的关键点数据，避免浪费额外较大的人工成本，从而使得利用增强后的所有关键点数据训练关键点检测模型，避免模型对常见数据的过拟合，以及对特殊数据的响应不足的问题，提高关键点检测模型的稳定性和泛化性。
图2示出根据本公开的一些实施例的第一关键点数据集合内关键点数据所对应的差异度的分布情况的示意图。
如图2所示，通过特征压缩例如可以将关键点数据的特征压缩到只保留一个特征点，那么计算得到的差异度为一维数据。由此可以利用二维坐标系的横向坐标轴表示关键点数据与基准数据之间的差异度的取值。差异度的取值范围例如为[-100,100]，例如设置子区间的预设个数为40，那么，划分的子区间分别为[-100,-95],[-95,-90],……,[-5,-0],[-5,-0],……,[90,95],[95,100]。纵向坐标轴表示属于每个子区间的关键点数据的数量，取值范围为[0,25000]。
由图2可以看出，图示的第一关键点数据集合的关键点数据所对应的差异度普遍分布在区间[-75,75]内，例如可以设置预设门限αmax，和预设参数a，通过最高的一根柱子所对应的纵坐标值可以确定关键点数据的数量的最大值nmax，例如为nmax＝22381。例如，根据步骤101中计算复制次数的公式，计算每个分组内的关键点数据的复制次数。则分布在越靠两端的关键点数据将复制更多次数，但最多不超过预设门限αmax，避免相差倍数太大而导致增强后的第二数据集合中的关键点数据的数量过多或者标注误差带来的偏移，提高了数据增强的质量。
如果通过特征压缩将关键点数据的特征压缩到了保留两个特征点，则关键点数据所对应的差异度为二维数据，此时，可以利用三维坐标系X-Y-Z中的X轴和Y轴分别表示关键点数据中的两个特征点(即关键点)与基准数据中的两个特征点之间的差异度，根据X轴和Y轴分别对应的差异度的取值范围划分多个子区间。利用Z轴表示每个子区间中包含的关键点数据的数量。根据每个分组中关键点数据的数量来计算复制次数，例如可以参考步骤101中计算复制次数的步骤。
当然，也可以通过特征压缩将关键点数据的特征压缩到了三个特征点，四个特征点，五个特征点等等，相应地，可以得到三维数据，四维数据，五维数据等等表示的差异度，那么，就可以分别利用四维坐标系、五维坐标系、六维坐标系等等来表示差异度与关键点数据集合分组之间的关系。
图3示出根据本公开的一些实施例的关键点数据增强装置的示意图。
如图3所示，该实施例的关键点数据增强装置300包括基准数据生成模块301，差异度确定模块302，分组模块303，复制次数确定模块304，以及复制模块305。
其中，基准数据生成模块301，被配置为利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据。其中，第一关键点数据集合中的关键点数据是经过标注的关键点数据，即，第一关键点数据集合中的关键点数据包含每个特征点在图像上对应的坐标值。
在一些实施例中，基准数据生成模块301，被配置为计算第一关键点数据集合中的所有关键点数据对应的每个关键点(也称每个特征点)的坐标平均值，将由所有关键点的坐标平均值所构成的数据作为基准数据。
在一些实施例中，基准数据生成模块301，被配置为对所有关键点数据进行归一化，然后利用归一化后的所有关键点数据的坐标信息，生成基准数据。
差异度确定模块302，被配置为计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度。
在一些实施例中，差异度确定模块302，例如被配置为通过分析算法(例如相似变换算法、普氏分析Procrustes Analysis算法等)计算第一关键点数据集合中的每条关键点数据与基准数据之间的差异度。
在一些实施例中，差异度确定模块302，例如还被配置为对第一关键点数据集合中的关键点数据进行特征压缩，然后利用经过特征压缩处理的关键点数据计算差异度；在另一些实施例中，差异度确定模块302，例如还被配置为，计算差异度之后，对第一关键点数据集合中的关键点数据进行特征压缩。
分组模块303，被配置为根据第一关键点数据集合中的每条关键点数据与基准数据之间的差异度，将第一关键点数据集合进行分组。
在一些实施例中，分组模块303，被配置为在所得到的所有差异度中选择其中的差异度最小值和差异度最大值；将由最小值及最大值所构成的区间，划分为多个预定长度的子区间或者预设个数的等长子区间；将差异度属于同一子区间的关键点数据，划分到一个分组中。
在另一些实施例中，分组模块303，还被配置为删除差异度中的离群值，将去除了离群值表示的差异度所对应的关键点数据之后的第一关键点数据集合进行分组。删除离群值可以提高数据增强的准确性，从而提高后续训练出的模型的稳定性。
复制次数确定模块304，被配置为根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数。
在一些实施例中，复制次数确定模块304，被配置为确定所有分组中包含关键点数据的数量的最大值；然后，根据关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的组相应的复制次数。其中，根据关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的组相应的复制次数包括：在复制次数小于预设门限(即表示复制次数的上限值)的情况下，将复制次数作为所确定的复制次数；在复制次数不小于预设门限的情况下，将预设门限作为所确定的复制次数。
在另一些实施例中，复制次数确定模块304，被配置为采用如下公式确定每个分组中的关键点数据对应的复制次数：
αm＝min(αmax,[nmax/nm+a])
其中，αm表示分组m的复制次数，αmax表示预设门限，即预设的复制次数的上限值，nmax表示所有分组中包含关键点数据的数量的最大值，nm表示分组m内的关键点数据的数量。a表示预设参数。另外，min表示求最小值，[]表示取整计算。
复制模块305，被配置为根据每个分组对应的复制次数，复制相应组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
上述实施例中，通过为特殊的关键点数据设置较多的复制次数，以增大特殊的关键点数据的数量，从而达到数据增强的目的，无需额外收集和标注其他的关键点数据，不仅避免浪费额外较大的人工成本，同时，也使得利用增强后的所有关键点数据训练关键点检测模型，避免模型对常见数据的过拟合，以及对特殊数据的响应不足的问题，提高了关键点检测模型的稳定性和泛化性。
图4示出根据本公开的另一些实施例的关键点数据增强装置的示意图。
如图4所示，该实施例的关键点数据增强装置400包括：存储器401以及耦接至该存储器401的处理器402，处理器402被配置为基于存储在存储器401中的指令，执行本公开任意一些实施例中的关键点数据增强方法。
其中，存储器401例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
关键点数据增强装置400还可以包括输入输出接口403、网络接口404、存储接口405等。这些接口403，404，405以及存储器401和处理器402之间例如可以通过总线406连接。其中，输入输出接口403为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口404为各种联网设备提供连接接口。存储接口405为SD卡、U盘等外置存储设备提供连接接口。
图5示出根据本公开的一些实施例的关键点检测方法的流程示意图。
如图5所示，该实施例的方法包括步骤501-503。
在步骤501，对第一关键点数据集合进行数据增强处理，以得到第二关键点数据集合。这里采用图1中任一实施例的关键点数据增强方法，对第一关键点数据集合进行数据增强处理。其中，第一关键点数据集合指的是原始的关键点数据集合。
在步骤502，将第一关键点数据集合以及第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型。
其中，深度学习模型例如可以为深度信念网络(Deep Belief Network，DBN)模型、堆叠自动编码器(Stacked Auto-Encoders，SAE)模型、卷积神经网络(ConvolutionalNeural Networks，CNN)模型或者递归神经网络(Recurrent Neural Networks，RNN)模型中的任一种。
在一些实施例中，例如，将第一关键点数据集合以及第二关键点数据集合作为训练数据，输入到深度学习模型中，定义与训练数据的标注的真实关键点以及通过深度学习网络模型得到的预测关键点相关的损失函数，通过优化该损失函数，最终得到构建好的关键点检测模型。
在步骤503，利用关键点检测模型，对待检测数据进行关键点检测。
上述实施例中，利用增强处理后的第二关键点数据集合以及原始的第一关键点数据集合一起作为训练数据，来构建关键点检测模型，可以提高模型的稳定性和泛化性。
图6示出根据本公开的一些实施例的关键点检测装置的示意图。
如图6所示，该实施例的关键点检测装置600包括数据增强模块601，模型训练模块602，以及关键点检测模块603。
其中，数据增强模块601，被配置为利用本公开任一实施例的关键点数据增强方法对第一关键点数据集合进行增强处理，以得到第二关键点数据集合。
模型训练模块602，被配置为将第一关键点数据集合以及第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型。其中，深度学习模型例如可以为深度信念网络(Deep Belief Network，DBN)模型、堆叠自动编码器(Stacked Auto-Encoders，SAE)模型、卷积神经网络(Convolutional Neural Networks，CNN)模型或者递归神经网络(Recurrent Neural Networks，RNN)模型中的任一种。
在一些实施例中，模型训练模块602，例如被配置为将第一关键点数据集合以及第二关键点数据集合作为训练数据，输入到深度学习模型中，定义与训练数据的标注的真实关键点以及通过深度学习网络模型得到的预测关键点相关的损失函数，通过优化该损失函数，最终得到构建好的关键点检测模型。
关键点检测模块603，被配置为利用关键点检测模型，对待检测数据进行关键点检测。
图7示出根据本公开的另一些实施例的关键点检测装置的示意图。
如图7所示，该实施例的关键点检测装置700包括：存储器701以及耦接至该存储器701的处理器702，处理器702被配置为基于存储在存储器701中的指令，执行本公开任意一些实施例中的关键点检测方法。
其中，存储器701例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
关键点检测装置700还可以包括输入输出接口703、网络接口704、存储接口705等。这些接口703，704，705以及存储器701和处理器702之间例如可以通过总线706连接。其中，输入输出接口703为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口704为各种联网设备提供连接接口。存储接口705为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种关键点数据增强方法，其中，包括：
利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；
计算所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度；
根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组；
根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；
根据每个分组对应的所述复制次数，复制相应分组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
2.根据权利要求1所述的关键点数据增强方法，其中，所述利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据包括：
计算第一关键点数据集合中的所有关键点数据对应的每个关键点的坐标平均值；
将由所有关键点的坐标平均值所构成的数据作为所述基准数据。
3.根据权利要求1所述的关键点数据增强方法，其中，所述根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组包括：
在所得到的差异度中选择最小值和最大值；
将由所述最小值及所述最大值所构成的区间，划分为多个预定长度的子区间或者预设个数的等长子区间；
将差异度属于同一子区间的所述关键点数据，划分到一个分组中。
4.根据权利要求1所述的关键点数据增强方法，其中，所述根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数包括：
确定所有分组中包含关键点数据的数量的最大值；
根据所述关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的分组相应的复制次数。
5.根据权利要求4所述的关键点数据增强方法，其中，所述根据所述关键点数据的数量最大值与每个分组内的关键点数据的数量的比值，确定所对应的分组相应的复制次数包括：
在所述复制次数小于预设门限的情况下，将所述复制次数作为所确定的复制次数；
在所述复制次数不小于预设门限的情况下，将所述预设门限作为所确定的复制次数。
6.根据权利要求1-5任一项所述的关键点数据增强方法，其中，所述关键点数据包括人脸关键点数据。
7.一种关键点数据增强装置，其中，包括：
基准数据生成模块，被配置为利用第一关键点数据集合中的所有关键点数据的坐标信息，生成基准数据；
差异度确定模块，被配置为计算所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度；
分组模块，被配置为根据所述第一关键点数据集合中的每条关键点数据与所述基准数据之间的差异度，将所述第一关键点数据集合进行分组；
复制次数确定模块，被配置为根据每个分组内的关键点数据的数量，确定每个分组中的关键点数据的复制次数；
复制模块，被配置为根据每个分组对应的所述复制次数，复制相应分组内对应的每条关键点数据，将复制后所得的关键点数据集合作为第二关键点数据集合。
8.一种关键点数据增强装置，其中，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-6中任一项所述的关键点数据增强方法。
9.一种关键点检测方法，包括：
利用权利要求1-6任一项所述的关键点数据增强方法对第一关键点数据集合进行增强处理，以得到第二关键点数据集合；
将所述第一关键点数据集合以及所述第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型；
利用所述关键点检测模型，对待检测数据进行关键点检测。
10.一种关键点检测装置，其中，包括：
数据增强模块，被配置为利用权利要求1-6任一项所述的关键点数据增强方法对第一关键点数据集合进行增强处理，以得到第二关键点数据集合；
模型训练模块，被配置为将所述第一关键点数据集合以及所述第二关键点数据集合作为训练数据，输入到深度学习模型中，训练得到关键点检测模型；
关键点检测模块，被配置为利用所述关键点检测模型，对待检测数据进行关键点检测。
11.一种关键点检测装置，其中，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求9所述的关键点检测方法。
12.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-6中任一项所述的关键点数据增强方法，或者，该程序被处理器执行时实现权利要求9所述的关键点检测方法。
CN202010468511.1A 2020-05-28 2020-05-28 关键点数据增强方法和装置、以及关键点检测方法和装置 Pending CN111783535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010468511.1A CN111783535A (zh) 2020-05-28 2020-05-28 关键点数据增强方法和装置、以及关键点检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468511.1A CN111783535A (zh) 2020-05-28 2020-05-28 关键点数据增强方法和装置、以及关键点检测方法和装置

Publications (1)

Publication Number Publication Date
CN111783535A true CN111783535A (zh) 2020-10-16

Family

ID=72754252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468511.1A Pending CN111783535A (zh) 2020-05-28 2020-05-28 关键点数据增强方法和装置、以及关键点检测方法和装置

Country Status (1)

Country Link
CN (1) CN111783535A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250420A (ja) * 2009-04-13 2010-11-04 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
KR20130004620A (ko) * 2011-07-04 2013-01-14 주식회사 인프라웨어 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN103020607A (zh) * 2012-12-27 2013-04-03 Tcl集团股份有限公司 一种人脸识别方法及装置
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
CN110135497A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 模型训练的方法、面部动作单元强度估计的方法及装置
CN110188769A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 关键点标注的审核方法、装置、设备及存储介质
CN110414402A (zh) * 2019-07-22 2019-11-05 北京达佳互联信息技术有限公司 一种手势数据标注方法、装置、电子设备及存储介质
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250420A (ja) * 2009-04-13 2010-11-04 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
KR20130004620A (ko) * 2011-07-04 2013-01-14 주식회사 인프라웨어 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN103020607A (zh) * 2012-12-27 2013-04-03 Tcl集团股份有限公司 一种人脸识别方法及装置
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN110188769A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 关键点标注的审核方法、装置、设备及存储介质
CN110135497A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 模型训练的方法、面部动作单元强度估计的方法及装置
CN110414402A (zh) * 2019-07-22 2019-11-05 北京达佳互联信息技术有限公司 一种手势数据标注方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIPIKA GOEL ETAL.: "Implementation of Data Sampling in Class Imbalance Learning for Cross Project Defect Prediction: An Empirical Study", 《2018 FIFTH INTERNATIONAL SYMPOSIUM ON INNOVATION IN INFORMATION AND COMMUNICATION TECHNOLOGY (ISIICT)》, 17 January 2019 (2019-01-17) *
季梦遥等: "带重现概念漂移的不平衡数据流分类研究", 《贵州大学学报（自然科学版）》, vol. 36, no. 3, 31 December 2019 (2019-12-31) *

Similar Documents

Publication Publication Date Title
Wang et al. Semi-supervised video object segmentation with super-trajectories
Sattler et al. Efficient & effective prioritized matching for large-scale image-based localization
US10776400B2 (en) Clustering using locality-sensitive hashing with improved cost model
CN110705478A (zh) 人脸跟踪方法、装置、设备及存储介质
US11841839B1 (en) Preprocessing and imputing method for structural data
Bastani et al. Machine-assisted map editing
JP6863926B2 (ja) データ分析システム及びデータ分析方法
WO2022037232A1 (zh) 三维重建中的图像分组方法及装置、电子设备和计算机可读存储介质
KR20220004009A (ko) 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체
CN110796135A (zh) 目标的定位方法及装置、计算机设备、计算机存储介质
CN105068918A (zh) 一种页面测试方法及装置
CN116958267B (zh) 位姿处理方法、装置、电子设备及存储介质
CN114372060A (zh) 数据存储方法、装置、设备及存储介质
Cao et al. Parallel K nearest neighbor matching for 3D reconstruction
CN111611935B (zh) 一种cad图纸中相似矢量图的自动识别方法
CN103064993A (zh) 尺寸号信息处理系统及方法
CN105718965A (zh) 一种汉字书写字形识别方法及装置
US10824899B2 (en) Structural clustering and alignment of OCR results
CN111783535A (zh) 关键点数据增强方法和装置、以及关键点检测方法和装置
Cao et al. Stable image matching for 3D reconstruction in outdoor
CN115661218A (zh) 一种基于虚拟超点的激光点云配准方法和系统
Mercioni et al. A study on Hierarchical Clustering and the Distance metrics for Identifying Architectural Styles
CN113743157A (zh) 关键点检测模型训练方法和装置、关键点检测方法和装置
CN109919828B (zh) 一种判断3d模型之间差异的方法
CN104463864A (zh) 多级并行关键帧云提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination