CN111898642A - 关键点检测方法、装置、电子设备及存储介质 - Google Patents

关键点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111898642A
CN111898642A CN202010622135.7A CN202010622135A CN111898642A CN 111898642 A CN111898642 A CN 111898642A CN 202010622135 A CN202010622135 A CN 202010622135A CN 111898642 A CN111898642 A CN 111898642A
Authority
CN
China
Prior art keywords
key point
key
key points
diagram model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010622135.7A
Other languages
English (en)
Other versions
CN111898642B (zh
Inventor
金晟
刘文韬
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010622135.7A priority Critical patent/CN111898642B/zh
Publication of CN111898642A publication Critical patent/CN111898642A/zh
Priority to PCT/CN2021/076467 priority patent/WO2022001123A1/zh
Priority to JP2021565761A priority patent/JP7182021B2/ja
Priority to TW110109419A priority patent/TWI766618B/zh
Application granted granted Critical
Publication of CN111898642B publication Critical patent/CN111898642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种关键点检测方法、装置、电子设备及存储介质，该方法包括：获取待检测图像；基于待检测图像，生成图像特征图和多个关键点热图；图像特征图用于表征待检测图像中各个目标对象之间的相对位置关系；每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位；基于图像特征图和多个关键点热图，生成初始关键点图模型；初始关键点图模型中包含待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；对初始关键点图模型进行多次连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。

Description

关键点检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种关键点检测方法、装置、电子设备及存储介质。
背景技术
人体关键点检测和跟踪是视频分析的基础，在安防领域、动作分析领域具有重要的应用前景。自底向上的多人姿态检测技术，由于具有较高的计算效率，而被广泛应用。一般的，自底向上方法首先预测得到各个关键点的位置，再对各个关键点进行聚类，得到完整的人体姿态。
当前的方法中，可以采用图分割算法或者启发式的聚类算法，对各个关键点进行聚类，聚类过程只是作为后处理操作，并没有直接对聚类结果进行监督，使得关键点聚类过程的准确度较低。
发明内容
有鉴于此，本公开至少提供一种关键点检测方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种关键点检测方法，包括：
获取待检测图像；
基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
采用上述方法，可以基于生成的图像特征图和多个关键点热图，生成待检测图像对应的初始关键点图模型，由于初始关键点图模型中包括图像特征图和关键点热图中的信息，而图像特征图可以表征出待检测图像中不同目标对象之间的相对位置关系，从而可以对初始关键点图模型进行所处连接边的剪枝处理，得到各个目标对象的关键点信息，较准确地对不同目标对象的关键点进行区分，以提高关键点聚类的精准度。
一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；
根据以下步骤确定所述初始关键点图模型中各个关键点的信息：
基于所述关键点热图，确定各个关键点的位置信息；
基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。
一种可能的实施方式中，所述方法还包括：
针对所述初始关键点图模型中的每个所述关键点，基于所述关键点的信息和所述关键点图模型中与所述关键点之间存在连接边的其他关键点的信息，确定所述关键点的融合特征；
所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，包括：
基于所述初始关键点图模型中包含的每个所述关键点的融合特征，对所述初始关键点图模型进行多次所述连接边的剪枝处理。
上述实施方式中，通过针对每个关键点，基于该关键点的信息和与该关键点之间存在连接边的其他关键点的信息，生成该关键点对应的融合特征，这样，该关键点的融合特征不仅可以表征该关键点的特征，还可以表征该关键点与其他关键点之间的关联关系，使得基于各个关键点分别对应的融合特征，可以较准确的对初始关键点图模型进行多次连接边的剪枝处理，进而可以较准确的确定每个目标对象对应的关键点信息。
一种可能的实施方式中，所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，包括：
针对当前关键点图模型执行第一处理过程：
基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，所述宏节点中包括聚类后的多个相邻关键点；并基于每个所述宏节点中包括的关键点的融合特征，确定所述宏节点的融合特征；
基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
在执行完当前次的所述第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的所述宏节点以及所述宏节点的融合特征作为所述当前关键图模型中的关键点以及关键点的融合特征，并再次执行所述第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
上述实施方式下，在每一次第一处理过程中，对相邻关键点进行一次聚类，得到至少一个宏节点，每个宏节点中包括的多个关键点为同一目标对象的关键点，通过对初始关键点图模型进行多次第一处理过程，直至处理后的关键点图模型中的多个关键点被聚类为多个簇，得到了每个目标对象的关键点信息，使得得到的每个目标对象对应的关键点信息较为准确。
一种可能的实施方式中，所述基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，包括：
基于所述连接边对应的两个关键点的融合特征，确定所述连接边的权重，所述权重表征所述连接边对应的两个关键点属于同一目标对象的概率；
基于所述当前关键点图模型中包括的每条连接边的权重，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。
这里，通过确定每条连接边的权重，该权重表征连接边对应的两个关键点属于同一目标对象的概率，再可以基于每条连接边的权重，对当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，比如将对应权重较大的两个关键点聚类在一起，得到一个宏节点，使得宏节点的确定较为准确。
一种可能的实施方式中，所述基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型，包括：
基于得到的至少一个所述宏节点和所述当前关键点图模型，确定待删减连接边，并从所述当前关键点图模型中将所述待删减连接边删除；
将至少一个所述宏节点、和所述当前关键点图模型中除所述宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。
一种可能的实施方式中，所述基于得到的至少一个宏节点和所述当前关键点图模型，确定待删减连接边，包括：
基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边。
一种可能的实施方式中，基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边，包括：
针对所述当前关键点图模型中的任一连接边，若该任一连接边对应的两个关键点为不同宏节点中的关键点，且该任一连接边对应的两个宏节点中存在类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点为同一宏节点中的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点中一个关键点为宏节点中的关键点、另一个关键点不是宏节点中的关键点，且该任一连接边对应的所述宏节点中存在与另一个关键点的类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边。
上述实施方式下，考虑到每个目标对象的关键点信息中同类别的关键点仅包括一个，即每个目标对象的关键点信息中包括一个头部关键点、一个颈部关键点、一个左脚关键点等，因此，这里可以基于连接边对应的两个关键点的类别，确定待删减连接边，并生成剪枝后的关键点图模型，进而可以进行下一次第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
一种可能的实施方式中，所述每个目标对象的关键点信息通过预先训练好的目标神经网络生成；其中，所述目标神经网络是由包括宏节点判别器的待训练神经网络训练得到的，所述宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象。
在上述实施方式下，通过对包含宏节点判别器的待训练神经网络进行训练，得到目标神经网络，其中，宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象，可以使得训练得到的目标神经网络的准确度较高。
一种可能的实施方式中，通过下述步骤对所述待训练神经网络进行训练，得到预先训练好的目标神经网络：
获取样本图像；
基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络，包括：
基于所述样本图像，对所述待训练神经网络进行训练，得到预测结果，所述预测结果包括所述宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息；
基于所述宏节点判别器的检测结果，确定第一损失值；以及基于所述每个关键点的预测类别、所述每个关键点的预测位置信息，和所述样本图像中携带的标注结果，确定第二损失值；其中，所述标注结果包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息；
基于所述第一损失值和所述第二损失值，对所述待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
基于每个目标对象对应的所述关键点信息，确定该目标对象的行为类型。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
基于每个目标对象对应的所述关键点信息，确定该目标对象的至少一个目标部位的位置信息，并根据所述至少一个目标部位的位置信息，生成针对所述至少一个目标部位的特效信息。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种关键点检测装置，包括：
获取模块，用于获取待检测图像；
第一生成模块，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象的关键点之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
第二生成模块，用于基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
处理模块，用于对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；
所述第二生成模块，用于根据以下步骤确定所述初始关键点图模型中各个关键点的信息：
基于所述关键点热图，确定各个关键点的位置信息；
基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。
一种可能的实施方式中，所述装置还包括：
确定模块，用于针对所述初始关键点图模型中的每个所述关键点，基于所述关键点的信息和所述关键点图模型中与所述关键点之间存在连接边的其他关键点的信息，确定所述关键点的融合特征；
所述处理模块，在对所述初始关键点图模型进行多次所述连接边的剪枝处理时，用于：
基于所述初始关键点图模型中包含的每个所述关键点的融合特征，对所述初始关键点图模型进行多次所述连接边的剪枝处理。
一种可能的实施方式中，所述处理模块，在对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇时，用于：
针对当前关键点图模型执行第一处理过程：
基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，所述宏节点中包括聚类后的多个相邻关键点；并基于每个所述宏节点中包括的关键点的融合特征，确定所述宏节点的融合特征；
基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
在执行完当前次的所述第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的所述宏节点以及所述宏节点的融合特征作为所述当前关键图模型中的关键点以及关键点的融合特征，并再次执行所述第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
一种可能的实施方式中，所述处理模块，在基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点时，用于：
基于所述连接边对应的两个关键点的融合特征，确定所述连接边的权重，所述权重表征所述连接边对应的两个关键点属于同一目标对象的概率；
基于所述当前关键点图模型中包括的每条连接边的权重，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。
一种可能的实施方式中，所述处理模块，在基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型时，用于：
基于得到的至少一个所述宏节点和所述当前关键点图模型，确定待删减连接边，并从所述当前关键点图模型中将所述待删减连接边删除；
将至少一个所述宏节点、和所述当前关键点图模型中除所述宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。
一种可能的实施方式中，所述处理模块，在基于得到的至少一个宏节点和所述当前关键点图模型，确定待删减连接边时，用于：
基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边。
一种可能的实施方式中，所述处理模块，在基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边时，用于：
针对所述当前关键点图模型中的任一连接边，若该任一连接边对应的两个关键点为不同宏节点中的关键点，且该任一连接边对应的两个宏节点中存在类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点为同一宏节点中的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点中一个关键点为宏节点中的关键点、另一个关键点不是宏节点中的关键点，且该任一连接边对应的所述宏节点中存在与另一个关键点的类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边。
一种可能的实施方式中，所述每个目标对象的关键点信息通过预先训练好的目标神经网络生成；其中，所述目标神经网络是由包括宏节点判别器的待训练神经网络训练得到的，所述宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象。
一种可能的实施方式中，所述装置还包括：训练模块，用于通过下述步骤对所述待训练神经网络进行训练，得到预先训练好的目标神经网络：
获取样本图像；
基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，所述训练模块，在基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络时，用于：
基于所述样本图像，对所述待训练神经网络进行训练，得到预测结果，所述预测结果包括所述宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息；
基于所述宏节点判别器的检测结果，确定第一损失值；以及基于所述每个关键点的预测类别、所述每个关键点的预测位置信息，和所述样本图像中携带的标注结果，确定第二损失值；其中，所述标注结果包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息；
基于所述第一损失值和所述第二损失值，对所述待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
行为类型确定模块，用于基于每个目标对象对应的所述关键点信息，确定该目标对象的行为类型。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
特效生成模块，用于基于每个目标对象对应的所述关键点信息，确定该目标对象的至少一个目标部位的位置信息，并根据所述至少一个目标部位的位置信息，生成针对所述至少一个目标部位的特效信息。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的关键点检测方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的关键点检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种关键点检测方法的流程示意图；
图2示出了本公开实施例所提供的一种关键点检测方法中，剪枝处理的流程示意图；
图3示出了本公开实施例所提供的一种关键点检测装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，自底向上方法首先预测得到各个关键点的位置，再对各个关键点进行聚类，得到完整的人体姿态。当前的方法中，可以采用图分割算法或者启发式的聚类算法，对各个关键点进行聚类，聚类过程只是作为后处理操作，并没有直接对聚类结果进行监督，使得关键点聚类过程的准确度较低。
为了提高关键点聚类过程的准确度，本公开实施例提供了一种关键点检测方法。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种关键点检测方法进行详细介绍。
参见图1所示，为本公开实施例所提供的一种关键点检测方法的流程示意图，该方法包括S101-S104，其中：
S101，获取待检测图像。
S102，基于待检测图像，生成图像特征图和多个关键点热图；图像特征图用于表征待检测图像中各个目标对象之间的相对位置关系；每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位。
S103，基于图像特征图和多个关键点热图，生成初始关键点图模型；初始关键点图模型中包含待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边。
S104，对初始关键点图模型进行多次连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
上述方法中，可以基于生成的图像特征图和多个关键点热图，生成待检测图像对应的初始关键点图模型，由于初始关键点图模型中包括图像特征图和关键点热图中的信息，而图像特征图可以表征出待检测图像中不同目标对象之间的相对位置关系，从而可以对初始关键点图模型进行所处连接边的剪枝处理，得到各个目标对象的关键点信息，较准确地对不同目标对象的关键点进行区分，以提高关键点聚类的精准度。
针对S101以及S102：
待检测图像可以为任一包括多个目标对象的图像。目标对象可以为人，即对待检测对象中包括的多个人体的关键点进行检测。
在具体实施时，可以将获取的待检测图像输入至训练后的关键点检测神经网络中，生成图像特征图和多个关键点热图；并基于图像特征图、多个关键点热图、以及训练后的关键点检测神经网络，确定每个目标对象的各个关键点。
这里，每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位。比如，关键点的类别可以为头部、颈部、手部等，进而关键点热图可以为包含头部关键点的图像，或者，关键点热图可以为包含颈部关键点的图像等；或者，关键点的类别可以为设置的第一类别、第二类别等，其中，第一类别关键点可以为拇指上的关键点，第二类别关键点可以为食指上的关键点等，进而关键点热图可以为包含第一类别关键点的图像，或者，关键点热图可以为包含第二类别关键点的图像等。其中，关键点的类别和类别的数量可以根据实际需要进行设置。以及，每个目标对象对应的关键点的数量可以根据实际需要进行设置，比如，每个目标对象对应的关键点的数量可以为17个、105个等。
这里，关键点热图的数量与设置的关键点类别的数量一致，比如，若设置的关键点的类别数量为17个，则基于待检测图像生成的关键点热图的数量也为17个。其中，每种类别的关键点的数量可以为一个。
图像特征图的数量可以为一个，也可以为多个。其中，在图像特征图的数量为一个时，则该图像特征图可以表征待检测图像中各个目标对象的、各种类别的关键点对应的部位之间的相对位置关系。在图像特征图的数量为多个时，图像特征图的数量与关键点热图的数量可以相同，即每张图像特征图可以表征待检测图像中各个目标对象的一种类别的关键点对应的部位之间的相对位置关系。其中，图像特征图的尺寸与关键点热图的尺寸一致。
在具体实施时，可以通过在关键点检测神经网络中设置不同的损失函数，得到图像特征图和多个关键点热图。
针对S103：
这里，可以从多个关键点热图和图像特征图中提取得到每个关键点的信息，将包含信息的每个关键点作为节点、以不同类别的关键点之间的边作为连接边，构成了初始关键点图模型。其中，连接边的信息可以为对应两个关键点之间存在连接关系的信息，比如，连接边一的信息可以为：连接边一对应的关键点A和关键点B存在连接关系。
一种可选实施方式中，关键点的信息包括位置信息、类别信息、以及像素特征信息。其中，可以根据以下步骤确定初始关键点图模型中各个关键点的信息：基于关键点热图，确定各个关键点的位置信息；基于每个关键点的位置信息，从图像特征图中提取关键点的像素特征信息，并基于关键点所属关键点热图的类别标签，确定关键点对应的类别信息。
在具体实施时，可以基于关键点热图中每个像素点的像素值，确定各个关键点的位置信息。示例性的，针对每个关键点热图，可以选择像素值为极大值的像素点，确定为一关键点，并将选择的该像素点的位置信息确定为关键点的位置信息。其中，若关键点热图中某一像素点的像素值大于周围像素点的像素值，则认为该像素点的像素值为极大值，该像素点为关键点。
在得到了每个像素点的位置信息之后，可以从图像特征图中提取与该位置信息对应的像素点的像素值，将提取的像素值确定为关键点的像素特征信息。
同时，还可以根据每个关键点所属关键点热图的类别标签，确定关键点对应的类别信息。比如，若关键点热图A的类别标签为头部时，则关键点热图A中包括的各个关键点的类别信息为头部关键点；若关键点热图B的类别标签为颈部时，则关键点热图B中包括的各个关键点的类别信息为颈部关键点。
针对S104：
作为一可选实施方式，在对初始关键点进行多次剪枝处理之前，还可以包括：针对初始关键点图模型中的每个关键点，基于关键点的信息和关键点图模型中与关键点之间存在连接边的其他关键点的信息，确定关键点的融合特征。进而，对初始关键点图模型进行多次连接边的剪枝处理，可以包括：基于初始关键点图模型中包含的每个关键点的融合特征，对初始关键点图模型进行多次连接边的剪枝处理。
这里，可以先为初始关键点图模型中的每个关键点生成对应的融合特征，再基于每个关键点的融合特征，对初始关键点图模型进行多次连接边的剪枝处理。
在具体实施时，可以针对每个关键点，确定初始关键点图模型中与该关键点之间存在连接边的其他关键点，基于该关键点的信息和其他关键点的信息，生成该关键点的融合特征。
示例性的，可以利用图神经网络(Graph Neural Network，GNN)，确定初始关键点图模型中，每个关键点的融合特征，并基于初始关键点图模型中包含的每个关键点的融合特征，对初始关键点图模型进行多次连接边的剪枝处理。
上述实施方式中，通过针对每个关键点，基于该关键点的信息和与该关键点之间存在连接边的其他关键点的信息，生成该关键点对应的融合特征，这样，该关键点的融合特征不仅可以表征该关键点的特征，还可以表征该关键点与其他关键点之间的关联关系，使得基于各个关键点分别对应的融合特征，可以较准确的对初始关键点图模型进行多次连接边的剪枝处理，进而可以较准确的确定每个目标对象对应的关键点信息。
一种可选实施方式中，对初始关键点图模型进行多次连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，包括：
针对当前关键点图模型执行第一处理过程：
步骤一、基于当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，宏节点中包括聚类后的多个相邻关键点；并基于每个宏节点中包括的关键点的融合特征，确定宏节点的融合特征；
步骤二、基于得到的至少一个宏节点和当前关键点图模型，对当前关键点图模型进行当前次连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
步骤三、在执行完当前次的第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的宏节点以及宏节点的融合特征作为当前关键图模型中的关键点以及关键点的融合特征，并再次执行第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
这里，可以将初始关键点图模型作为当前关键点图模型，执行第一次第一处理过程，得到剪枝处理后的关键点图模型；并将第一次剪枝处理后的关键点图模型作为当前关键点图模型，将第一次剪枝处理后得到的每个宏节点和每个宏节点对应的融合特征，作为当前关键点图模型中的关键点以及关键点的融合特征，执行第二次第一处理过程，直至处理后的关键点图模型中的多个关键点被聚类为多个簇，聚类得到的簇的数量与待检测图像中包括的目标对象的数量相同，每个簇中包括一个目标对象对应的全部关键点，即得到了待检测图像中每个目标对象的各个关键点。
上述实施方式下，在每一次第一处理过程中，对相邻关键点进行一次聚类，得到至少一个宏节点，每个宏节点中包括的多个关键点为同一目标对象的关键点，通过对初始关键点图模型进行多次第一处理过程，直至处理后的关键点图模型中的多个关键点被聚类为多个簇，得到了每个目标对象的关键点信息，使得得到的每个目标对象对应的关键点信息较为准确。
下述对第一处理过程进行详细说明：
在步骤一中，作为一可选实施方式，基于当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，包括：
A1，基于连接边对应的两个关键点的融合特征，确定连接边的权重，权重表征连接边对应的两个关键点属于同一目标对象的概率。
A2，基于当前关键点图模型中包括的每条连接边的权重，对当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。
这里，可以确定每条连接边对应的权重，该权重表征连接边两侧的两个关键点属于同一目标对象的概率。示例性的，可以通过训练的边判别器，针对每条连接边对应的两个关键点的融合特征，确定每条连接边的权重。
进一步的，可以基于当前关键点图模型中包括的每条连接边的权重，对当前关键点图模型中包括的多个关键点中相邻关键点进行关键点聚类，得到至少一个宏节点，其中，每个宏节点中包括的多个关键点为属于同一目标对象的关键点。比如可以将权重较大的连接边对应的两个关键点聚类在一起，得到一个宏节点。每个宏节点中包括当前关键点图模型中的两个关键点，并使得聚类后得到的至少一个宏节点中包括的连接边的权重和较大。比如，若对当前关键点图模型进行本次关键点聚类后，得到两个宏节点，则可以使得聚类后得到的该两个宏节点中包括的连接边的权重和较大。
在得到了宏节点之后，进行下一次第一处理过程之前，可以确定每个宏节点的融合特征。即可以将宏节点中包括的每个关键点的融合特征进行融合处理，得到宏节点对应的融合特征。在具体实施时，可以将宏节点中包括的每个关键点的融合特征进行池化处理，得到该宏节点的融合特征。
这里，通过确定每条连接边的权重，该权重表征连接边对应的两个关键点属于同一目标对象的概率，再可以基于每条连接边的权重，对当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，比如将对应权重较大的两个关键点聚类在一起，得到一个宏节点，使得宏节点的确定较为准确。
在步骤二中，基于得到的至少一个宏节点和当前关键点图模型，对当前关键点图模型进行当前次连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型，包括：
B1，基于得到的至少一个宏节点和当前关键点图模型，确定待删减连接边，并从当前关键点图模型中将待删减连接边删除。
B2，将至少一个宏节点、和当前关键点图模型中除宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。
这里，在步骤B1中，可以先根据得到的至少一个宏节点和当前关键点图模型，确定当前次剪枝处理中待删减连接边，并将该待删减连接边从当前关键点图模型中删除。
作为一可选实施方式，在步骤B1中，基于得到的至少一个宏节点和当前关键点图模型，确定待删减连接边，包括：
基于至少一个宏节点中包括的每个关键点的类别信息、以及当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定待删减连接边。
这里，考虑到每个目标对象中仅可以包括一个相同类别的关键点，比如，每个目标对象中仅可以包括一个头部类别的关键点、一个颈部类别的关键点、一个左脚类别的关键点，因此，可以基于至少一个宏节点中包括的每个关键点的类别信息、以及当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定待删减连接边。
作为一可选实施方式，基于至少一个宏节点中包括的每个关键点的类别信息、以及当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定待删减连接边，包括：
针对当前关键点图模型中的任一连接边：
条件一、若该任一连接边对应的两个关键点为不同宏节点中的关键点，且该任一连接边对应的两个宏节点中存在类别信息相同的关键点时，则确定该任一连接边为待删减连接边。
条件二、若该任一连接边对应的两个关键点为同一宏节点中的关键点时，则确定该任一连接边为待删减连接边。
条件三、若该任一连接边对应的两个关键点中一个关键点为宏节点中的关键点、另一个关键点不是宏节点中的关键点，且该任一连接边对应的宏节点中存在与另一个关键点的类别信息相同的关键点时，则确定该任一连接边为待删减连接边。
这里，针对当前关键点图模型中的任一连接边，在该连接边满足条件一、条件二、和条件三中的任一种条件时，则认为该连接边为待删减连接边，否则，该连接边不属于待删减连接边。
在条件一中，在连接边对应的两个关键点为不同宏节点中的关键点时，可以判断该连接边对应的两个宏节点中是否存在类别信息相同的关键点，若存在，则该连接边为待删减连接边；若不存在，则该连接边不属于待删减连接边。
在条件二中，若连接边对应的两个关键点为同一宏节点中的关键点时，则该连接边为待删减连接边。
在条件三中，在该连接边对应的关键点中一个关键点是宏节点中包括的关键点，另一个关键点不是宏节点中的关键点，即另一个关键点是当前关键点图模型中除宏节点包括的关键点之外的其他关键点时，可以判断该连接边对应的宏节点中是否存在与另一关键点的类别信息相同的关键点时，若存在，则该连接边为待删减连接边；若不存在，则该连接边不属于待删减连接边。
上述实施方式下，考虑到每个目标对象的关键点信息中同类别的关键点仅包括一个，即每个目标对象的关键点信息中包括一个头部关键点、一个颈部关键点、一个左脚关键点等，因此，这里可以基于连接边对应的两个关键点的类别，确定待删减连接边，并生成剪枝后的关键点图模型，进而可以进行下一次第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
在B2中，在将待删减连接边删除之后，可以将至少一个宏节点、和当前关键点图模型中除宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为兼职处理后的连接边，得到当前次剪枝处理后的关键点图模型。即当前次剪枝处理后的关键点图模型中，若关键点为宏节点时，则该关键点的融合特征为该宏节点对应的融合特征。
在步骤三中，在执行完当前次的第一处理过程之后，可以将当前次剪枝处理后的关键点图模型作为下一次剪枝处理时对应的当前关键点图模型，将当前次确定的宏节点以及宏节点的融合特征作为当前关键图模型中的关键点以及关键点的融合特征，并再次执行第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，也即直至处理后的关键点图模型中不存在任一条连接边时为止，进而得到了待检测图像中包括的每个目标对象的各个关键点。
参见图2所示，图中示出的是一种关键点检测方法中，剪枝处理的流程示意图；具体的，可以基于待检测图像，生成图像特征图22(即Featuremaps)和多个关键点热图21(即Heatmaps)，再基于图像特征图22和多个关键点热图21，生成初始关键点图模型23，其中，初始关键点图模型23中的圆形标识为关键点，虚线为不同类别的关键点之间的连接边。接着，可以为每个关键点生成对应的融合特征，并通过训练的边判别器24确定每一条连接边的权重，并基于初始关键点图模型23中包括的每条连接边的权重，对初始关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点25。
再接着，可以基于得到的至少一个宏节点25和初始关键点图模型23，确定待删减连接边，并从初始关键点图模型中将待删减连接边删除，再将至少一个宏节点、和初始关键点图模型中除宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型26，将当前次剪枝处理后的关键点图模型26作为当前关键点图模型再次进行第一处理过程，直至处理后的关键点图模型中的多个关键点被聚类为多个簇，即如图2中最后一步得到的处理结果。
其中，在待训练神经网络进行训练时，还可以通过宏节点判别器27对生成的每个宏节点进行判别，即判断每个宏节点中包括的关键点是否属于同一个目标对象，并基于宏节点判别器27的检测结果对待训练神经网络进行训练，得到训练好的目标神经网络。
一种可选实施方式中，每个目标对象的关键点信息通过预先训练好的目标神经网络生成；其中，目标神经网络是由包括宏节点判别器的待训练神经网络训练得到的，宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象。
可以将待检测图像输入至预先训练好的目标神经网络中，得到待检测图像中包括的每个目标对象的关键点信息。其中，每个目标对象对应的各个关键点的类别和关键点的数量，可以根据实际需要进行设置。
在具体实施时，该预先训练好的目标神经网络中可以不包括宏节点判别器。即该宏节点判别器可以在待训练神经网络的训练过程中，判断得到的每个宏节点中的多个关键点是否属于同一目标对象。
在上述实施方式下，通过对包含宏节点判别器的待训练神经网络进行训练，得到目标神经网络，其中，宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象，可以使得训练得到的目标神经网络的准确度较高。
作为一可选实施方式，通过下述步骤对待训练神经网络进行训练，得到预先训练好的目标神经网络：
获取样本图像；并基于样本图像，对包括宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络。
在基于样本图像，对包括宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络时，可以包括：
一、基于样本图像，对待训练神经网络进行训练，得到预测结果，预测结果包括宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息。
二、基于宏节点判别器的检测结果，确定第一损失值；以及基于每个关键点的预测类别、每个关键点的预测位置信息，和样本图像中携带的标注结果，确定第二损失值；其中，标注结果包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息。
三、基于第一损失值和第二损失值，对待训练神经网络进行训练，得到预先训练好的目标神经网络。
这里，样本图像中携带有标注结果，该标注结果中包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息。将样本图像输入至待训练神经网络中，得到预测结果，其中，预测结果中包括宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息。
进而可以基于预测结果和标注结果，对待训练神经网络进行训练，得到训练好的目标神经网络。具体的，可以基于宏节点判别器的检测结果，确定第一损失值，并基于每个关键点的预测类别、每个关键点的预测位置信息，和样本图像中携带的标注结果，确定第二损失值；通过第一损失值与第二损失值之和，对待训练神经网络进行训练，得到目标神经网络。
一种可选实施方式中，在得到待检测图像中的每个目标对象的关键点信息之后，还包括：基于每个目标对象对应的关键点信息，确定该目标对象的行为类型。
这里，在得到每个目标对象的各个关键点的信息之后，可以将每个目标对象的各个关键点的信息输入至行为检测神经网络中，确定该目标对象的行为类型，比如，该行为类型可以为跑步、走步、托举双臂等。
一种可选实施方式中，在得到待检测图像中的每个目标对象的关键点信息之后，还包括：基于每个目标对象对应的关键点信息，确定该目标对象的至少一个目标部位的位置信息，并根据至少一个目标部位的位置信息，生成针对至少一个目标部位的特效信息。
这里，可以针对每个目标对象的各个关键点的信息，确定该目标对象的至少一个目标部位的位置信息，基于预设的目标部位对应的特效信息，在目标部位的位置处生成对应的特效信息。其中，目标部位可以为手臂、头部、手部等。比如，可以针对目标对象的各个关键点的信息，确定目标对象的手臂位置，并基于预设的手臂的特效信息，在目标对象的手臂位置处，生成手臂对应的特效信息。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种关键点检测装置，参见图3所示，为本公开实施例提供的关键点检测装置的架构示意图，包括获取模块301、第一生成模块302、第二生成模块303、处理模块304、确定模块305、训练模块306、行为类型确定模块307、以及特效生成模块308，具体的：
获取模块301，用于获取待检测图像；
第一生成模块302，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象的关键点之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
第二生成模块303，用于基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
处理模块304，用于对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
一种可能的实施方式中，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；
所述第二生成模块303，用于根据以下步骤确定所述初始关键点图模型中各个关键点的信息：
基于所述关键点热图，确定各个关键点的位置信息；
基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。
一种可能的实施方式中，所述装置还包括：
确定模块305，用于针对所述初始关键点图模型中的每个所述关键点，基于所述关键点的信息和所述关键点图模型中与所述关键点之间存在连接边的其他关键点的信息，确定所述关键点的融合特征；
所述处理模块304，在对所述初始关键点图模型进行多次所述连接边的剪枝处理时，用于：
基于所述初始关键点图模型中包含的每个所述关键点的融合特征，对所述初始关键点图模型进行多次所述连接边的剪枝处理。
一种可能的实施方式中，所述处理模块304，在对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇时，用于：
针对当前关键点图模型执行第一处理过程：
基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，所述宏节点中包括聚类后的多个相邻关键点；并基于每个所述宏节点中包括的关键点的融合特征，确定所述宏节点的融合特征；
基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
在执行完当前次的所述第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的所述宏节点以及所述宏节点的融合特征作为所述当前关键图模型中的关键点以及关键点的融合特征，并再次执行所述第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
一种可能的实施方式中，所述处理模块304，在基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点时，用于：
基于所述连接边对应的两个关键点的融合特征，确定所述连接边的权重，所述权重表征所述连接边对应的两个关键点属于同一目标对象的概率；
基于所述当前关键点图模型中包括的每条连接边的权重，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。
一种可能的实施方式中，所述处理模块304，在基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型时，用于：
基于得到的至少一个所述宏节点和所述当前关键点图模型，确定待删减连接边，并从所述当前关键点图模型中将所述待删减连接边删除；
将至少一个所述宏节点、和所述当前关键点图模型中除所述宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。
一种可能的实施方式中，所述处理模块304，在基于得到的至少一个宏节点和所述当前关键点图模型，确定待删减连接边时，用于：
基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边。
一种可能的实施方式中，所述处理模块304，在基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边时，用于：
针对所述当前关键点图模型中的任一连接边，若该任一连接边对应的两个关键点为不同宏节点中的关键点，且该任一连接边对应的两个宏节点中存在类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点为同一宏节点中的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点中一个关键点为宏节点中的关键点、另一个关键点不是宏节点中的关键点，且该任一连接边对应的所述宏节点中存在与另一个关键点的类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边。
一种可能的实施方式中，所述每个目标对象的关键点信息通过预先训练好的目标神经网络生成；其中，所述目标神经网络是由包括宏节点判别器的待训练神经网络训练得到的，所述宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象。
一种可能的实施方式中，所述装置还包括：训练模块306，用于通过下述步骤对所述待训练神经网络进行训练，得到预先训练好的目标神经网络：
获取样本图像；
基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，所述训练模块306，在基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络时，用于：
基于所述样本图像，对所述待训练神经网络进行训练，得到预测结果，所述预测结果包括所述宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息；
基于所述宏节点判别器的检测结果，确定第一损失值；以及基于所述每个关键点的预测类别、所述每个关键点的预测位置信息，和所述样本图像中携带的标注结果，确定第二损失值；其中，所述标注结果包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息；
基于所述第一损失值和所述第二损失值，对所述待训练神经网络进行训练，得到预先训练好的目标神经网络。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
行为类型确定模块307，用于基于每个目标对象对应的所述关键点信息，确定该目标对象的行为类型。
一种可能的实施方式中，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
特效生成模块308，用于基于每个目标对象对应的所述关键点信息，确定该目标对象的至少一个目标部位的位置信息，并根据所述至少一个目标部位的位置信息，生成针对所述至少一个目标部位的特效信息。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
获取待检测图像；
基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的关键点检测方法的步骤。
本公开实施例所提供的关键点检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的关键点检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种关键点检测方法，其特征在于，包括：
获取待检测图像；
基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
2.根据权利要求1所述的方法，其特征在于，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；
根据以下步骤确定所述初始关键点图模型中各个关键点的信息：
基于所述关键点热图，确定各个关键点的位置信息；
基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述初始关键点图模型中的每个所述关键点，基于所述关键点的信息和所述关键点图模型中与所述关键点之间存在连接边的其他关键点的信息，确定所述关键点的融合特征；
所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，包括：
基于所述初始关键点图模型中包含的每个所述关键点的融合特征，对所述初始关键点图模型进行多次所述连接边的剪枝处理。
4.根据权利要求1～3任一所述的方法，其特征在于，所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，包括：
针对当前关键点图模型执行第一处理过程：
基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，所述宏节点中包括聚类后的多个相邻关键点；并基于每个所述宏节点中包括的关键点的融合特征，确定所述宏节点的融合特征；
基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
在执行完当前次的所述第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的所述宏节点以及所述宏节点的融合特征作为所述当前关键图模型中的关键点以及关键点的融合特征，并再次执行所述第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。
5.根据权利要求4所述的方法，其特征在于，所述基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，包括：
基于所述连接边对应的两个关键点的融合特征，确定所述连接边的权重，所述权重表征所述连接边对应的两个关键点属于同一目标对象的概率；
基于所述当前关键点图模型中包括的每条连接边的权重，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。
6.根据权利要求4所述的方法，其特征在于，所述基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型，包括：
基于得到的至少一个所述宏节点和所述当前关键点图模型，确定待删减连接边，并从所述当前关键点图模型中将所述待删减连接边删除；
将至少一个所述宏节点、和所述当前关键点图模型中除所述宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。
7.根据权利要求6所述的方法，其特征在于，所述基于得到的至少一个宏节点和所述当前关键点图模型，确定待删减连接边，包括：
基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边。
8.根据权利要求7所述的方法，其特征在于，基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的关键点之外的其他关键点的类别信息，确定所述待删减连接边，包括：
针对所述当前关键点图模型中的任一连接边，若该任一连接边对应的两个关键点为不同宏节点中的关键点，且该任一连接边对应的两个宏节点中存在类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点为同一宏节点中的关键点时，则确定该任一连接边为所述待删减连接边；
若该任一连接边对应的两个关键点中一个关键点为宏节点中的关键点、另一个关键点不是宏节点中的关键点，且该任一连接边对应的所述宏节点中存在与另一个关键点的类别信息相同的关键点时，则确定该任一连接边为所述待删减连接边。
9.根据权利要求1～8任一所述的方法，其特征在于，所述每个目标对象的关键点信息通过预先训练好的目标神经网络生成；其中，所述目标神经网络是由包括宏节点判别器的待训练神经网络训练得到的，所述宏节点判别器用于判别每个宏节点中包括的多个关键点是否属于同一目标对象。
10.根据权利要求9所述的方法，其特征在于，通过下述步骤对所述待训练神经网络进行训练，得到预先训练好的目标神经网络：
获取样本图像；
基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络。
11.根据权利要求10所述的方法，其特征在于，基于所述样本图像，对包括所述宏节点判别器的待训练神经网络进行训练，得到预先训练好的目标神经网络，包括：
基于所述样本图像，对所述待训练神经网络进行训练，得到预测结果，所述预测结果包括所述宏节点判别器的检测结果、每个关键点的预测类别、以及每个关键点的预测位置信息；
基于所述宏节点判别器的检测结果，确定第一损失值；以及基于所述每个关键点的预测类别、所述每个关键点的预测位置信息，和所述样本图像中携带的标注结果，确定第二损失值；其中，所述标注结果包括每个关键点属于对应目标对象的标注类别，以及每个关键点的标注位置信息；
基于所述第一损失值和所述第二损失值，对所述待训练神经网络进行训练，得到预先训练好的目标神经网络。
12.根据权利要求1～11任一所述的方法，其特征在于，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
基于每个目标对象对应的所述关键点信息，确定该目标对象的行为类型。
13.根据权利要求1～11任一所述的方法，其特征在于，在得到所述待检测图像中的每个目标对象的关键点信息之后，还包括：
基于每个目标对象对应的所述关键点信息，确定该目标对象的至少一个目标部位的位置信息，并根据所述至少一个目标部位的位置信息，生成针对所述至少一个目标部位的特效信息。
14.一种关键点检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；
第一生成模块，用于基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象的关键点之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
第二生成模块，用于基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
处理模块，用于对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。
15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的关键点检测方法的步骤。
16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一所述的关键点检测方法的步骤。
CN202010622135.7A 2020-06-30 2020-06-30 关键点检测方法、装置、电子设备及存储介质 Active CN111898642B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010622135.7A CN111898642B (zh) 2020-06-30 2020-06-30 关键点检测方法、装置、电子设备及存储介质
PCT/CN2021/076467 WO2022001123A1 (zh) 2020-06-30 2021-02-10 关键点检测方法、装置、电子设备及存储介质
JP2021565761A JP7182021B2 (ja) 2020-06-30 2021-02-10 キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体
TW110109419A TWI766618B (zh) 2020-06-30 2021-03-16 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622135.7A CN111898642B (zh) 2020-06-30 2020-06-30 关键点检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111898642A true CN111898642A (zh) 2020-11-06
CN111898642B CN111898642B (zh) 2021-08-13

Family

ID=73191965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622135.7A Active CN111898642B (zh) 2020-06-30 2020-06-30 关键点检测方法、装置、电子设备及存储介质

Country Status (4)

Country Link
JP (1) JP7182021B2 (zh)
CN (1) CN111898642B (zh)
TW (1) TWI766618B (zh)
WO (1) WO2022001123A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465006A (zh) * 2020-11-24 2021-03-09 中国人民解放军海军航空大学 一种图神经网络目标跟踪方法及装置
CN112561054A (zh) * 2020-12-03 2021-03-26 中国科学院光电技术研究所 一种基于批量特征热图的神经网络滤波器剪枝方法
CN112580652A (zh) * 2020-12-24 2021-03-30 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113408568A (zh) * 2021-04-16 2021-09-17 科大讯飞股份有限公司 对象关键点的检测模型训练的相关方法、装置、设备
CN113850245A (zh) * 2021-11-30 2021-12-28 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
WO2022001106A1 (zh) * 2020-06-30 2022-01-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
WO2022001123A1 (zh) * 2020-06-30 2022-01-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
JP7406606B2 (ja) 2022-03-21 2023-12-27 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド テキスト認識モデルの訓練方法、テキスト認識方法及び装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019136B (zh) * 2022-08-05 2022-11-25 山东圣点世纪科技有限公司 抗边界点漂移的目标关键点检测模型训练方法及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
WO2020042895A1 (en) * 2018-08-28 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
WO2020046831A1 (en) * 2018-08-27 2020-03-05 TalkMeUp Interactive artificial intelligence analytical system
US10643085B1 (en) * 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
CN111341438B (zh) * 2020-02-25 2023-04-28 中国科学技术大学 图像处理方法、装置、电子设备及介质
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111898642B (zh) * 2020-06-30 2021-08-13 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042895A1 (en) * 2018-08-28 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
US20200074678A1 (en) * 2018-08-28 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEJANDRO NEWELL 等: "Associative Embedding: End-to-End Learning for Joint Detection and Grouping", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
YUE WANG等: "Dynamic Graph CNN for Learning on Point Clouds", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022001123A1 (zh) * 2020-06-30 2022-01-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
WO2022001106A1 (zh) * 2020-06-30 2022-01-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN112465006A (zh) * 2020-11-24 2021-03-09 中国人民解放军海军航空大学 一种图神经网络目标跟踪方法及装置
CN112465006B (zh) * 2020-11-24 2022-08-05 中国人民解放军海军航空大学 一种图神经网络目标跟踪方法及装置
CN112561054A (zh) * 2020-12-03 2021-03-26 中国科学院光电技术研究所 一种基于批量特征热图的神经网络滤波器剪枝方法
CN112580652A (zh) * 2020-12-24 2021-03-30 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112580652B (zh) * 2020-12-24 2024-04-09 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112598070B (zh) * 2020-12-25 2023-07-28 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113408568A (zh) * 2021-04-16 2021-09-17 科大讯飞股份有限公司 对象关键点的检测模型训练的相关方法、装置、设备
CN113408568B (zh) * 2021-04-16 2024-04-16 科大讯飞股份有限公司 对象关键点的检测模型训练的相关方法、装置、设备
CN113850245A (zh) * 2021-11-30 2021-12-28 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
JP7406606B2 (ja) 2022-03-21 2023-12-27 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド テキスト認識モデルの訓練方法、テキスト認識方法及び装置

Also Published As

Publication number Publication date
WO2022001123A1 (zh) 2022-01-06
CN111898642B (zh) 2021-08-13
JP7182021B2 (ja) 2022-12-01
JP2022543954A (ja) 2022-10-17
TWI766618B (zh) 2022-06-01
TW202203212A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
CN111898642B (zh) 关键点检测方法、装置、电子设备及存储介质
CN110175527B (zh) 行人再识别方法及装置、计算机设备及可读介质
CN108416198B (zh) 人机识别模型的建立装置、方法及计算机可读存储介质
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN111783882B (zh) 关键点检测方法、装置、电子设备及存储介质
CN112949780A (zh) 特征模型训练方法、装置、设备及存储介质
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN111553127A (zh) 一种多标记的文本类数据特征选择方法及装置
CN103415825A (zh) 用于手势识别的系统和方法
US9798958B2 (en) Biometric information registration device and method
CN113223013B (zh) 一种肺血管分段定位的方法、装置、设备及存储介质
CN110020638B (zh) 人脸表情识别方法、装置、设备和介质
CN112925938A (zh) 一种图像标注方法、装置、电子设备及存储介质
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN109871866B (zh) 用于医院内感染预测的模型训练方法、装置、设备及介质
CN111783088B (zh) 一种恶意代码家族聚类方法、装置和计算机设备
CN110196924B (zh) 特征信息库的构建、目标对象的追踪方法及装置
CN112949305B (zh) 负反馈信息采集方法、装置、设备及存储介质
CN110059180B (zh) 文章作者身份识别及评估模型训练方法、装置及存储介质
CN114970490A (zh) 一种文本标注数据的质检方法、装置、电子设备以及存储介质
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置
CN112309586A (zh) 提高医疗机器人推送信息与用户病症适配度的方法及系统
Chida et al. Enhanced Encoding with Improved Fuzzy Decision Tree Testing Using CASP Templates
CN114742060B (zh) 实体识别方法、装置、电子设备及存储介质
Ó Conaire et al. User Localisation using Visual Sensing and RF signal strength

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030830

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant