CN113111849B - 人体关键点检测方法、装置、系统与计算机可读介质 - Google Patents

人体关键点检测方法、装置、系统与计算机可读介质 Download PDF

Info

Publication number
CN113111849B
CN113111849B CN202110478065.7A CN202110478065A CN113111849B CN 113111849 B CN113111849 B CN 113111849B CN 202110478065 A CN202110478065 A CN 202110478065A CN 113111849 B CN113111849 B CN 113111849B
Authority
CN
China
Prior art keywords
face
human body
key points
polar coordinate
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110478065.7A
Other languages
English (en)
Other versions
CN113111849A (zh
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Publication of CN113111849A publication Critical patent/CN113111849A/zh
Application granted granted Critical
Publication of CN113111849B publication Critical patent/CN113111849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人体关键点检测方法、装置、系统与计算机可读介质，采用极坐标变换预处理人体图像数据，并在极坐标图像的人体关键点坐标构成的训练集基础上训练得到用于检测极坐标图像的人体关键点的检测模型，在实际检测时，先利用人脸检测器检测出人脸检测框，再对图像进行极坐标变换后，通过检测模型获得极坐标图像的人体关键点，最后变换到直角坐标系下，从而提升人体关键点检测模型精度的人体关键点检测方法。本发明采用极坐标变换预处理人体图像数据，一方面降低训练难度；另一方面由于人脸关键点数量远多于身体关键点，经变换能够提升图像中人脸的占比，更准确地预测人脸关键点，进而提升人体关键点检测的整体性能。

Description

人体关键点检测方法、装置、系统与计算机可读介质
技术领域
本发明涉及图像处理技术领域，尤其是人脸检测与识别，具体而言涉及一种基于极坐标变换的人体关键点检测方法、装置、系统与计算机可读介质。
背景技术
人体目标识别是基于计算机视觉技术的重要应用，通过前端部署的摄像头采集的图像，在边缘设备或者后台服务器进行目标识别处理，从而进行诸如人流量计数、控制等策略处理，或者基于目标识别进行诸如动作预测、动画生产等后续应用。
人体目标识别处理的过程包括目标检测和目标定位。目标检测是指从采集的图像中提取出人体大概的位置，裁剪得到人体图像，可通过训练目标检测器(即检测模型)实现。目标定位是指从人体图像中进行人体关键点定位，即检测人体图像中脸部、肢体的关键点位置，例如，通过训练关键点检测器(即检测模型)实现。但找非受控场景下，人体图像数据变化较大，人群数量、拍摄角度、位置、着装、姿态、遮挡以及背景环境差别较大，对于人体关键点检测来说，难度较大。
现有技术中，人体关键点检测方法主要分为两类，其中一类方法是先检测图像中的人体位置，截取出人体图像，再检测人体图像中的关键点。但在人体图像中，脸部在整个人体图像中占比很小，导致直接根据脸部关键点和肢体关键点标注数据直接训练的模型并预测脸部关键点的预测结果不准确，而脸部的关键点的数量往往较多，肢体关键点数量较少，因此会影响人体关键点检测的整体精度。另一类方法是分别检测人体和人脸位置，截取出人体和人脸图像，再分别检测肢体和脸部关键点，这种方法虽然精度较高但需要多个模型预测，计算耗时。
发明内容
本发明目的在于提供一种采用极坐标变换预处理人体图像数据，提升人体关键点检测模型精度的人体关键点检测方法。
本发明的第一方面提出一种基于极坐标变换的人体关键点检测方法，包括：
步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；
步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；
步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据；
步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；
步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的变换，将待检测图像变换为极坐标图像；
步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及
步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点。
本发明的第二方面提出一种基于极坐标变换的人体关键点检测装置，包括：
用于获取M张包含人体的彩色图像的模块，M为大于1000的自然数；
用于对每幅彩色图像标注N个人体关键点，得到标注数据的模块；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
用于根据标注的人脸关键点的坐标确定彩色图像的人脸边界框的模块；
用于以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，并根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据的模块；
用于基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型的模块；
用于对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后进行极坐标系的变换，将待检测图像变换为极坐标图像的模块；
用于使用训练的人体关键点检测模型检测极坐标图像中的人体关键点的模块；以及
用于将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点的模块。
本发明的第三方面提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作前述基于极坐标变换的人体关键点检测方法的流程。
本发明的第四方面提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作前述的基于极坐标变换的人体关键点检测方法的流程。
由于非受控场景下的人体图像数据变化较大，且脸部占比小，给人体关键点检测模型的训练带来了难度。本发明采用极坐标变换预处理人体图像数据，一方面能够将数据调整到统一的模式，降低训练难度；另一方面由于人脸关键点数量远多于身体关键点，经变换能够提升图像中人脸的占比，更准确地预测人脸关键点，进而提升人体关键点检测的整体性能。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是根据本发明示例性实施例的人体关键点检测模型的训练过程示意图。
图2是本发明人体关键点检测模型的模型结构示意图。
图3是根据本发明图1所示实施例的模型进行人体关键点检测的过程示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
人体关键点检测方法
结合图1至3所示，根据本发明实施例的基于极坐标变换的人体关键点检测方法，以人脸为中心对图像和标注的关键点坐标进行极坐标变换，使用变换后的数据训练人体关键点检测模型，作为示例的实现过程包括：
步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；
步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点，结合图1；
步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；
步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据；
步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；
步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，例如可以利用预先训练的人脸检测器(例如Dlib工具)实现，然后根据所述步骤4的方法进行极坐标系的变换，将待检测图像变换为极坐标图像，如图3所示；
步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及
步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点。
在步骤1中，通过采集大量包含人体的彩色图像M张来构建训练集的基础图像，M大于1000。尤其是，图像数据尽可能覆盖各种场景，如不同人群、着装、姿态、遮挡以及背景环境等。
优选地，在步骤2中，对每幅彩色图像标注N个人体关键点，得到的标注数据如下：
Figure GDA0003735918150000041
其中，
Figure GDA0003735918150000042
为第m幅图像
Figure GDA0003735918150000043
的第n个关键点坐标，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1。
在步骤3中，对应地将所述人体关键点的标注数据通过极坐标变换后，得到极坐标系下的数据如下：
{[I0，(p0，0，p0，1，...，p0，N-1)]，[I1，(p1，0，p1，1，...，p1，N-1)]，...，[IM-1，(pM-1，0，PM-1，1，...，pM-1，N-1)]}
其中，pm，n＝(ρm，n，θm，n)为第m幅极坐标图像Im的第n个关键点的极坐标，极坐标图像的边长为L，L为正整数。可选地，边长L取值为64或者128。
优选地，在步骤4中，极坐标的变换采用opencv图像处理库中的warpPolar方法，其中dsize设置为L，参数center设置为人脸边界框的中心点，参数maxRadius设置为4am；
则，人体关键点的极坐标变换公式为：
Figure GDA0003735918150000051
其中，am表示人脸边界框的长边的长度，(xface，m，yface，m)表示人脸边界框的中心点。
优选地，如图2所示，在步骤5中，人体关键点检测模型的训练采用由由卷积层、最大值池化层和全连接层组成的训练模型，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding，最大值池化层的池化窗口大小为2×2、步长为2；第一个全连接层神经元数为1024，第二个全连接层神经元数为2N；各卷积层和第一个全连接层后采用ReLU激活函数激活。
模型训练过程中，第m个数据的损失函数为
Figure GDA0003735918150000052
其中(ρm，n，θm，n)为数据集中第m个训练样本的第n个人体关键点的极坐标，(ρ′m，n，θ′m，n)为模型对第m个训练图像预测的第n个人体关键点的极坐标。
从而，训练得到用于检测极坐标图像中人体关键点的人体关键点检测模型。
在此基础上，对于输入的待检测的图像，可通过人脸检测器检测出人脸框，然后根据人脸框确定出人脸中心点和人脸尺寸，对待检测图像进行极坐标的变换，变换成极坐标图像，再通过前述训练好的人体关键点检测模型检测人体关键点。
在得到极坐标图像中的人体关键点之后，在步骤8中，对于人体关键点检测模型输出的极坐标图像中的关键点(ρtest，n，θtest，n)，通过如下方式将极坐标图像中的关键点变换回直角坐标系，得到测试图像的人体关键点(xtest，n，ytest，n)：
xtest，n＝xtest，face+ρtest，n/L·4atest·cos(θtest，n/L*2π)
ytest，n＝ytest，face+ρtest，n/L·4atest·sin(θtest，n/L*2π)
其中，(xtest，face，ytest，face)表示人脸检测框的中心点的坐标，atest表示人脸检测框的长边的长度，使用opencv图像处理库中的warpPolar方法进行极坐标变换时，参数dsize设置为L，参数center设置为人脸边界框的中心点(xface，m，yface，m)，参数maxRadius设置为4atest。
由此，本发明的人体关键点检测方法采用极坐标变换将人体关键点数据从直角坐标系变换到极坐标系，训练人体关键点模型，在检测时根据人脸检测框的坐标来进行人脸位置定位后，将图像转到极坐标下，通过人体关键点模型检测极坐标下的关键点后，再变换到直角坐标系下，得到最终的输出。
相比现有方法，本发明的人体关键点检测方法的显著优点在于：
1.有效地将数据标准化到统一的形态，克服了开放场景下数据变化大的问题，降低了训练难度；
2.极坐标变换能够提高脸部占比，有助于脸部关键点的预测，进而提升人体关键点整体精度。
3.相比肢体、人脸关键点分开预测的方法，本发明方法只需一个人脸检测器和一个关键点检测器，计算开销小。
测试过程
为进一步验证本发明的人体关键点检测的有效性，先按照图1实施例的方法准备12000组已标注的人体关键点数据，包括10000组训练数据和2000组测试数据。数据覆盖多种人群、着装、姿态、遮挡以及背景环境。并通过构建的极坐标下的关键点坐标，训练人体关键点模型，并在测试数据数据上验证。
对比直接使用直角坐标数据训练的现有方法，采用归一化的平均误差作为评价指标，即预测坐标和标注坐标的欧氏距离除以人体边界框的对角线长度。
本发明的人体关键点检测结果与现有方法的检测结果对比结果如下表1所示。
表1现有方法和本发明方法测试效果对比
归一化的平均误差
现有方法 6.32％
本发明方法 4.75％
由此可以看出，采用本发明方法训练模型能够有效提升模型精度，相比现有方法测试误差降低了1.57％。
基于极坐标变换的人体关键点检测装置
根据本发明的公开，还提出一种基于极坐标变换的人体关键点检测装置，包括：
用于获取M张包含人体的彩色图像的模块，M为大于1000的自然数；
用于对每幅彩色图像标注N个人体关键点，得到标注数据的模块；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
用于根据标注的人脸关键点的坐标确定彩色图像的人脸边界框的模块；
用于以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，并根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据的模块；
用于基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型的模块；
用于对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的变换，将待检测图像变换为极坐标图像的模块；
用于使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点的模块；以及
用于将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点的模块。
应当理解，本实施例的基于极坐标变换的人体关键点检测装置的各个模块的功能和实现可基于前述基于极坐标变换的人体关键点检测方法的具体操作来实现。
计算机系统
根据本发明的公开，还提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述基于极坐标变换的人体关键点检测方法的流程，尤其是结合图1、2实现的检测方法的过程。
计算机可读介质
一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述基于极坐标变换的人体关键点检测方法的流程，尤其是结合图1、2实现的检测方法的过程。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于极坐标变换的人体关键点检测方法，其特征在于，包括：
步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；
步骤2、对每幅彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框，以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸；
步骤4、以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据；
步骤5、基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型；
步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行极坐标系的变换，将待检测图像变换为极坐标图像；
步骤7、使用步骤5训练的人体关键点检测模型检测极坐标图像中的人体关键点；以及
步骤8、将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点；
其中，在所述步骤2中，对每幅彩色图像标注N个人体关键点，得到的标注数据表达为：
Figure FDA0003735918140000011
其中，
Figure FDA0003735918140000012
为第m幅图像
Figure FDA0003735918140000013
的第n个关键点坐标，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1；
并且在所述步骤4中，对应地将人体关键点的标注数据通过极坐标变换后，得到极坐标系下的数据如下：
{[I0，(p0，0，p0，1，...，p0，N-1)]，[I1，(p1，0，p1，1，...，p1，N-1)]，...，[IM-1，(pM-1，0，pM-1，1，...，pM-1，N-1)]}
其中，pm，n＝(ρm，n，θm，n)为第m幅极坐标图像Im的第n个关键点的极坐标，极坐标图像的边长为L，L为正整数；
在所述步骤4中，极坐标的变换采用opencv图像处理库中的warpPolar方法，其中dsize设置为L，参数center设置为人脸边界框的中心点，参数maxRadius设置为4am；
则，人体关键点的极坐标变换公式为：
Figure FDA0003735918140000021
其中，am表示人脸边界框的长边的长度，(xface，m，yface，m)表示人脸边界框的中心点。
2.根据权利要求1所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤2中，边长L取值为64或者128。
3.根据权利要求1所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤5中，人体关键点检测模型的训练采用由卷积层、最大值池化层和全连接层组成的训练模型，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding，最大值池化层的池化窗口大小为2×2、步长为2；第一个全连接层神经元数为1024，第二个全连接层神经元数为2N；各卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练过程中，第m个数据的损失函数为
Figure FDA0003735918140000022
其中(ρm，n，θm，n)为数据集中第m个训练样本的第n个人体关键点的极坐标，(ρ′m，n，θ′m，n)为模型对第m个训练图像预测的第n个人体关键点的极坐标。
4.根据权利要求1所述的基于极坐标变换的人体关键点检测方法，其特征在于，所述步骤8中，对于人体关键点检测模型输出的极坐标图像中的关键点(ρtest，n，θtest，n)，通过如下方式将极坐标图像中的关键点变换回直角坐标系，得到测试图像的人体关键点(xtest，n，ytest，n)：
xtest，n＝xtest，face+ρtest，n/L·4atest·cos(θtest，n/L*2π)
ytest，n＝ytest，face+ρtest，n/L·4atest·sin(θtest，n/L*2π)
其中，(xtest，face，ytest，face)表示人脸检测框的中心点的坐标，atest表示人脸检测框的长边的长度，使用opencv图像处理库中的warpPolar方法进行极坐标变换时，参数dsize设置为L，参数center设置为人脸边界框的中心点(xface，m，yface，m)，参数maxRadius设置为4atest。
5.一种基于极坐标变换的人体关键点检测装置，其特征在于，包括：
用于获取M张包含人体的彩色图像的模块，M为大于1000的自然数；
用于对每幅彩色图像标注N个人体关键点，得到标注数据的模块；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；
用于根据标注的人脸关键点的坐标确定彩色图像的人脸边界框的模块；
用于以人脸边界框的中心点为人脸中心点，以边界框长边的长度为人脸尺寸，并根据人脸中心点和人脸尺寸，将人体关键点从直角坐标系变换到极坐标系，得到极坐标系下的标注数据的模块；
用于基于极坐标系下的标注数据，训练用于预测人体极坐标图像中的人体关键点的人体关键点检测模型的模块；
用于对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后进行极坐标系的变换，将待检测图像变换为极坐标图像的模块；
用于使用训练的人体关键点检测模型检测极坐标图像中的人体关键点的模块；以及
用于将极坐标图像中的人体关键点变换回直角坐标系，得到待检测图像的人体关键点的模块；
其中，对每幅彩色图像标注N个人体关键点，得到的标注数据表达为：
Figure FDA0003735918140000031
其中，
Figure FDA0003735918140000032
为第m幅图像
Figure FDA0003735918140000033
的第n个关键点坐标，m＝0，1，2，...，M-1，n＝0，1，2，...，N-1；
将人体关键点的标注数据通过极坐标变换后，得到极坐标系下的数据如下：
[[I0，(p0，0，p0，1，...，p0，N-1)]，[I1，(p1，0，p1，1，...，p1，N-1)]，...，[IM-1，(pM-1，0，pM-1，1，...，pM-1，N-1)]}
其中，pm，n＝(ρm，n，θm，n)为第m幅极坐标图像Im的第n个关键点的极坐标，极坐标图像的边长为L，L为正整数；
其中，极坐标变换采用opencv图像处理库中的warpPolar方法，其中dsize设置为L，参数center设置为人脸边界框的中心点，参数maxRadius设置为4am；
则，人体关键点的极坐标变换公式为：
Figure FDA0003735918140000034
其中，am表示人脸边界框的长边的长度，(xface，m，yface，m)表示人脸边界框的中心点。
6.一种计算机系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如权利要求1-4中任意一项所述的基于极坐标变换的人体关键点检测方法的流程。
7.一种存储软件的计算机可读介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如权利要求1-4中任意一项所述的基于极坐标变换的人体关键点检测方法的流程。
CN202110478065.7A 2021-04-25 2021-04-30 人体关键点检测方法、装置、系统与计算机可读介质 Active CN113111849B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110448893 2021-04-25
CN2021104488936 2021-04-25

Publications (2)

Publication Number Publication Date
CN113111849A CN113111849A (zh) 2021-07-13
CN113111849B true CN113111849B (zh) 2022-08-16

Family

ID=76720563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478065.7A Active CN113111849B (zh) 2021-04-25 2021-04-30 人体关键点检测方法、装置、系统与计算机可读介质

Country Status (1)

Country Link
CN (1) CN113111849B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601811B (zh) * 2022-10-17 2024-07-16 北京京东拓先科技有限公司 面部痤疮的检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807448A (zh) * 2020-01-07 2020-02-18 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、系统以及模型训练方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884116B2 (en) * 2016-08-25 2021-01-05 Shenzhen Cct Thz Technology Co., Ltd. Human-body foreign-matter detection method and system based on millimetre-wave image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807448A (zh) * 2020-01-07 2020-02-18 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、系统以及模型训练方法
CN111178337A (zh) * 2020-01-07 2020-05-19 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、系统以及模型训练方法

Also Published As

Publication number Publication date
CN113111849A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
WO2019223102A1 (zh) 身份合法性的校验方法、装置、终端设备及介质
CN107506693B (zh) 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN111881770B (zh) 一种人脸识别方法及系统
CN101339607B (zh) 人脸识别方法及系统、人脸识别模型训练方法及系统
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN109753891A (zh) 基于人体关键点检测的足球运动员姿势校准方法及系统
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN111079785A (zh) 一种图像识别方法、装置及终端设备
CN108647597B (zh) 一种手腕识别方法、手势识别方法、装置和电子设备
CN109947273B (zh) 一种点读定位方法及装置
CN108009472A (zh) 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN105512599A (zh) 人脸识别方法及人脸识别系统
CN112101542A (zh) 机器学习模型的训练方法、装置、人脸的识别方法和装置
CN111626246A (zh) 口罩遮挡下的人脸对齐方法
CN110796108A (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN111199558A (zh) 一种基于深度学习的图像匹配方法
CN113111850B (zh) 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统
CN113111849B (zh) 人体关键点检测方法、装置、系统与计算机可读介质
CN111950554A (zh) 一种身份证识别方法、装置、设备及存储介质
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder