CN111860300A - 一种关键点检测方法、装置、终端设备及存储介质 - Google Patents
一种关键点检测方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111860300A CN111860300A CN202010693887.2A CN202010693887A CN111860300A CN 111860300 A CN111860300 A CN 111860300A CN 202010693887 A CN202010693887 A CN 202010693887A CN 111860300 A CN111860300 A CN 111860300A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- heat map
- detected
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 116
- 230000009467 reduction Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种关键点检测方法、装置、终端设备及存储介质。所述方法包括：获取待检测图像；将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。利用该方法，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种关键点检测方法、装置、终端设备及存储介质。
背景技术
关键点检测是一项很重要的技术，如人脸识别，三维(3-dimension，3D)人脸重建，人脸表情识别，人脸姿态估计等技术都严重依赖人脸关键点检测的精度。目前常见的关键点检测有两类方法：基于回归的方法和基于热图的方法。
基于回归的方法直接预测t(t为正整数)个关键点的坐标位置，计算量较小，但是对于复杂场景不够鲁棒。基于热图的方法预测的是t张关键点的热图，然后将峰值点的坐标乘以相应的放大倍数得到该热图对应的关键点坐标，该方法在复杂场景下较鲁棒，但是很难达到像素级别的准确度。
发明内容
本发明实施例提供了一种关键点检测方法、装置、终端设备及存储介质，在保证复杂场景下鲁棒性的情况下，提升了关键点检测的准确度。
第一方面，本发明实施例提供了一种关键点检测方法，包括：
获取待检测图像；
将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
进一步地，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
进一步地，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。
进一步地，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。
进一步地，所述基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息，包括：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
第二方面，本发明实施例还提供了一种关键点检测装置，包括：
获取模块，用于获取待检测图像；
输入模块，用于将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
确定模块，用于基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
进一步地，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
进一步地，确定模块，具体用于：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的关键点检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的关键点检测方法。
本发明实施例提供了一种关键点检测方法、装置、终端设备及存储介质，首先获取待检测图像；其次将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；然后基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。利用上述技术方案，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。
附图说明
图1为本发明实施例一提供的一种关键点检测方法的流程示意图；
图1a为本发明实施例一提供的一种关键点检测的场景示意图；
图1b为本发明实施例一提供的一种热图和偏移量的示意图；
图2为本发明实施例二提供的一种关键点检测装置的结构示意图；
图3为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
实施例一
图1为本发明实施例一提供的一种关键点检测方法的流程示意图，该方法可适用于关键点检测的情况，该方法可以由关键点检测装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：电脑。本发明不限定关键检测的适用场景，可以对任意场景下的图像进行关键点检测，示例性的，可以对人脸进行关键点检测。
如图1所示，本发明实施例一提供的一种关键点检测方法，包括如下步骤：
S110、获取待检测图像。
在本实施例中，待检测图像可以认为是一种待进行关键点检测的图像，如人脸图像，即包含人脸的图像。待检测图像的获取手段不作限定可以基于实际情况确定。如通过人机交互界面获取用户输入的待检测图像，该人机交互界面可以供用户上传待检测图像；又如直接获取图像采集设备采集的待检测图像，图像采集设备可以为进行图像采集的设备。
获取待检测图像后，可以对待检测图像进行分析以进行关键点检测。
S120、将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量。
特征模型可以认为是进行热图和偏移量预测的模型。特征模型可以基于神经网络训练得到。特征模型在训练时可以将训练用图像、训练用热图和训练用偏移量作为训练样本集。在训练结束后，将待检测图像输入特征模型后，输出该待检测图像对应的热图和偏移量。
其中，训练用图像可以认为是模型训练阶段作为样本的图像。训练用热图可以认为是模型训练阶段作为样本的热图。训练用偏移量可以认为是模型训练阶段作为样本的偏移量。一张训练用图像可以对应有多张训练用热图。每张热图可以用于确定训练用图像中的一个关键点。一张热图所对应的偏移量可以包括x轴方向的坐标偏差和y轴方向的偏差。
特征模型输出的热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像。此处不对缩小比例进行限定，本发明中特征模型输出热图的尺寸可以为恒定的，不同尺寸的待检测图像对应有不同的缩小比例。
特征模型输出的偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差。热图中的像素点不作限定可以为热图中所有像素点；也可以为热图中峰值点；还可以为热图中所有非零像素点。相应的，偏移量可以表征热图中峰值点与待检测图像中对应的关键点的坐标偏差；还可以表征热图中所有非零像素点与待检测图像中对应的关键的坐标偏差，即热图中一个非零像素点在检测图像中存在一个关键点。
在偏移量表征热图中峰值点与待检测图像中对应关键点的坐标偏差时，偏移量可以直接表征峰值点与待检测图像上对应关键点的坐标偏差；在偏移量表征热图中所有像素点与待检测图像中对应关键点的坐标偏差或偏移量表征热图中所有非零像素点与待检测图像上对应关键点的坐标偏差时，偏移量可以为a×b的矩阵，a和b的取值可以基于热图的尺寸确定，如热图的尺寸，即大小为64×64，则偏移量可以为64×64的矩阵，以保证热图中每个像素点或每个非零像素点均有对应的偏移量。
偏移量可以表征热图中像素点与待检测图像上对应关键点的坐标偏差。如，偏移量为热图中像素点乘以放大倍数后与待检测图像上对应像素点的坐标差值；又如偏移量为热图中像素点乘以放大倍数后与待检测图像上对应像素点的坐标差值的除以放大倍数的结果。需要注意的是，热图为待检测图像经过缩小处理后得到的图像，故热图上每个像素点均在待检测图像上存在对应的像素点，该像素点可作为后续进行图像分析的关键点。关键点可以认为是待检测图像中需要关注或分析的像素点。图像位置信息可以认为是关键点在待检测图像中的位置信息。位置信息可以认为是表征位置的信息，如坐标。
S130、基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
获取热图和偏移量后，本步骤可以基于热图和偏移量确定所述待检测图像上关键点的图像位置信息，如基于热图上的峰值点和偏移量确定待检测图像上对应该峰值点的关键点的图像位置信息。
本发明可以基于偏移量表征坐标偏差的具体方式，确定如何确定图像位置信息。示例性的，在偏移量为热图中像素点乘以放大倍数后与待检测图像上对应像素点的坐标差值时，图像位置信息可以为热图中峰值点的峰值位置信息与对应该峰值点的偏移量的和；在偏移量为热图中像素点乘以放大倍数后与待检测图像上对应像素点的坐标差值的除以放大倍数的结果时，图像位置信息可以为热图中峰值点的峰值位置信息与对应该峰值点的偏移量的和乘以放大倍数后的结果。
本发明实施例一提供的一种关键点检测方法，首先获取待检测图像；其次将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；最后基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。利用上述方法，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
预先构建的神经网络模型可以基于卷积神经网络构建。需要注意的是，特征模型训练阶段的训练用图像、训练用偏移量和训练用热图，与应用阶段的待检测图像、热图和偏移量可以相同也可以不同，可以为同一类型的数据，此处不作限定。
在一个实施例中，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。
在本实施例中，训练用偏移量可以仅包括峰值点与峰值点在训练用图像上对应关键点的坐标偏差。从而，在特征模型应用阶段，可以直接基于特征模型输出的热图的峰值点的峰值位置信息和偏移量确定图像位置信息，该偏移量即表征了峰值位置信息和图像位置信息的偏差。
在一个实施例中，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。
非零像素点可以认为是训练用热图中所有像素值非零的像素点。
在本实施例中，训练用偏移量通过包括训练用热图中所有非零像素点与训练用图像上对应的关键点的坐标偏差，能够有效的避免应用阶段，热图中峰值点预测错误导致的关键点确定错误的技术问题。
在应用阶段，偏移量可以包括热图中所有非零像素点与待检测图像中关键点的坐标偏差，在确定图像位置信息时，可以基于热图的峰值点的位置信息，选取对应该位置信息的偏移量，确定图像位置信息。
在一个实施例中，所述基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息，包括：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
峰值位置信息可以认为是峰值点在热图上的位置信息，如坐标。在偏移量仅包括热图中峰值点与对应关键点的坐标偏差时，特征模型输出的偏移量即可以确定为峰值位置信息对应的偏移量；在偏移量包括热图中非零像素点与对应关键点的坐标偏差时，峰值位置信息对应的偏移量可以基于峰值位置信息，从特征模型输出的偏移量中查找对应峰值位置信息的偏移量。
以下对本发明进行示例性的描述：
目前基于回归的方法进行人脸检测是将待检测图像缩放到一个设定的大小(256*256或128*128)，然后使用模型直接预测n个关键点的坐标位置，即一个2*n维的向量。该类方法在训练时直接以n个关键点的坐标值作为标签，指导模型进行训练。该类方法因为是直接让模型输出坐标值，输出的坐标值能够达到亚像素级的精度，计算量较小，速度相比基于heatmap的方法更快一些。但这类方法一个很大的缺点是对复杂场景的人脸以及大姿态的人脸不够鲁棒，因为在模型的训练中缺少语义信息进行监督，只是强行让模型去拟合人脸图像到坐标值的映射关系，在复杂场景下可能会输出完全错误的结果。
基于heatmap的方法也是先将人脸图像缩放到一个设定的大小(一般为256*256分辨率)，不同的是，该类方法使用训练好的模型预测n张关键点的响应图(即热图，heatmap，一般是输入图像的1/4或者1/8大小)，然后从n张响应图中获得峰值点的坐标，最后将峰值点的坐标乘以相应的放大倍数得到该heatmap对应的关键点的坐标。该类方法在训练时使用的标签就不是以n个关键点组成的2*n维向量，而是基于这n个关键点生成n张高斯分布的heatmap(heatmap的峰值在关键点所处的位置)。通过以这n张heatmap作为标签指导模型进行训练，在测试时输入一张人脸图像，让模型预测n张heatmap。因为响应图的峰值点具有很明确的关键点语义信息，因此可以让模型更容易学习到真正的预测机制。使其在复杂场景下也较鲁棒。但此类方法也有不足之处，由于heatmap一般只有输入图像的1/4或1/8大小，因此输入图像上的一个4×4(或8×8)的区域都会被映射到heatmap的一个点。也即是说，即使关键点被准确无误的预测在了相应的heatmap坐标上，实际上它对应到输入图像上也还有一个4×4范围内的不确定性(例如，假设一张1024×1024大小的人脸图像，其中一个关键点的坐标是x＝198,y＝198。则对应到64×64大小的heatmap上峰值的坐标为[198/16]＝12，因为0.375在像素中无法表示，需要舍弃。但在模型预测时，即使模型准确的将峰值点预测在x＝12，y＝12的位置，将其反算至原图对应的关键点坐标，也依旧差了6个像素)。为了减轻这种不确定性，当前一般的做法是在响应图峰值周围寻找亚峰值的方向，然后将峰值坐标在该方向上加0.5个像素作为预测结果。但这并不是根本性的解决办法，首先在训练中并没有显式的让模型学习亚峰值的朝向，因此亚峰值的方向并不一定真是关键点的偏移方向。其次这种方法依旧存在3个像素的不确定性。
本发明提供的关键点检测方法在进行关键点预测时引入了偏移量的预测分支，使用热图和偏移量一起描述关键点的位置信息，即图像位置信息。
图1a为本发明实施例一提供的一种关键点检测的场景示意图，参见图1a，本发明的特征模型可以有两个预测分支，即预测热图(heatmap)的分支和预测偏移量(offset)的分支，该特征模型可以基于卷积神经网络(Convolutional Neural Network，CNN)训练得到，如基于CNN backbone训练得到。将256×256的人脸图像输入至特征模型后，可以输出n对反映n个关键点的热图和该热图对应的偏移量。图1a中以n为68为例进行说明，特征模型的一个分支预测n张64×64的热图，另一个分支可以预测n张64×64×2的偏移量。
其中，n张热图的峰值点即为n个人脸关键点在64×64在热图上的位置。在训练时，生成热图的标签，即训练用热图，如计算n个关键点在每n张热图上相对应的正数坐标值，然后以该坐标为中心，r为半径，生成服从高斯分布的数值，半径r之外的像素点对应的数值均为0。
在一个实施例中，偏移量可以为2n维的向量，分别对应的是n个偏移量Δx,Δy。训练时，计算真实坐标值，即图像位置信息和热图的峰值位置信息的偏差，将其作为偏移量预测分支的标签。
在一个实施例中，特征模型可以预测2n张64×64大小的偏移量，每个关键点对应两张偏移量图，一张为x的偏移量，一张为y的偏移量。在训练时，为热图标签中所有不为0的像素都计算其和关键点的真实坐标，即图像位置信息的偏移量。偏移量的大小与热图大小相同，并为热图中所有不为0的像素点均设置有对应原图上关键点的偏移量，能够在热图中峰值预测出现偏差时，使用偏移量弥补回关键点的坐标。在特征模型预测时，可以从n张热图中找到n个峰值点，然后到对应该热图的偏移量中提取n个峰值点对应的x和y轴的坐标的偏移量，将峰值点坐标和偏移量相加，再根据相对原图的放大倍数反算出原图，即待检测图像中的关键点的坐标，即图像位置信息。其中，原图可以为特征模型输入的待检测图像。
图1b为本发明实施例一提供的一种热图和偏移量的示意图，参见图1b，特征模型可以输出n张热图和2n张偏移量图，即基于偏移量形成的图，每张热图对应2个偏移量图，即x轴方向的偏移量图和y轴方向的偏移量图。偏移量图可以反应对应热图中各像素点的坐标相对原图中相应像素点的坐标偏差。偏移量图可以作为训练用偏移量以用于进行特征模型的训练。基于特征模型进行关键点预测可以包括如下步骤：首先将待检测图像，如人脸图像输入特征模型得到设定数量的热图和偏移量，设定数量的取值可以基于训练时的训练样本集确定，此处不作限定，如取值为n，以确定n个关键点的图像位置信息。针对每个热图，确定该热图峰值点的坐标(xi,yi)并确定该峰值点对应的偏移量Δx,Δy。如，第i个热图上的峰值点坐标，即峰值位置信息为(xi,yi)，在第2i和2i+1的偏移量图上取(xi,yi)位置的数值，作为Δx,Δy。然后确定偏移量补偿后的坐标(x,y)＝(xi+Δx,yi+Δy)，然后根据热图与人脸图像的缩小比例和补偿后的坐标，计算出该热图对应的关键点的坐标，即图像位置信息。遍历n个热图，以得到n个关键点的图像位置信息。
本发明提供的关键点检测方法通过增设偏移量预测分支，能够实现亚像素级的定位精确度，同时保证了关键点预测的鲁棒性。本发明中的关键点检测中，每张热图只允许出现一个峰值点，即第i张热图用于预测人脸图像中第i个关键点的位置。热图中的像素点是实实在在代表的点。本发明提供的偏移量可以为热图中峰值点与该热图对应的关键点的坐标的差值；也可以为热图中峰值点坐标乘以放大倍数后，与热图对应的关键点的坐标的差值。本发明考虑了原图关键点降采样到热图上所产生的量化误差，故引入了偏移量分支弥补该量化误差。本发明在进行关键点检测时所检测出的关键点的个数是确定的。
实施例二
图2为本发明实施例二提供的一种关键点检测装置的结构示意图，该装置可适用于进行人脸检测的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。
如图2所示，该装置包括：
获取模块21，用于获取待检测图像；
输入模块22，用于将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
确定模块23，用于基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
在本实施例中，该装置首先通过获取模块21获取待检测图像；其次通过输入模块22将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；然后通过确定模块23基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
本实施例提供了一种关键点检测装置，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。
进一步地，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
进一步地，确定模块，具体用于：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
进一步地，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。
进一步地，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。
上述关键点检测装置可执行本发明任意实施例所提供的关键点检测方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的一种终端设备的结构示意图。如图3所示，本发明实施例三提供的终端设备包括：一个或多个处理器31和存储装置32；该终端设备中的处理器31可以是一个或多个，图3中以一个处理器31为例；存储装置32用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器31执行，使得所述一个或多个处理器31实现如本发明实施例中任一项所述的关键点检测方法。
所述终端设备还可以包括：输入装置33和输出装置34。
终端设备中的处理器31、存储装置32、输入装置33和输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
该终端设备中的存储装置32作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供关键点检测方法对应的程序指令/模块(例如，附图2所示的装置中的模块，包括：获取模块21、输入模块22和确定模块23)。处理器31通过运行存储在存储装置32中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中关键点检测方法。
存储装置32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器31执行时，程序进行如下操作：
获取待检测图像；
将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行关键点检测方法，该方法包括：
获取待检测图像；
将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的关键点检测方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种关键点检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
2.根据权利要求1所述的方法，其特征在于，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
3.根据权利要求2所述的方法，其特征在于，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。
4.根据权利要求2所述的方法，其特征在于，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。
5.根据权利要求1所述的方法，其特征在于，所述基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息，包括：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
6.一种关键点检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；
输入模块，用于将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
确定模块，用于基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。
7.根据权利要求6所述的装置，其特征在于，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。
8.根据权利要求6所述的装置，其特征在于，确定模块，具体用于：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的关键点检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的关键点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693887.2A CN111860300A (zh) | 2020-07-17 | 2020-07-17 | 一种关键点检测方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693887.2A CN111860300A (zh) | 2020-07-17 | 2020-07-17 | 一种关键点检测方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860300A true CN111860300A (zh) | 2020-10-30 |
Family
ID=73000484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010693887.2A Pending CN111860300A (zh) | 2020-07-17 | 2020-07-17 | 一种关键点检测方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860300A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348035A (zh) * | 2020-11-11 | 2021-02-09 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆关键点检测方法、装置及电子设备 |
| CN112507954A (zh) * | 2020-12-21 | 2021-03-16 | 深圳市优必选科技股份有限公司 | 一种人体关键点识别方法、装置、终端设备及存储介质 |
| CN112560584A (zh) * | 2020-11-27 | 2021-03-26 | 北京芯翌智能信息技术有限公司 | 一种人脸检测方法及装置、存储介质、终端 |
| CN112686878A (zh) * | 2021-01-05 | 2021-04-20 | 北京大学口腔医学院 | 颞下颌关节cbct图像关键点的定位方法和装置 |
| CN112712061A (zh) * | 2021-01-18 | 2021-04-27 | 清华大学 | 适用于多方向交警指挥手势的识别方法、系统及存储介质 |
| CN113033524A (zh) * | 2021-05-26 | 2021-06-25 | 北京的卢深视科技有限公司 | 遮挡预测模型训练方法、装置、电子设备及存储介质 |
| CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
| CN113569754A (zh) * | 2021-07-29 | 2021-10-29 | 平安科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及计算机可读存储介质 |
| CN113689417A (zh) * | 2021-09-01 | 2021-11-23 | 广州丰石科技有限公司 | 一种无人机航拍低空遥感图像的变化检测方法及系统 |
| CN113706600A (zh) * | 2021-08-19 | 2021-11-26 | 北京欧应信息技术有限公司 | 用于测量身体部位的关键尺寸的方法、设备和介质 |
| CN114186632A (zh) * | 2021-12-10 | 2022-03-15 | 北京百度网讯科技有限公司 | 关键点检测模型的训练方法、装置、设备、存储介质 |
| CN114511613A (zh) * | 2020-11-16 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 关键点检测方法、模型训练方法、装置、设备和存储介质 |
| CN114973334A (zh) * | 2022-07-29 | 2022-08-30 | 浙江大华技术股份有限公司 | 人体部件关联方法、装置、电子装置和存储介质 |
| CN117011964A (zh) * | 2023-08-02 | 2023-11-07 | 广州市图威信息技术服务有限公司 | 门禁系统及门禁监控方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
| CN111223143A (zh) * | 2019-12-31 | 2020-06-02 | 广州市百果园信息技术有限公司 | 关键点检测方法、装置及计算机可读存储介质 |
| CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置和计算机可读存储介质 |
-
2020
- 2020-07-17 CN CN202010693887.2A patent/CN111860300A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN111223143A (zh) * | 2019-12-31 | 2020-06-02 | 广州市百果园信息技术有限公司 | 关键点检测方法、装置及计算机可读存储介质 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
| CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置和计算机可读存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348035A (zh) * | 2020-11-11 | 2021-02-09 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆关键点检测方法、装置及电子设备 |
| CN112348035B (zh) * | 2020-11-11 | 2024-05-24 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆关键点检测方法、装置及电子设备 |
| CN114511613A (zh) * | 2020-11-16 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 关键点检测方法、模型训练方法、装置、设备和存储介质 |
| CN112560584A (zh) * | 2020-11-27 | 2021-03-26 | 北京芯翌智能信息技术有限公司 | 一种人脸检测方法及装置、存储介质、终端 |
| CN112507954A (zh) * | 2020-12-21 | 2021-03-16 | 深圳市优必选科技股份有限公司 | 一种人体关键点识别方法、装置、终端设备及存储介质 |
| CN112507954B (zh) * | 2020-12-21 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 一种人体关键点识别方法、装置、终端设备及存储介质 |
| CN112686878A (zh) * | 2021-01-05 | 2021-04-20 | 北京大学口腔医学院 | 颞下颌关节cbct图像关键点的定位方法和装置 |
| CN112712061A (zh) * | 2021-01-18 | 2021-04-27 | 清华大学 | 适用于多方向交警指挥手势的识别方法、系统及存储介质 |
| CN112712061B (zh) * | 2021-01-18 | 2023-01-24 | 清华大学 | 适用于多方向交警指挥手势的识别方法、系统及存储介质 |
| CN113033524A (zh) * | 2021-05-26 | 2021-06-25 | 北京的卢深视科技有限公司 | 遮挡预测模型训练方法、装置、电子设备及存储介质 |
| CN113569754A (zh) * | 2021-07-29 | 2021-10-29 | 平安科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及计算机可读存储介质 |
| WO2023005164A1 (zh) * | 2021-07-29 | 2023-02-02 | 平安科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及计算机可读存储介质 |
| CN113569754B (zh) * | 2021-07-29 | 2024-05-07 | 平安科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及计算机可读存储介质 |
| CN113706600A (zh) * | 2021-08-19 | 2021-11-26 | 北京欧应信息技术有限公司 | 用于测量身体部位的关键尺寸的方法、设备和介质 |
| CN113689417A (zh) * | 2021-09-01 | 2021-11-23 | 广州丰石科技有限公司 | 一种无人机航拍低空遥感图像的变化检测方法及系统 |
| CN113505768A (zh) * | 2021-09-10 | 2021-10-15 | 北京的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
| CN114186632A (zh) * | 2021-12-10 | 2022-03-15 | 北京百度网讯科技有限公司 | 关键点检测模型的训练方法、装置、设备、存储介质 |
| CN114973334A (zh) * | 2022-07-29 | 2022-08-30 | 浙江大华技术股份有限公司 | 人体部件关联方法、装置、电子装置和存储介质 |
| CN117011964B (zh) * | 2023-08-02 | 2024-02-13 | 广州市图威信息技术服务有限公司 | 门禁系统及门禁监控方法 |
| CN117011964A (zh) * | 2023-08-02 | 2023-11-07 | 广州市图威信息技术服务有限公司 | 门禁系统及门禁监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860300A (zh) | 一种关键点检测方法、装置、终端设备及存储介质 | |
| WO2022213879A1 (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| CN111784774B (zh) | 目标检测方法、装置、计算机可读介质及电子设备 | |
| CN110751149B (zh) | 目标对象标注方法、装置、计算机设备和存储介质 | |
| CN108427941B (zh) | 用于生成人脸检测模型的方法、人脸检测方法和装置 | |
| CN113947147B (zh) | 目标地图模型的训练方法、定位方法及相关装置 | |
| CN111429482A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN116182878B (zh) | 道路曲面信息生成方法、装置、设备和计算机可读介质 | |
| CN115578570A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
| CN112631947A (zh) | 应用程序的测试控制方法、装置、电子设备及存储介质 | |
| CN110287817B (zh) | 目标识别及目标识别模型的训练方法、装置和电子设备 | |
| CN115311469A (zh) | 图像标注方法、训练方法、图像处理方法以及电子设备 | |
| CN112966592A (zh) | 手部关键点检测方法、装置、设备和介质 | |
| CN116561240A (zh) | 电子地图处理方法、相关装置和介质 | |
| CN113808134B (zh) | 油罐布局信息生成方法、装置、电子设备、介质 | |
| CN113255819B (zh) | 用于识别信息的方法和装置 | |
| CN114852096A (zh) | 域控制器变量的管理方法、装置、电子设备及存储介质 | |
| CN114186090A (zh) | 一种图像标注数据的智能质检方法及系统 | |
| CN115187510A (zh) | 回环检测方法、装置、电子设备及介质 | |
| CN114155545A (zh) | 表格识别方法、装置、可读介质及电子设备 | |
| CN116704593A (zh) | 预测模型训练方法、装置、电子设备和计算机可读介质 | |
| CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
| CN110084298B (zh) | 用于检测图像相似度的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |