CN114463534A - 一种目标关键点检测方法、装置、设备及存储介质 - Google Patents
一种目标关键点检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114463534A CN114463534A CN202111628651.1A CN202111628651A CN114463534A CN 114463534 A CN114463534 A CN 114463534A CN 202111628651 A CN202111628651 A CN 202111628651A CN 114463534 A CN114463534 A CN 114463534A
- Authority
- CN
- China
- Prior art keywords
- image
- key points
- detected
- target
- heat map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 67
- 238000012549 training Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 239000002609 medium Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 210000003811 finger Anatomy 0.000 description 10
- 238000000605 extraction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标关键点检测方法、装置、设备及存储介质，该方法包括：对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。通过上述技术手段，解决现有关键点检测方法存在偏移误差的问题，提高关键点检测的准确性，保证目标检测的准确度。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种目标关键点检测方法、装置、设备及存储介质。
背景技术
关键点检测是计算机视觉中广泛应用于定位目标对象的目标检测方法，目标对象可以是面部、眉毛和手掌等。关键点检测算法可以检测出目标对象的关键点，并基于关键点确定出目标对象。
现有关键点检测方法是在原始图像对应的热图中检测到关键点，并将关键点映射到原始图像中。但由于关键点在热图中被检测为整数值的像素坐标值，导致映射到原始图像后存在偏移误差，影响关键点检测的准确性，进而降低目标检测的准确度。
发明内容
本申请实施例提供一种目标关键点检测方法、装置、设备及存储介质，解决现有关键点检测方法存在偏移误差的问题，提高关键点检测的准确性，保证目标检测的准确度。
第一方面，本申请实施例提供了一种目标关键点检测方法，包括：
对待检测图像进行预处理，得到预设尺寸的第一图像；
将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，并确定所述热图中的关键点；
根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置；
将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点。
进一步的，所述对待检测图像进行预处理，得到预设尺寸的第一图像，包括：
将所述待检测图像调整至预设尺寸，并对所述待检测图像的像素值进行归一化处理，得到所述第一图像。
进一步的，所述网络模型包括主干网络和反卷积网络；
相应的，所述将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，包括：
将所述第一图像输入所述主干网络，得到所述主干网络输出的特征数据，所述主干网络包括一个卷积层和三个瓶颈层；
将所述特征数据输入所述反卷积网络，得到所述反卷积网络输出的热图，所述反卷积网络包括一个上采样层和三个卷积层。
进一步的，所述目标关键点检测方法，还包括：
获取多个训练样本图像和对应标记的关键点坐标；
根据预设的高斯函数和所述关键点坐标，生成所述训练样本图像对应的高斯热图；
将所述训练样本图像和对应高斯热图输入所述主干网络和所述反卷积网络中进行训练，得到训练好的网络模型。
进一步的，所述根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置，包括：
根据所述关键点的像素坐标，确定所述关键点的相邻区域的像素坐标和分数值；
根据所述关键点的分数值和像素坐标，以及所述相邻区域的像素坐标和分数值进行高斯曲面拟合，得到所述高斯函数；
确定所述高斯函数的中心点坐标作为所述关键点位置。
进一步的，所述将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点，包括：
根据所述热图与所述待检测图像的尺寸比例，确定所述关键点位置映射在所述待检测图像中的像素坐标作为所述目标关键点的像素坐标。
进一步的，在所述确定所述待检测图像中与所述关键点位置对应的目标关键点之后，还包括：
根据所述目标关键点与感兴趣区域之间的预设位置关系，通过所述目标关键点的像素坐标从所述待检测图像中提取对应的感兴趣区域。
第二方面，本申请实施例提供了一种目标关键点检测装置，包括：
预处理模块，被配置为对待检测图像进行预处理，得到预设尺寸的第一图像；
模型编码模块，被配置为将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，并确定所述热图中的关键点；
拟合解码模块，被配置为根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置；
映射模块，被配置为将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点。
进一步的，所述预处理模块包括：整形单元，被配置为将所述待检测图像调整至预设尺寸，并对所述待检测图像的像素值进行归一化处理，得到所述第一图像。
进一步的，所述网络模型包括主干网络和反卷积网络；相应的，所述模型编码模块包括：主干网络单元，被配置为将所述第一图像输入所述主干网络，得到所述主干网络输出的特征数据，所述主干网络包括一个卷积层和三个瓶颈层；反卷积单元，被配置为将所述特征数据输入所述反卷积网络，得到所述反卷积网络输出的热图，所述反卷积网络包括一个上采样层和三个卷积层。
进一步的，所述目标关键点检测装置还包括：样本数据获取模块，被配置为获取多个训练样本图像和对应标记的关键点坐标；样本热图获取模块，被配置为根据预设的高斯函数和所述关键点坐标，生成所述训练样本图像对应的高斯热图；训练模块，被配置为将所述训练样本图像和对应高斯热图输入所述主干网络和所述反卷积网络中进行训练，得到训练好的网络模型。
进一步的，所述拟合解码模块包括：相邻区域单元，被配置为根据所述关键点的像素坐标，确定所述关键点的相邻区域的像素坐标和分数值；拟合解码单元，被配置为根据所述关键点的分数值和像素坐标，以及所述相邻区域的像素坐标和分数值进行高斯曲面拟合，得到所述高斯函数；位置确定单元，被配置为确定所述高斯函数的中心点坐标作为所述关键点位置。
进一步的，所述映射模块包括：比例映射单元，被配置为根据所述热图与所述待检测图像的尺寸比例，确定所述关键点位置映射在所述待检测图像中的像素坐标作为所述目标关键点的像素坐标。
进一步的，所述目标关键点检测装置还包括：
感兴趣区域提取模块，被配置为在所述确定所述待检测图像中与所述关键点位置对应的目标关键点之后，根据所述目标关键点与感兴趣区域之间的预设位置关系，通过所述目标关键点的像素坐标从所述待检测图像中提取对应的感兴趣区域。
第三方面，本申请实施例提供了一种目标关键点检测设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的目标关键点检测方法。
第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的目标关键点检测方法。
本申请通过对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。通过上述技术手段，通过网络模型获取待检测图像的热图并确定关键点，通过高斯拟合关键点和相邻区域的高斯曲面以获取对应高斯函数，将高斯函数的中心点坐标作为关键点的浮点值坐标，避免因关键点为整数值时映射到待检测图像中出现偏移误差，提高目标关键点检测的准确性。通过目标关键点与感兴趣区域的位置关系，快速提取待检测图像中的感兴趣区域，提高感兴趣区域的提取效率和准确性，进而提高目标检测的准确度。
附图说明
图1是本申请一个实施例提供的一种目标关键点检测方法的流程图；
图2是本申请实施例提供的网络模型训练的流程图；
图3是本申请实施例提供的网络模型提取热图的流程图；
图4是本申请实施例提供的根据高斯拟合确定关键点位置的流程图；
图5是本申请实施例提供的网络模型的输出热图的示意图；
图6是本申请实施例提供的关键点相邻区域的示意图；
图7是本申请实施例提供的手掌图像的示意图；
图8是本申请一个实施例提供的一种目标关键点检测装置的结构示意图；
图9是本申请一个实施例提供的一种目标关键点检测设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请提供的目标关键点检测方法、装置、设备及存储介质，旨在通过对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。相对于传统的目标关键点检测方法，其在原始图像对应的热图中检测到关键点，并将关键点映射到原始图像中。但由于关键点在热图中被检测为整数值的像素坐标值，导致映射到原始图像后存在偏移误差，影响关键点检测的准确性，降低目标检测的准确度。基于此，提出本申请实施例的目标关键点检测方法、装置、设备及存储介质，以解决现有关键点检测方法存在偏移误差的问题。
图1是本申请一个实施例提供的一种目标关键点检测方法的流程图。本实施例中提供的目标关键点检测方法可以由目标关键点检测设备执行，该目标关键点检测设备可以通过软件和/或硬件的方式实现，该目标关键点检测设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。
下述以目标关键点检测设备为执行目标关键点检测方法的主体为例，进行描述。参考图1，该目标关键点检测方法包括：
S110、对待检测图像进行预处理，得到预设尺寸的第一图像。
其中，待检测图像是指需要进行目标关键点检测的图像，待检测图像为灰度图像，因此待检测图像可以是红外摄像机直接采集到的原始图像，也可以是RGB摄像机采集到的彩色图像进行灰度处理后的图像。在一实施例中，RGB摄像机采集到尺寸为1280×720的原始图像，对该原始图像进行灰度处理，得到尺寸为1280×720的待检测图像。进一步的，由于待检测图像的尺寸较大，直接基于待检测图像进行目标关键点检测时检测难度较高，检测时间长。而且不同摄像机采集到的原始图像尺寸不一，为便于后续网络模型的检测，可将待检测图像缩小至统一的预设尺寸，以便网络模型对统一尺寸的待检测图像进行关键点检测。在该实施例中，将待检测图像调整至预设尺寸，并对待检测图像的像素值进行归一化处理，得到第一图像。其中，预设尺寸是用于提取热图的网络模型定义的输入图像的尺寸，本实施例中设置预设尺寸为128×72。第一图像是用于输入网络模型的图像。示例性的，将尺寸为1280×720的待检测图像缩小至128×72并整形为[B，C，H，W]，其中B为批处理大小，C为图像通道数，H为图像高度，W为图像宽度。之后将缩小后的图像的每个像素点的像素值进行归一化处理，以将像素值调整至0-1的范围。将待检测图像进行整形和像素归一化处理后，得到第一图像。
S120、将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点。
其中，网络模型是指用于提取输入图像的热图的机器学习模型。网络模型的输入为第一图像，输出为第一图像的热图。计算输出热图中的各个像素点的分数，确定分数最高的像素点为输出热图中的关键点。
在一实施例中，图2是本申请实施例提供的网络模型训练的流程图。如图2所示，网络模型的训练步骤具体包括S1201-S1203：
S1201、获取多个训练样本图像和对应标记的关键点坐标。
其中，训练样本图像是对原始样本图像进行灰度、整形和像素值归一化处理后得到的图像。原始样本图像标记有关键点的像素坐标，根据原始样本图像和训练样本图像的尺寸比例，确定该关键点在训练样本图像中的像素坐标。需要说明的，原始样本图像中的关键点由工作人员根据实际需求进行人工标记，但一个网络模型的训练样本图像和训练样本图像中关键点类型需要统一。如想要检测的目标关键点为食指和中指的连接点，中指和无名指的连接点，以及无名指和小拇指的连接点。那么汇总的训练样本图像包含手掌，训练样本图像中的关键点为这三个连接点。
S1202、根据预设的高斯函数和关键点坐标，生成训练样本图像对应的高斯热图。
示例性的，高斯函数的表达式为：
其中，(μx,μy)为原始样本图像标记的关键点在训练样本图像中的像素坐标。σ为高斯分布的标准差，σ可根据实际需求进行设置。f(x,y)为高斯热图在像素坐标为(x,y)的像素点处的分数值。将训练样本图像各个像素点的像素坐标和关键点坐标代入该高斯函数中，得到每个像素点在高斯热图中的分数值，最后得到高斯热图。
S1203、将训练样本图像和对应高斯热图输入主干网络和反卷积网络中进行训练，得到训练好的网络模型。
示例性的，网络模型由主干网络和反卷积网络组成，主干网络用于提取输入图像的深度特征，并将深度特征作为反卷积网络的输入，反卷积网络根据深度特征输出热图。在训练阶段，将反卷积网络输出的热图与对应高斯热图代入损失函数中，通过损失函数输出的损失结果调整主干网络和反卷积网络的模型参数。
本实施例以目标关键点为手掌上的三个连接点为例进行描述。图3是本申请实施例提供的网络模型提取热图的流程图。如图3所示，网络模型提取热图的步骤具体包括S1204-S1205：
S1204、将第一图像输入主干网络，得到主干网络输出的特征数据，主干网络包括一个卷积层和三个瓶颈层。
示例性的，待检测图像为灰度手掌图像，将灰度手掌图像处理成1×1×72×128的第一图像后输入主干网络。本实施例中的主干网络采用MobileNet v2的模型结构，其包括一个卷积层和三个瓶颈层，卷积层采用Conv2d的模型结构。1×1×72×128输入卷积层Conv2d后，卷积层Conv2d输出1×32×36×64的图像数据，将1×32×36×64输入三个串联的瓶颈层中，最后一个瓶颈层输出1×32×9×16的图像数据。1×32×9×16的图像数据也即主干网络从第一图像中提取到的特征数据。此外，本实施例中的主干网络相比与传统的MobileNet v2的结构模型，消除了重复的上采样层和切割层，在不牺牲模型精度的情况下大大减少了推理时间。
S1205、将特征数据输入反卷积网络，得到反卷积网络输出的热图，反卷积网络包括一个上采样层和三个卷积层。
示例性的，1×32×9×16的图像数据输入上采样层，上采样层输出1×32×18×32的图像数据，并将1×32×18×32的图像数据输入三个卷积层中，得到卷积层输出的1×3×18×32的热图。卷积层输出1×3×18×32的热图，即反卷积网络输出3个18×32的热图。根据每个热图中各个像素点的分数值，将分数值最高的像素点作为网络模型检测到的手掌连接点，三个热图分别对应一个手掌连接点。
需要说明的，由于本实施例中的网络模型用于检测手掌图像中的三个连接点，因此网络模型输出三个热图，一个热图中的最大分数的像素点对应一个手掌连接点。因此在网络模型的结构搭建过程中，可根据目标关键点的数量确定网络模型的结构，以输出对应数量的热图。
S130、根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置。
其中，关键点位置是指热图中关键点的浮点值的位置坐标。示例性的，由于热图中分数最大的关键点在热图中属于一个像素点，其像素点的像素坐标为整数值，根据整数值的像素坐标映射到待检测图像中后会确定出一个像素区域而非一个像素点，导致关键点检测出现偏移误差，检测结果不够精确。因此本实施例提出通过高斯拟合感知热图中的关键点和相邻区域的分数值分布，确定关键点的浮点值的位置坐标。在该实施例中，图4是本申请实施例提供的根据高斯拟合确定关键点位置的流程图。如图4所示，根据高斯拟合确定关键点位置的步骤具体包括S1301-S1303：
S1301、根据关键点的像素坐标，确定关键点的相邻区域的像素坐标和分数值。
图5是本申请实施例提供的网络模型的输出热图的示意图。如图5所示，图5是网络模型输出的三张热图中的其中一张，热图中亮度最大的像素点即为热图中的关键点，该热图中关键点的像素坐标为(14，10)。关键点的相邻区域是指与关键点间隔距离小于某一阈值的像素点形成的区域。图6是本申请实施例提供的关键点相邻区域的示意图。如图6所示，关键点的相邻区域可以是以该关键点为中心并将该关键点包围住的回形区域，该相邻区域和关键点形成一个3×3矩形区域。在该实施例中，当关键点的像素坐标为(14，10)时，相应的，相邻区域的像素坐标为(13，9)、(13，10)、(13，11)、(14，9)、(14，11)、(15，9)、(15，10)和(15，11)。根据相邻区域的像素坐标从对应热图中获取各个像素坐标对应的像素点处的分数值。
S1302、根据关键点的分数值和像素坐标，以及相邻区域的像素坐标和分数值进行高斯曲面拟合，得到高斯函数。
本实施例以相邻区域与关键点构成3×3矩形区域为例进行描述。由上述内容可知，高斯函数的表达式为
其中，本实施例采用的高斯分布的标准差σ和训练网络模型时采用的标准差σ相同，(x0,y0)是高斯函数的中心点坐标，也是高斯函数中的未知数。将关键点的分数值和像素坐标代入该高斯函数中，得到关于x0和y0的方程式，将相邻区域的像素坐标和分数值代入该高斯函数中，得到关于x0和y0的方程组。联合该方程式和方程组求解x0和y0，得到高斯函数。
S1303、确定高斯函数的中心点坐标作为关键点位置。
示例性的，由于高斯函数的中心点处的函数值即为高斯函数的最大值，因此基于关键点和相邻区域拟合出的高斯函数的中心点处的分数值是整个矩形区域内的最大值，进而将高斯函数的中心点坐标(x0,y0)作为关键点的浮点值坐标。
S140、将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。
根据高斯拟合确定出热图中的关键点位置后，根据该关键点位置确定出待检测图像中对应的像素点，并将该像素点作为目标关键点。在一实施例中，根据热图与待检测图像的尺寸比例，确定关键点位置映射在待检测图像中的像素坐标作为目标关键点的像素坐标。示例性的，计算18×32的热图与720×1280的待检测图像的尺寸比例，根据该尺寸比例确定关键点位置(x0,y0)在待检测图像中的目标关键点的像素坐标。
在一实施例中，根据目标关键点与感兴趣区域之间的预设位置关系，通过目标关键点的像素坐标从待检测图像中提取对应的感兴趣区域。示例性的，假设手掌心为手掌图像的感兴趣区域，在手掌心与手掌的连接点之间存在一定位置关系。获取到网络模型输出的三个热图后，确定每个热图中的连接点的浮点值坐标位置，将浮点值坐标位置映射到手掌图像中，确定手掌图像中三个连接点。图7是本申请实施例提供的手掌图像的示意图。如图7所示，A点、B点和C点分别为手掌图像中的三个目标关键点，其中A点为小拇指和无名指的连接点，B点为中指和无名指的连接点，C点为中指和食指的连接点。p1、p2、p3和p4分别为感兴趣区域的四个顶点，p1、p2、p3和p4和A点、B点和C点之间存在一定位置关系，根据A点、B点和C点的像素坐标可唯一确定p1、p2、p3和p4的像素坐标，再根据p1、p2、p3和p4截取手掌图像中对应的感兴趣区域，得到手掌心图像。
综上所述，本申请实施例提供的目标关键点检测方法，通过对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。通过上述技术手段，通过网络模型获取待检测图像的热图并确定关键点，通过高斯拟合关键点和相邻区域的高斯曲面以获取对应高斯函数，将高斯函数的中心点坐标作为关键点的浮点值坐标，避免因关键点为整数值时映射到待检测图像中出现偏移误差，提高目标关键点检测的准确性。通过目标关键点与感兴趣区域的位置关系，快速提取待检测图像中的感兴趣区域，提高感兴趣区域的提取效率和准确性，进而提高目标检测的准确度。
在上述实施例的基础上，图8是本申请一个实施例提供的一种目标关键点检测装置的结构示意图。参考图8，本实施例提供的目标关键点检测装置具体包括：预处理模块21、模型编码模块22、拟合解码模块23和映射模块24。
其中，预处理模块，被配置为对待检测图像进行预处理，得到预设尺寸的第一图像；
模型编码模块，被配置为将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；
拟合解码模块，被配置为根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；
映射模块，被配置为将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。
在上述实施例的基础上，预处理模块包括：整形单元，被配置为将待检测图像调整至预设尺寸，并对待检测图像的像素值进行归一化处理，得到第一图像。
在上述实施例的基础上，网络模型包括主干网络和反卷积网络；相应的，模型编码模块包括：主干网络单元，被配置为将第一图像输入主干网络，得到主干网络输出的特征数据，主干网络包括一个卷积层和三个瓶颈层；反卷积单元，被配置为将特征数据输入反卷积网络，得到反卷积网络输出的热图，反卷积网络包括一个上采样层和三个卷积层。
在上述实施例的基础上，目标关键点检测装置还包括：样本数据获取模块，被配置为获取多个训练样本图像和对应标记的关键点坐标；样本热图获取模块，被配置为根据预设的高斯函数和关键点坐标，生成训练样本图像对应的高斯热图；训练模块，被配置为将训练样本图像和对应高斯热图输入主干网络和反卷积网络中进行训练，得到训练好的网络模型。
在上述实施例的基础上，拟合解码模块包括：相邻区域单元，被配置为根据关键点的像素坐标，确定关键点的相邻区域的像素坐标和分数值；拟合解码单元，被配置为根据关键点的分数值和像素坐标，以及相邻区域的像素坐标和分数值进行高斯曲面拟合，得到高斯函数；位置确定单元，被配置为确定高斯函数的中心点坐标作为关键点位置。
在上述实施例的基础上，映射模块包括：比例映射单元，被配置为根据热图与待检测图像的尺寸比例，确定关键点位置映射在待检测图像中的像素坐标作为目标关键点的像素坐标。
在上述实施例的基础上，目标关键点检测装置还包括：
感兴趣区域提取模块，被配置为在确定待检测图像中与关键点位置对应的目标关键点之后，根据目标关键点与感兴趣区域之间的预设位置关系，通过目标关键点的像素坐标从待检测图像中提取对应的感兴趣区域。
综上，本申请实施例提供的目标关键点检测装置，通过对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。通过上述技术手段，通过网络模型获取待检测图像的热图并确定关键点，通过高斯拟合关键点和相邻区域的高斯曲面以获取对应高斯函数，将高斯函数的中心点坐标作为关键点的浮点值坐标，避免因关键点为整数值时映射到待检测图像中出现偏移误差，提高目标关键点检测的准确性。通过目标关键点与感兴趣区域的位置关系，快速提取待检测图像中的感兴趣区域，提高感兴趣区域的提取效率和准确性，进而提高目标检测的准确度。
本申请实施例提供的目标关键点检测装置可以用于执行上述实施例提供的目标关键点检测方法，具备相应的功能和有益效果。
本申请实施例提供了一种目标关键点检测设备，参照图9，该目标关键点检测设备包括：处理器31、存储器32、通信装置33、输入装置34及输出装置35。该目标关键点检测设备中处理器的数量可以是一个或者多个，该目标关键点检测设备中的存储器的数量可以是一个或者多个。该目标关键点检测设备的处理器、存储器、通信装置、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的目标关键点检测方法对应的程序指令/模块(例如，目标关键点检测装置中的预处理模块21、模型编码模块22、拟合解码模块23和映射模块24)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的目标关键点检测方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的目标关键点检测设备可用于执行上述实施例提供的目标关键点检测方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标关键点检测方法，该目标关键点检测方法包括：对待检测图像进行预处理，得到预设尺寸的第一图像；将第一图像输入预先训练好的网络模型，得到网络模型输出的热图，并确定热图中的关键点；根据关键点和关键点在热图中对应的相邻区域拟合高斯函数，并根据高斯函数确定热图中的关键点位置；将关键点位置映射到待检测图像中，确定待检测图像中与关键点位置对应的目标关键点。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的目标关键点检测方法，还可以执行本申请任意实施例所提供的目标关键点检测方法中的相关操作。
上述实施例中提供的目标关键点检测装置、设备及存储介质可执行本申请任意实施例所提供的目标关键点检测方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的目标关键点检测方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种目标关键点检测方法，其特征在于，包括：
对待检测图像进行预处理，得到预设尺寸的第一图像；
将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，并确定所述热图中的关键点；
根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置；
将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点。
2.根据权利要求1所述的方法，其特征在于，所述对待检测图像进行预处理，得到预设尺寸的第一图像，包括：
将所述待检测图像调整至预设尺寸，并对所述待检测图像的像素值进行归一化处理，得到所述第一图像。
3.根据权利要求1所述的方法，其特征在于，所述网络模型包括主干网络和反卷积网络；
相应的，所述将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，包括：
将所述第一图像输入所述主干网络，得到所述主干网络输出的特征数据，所述主干网络包括一个卷积层和三个瓶颈层；
将所述特征数据输入所述反卷积网络，得到所述反卷积网络输出的热图，所述反卷积网络包括一个上采样层和三个卷积层。
4.根据权利要求3所述的方法，其特征在于，所述目标关键点检测方法，还包括：
获取多个训练样本图像和对应标记的关键点坐标；
根据预设的高斯函数和所述关键点坐标，生成所述训练样本图像对应的高斯热图；
将所述训练样本图像和对应高斯热图输入所述主干网络和所述反卷积网络中进行训练，得到训练好的网络模型。
5.根据权利要求1所述的方法，其特征在于，所述根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置，包括：
根据所述关键点的像素坐标，确定所述关键点的相邻区域的像素坐标和分数值；
根据所述关键点的分数值和像素坐标，以及所述相邻区域的像素坐标和分数值进行高斯曲面拟合，得到所述高斯函数；
确定所述高斯函数的中心点坐标作为所述关键点位置。
6.根据权利要求1所述的方法，其特征在于，所述将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点，包括：
根据所述热图与所述待检测图像的尺寸比例，确定所述关键点位置映射在所述待检测图像中的像素坐标作为所述目标关键点的像素坐标。
7.根据权利要求1所述的方法，其特征在于，在所述确定所述待检测图像中与所述关键点位置对应的目标关键点之后，还包括：
根据所述目标关键点与感兴趣区域之间的预设位置关系，通过所述目标关键点的像素坐标从所述待检测图像中提取对应的感兴趣区域。
8.一种目标关键点检测装置，其特征在于，包括：
预处理模块，被配置为对待检测图像进行预处理，得到预设尺寸的第一图像；
模型编码模块，被配置为将所述第一图像输入预先训练好的网络模型，得到所述网络模型输出的热图，并确定所述热图中的关键点；
拟合解码模块，被配置为根据所述关键点和所述关键点在所述热图中对应的相邻区域拟合高斯函数，并根据所述高斯函数确定所述热图中的关键点位置；
映射模块，被配置为将所述关键点位置映射到所述待检测图像中，确定所述待检测图像中与所述关键点位置对应的目标关键点。
9.一种目标关键点检测设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的目标关键点检测方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的目标关键点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111628651.1A CN114463534A (zh) | 2021-12-28 | 2021-12-28 | 一种目标关键点检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111628651.1A CN114463534A (zh) | 2021-12-28 | 2021-12-28 | 一种目标关键点检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463534A true CN114463534A (zh) | 2022-05-10 |
Family
ID=81407632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111628651.1A Pending CN114463534A (zh) | 2021-12-28 | 2021-12-28 | 一种目标关键点检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463534A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011785A (zh) * | 2023-07-06 | 2023-11-07 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858333A (zh) * | 2018-12-20 | 2019-06-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN111046826A (zh) * | 2019-12-20 | 2020-04-21 | 北京碧拓科技有限公司 | 一种远红外热成像人脸关键点的定位方法 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
| CN111223143A (zh) * | 2019-12-31 | 2020-06-02 | 广州市百果园信息技术有限公司 | 关键点检测方法、装置及计算机可读存储介质 |
| WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技（深圳）有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-12-28 CN CN202111628651.1A patent/CN114463534A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技（深圳）有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
| CN109858333A (zh) * | 2018-12-20 | 2019-06-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN111046826A (zh) * | 2019-12-20 | 2020-04-21 | 北京碧拓科技有限公司 | 一种远红外热成像人脸关键点的定位方法 |
| CN111223143A (zh) * | 2019-12-31 | 2020-06-02 | 广州市百果园信息技术有限公司 | 关键点检测方法、装置及计算机可读存储介质 |
| CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011785A (zh) * | 2023-07-06 | 2023-11-07 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
| CN117011785B (zh) * | 2023-07-06 | 2024-04-05 | 华新水泥股份有限公司 | 基于时空关联和高斯热图的烟火检测方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| WO2016062159A1 (zh) | 图像匹配方法及手机应用测试平台 | |
| CN110866871A (zh) | 文本图像矫正方法、装置、计算机设备及存储介质 | |
| WO2016023264A1 (zh) | 指纹识别方法及其指纹识别装置 | |
| TWI497450B (zh) | 視訊物件追蹤方法 | |
| CN111695522A (zh) | 一种平面内的旋转不变人脸检测方法、装置及存储介质 | |
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| CN107123130B (zh) | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 | |
| CN105160686B (zh) | 一种基于改进sift算子的低空多视角遥感影像匹配方法 | |
| CN108090451B (zh) | 一种人脸识别方法及系统 | |
| Fan et al. | Registration of multiresolution remote sensing images based on L2-siamese model | |
| CN103353941B (zh) | 基于视角分类的自然标志物注册方法 | |
| CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
| CN111310690A (zh) | 基于cn和三通道胶囊网络的森林火灾识别方法及装置 | |
| CN110009670A (zh) | 基于fast特征提取和piifd特征描述的异源图像配准方法 | |
| CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
| CN108182700B (zh) | 一种基于两次特征检测的图像配准方法 | |
| CN109766850B (zh) | 基于特征融合的指纹图像匹配方法 | |
| CN114463534A (zh) | 一种目标关键点检测方法、装置、设备及存储介质 | |
| CN112418250B (zh) | 一种复杂3d点云的优化匹配方法 | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
| CN112258536A (zh) | 一种胼胝体及小脑蚓部的一体化定位及分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220510 |