CN111401219A - 一种手掌关键点检测方法和装置 - Google Patents

Abstract

本申请公开了一种手掌关键点检测方法和装置，将标志有9个关键点的手掌样本数据集输入到预置卷积神经网络中预测手掌分类层、手掌框回归层、关键点位置回归层和关键点方向回归层的输出值，根据手掌分类层、手掌框回归层、关键点位置回归层和关键点方向回归层输出值计算各层对应的损失值，从而得到预置卷积神经网络的损失值，将预置神经网络的损失值通过反向传播对预置神经网络的网络参数进行更新，得到目标卷积神经网络，优化了检测网络模型的检测性能，提高了手掌关键点检测的准确性。

Description

一种手掌关键点检测方法和装置

技术领域

本申请涉及关键点识别技术领域，尤其涉及一种手掌关键点检测方法和 装置。

背景技术

目前，各式各样的生物识别技术被应用在了人们的生活当中，如人脸识 别、声纹识别和手掌识别等。基于手掌的认证核验系统通常包含手掌检测、 登记与识别等过程，其中，能否正确检测手掌对于认证核验系统的性能至关 重要，当前对于手掌的检测，包括传统的图像处理方法和深度学习方法。传 统的图像处理方法进行手掌检测是手掌特征通常是根据人为设计的特征提取 模版得到的，计算量大且耗时，而传统的深度学习方法通过设计卷积神经网 络来实现自主学习样本的特征信息，这种方式相对于传统的图像处理方法在 计算量和耗时方面得到了改进，但是传统的卷积神经网络深度学习方法实现 手掌检测方式在手掌关键点的准确性方面仍然有待提高，因此，进一步提高 手掌关键点检测的检测准确性，是本领域技术人员亟待解决的技术问题。

发明内容

本申请提供了一种手掌关键点检测方法和装置，用于解决现有的手掌关 键点检测方式检准确性不高的技术问题。

有鉴于此，本申请第一方面提供了一种手掌关键点检测方法，包括：

获取包含9个关键点的手掌样本数据集，所述9个关键点分别为食指与 掌面的交界中点、小指与掌面的交界中点、所述食指与中指的间隔点、所述 中指与无名指的间隔点、所述无名指与小指的间隔点、掌面区域的四个轮廓 点；

将所述手掌样本数据集中的手掌样本数据输入到预置卷积神经网络模型 中，得到所述预置卷积神经网络输出的手掌分类层预测值、手掌框回归层预 测值、关键点位置回归层预测值和关键点方向回归层预测值；

分别计算所述预置卷积神经网络模型的手掌分类层的损失值、手掌框回 归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失值；

根据所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键 点位置回归层的损失值和所述关键点方向回归层的损失值更新所述预置卷积 神经网络模型的网络参数，得到目标卷积神经网络模型；

将待检测手掌图像输入到所述目标卷积神经网络模型中进行手掌关键点 检测，得到所述目标卷积神经网络模型输出的手掌关键点检测结果。

可选地，所述分别计算所述预置卷积神经网络模型的手掌分类层的损失 值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回归 层的损失值，包括：

基于MSE函数计算所述预置卷积神经网络模型的手掌分类层的损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的手掌框回归层的 损失值；

基于交叉熵函数计算所述预置卷积神经网络模型的关键点位置回归层的 损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的关键点方向回归 层的损失值。

可选地，所述根据所述手掌分类层的损失值、所述手掌框回归层的损失 值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值更新 所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型，包括：

对所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点 位置回归层的损失值和所述关键点方向回归层的损失值赋予预置权重后求 和，得到所述预置卷积神经网络模型的损失值；

根据所述预置卷积神经网络模型的损失值更新所述预置卷积神经网络模 型的网络参数，得到目标卷积神经网络模型。

可选地，所述基于Smooth L1函数计算所述预置卷积神经网络模型的关 键点方向回归层的损失值，包括：

计算所述食指与掌面的交界中点、所述小指与掌面的交界中点的坐标点 对，构成正切角度值；

将所述正切角度值与掌面坐标系建立映射关系，使得关键点的方向数值 回归在所述掌面坐标系的四个象限内，得到关键点方向正样本值；

基于Smooth L1函数计算所述关键点方向正样本值和所述关键点方向回 归层预测值的误差，得到所述预置卷积神经网络模型的关键点方向回归层的 损失值。

可选地，所述预置卷积神经网络模型包括骨干网络和检测头部；

所述骨干网络为MobileNet。

可选地，所述预置卷积神经网络模型的训练次数为500epoch，初始学习 率为4e-4，且每训练100epoch衰减0.1倍。

本申请第二方面提供了一种手掌关键点检测装置，包括：

获取单元，用于获取包含9个关键点的手掌样本数据集，所述9个关键 点分别为食指与掌面的交界中点、小指与掌面的交界中点、所述食指与中指 的间隔点、所述中指与无名指的间隔点、所述无名指与小指的间隔点、掌面 区域的四个轮廓点；

预测单元，用于将所述手掌样本数据集中的手掌样本数据输入到预置卷 积神经网络模型中，得到所述预置卷积神经网络输出的手掌分类层预测值、 手掌框回归层预测值、关键点位置回归层预测值和关键点方向回归层预测值；

损失计算单元，用于分别计算所述预置卷积神经网络模型的手掌分类层 的损失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方 向回归层的损失值；

参数更新单元，用于根据所述手掌分类层的损失值、所述手掌框回归层 的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失 值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型；

关键点检测单元，用于将待检测手掌图像输入到所述目标卷积神经网络 模型中进行手掌关键点检测，得到所述目标卷积神经网络模型输出的手掌关 键点检测结果。

可选地，所述损失计算单元具体用于：

基于MSE函数计算所述预置卷积神经网络模型的手掌分类层的损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的手掌框回归层的 损失值；

基于交叉熵函数计算所述预置卷积神经网络模型的关键点位置回归层的 损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的关键点方向回归 层的损失值。

可选地，所述参数更新单元具体用于：

对所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点 位置回归层的损失值和所述关键点方向回归层的损失值赋予预置权重后求 和，得到所述预置卷积神经网络模型的损失值；

根据所述预置卷积神经网络模型的损失值更新所述预置卷积神经网络模 型的网络参数，得到目标卷积神经网络模型。

可选地，所述第四损失计算子单元具体用于：

计算所述食指与掌面的交界中点、所述小指与掌面的交界中点的坐标点 对，构成正切角度值；

将所述正切角度值与掌面坐标系建立映射关系，使得关键点的方向数值 回归在所述掌面坐标系的四个象限内，得到关键点方向正样本值；

基于Smooth L1函数计算所述关键点方向正样本值和所述关键点方向回 归层预测值的误差，得到所述预置卷积神经网络模型的关键点方向回归层的 损失值。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中提供了一种手掌关键点检测方法，包括：获取包含9个关键点 的手掌样本数据集，9个关键点分别为食指与掌面的交界中点、小指与掌面的 交界中点、食指与中指的间隔点、中指与无名指的间隔点、无名指与小指的 间隔点、掌面区域的四个轮廓点；将手掌样本数据集中的手掌样本数据输入 到预置卷积神经网络模型中，得到预置卷积神经网络输出的手掌分类层预测 值、手掌框回归层预测值、关键点位置回归层预测值和关键点方向回归层预 测值；分别计算预置卷积神经网络模型的手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失值；根 据手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的损失 值和关键点方向回归层的损失值更新所述预置卷积神经网络模型的网络参 数，得到目标卷积神经网络模型；将待检测手掌图像输入到目标卷积神经网 络模型中进行手掌关键点检测，得到目标卷积神经网络模型输出的手掌关键 点检测结果。

本申请提供的手掌关键点检测方法，将标志有9个关键点的手掌样本数 据集输入到预置卷积神经网络中预测手掌分类层、手掌框回归层、关键点位 置回归层和关键点方向回归层的输出值，根据手掌分类层、手掌框回归层、 关键点位置回归层和关键点方向回归层输出值计算各层对应的损失值，从而 得到预置卷积神经网络的损失值，将预置神经网络的损失值通过反向传播对 预置神经网络的网络参数进行更新，得到目标卷积神经网络，优化了检测网 络模型的检测性能，提高了手掌关键点检测的准确性。

附图说明

图1为本申请实施例中提供的一种手掌关键点检测方法的一个流程示意 图；

图2为本申请实施例中提供的一种手掌关键点检测方法的另一个流程示 意图；

图3为本申请实施例中提供的预置卷积神经网络模型的基本框架示意图；

图4为本申请实施例中提供的预置卷积神经网络模型的训练框架示意图；

图5为本申请实施例中的提供的一种手掌关键点检测装置的一个结构示 意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实 施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申 请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本申请保护的范围。

应理解的是，本申请的关键点检测方法可不仅限于本申请实施例中的手 掌关键点检测，本领域技术人员在本申请实施例的基础上，可以根据实际需 求应用到脸部关键点检测等其他方面的关键点检测场景。

为了便于理解，请参阅图1，本申请提供了一种手掌关键点检测方法的 一个实施例，包括：

步骤101、获取包含9个关键点的手掌样本数据集，9个关键点分别为食 指与掌面的交界中点、小指与掌面的交界中点、食指与中指的间隔点、中指 与无名指的间隔点、无名指与小指的间隔点、掌面区域的四个轮廓点。

需要说明的是，首先需要制作手掌样本，在手掌图片上标记好9个关键 点，9个关键点的选择位置如图3所示，分别为食指与掌面的交界中点、小指 与掌面的交界中点、食指与中指的间隔点、中指与无名指的间隔点、无名指 与小指的间隔点、掌面区域的四个轮廓点，其中，掌面区域的四个轮廓点可 以为掌跟中间位置的两个点、食指与掌面的交界中点至拇指与掌面的交界点 的中间点、小指与掌面的交界中点至掌跟的中间点。多个手掌样本集合成手 掌样本数据集。

步骤102、将手掌样本数据集中的手掌样本数据输入到预置卷积神经网络 模型中，得到预置卷积神经网络输出的手掌分类层预测值、手掌框回归层预 测值、关键点位置回归层预测值和关键点方向回归层预测值。

需要说明的是，为构建轻量级小网络，本申请实施例中预置卷积神经网 络模型采用单阶段的CNN模型，由骨干网络MobileNet和检测头部detection head两部分组成，MobileNet学习样本数据的特征，可搭建32x Conv2D-BathNorm-ReLU模块，结合FPN NET多尺度特征融合的思想，在第 11、23、28个Conv2D-BathNorm-ReLU模块处融入3级特征金字塔运算。 detection head从数据特征中提取目标候选框，采用VGGNet中inception多尺 度感知思想，在3级特征金字塔处搭建inception感知运算模块，以生成多种 尺度、感知视野大的特征信息。最后再结合分类和回归函数，实现手掌的关 键点检测。

本申请实施例中的预置卷积神经网络模型包括四个输出层：用于检测是 否为手掌的手掌分类层classification layer、用于预测手掌框的预测值的手掌框 回归层bboxregression layer、用于预测手掌关键点对位置的关键点位置回归层landmarkregression layer和用于预测手掌关键点对的方向值的关键点方向回 归层rotationregression layer来预测关键点相对于手掌面的旋转方向(左上、 左下、右上和右下)，将手掌样本数据集中的手掌样本数据输入到预置卷积神 经网络模型中，可获得预置卷积神经网络模型输出的手掌分类层预测值、手 掌框回归层预测值、关键点位置回归层预测值和关键点方向回归层预测值。

步骤103、分别计算预置卷积神经网络模型的手掌分类层的损失值、手掌 框回归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失 值。

需要说明的是，在得到预置卷积神经网络模型输出的预测值之后，根据 样本值和预测值可以计算出预测值与样本值的误差，从而得到预置神经网络 模型的损失值。

步骤104、根据手掌分类层的损失值、手掌框回归层的损失值、关键点位 置回归层的损失值和关键点方向回归层的损失值更新预置卷积神经网络模型 的网络参数，得到目标卷积神经网络模型。

需要说明的是，在得到以上损失值之后，将损失值通过反向传播，对预 置卷积神经网络模型的网络参数进行更新，优化预置卷积神经网络模型的性 能，从而得到优化后的目标卷积神经网络。

获得预置卷积神经网络模型的网络参数进行网络更新的过程即为预置卷 积神经网络模型的训练过程，在训练过程中，预置卷积神经网络模型的学习 率选为SGD，初始学习率设置为4e-4，且每训练100epoch，其数值衰减0.1 倍，最后，模型训练500epoch时损失值loss数值已趋于稳定，因此，可选 500epoch训练得到的epoch为最终的检测模型文件。

步骤105、将待检测手掌图像输入到目标卷积神经网络模型中进行手掌关 键点检测，得到目标卷积神经网络模型输出的手掌关键点检测结果。

需要说明的是，在得到目标卷积神经网络之后，将待检测手掌图像输入 到目标卷积神经网络中进行关键点检测，可获得手掌关键点检测结果。

本申请实施例中提供的手掌关键点检测方法，将标志有9个关键点的手 掌样本数据集输入到预置卷积神经网络中预测手掌分类层、手掌框回归层、 关键点位置回归层和关键点方向回归层的输出值，根据手掌分类层、手掌框 回归层、关键点位置回归层和关键点方向回归层输出值计算各层对应的损失 值，从而得到预置卷积神经网络的损失值，将预置神经网络的损失值通过反 向传播对预置神经网络的网络参数进行更新，得到目标卷积神经网络，优化 了检测网络模型的检测性能，提高了手掌关键点检测的准确性。

为了便于理解，请参阅图2，本申请提供了一种手掌关键点检测方法的另 一实施例，包括：

步骤201、获取包含9个关键点的手掌样本数据集，9个关键点分别为食 指与掌面的交界中点、小指与掌面的交界中点、食指与中指的间隔点、中指 与无名指的间隔点、无名指与小指的间隔点、掌面区域的四个轮廓点。

步骤202、将手掌样本数据集中的手掌样本数据输入到预置卷积神经网络 模型中，得到预置卷积神经网络输出的手掌分类层预测值、手掌框回归层预 测值、关键点位置回归层预测值和关键点方向回归层预测值。

需要说明的是，本申请实施例中的步骤201和步骤202与上一实施例中 的步骤101和步骤102一致，在此不再进行赘述。

步骤203、基于MSE函数计算预置卷积神经网络模型的手掌分类层的损 失值，基于Smooth L1函数计算预置卷积神经网络模型的手掌框回归层的损 失值，基于交叉熵函数计算预置卷积神经网络模型的关键点位置回归层的损 失值，基于Smooth L1函数计算预置卷积神经网络模型的关键点方向回归层 的损失值。

需要说明的是，卷积神经网络模型训练是通过反复迭代、优化模型的结 构参数的过程，通常采用损失函数衡量卷积神经网络模型的预测值与实际标 注值之间的误差关系，进而决定模型结构参数的优化方向，为此，本申请实 施例中，为提高轻量级模型的检测性能，更准确地检测到关键点的位置，提 出新的损失计算方式。请参阅图3和图4，本申请实施例中对于卷积神经网络 模型的classification、bbox regression、rotationregression、landmarks regression 四个层都计算损失值，即生成loss_cls、loss_bbox、loss_rot、loss_lmd四个数值，最后将 四个损失值按权值比例求和，可得到检测模型的损失值loss，即

loss＝α*loss_cls+β*loss_bbox+γ*loss_rot+λloss_lmd。

其中，α、β、γ和λ为权值，loss_cls采用MSE函数计算，loss_bbox、loss_rot和loss_lmd的计算过程为：

手掌框的损失loss_bbox计算：

对于图3所示的预置卷积神经网络模型的参数训练的手掌样本数据集， 选择手掌图像和手掌的9个关键点对位置lmd作为标签数据，因而手掌框 box＝[X_min,Y_min,W,H]的样本数据则由9个关键点对计算，首先计算9个关键点 对内x坐标的最小值、最大值和y坐标的最小值、最大值，其次，再根据最大 值、最小值数据计算box的宽度W和高度H，最后，将计算得到的样本box 与bbox regression层输出的box预测值box_pred的误差，即：

loss_bbox＝F1(box,box_pred),F1＝Smooth L1。

关键点方向的损失loss_rot计算：

模型训练时只输入手掌图像和9个关键点对位置lmd，便可学习到手掌关 键点的位置和方向信息。其中，关键点方向的训练数据则由输入的9个关键 点对的位置计算。首先，通过计算食指和小指同手掌的交界点处的两个坐标 点对构成的正切角度值(两点成直线斜率原理)，其次，将角度值与手掌面的 四个方向建立映射关系，使方向数值回归在4个区间，区间长度为90°(即 掌面坐标系的四个象限)，即rotation_a＝{r:‘0’、‘1’、‘2’、‘3’}；最后计算关 键点方向样本值rotation_a与rotation regression层输出的方向预测值rotation_pred的 误差，即：

loss_rot＝F2(rotation_a,rotation_pred),F2＝Cross Entropy。

关键点的损失loss_lmd计算：

根据9个关键点对位置计算出4个关键点的参考方向值，即 rotation_a＝{r:‘0’、‘1’、‘2’、‘3’}。为使模型训练输出的关键点位置更具鲁 棒性，本申请实施例中设计的landmarks regression层的输出值lmd_reg是4组关 键点对，其中每组包含9个关键点对。因而模型的关键点输出预测值lmd_reg的 计算为：

lmd_reg＝lmd_reg[r*count_lmd*2:r*count_lmd*2+count_lmd*2]

其中，r为关键点的方向预测值，count_lmd为关键点对个数，由于本方法是 选手掌的9个关键点对，故lmd_reg为长度为4×9×2的数组，所以，关键点的 损失loss_lmd的计算结果为：

loss_lmd＝F3(lmd,lmd_pred),F3＝Smooth L1。

由于手掌样本标签中未标注9个关键点相对于手掌区域的方向，采用轻 量级小模型时，若直接head输出的特征直接回归计算其关键点位置，会因为 空间内其变化范围大导致点回归位置效果差，并且模型训练过程较难拟合。 因此，本申请实施例中为解决模型难拟合的问题，设计了在detection head结 构处结合特征拼接运算，不仅设计手掌分类层、手掌框回归层、关键点位置 回归层，还设计了关键点方向回归层来预测关键点相对于手掌面的旋转方向。

步骤204、对手掌分类层的损失值、手掌框回归层的损失值、关键点位置 回归层的损失值和关键点方向回归层的损失值赋予预置权重后求和，得到预 置卷积神经网络模型的损失值。

步骤205、根据预置卷积神经网络模型的损失值更新预置卷积神经网络模 型的网络参数，得到目标卷积神经网络模型。

需要说明的是，如图4所示，将预置卷积神经网络模型的损失值loss，即 loss＝α*loss_cls+β*loss_bbox+γ*loss_rot+λloss_lmd反向传播，更新预置卷积神经网络模 型的网络参数，如卷积运算的卷积核数值、全连接的权值、损失权值(α、β、 γ和λ)，以及学习率等超参数，得到目标卷积神经网络模型。

步骤206、将待检测手掌图像输入到目标卷积神经网络模型中进行手掌关 键点检测，得到目标卷积神经网络模型输出的手掌关键点检测结果。

本申请实施例中提供的手掌关键点检测方法，能够缩小关键点回归时的 方向范围，提高手掌关键点对的位置点的回归速度和准确性，减少小网络过 拟合现象，进而提高小模型网络的手掌检测性能。

为了便于理解，请参阅图4，本申请中提供了一种手掌关键点检测装置， 包括：

获取单元，用于获取包含9个关键点的手掌样本数据集，9个关键点分别 为食指与掌面的交界中点、小指与掌面的交界中点、食指与中指的间隔点、 中指与无名指的间隔点、无名指与小指的间隔点、掌面区域的四个轮廓点；

预测单元，用于将手掌样本数据集中的手掌样本数据输入到预置卷积神 经网络模型中，得到预置卷积神经网络输出的手掌分类层预测值、手掌框回 归层预测值、关键点位置回归层预测值和关键点方向回归层预测值；

损失计算单元，用于分别计算预置卷积神经网络模型的手掌分类层的损 失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回 归层的损失值；

参数更新单元，用于根据手掌分类层的损失值、手掌框回归层的损失值、 关键点位置回归层的损失值和关键点方向回归层的损失值更新预置卷积神经 网络模型的网络参数，得到目标卷积神经网络模型；

关键点检测单元，用于将待检测手掌图像输入到目标卷积神经网络模型 中进行手掌关键点检测，得到目标卷积神经网络模型输出的手掌关键点检测 结果。

进一步地，所述损失计算单元包括：

第一损失计算子单元，用于基于MSE函数计算预置卷积神经网络模型的 手掌分类层的损失值；

第二损失计算子单元，用于基于Smooth L1函数计算预置卷积神经网络 模型的手掌框回归层的损失值；

第三损失计算子单元，用于基于交叉熵函数计算预置卷积神经网络模型 的关键点位置回归层的损失值；

第四损失计算子单元，用于基于Smooth L1函数计算预置卷积神经网络 模型的关键点方向回归层的损失值。

进一步地，参数更新单元具体用于：

对手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的 损失值和关键点方向回归层的损失值赋予预置权重后求和，得到预置卷积神 经网络模型的损失值；

根据预置卷积神经网络模型的损失值更新预置卷积神经网络模型的网络 参数，得到目标卷积神经网络模型。

进一步地，第四损失计算子单元具体用于：

计算食指与掌面的交界中点、小指与掌面的交界中点的坐标点对，构成 正切角度值；

将正切角度值与掌面坐标系建立映射关系，使得关键点的方向数值回归 在掌面坐标系的四个象限内，得到关键点方向正样本值；

基于Smooth L1函数计算关键点方向正样本值和关键点方向回归层预测 值的误差，得到预置卷积神经网络模型的关键点方向回归层的损失值。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法， 可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性 的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有 另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系 统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的 耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或 通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一 个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功 能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机， 服务器，或者网络系统等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称： Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称： Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储 程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制； 尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种手掌关键点检测方法，其特征在于，包括：

获取包含9个关键点的手掌样本数据集，所述9个关键点分别为食指与掌面的交界中点、小指与掌面的交界中点、所述食指与中指的间隔点、所述中指与无名指的间隔点、所述无名指与小指的间隔点、掌面区域的四个轮廓点；

将所述手掌样本数据集中的手掌样本数据输入到预置卷积神经网络模型中，得到所述预置卷积神经网络输出的手掌分类层预测值、手掌框回归层预测值、关键点位置回归层预测值和关键点方向回归层预测值；

分别计算所述预置卷积神经网络模型的手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失值；

根据所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型；

将待检测手掌图像输入到所述目标卷积神经网络模型中进行手掌关键点检测，得到所述目标卷积神经网络模型输出的手掌关键点检测结果。

2.根据权利要求1所述的手掌关键点检测方法，其特征在于，所述分别计算所述预置卷积神经网络模型的手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失值，包括：

基于MSE函数计算所述预置卷积神经网络模型的手掌分类层的损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的手掌框回归层的损失值；

基于交叉熵函数计算所述预置卷积神经网络模型的关键点位置回归层的损失值；

基于Smooth L1函数计算所述预置卷积神经网络模型的关键点方向回归层的损失值。

3.根据权利要求2所述的手掌关键点检测方法，其特征在于，所述根据所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型，包括：

对所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值赋予预置权重后求和，得到所述预置卷积神经网络模型的损失值；

根据所述预置卷积神经网络模型的损失值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型。

4.根据权利要求1所述的手掌关键点检测方法，其特征在于，所述基于Smooth L1函数计算所述预置卷积神经网络模型的关键点方向回归层的损失值，包括：

计算所述食指与掌面的交界中点、所述小指与掌面的交界中点的坐标点对，构成正切角度值；

将所述正切角度值与掌面坐标系建立映射关系，使得关键点的方向数值回归在所述掌面坐标系的四个象限内，得到关键点方向正样本值；

基于Smooth L1函数计算所述关键点方向正样本值和所述关键点方向回归层预测值的误差，得到所述预置卷积神经网络模型的关键点方向回归层的损失值。

5.根据权利要求1所述的手掌关键点检测方法，其特征在于，所述预置卷积神经网络模型包括骨干网络和检测头部；

所述骨干网络为MobileNet。

6.根据权利要求1所述的手掌关键点检测方法，其特征在于，所述预置卷积神经网络模型的训练次数为500epoch，初始学习率为4e-4，且每训练100epoch衰减0.1倍。

7.一种手掌关键点检测装置，其特征在于，包括：

获取单元，用于获取包含9个关键点的手掌样本数据集，所述9个关键点分别为食指与掌面的交界中点、小指与掌面的交界中点、所述食指与中指的间隔点、所述中指与无名指的间隔点、所述无名指与小指的间隔点、掌面区域的四个轮廓点；

预测单元，用于将所述手掌样本数据集中的手掌样本数据输入到预置卷积神经网络模型中，得到所述预置卷积神经网络输出的手掌分类层预测值、手掌框回归层预测值、关键点位置回归层预测值和关键点方向回归层预测值；

损失计算单元，用于分别计算所述预置卷积神经网络模型的手掌分类层的损失值、手掌框回归层的损失值、关键点位置回归层的损失值和关键点方向回归层的损失值；

参数更新单元，用于根据所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型；

关键点检测单元，用于将待检测手掌图像输入到所述目标卷积神经网络模型中进行手掌关键点检测，得到所述目标卷积神经网络模型输出的手掌关键点检测结果。

8.根据权利要求7所述的手掌关键点检测装置，其特征在于，所述损失计算单元包括：

第一损失计算子单元，用于基于MSE函数计算所述预置卷积神经网络模型的手掌分类层的损失值；

第二损失计算子单元，用于基于Smooth L1函数计算所述预置卷积神经网络模型的手掌框回归层的损失值；

第三损失计算子单元，用于基于交叉熵函数计算所述预置卷积神经网络模型的关键点位置回归层的损失值；

第四损失计算子单元，用于基于Smooth L1函数计算所述预置卷积神经网络模型的关键点方向回归层的损失值。

9.根据权利要求8所述的手掌关键点检测装置，其特征在于，所述参数更新单元具体用于：

对所述手掌分类层的损失值、所述手掌框回归层的损失值、所述关键点位置回归层的损失值和所述关键点方向回归层的损失值赋予预置权重后求和，得到所述预置卷积神经网络模型的损失值；

根据所述预置卷积神经网络模型的损失值更新所述预置卷积神经网络模型的网络参数，得到目标卷积神经网络模型。

10.根据权利要求7所述的手掌关键点检测装置，其特征在于，所述第四损失计算子单元具体用于：

计算所述食指与掌面的交界中点、所述小指与掌面的交界中点的坐标点对，构成正切角度值；

将所述正切角度值与掌面坐标系建立映射关系，使得关键点的方向数值回归在所述掌面坐标系的四个象限内，得到关键点方向正样本值；

基于Smooth L1函数计算所述关键点方向正样本值和所述关键点方向回归层预测值的误差，得到所述预置卷积神经网络模型的关键点方向回归层的损失值。

Images