CN110276249A - 立体手掌图像摆正方法及装置 - Google Patents

Abstract

本发明涉及生物特征识别技术领域。本发明实施例提供一种立体手掌图像摆正方法及装置，其中所述立体手掌图像摆正方法包括：获取待处理的手掌图像；识别手掌图像中的至少四个手掌关键点；根据各个手掌关键点，构建相对应的初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；基于初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对手掌图像进行拉伸处理，以摆正手掌图像，其中标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。由此，经过关键点识别、模型构建和模型匹配，并对倾斜手掌进行拉伸处理，实现了对手掌图像中倾斜手掌的摆正。

Description

立体手掌图像摆正方法及装置

技术领域

本发明涉及生物特征识别技术领域，具体地涉及一种立体手掌图像摆正方法及装置。

背景技术

近年来，工业界、学术界不断致力于提高身份信息的验证效果，以满足门禁控制、航空安全、电子银行等多个不同领域中，对于识别人的身份的严苛需求。基于生物特征识别的方法正吸引着越来越多的关注，掌纹识别便是其中一种极具代表的生物特征识别方法。掌纹识别方法具有区分性高、鲁棒性强、用户友好等诸多优点。掌纹指掌心表面的皮肤纹理，主要包含两类特征：摩擦嵴和屈褶线。这两种特征对于人类个体而言是不变的、永久的、独一无二的。

一般情况下，手掌图像中三维立体的手掌的摆放相对于拍摄角度很可能是倾斜的，但这样就导致这种手掌倾斜的图片所呈现的掌纹出现了很大的变形，使得后续的掌纹识别操作无法正常进行。

因此，如何对倾斜面的手掌相对于水平面的找平和水平化是目前业界亟待解决的技术难题。

发明内容

本发明实施例的目的是提供一种立体手掌图像摆正方法及装置，用以实现将图片中倾斜的手掌进行摆正找平，从而保障后续的掌纹识别操作能够正常进行。

为了实现上述目的，本发明实施例一方面提供一种立体手掌图像摆正方法，包括：获取待处理的手掌图像；识别所述手掌图像中的至少四个手掌关键点；根据各个所述手掌关键点，构建初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；基于所述初始关键点图形模型和预标定的标准关键点图形模型，对所述手掌图像进行拉伸处理，以摆正所述手掌图像，其中所述标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

本发明实施例另一方面提供一种立体手掌图像摆正装置，包括：获取单元，用于获取待处理的手掌图像；关键点识别单元，用于识别所述手掌图像中的至少四个手掌关键点；图形模型构建单元，用于根据各个所述手掌关键点，构建初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；拉伸摆正单元，用于基于所述初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对所述手掌图像进行拉伸处理，以摆正所述手掌图像，其中所述标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

本发明实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。

本发明实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。

通过上述技术方案，基于手掌是类似方形的特征而采用手掌图像覆盖手掌区域的至少四个手掌关键点，并构建对应的初始关键点图形模型，并将该初始关键点图形模型和对应无倾斜情况的标准关键点图形模型进行匹配，从而确定手掌图像中的手掌是否倾斜，并对倾斜的图像进行拉伸，以摆正手掌图像。由此，经过关键点识别、模型构建和模型匹配，并对倾斜手掌进行拉伸处理，实现了对手掌图像中倾斜手掌的摆正，能够更广泛地被应用在诸如手机通用型终端中，为掌纹识别技术在日常应用市场的推广提供了基础。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例的立体手掌图像摆正方法的流程图；

图2A示出的是一示例的人手图像的示意图；

图2B示出的是应用本发明实施例的立体手掌图像摆正方法针对图2A所示手掌图像所构建的初始关键点图形模型的示意图；

图2C示出的是本发明实施例的立体手掌图像摆正方法中所应用的标准关键点图形模型的示意图；

图3是本发明实施例的立体手掌图像摆正方法中用于构建初始关键点图形模型的流程图：

图4是本发明实施例的立体手掌图像摆正方法中用于拉伸摆正手掌图像的流程图；

图5是本发明一实施例的立体手掌图像摆正方法中针对卷积神经网络的训练过程的流程图；

图6是本发明一实施例的立体手掌图像摆正方法的原理流程图；

图7是本发明一实施例的立体手掌图像摆正装置的结构框图；

图8是本发明另一实施例的立体手掌图像摆正装置的结构框图；

图9是本发明一实施例的搭建有立体手掌图像摆正装置的实体装置的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的立体手掌图像摆正方法，包括：

S11、获取待处理的手掌图像。

关于本发明实施例方法的实施主体，一方面，其可以是专用于掌纹识别或立体手掌图像摆正的专用集成组件、专用服务器或专用终端等；另一方面，其还可以是通用型服务器或终端，其中该通用型服务器或终端(例如智能手机、平板电脑等)可以是安装有用于进行掌纹识别或立体手掌图像摆正的模块或配置有用于立体手掌图像摆正的程序代码，且以上都属于本发明的保护范围内。

关于手掌图像的获取方式，其可以是调用终端的摄像头来采集手掌图像，也可以是终端或服务器接收自底层所上传的手掌图像。因此，本发明实施例的应用并不局限于在固定掌纹采集设备，而可以是被扩展到在移动终端上的应用。

S12、识别手掌图像中的至少四个手掌关键点。

示例性地，手掌关键点包括选自以下中的任意一者的关键点类型：手指指尖、手指指节、手指丫点、手指指根、手腕线中点以及手腕线端点。

需说明的是，因为手掌区域的形状是近四边形的，并且选择三角形来覆盖手掌区域会导致存在较多的空白范围而导致误差，因此在本发明实施例中推荐使用大于或等于四个关键点，以满足后续由手掌关键点所构建的关键点图形模型(包括基于检测构建的初始关键点图形类型和预设的标准关键点图形模型)能够覆盖手掌区域，例如构建四边形、五边形及六边形等。

其中，手掌关键点也可以用于表示手掌特征点，例如可以是将手掌上的纹路特征(手指指节和手指指根)、端点特征(例如手指指尖)、手掌特征(例如手指丫点、手腕线中点以及手腕线端点)中的一者或多者作为标识的手掌关键点。另外，关于手掌关键点的识别方式，其可以是通过目前相关技术中的关键点识别技术来实现，并且其还可以是通过于此后文中所介绍的方法来实现，且都属于本发明的保护范围内。

S13、根据各个手掌关键点，构建初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域。

其中，初始关键点图形模型可以是根据需求而自定义设置的，并且其可以是由不同的关键点类型来决定的，其可以是四边形、五边形等。

S14、基于初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对手掌图像进行拉伸处理，以摆正手掌图像，其中该标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

示例性地，可以是通过将初始关键点图形模型朝着标准关键点图形模型进行拉伸，以使得拉伸后的初始关键点图形模型与标准关键点图形模型相同或相匹配，从而实现对手掌图像的摆正。

如图2A所示出的是手掌图像的示例，图2B示出的是对应图2A所示手掌图像的初始关键点图形模型的示例，图2C示出的是标准关键点图形模型的示例。其中，所选用的关键点包括中指指尖、食指指根、小拇指指根和手腕线中点，这四个手掌关键点构成了用于覆盖手掌区域的四边形。进而，因为图2B中的手掌存在倾斜，可以是依据图2C中的标准关键点图形模型对图2B中的初始关键点图形模型进行拉伸，从而摆正该具有倾斜手掌的手掌图像。

需说明的是，虽然在关键点图形模型为四边形模型时，关键点图形模型所需求的关键点类型包括中指指尖、食指指根、小拇指指根和手腕线中点。但可以理解的是，其还可以是包括其他的关键点类型，或者当关键点图形模型是其他图形(例如五边形或六边形)时，其还可以需求更多不同的关键点类型，且都属于本发明的保护范围内。

在一些实施方式中，可以是通过如图3所示的流程来构建初始关键点图形模型：

S31、确定与所识别的各个手掌关键点相对应的关键点类型。

其中，手掌关键点所对应的关键点类型(或关键点名称)是多样化的，包括五个手指分别所具有的手指指尖、手指指节、手指丫点、手指指根、手腕线中点和手腕线端点等。

S32、选择所确定的关键点类型与关键点图形模型所需求的关键点类型相匹配的手掌关键点作为目标手掌关键点。

示例性地，可以是通过关键点识别技术识别出手掌图像中所有的手掌关键点，并确定相应的关键点类型；然后，选择与模型所需求的关键点类型相匹配的经识别的手掌关键点作为目标手掌关键点。

S33、基于目标手掌关键点，构建相对应的初始关键点图形模型。

其中，可以是通过将目标手掌关键点通过线段连接，从而实现对图形模型的建立。然后，初始关键点图形模型就是手掌图像所指示的原始的图形模型(如图2B中所示的四边形)，其需要按照标准模型(如图2C所示的四边形)进行拉伸和摆正。

在一些实施方式中，可以是通过如图4所示的流程来实现对手掌图像的拉伸摆正的，具体包括：

S41、确定初始关键点图形模型中的各个手掌关键点在恒定坐标系所分别对应的关键点坐标，其中恒定坐标系的位置在不同的手掌图像中均保持恒定。

需说明的是，在手掌图像中所构建的恒定坐标系在各个不同的手掌图像中的位置(包括坐标系原点和坐标轴)都可以是预先标定好的，其可以是相同的且其不随着图像的变化而改变。另外，关于各个手掌关键点在图像中所构建的世界坐标系中的坐标的确定过程，其可以是根据各个手掌关键点距坐标系原点的水平距离和垂直距离来确定各个手掌关键点的坐标。具体的，可以是选择手掌图像特定物理位置的点作为坐标原点，并基于该坐标原点而构建坐标系，例如将各个手掌图像的左下边角的点作为坐标原点，并以该坐标原点构建恒定坐标系。

S42、根据各个关键点坐标，计算初始关键点图形模型中各边边长所对应的初始边长比例。

S43、当初始边长比例与标准关键点图形模型中各边边长所对应的标准边长比例不匹配时，对各个关键点坐标进行拉伸计算，以使得对应的经拉伸计算之后的各个第一关键点所对应的拉伸边长比例与标准边长比例相匹配。

相应地，当初始边长比例与标准边长比例相匹配时，可以是确定当前手掌图像中的手掌不是倾斜的，而无需进行摆正操作。

作为示例，标准的四边形模型的四个边的比例为1:1:1:1，中轴线相对于水平面的夹角为90度；当前四边形模型的顺序的四个点的坐标分别为A(a_x1,a_y1)、B(b_x1,b_y1)、C(c_x1、c_y1)和D(d_x1,d_y1)(未示出)。首先需要求出矢量AC的方向，并判断该方向是否垂直于水平面，若不是，则需要先将坐标进行旋转轴换算，以得出当AC方向垂直于水平面时的A、B、C和D点的坐标(a_x2,a_y2)、B(b_x2,b_y2)、C(c_x2、c_y2)和D(d_x2,d_y2)，然后计算当前四边形模型的各个边长AB、BC、CD、AD，此时可以得出各边的边长比，当边长比不是1:1:1:1，则需要进行边长比换算，(其中，边长比换算过程可以是：当前所得到的四边形各个边长所对应的边长比为AB：BC：CD：AD＝1:2:2:3，此时可以是通过换算得到AB：BC：CD：AD＝1:1:1:1时各人手关键点所对应的坐标，换算过程可以参照图像拉伸算法，例如直接线性拉伸算法或裁剪线性拉伸算法，在拉伸算法计算的过程中应保证在各边长实现1:1:1：1的情况下各边长所损失或增长的长度最短；涉及的发明点是利用标定四边形的边长比特征来校正当前人手图像所对应的四边形，以实现对人手图像的矫正变换)以得到对应于边长比为1:1:1:1时的A、B、C和D点的坐标(a_x3,a_y3)、B(b_x3,b_y3)、C(c_x3、c_y3)和D(d_x3,d_y3)。在完成了上述计算之后，直接按照坐标点进行变换，A：(a_x1,a_y1)-(a_x3,a_y3)，B：(b_x1,b_y1)-(b_x3,b_y3)，C：(c_x1、c_y1)-(c_x3、c_y3)，D：(d_x1,d_y1)-(d_x3,d_y3)。进而，基于坐标换算后各个手掌关键点能够得到摆正的关键点图形模型，并相应地也摆正了手掌图像中的手掌。

需说明的是，在本发明实施例中，通过按照图形的边长比例为参照特征进行在初始关键点图形模型与标准关键点图形模型之间的匹配操作，操作简单且能实现较高精确度。可以理解的是，还可以是采用关键点图形模型(或四边形)的其他特征(例如角度等)作为参照特征，来作为对边长比例特征的补充或替换，且都属于本发明的保护范围内。

相应地，还可以是检测由各个第一关键点所组成的第一关键点图形模型与标准关键点图形模型所指示的摆放角度是否相匹配；一方面，当摆放角度相匹配时，则无需对关键点图形模型再作出角度变化；另一方面，当摆放角度不相匹配时，则对第一关键点图形模型进行矢量方向变更，以使得经矢量方向变更后的第二关键点图形模型与标准关键点图形模型所指示的摆放角度相匹配。例如，图2B所示的手掌所指示的摆放角度就与图2C所指示的标准关键点图形模型所指示的摆放角度之间存在倾斜或不匹配，此时需要进行矢量方向变更。示例性地，可以是将第一关键点图形模型与标准关键点图形模型中对应边长(例如均对应于边长AB)的矢量方向进行比较，若矢量方向相匹配，则证明摆放角度是相匹配的；而若矢量方向不相匹配，则需要对第一关键点图形模型的各个边长进行矢量方向变更，以使得两个模型之间的各个对应边长的矢量方向能够相同。

在一些实施方式中，手掌关键点是通过卷积神经网络进行识别的，因此可以是利用卷积神经网络技术来识别手掌关键点，提高了关键点识别结果的可靠性和时效性。

如图5所示，本发明一实施例的立体手掌图像摆正方法中针对卷积神经网络的训练过程，包括：

S51、获取多张训练手掌图像以组成训练手掌图像集，其中各张训练手掌图像预标注了相对应的手掌关键点。

关于训练手掌图像，其可以是通过收集由相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的、或也可以是从互联网上关键词搜索下载而得到的等，在此不作限制；然后，通过物体识别技术(例如语义分割模型)识别出人手区域，并对图像中的人手区域进行裁剪以得到手掌图像。进而，通过人工标注，在手掌图像上标注上各个手掌图像中的关键点，例如对手掌图像中的手指指节或指根等。将标注有手掌关键点的图像输入至卷积神经网络进行训练。

S52、将训练手掌图像集输入至卷积神经网络，以训练卷积神经网络，使得经训练的卷积神经网络能够从手掌图像中识别出手掌关键点。

具体的，在训练的过程中还可以是将训练手掌图像集分成训练集和验证集，然后基于训练集，迭代训练卷积神经网络，以使得当所迭代训练的网络在验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对卷积神经网络的训练操作。由此，加快和稳定了针对卷积神经网络的训练过程，保障了经训练后的卷积神经网络具有较佳性能，其能够快速且准确地检测到手掌图像中的手掌关键点。

在一些实施方式中，卷积神经网络可以是openpose网络，由此可以是采用openpose网络模型来实现对手掌关键点和手腕线的热点图，其中手指关节可以是对应于每个手指所具有的四个关节点，包括手指指尖、手指上指节、手指中指节和手指指根。但是，在本技术方案中可能并不需要应用所有的关节点，根据预设的关节点需求设置从所识别的手掌关节点中自动注释手掌关键点，其中关节点需求设置包括针对各个手指的指尖、上指节、中指节、指根和手腕线中点中的一者或多者的特定组合，如图2A和2B中所描述的，可能就用到四个关键点，即中指指尖+食指指根+小拇指指根+手腕线中点。

在本实施例中所应用的openpose网络模型可以是借助于目前市场上较为成熟的openpose网络模型，但需要对其进行改进，首先在训练数据集上，openpose应当是选用预先人工标注有手掌关键点的手掌图像，这些手掌关键点可以是一般手势识别情况下的20个关节点，但其还可以是上图所示的5个点，数据量更少以提升训练效率。在本实施例中，openpose网络模型可以是全卷积结构，并还可以是通过使用批量标准化来加快和稳定训练过程；另外，可通过创建数据集的方式来训练检测器(即openpose网络模型)，其中数据集包括训练集和验证集。

具体的，在该数据集中可以是包含10个不同室内环境的项目，其中在验证集中的手掌图像上是人工标注有手掌关键点的，而训练集中的手掌图像上是对应于同一室内环境项目下的手掌图像由OpenPose自动注释的手掌关键点；在训练网络之前，将数据集分成约10000帧的训练集和约1000帧的验证集；网络训练了20000次迭代；当重新训练的网络在验证集上的检测率超过95.0％，且误报率小于2.1％时，可以确定openpose网络模型已经训练收敛完成。最后，该经训练的openpose网络模型可以在约定的时间内检测出手掌图像中的手掌关键点。

在本发明实施例中，识别关于手掌的多个手掌关键点并组成当前手掌关键点图形模型，并按照标准手掌图形模型去矫正该当前手掌关键点图形模型，其矫正或拉伸的过程是基于模型多点或整体进行的，使得模型变换过程相比于单点变换能够更加精准可靠。

在本发明实施例中，通过在手掌上选择超过多个关键点(大于或等于四个)，并利用该多个关键点来找到手掌区域，并对关键点所指示的手掌区域进行拉直处理，进而解决了倾斜的手掌的掌纹变形所导致的掌纹识别率低下的问题。

如图6所示，本发明一实施例的立体手掌图像摆正方法的原理流程，包括：

S61、获取待处理的手掌图像。

其中，本发明实施例方法可以是应用在对非水平放置的手掌的掌心位置进行识别，因此本技术方案中的手掌图像不仅可以应用在固定设置的掌纹识别设备中，以采集水平放置的手掌的手掌图像。另外，其还可以是通过采集处于非规则安放(例如与水平面之间呈一定角度)的手掌的掌心位置。

在一应用场景下，用户可以打开掌纹识别APP，并通过进一步的操作激活相机模块以采集手掌图像。

S62、识别手掌图像中的多个手掌关键点，并基于关键点建立当前掌纹图像模型。

关于关键点的数量，其需要是大于四个的，关键点选取的目的是为了能够让所选定的关键点所组成的图形能够基本覆盖手掌或能够指示手掌的摆放特征信息。一般情况下，手掌的形状通过匹配是与四边形的关键点组合特征是最相匹配的，至少是最容易的，例如下图中所选取的中指指尖+食指指根+小拇指指根+手腕线中点，这样由上述四点所组成的四边形就能够覆盖住手掌。当然，也可以是采用其他的关键点组合方式，例如所有关键点都识别并进行组合。关于手掌关键点的类型，其可以是指示手指的指节(包括上、中和下指节)等，具体还可以是各类手指(例如食指、中指等)的指根中点。在本技术方案中，通过标记能够覆盖待识别的手掌图像中的整个手掌的多个关键点，以构建当前关键点图形模型；将当前关键点图形模型与预标定的标准关键点图形模型进行对比，从而确定当前关键点图形模型相对于标准关键点图形模型之间的拉伸比例，以使得最后能够根据拉伸比例对当前关键点图形模型进行拉伸，实现了将倾斜的立体手掌图像摆正。

对于手掌关键点的数量以及手掌关键点之间所组成的图形类型在此应不限定，例如可以是上图示例中所选定的四边形,四个点分别是“中指指尖+食指指根+小拇指指根+手腕线中点”，这样四边形的空间形态就能够直接反映出手掌的空间形态，通过以四边形为目标相对于预标定的摆正四边形进行拉伸，就能够连带带动对手掌图像的拉伸和摆正；因此，通过上述的原理可知，关键点选取的基本条件就是应当要满足组成的图形能够覆盖手掌。在一些可替换的实施方式中，还可以是选用更多的关键点组合所形成的图形，例如“五个手指的指尖+手腕线中点”所组成的六边形，其同样也能够满足要求。但是，前提条件是这些关键点要是能够被识别出来的点，一般是有纹路特征的点等(例如手指关节)，其具体的识别手段将在下文中展开。

需说明的是，关键点组合所形成的区域应当能够覆盖掌纹区域，四边形选择了四个关键点，其中一个关键点是中指顶点，一个关键点是小指指根中点，一个关键点是食指指根中点，最后一个点是手腕线中点，由此四点顺序连接所勾勒的四边形(此四边形即为对应的当前关键点图形模型)能够覆盖住手掌的掌纹区域。

关于具体的关键点识别过程，其可以是通过卷积神经网络来实现的：将经标注有手掌关键点的手掌图像作为训练手掌图像，并将该训练手掌图像输入至卷积神经网络进行训练，由此利用该经训练的卷积神经网络进行图像识别时，能够找到手掌中关键点。其可以是通过收集由相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的、或也可以是从互联网上关键词搜索下载而得到的等；然后，通过物体识别技术(例如语义分割模型)识别出人手区域，并对图像中的人手区域进行裁剪以得到人手图像。进而，通过人工标注，在人手图像上标注上各个人手图像中的关键点，例如对人手图像中的手指指节或指根中点。将标注有人体关键点的图像输入至卷积神经网络进行训练，从而将该卷积神经网络训练成人手关键点检测网络，以实现对人手关键点的检测。

其中，卷积神经网络所实现的功能是为了对图像中的人体关键点和非人体关键点之间进行分类区分。具体的，针对卷积神经网络的训练过程可以是：首先，预处理训练人手图像样本；其中，训练人手图像样本包括各种不规则摆放角度的人手所对应的人手图像，并且通过人工打标签各个人手图像样本中所存在的关键点(其可以是我们所需求的人体关键点,例如四边形图像中的中指指尖/食指指根等)。然后，将具有人体关键点标签的人手图像输入至倾角检测神经网络。由此，通过此训练过程，实现了通过应用该经训练的卷积神经就能够从人手图像中识别出人体关键点。

S63、按照预设定的标准掌纹图像模型的结构特征信息，矫正当前掌纹图像模型。

具体的，可以预先设定标准关键点图形模型为四边形，其所指示的结构特征信息可以是各个四边形的各个边的长度之间的比例关系，以及中轴线相对于水平面的角度。具体的，可以是将当前关键点图形模型进行矫正或拉伸，直到当前关键点图形模型的各个边也具备上述的比例关系，以及中轴线相对于水平面的角度。

在一些实施方式中，还可以是基于坐标演算变换的方式来实现上述的模型矫正的过程。首先，还是针对每个人手图像都存在一个相同的恒定坐标系,也就是说该恒定坐标系在各个图像中的位置都是预先标定好的，是相同的且其不随着图像的变化而改变。进而，确定各个人手关键点在图像中所构建的世界坐标系中的坐标，例如根据各个人手关键点距坐标系原点的水平距离和垂直距离来确定各个人手关键点的坐标。具体的，可以是选择人手图像特定位置的点作为坐标原点，并基于该坐标原点而构建坐标系，例如将各个人手图像的左下边角的点作为坐标原点，并以该坐标原点构建恒定坐标系。

在本发明实施例中，识别关于手掌的多个手掌关键点并组成当前手掌关键点图形模型，并按照标准手掌图形模型去矫正该当前手掌关键点图形模型，其矫正或拉伸的过程是基于模型多点或整体进行的，使得模型变换过程相比于单点变换能够更加精准可靠。

如图7所示，本发明一实施例的立体手掌图像摆正装置，包括：

获取单元701，用于获取待处理的手掌图像；

关键点识别单元702，用于识别所述手掌图像中的至少四个手掌关键点，其中所述手掌关键点包括选自以下中的任意一者的关键点类型：手指指尖、手指指节、手指丫点、手指指根、手腕线中点以及手腕线端点；

图形模型构建单元703，用于根据各个所述手掌关键点，构建相对应的初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；

拉伸摆正单元704，用于基于所述初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对所述手掌图像进行拉伸处理，以摆正所述手掌图像，其中所述标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

优选的，所述图形模型构建单元703还用于确定与所识别的各个手掌关键点相对应的关键点类型，以及选择所确定的关键点类型与关键点图形模型所需求的关键点类型相匹配的手掌关键点作为目标手掌关键点，以及，基于所述目标手掌关键点，构建相对应的初始关键点图形模型。

优选的，当关键点图形模型为四边形模型时，所述关键点图形模型所需求的关键点类型包括中指指尖、食指指根、小拇指指根和手腕线中点。

优选的，所述拉伸摆正单元704还用于确定所述初始关键点图形模型中的所述各个手掌关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定，以及根据各个所述关键点坐标，计算所述初始关键点图形模型中各边边长所对应的初始边长比例，以及当所述初始边长比例与所述标准关键点图形模型中各边边长所对应的标准边长比例不匹配时，对所述各个关键点坐标进行拉伸计算，以使得对应的经拉伸计算之后的各个第一关键点所对应的拉伸边长比例与所述标准边长比例相匹配。

在具体的应用场景中，如图8所示，所述手掌关键点是通过卷积神经网络进行识别的，该装置还包括训练单元705，其中所述训练单元705用于获取多张训练手掌图像以组成训练手掌图像集，其中各张所述训练手掌图像预标注了相对应的手掌关键点；以及，将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络，使得经训练的所述卷积神经网络能够从手掌图像中识别出手掌关键点。

优选的，所述训练单元705还用于将所述训练手掌图像集分成训练集和验证集，基于所述训练集，迭代训练所述卷积神经网络，以及，当所迭代训练的网络在所述验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对所述卷积神经网络的训练操作。

在一些实施方式中，所述卷积神经网络为openpose网络。

需要说明的是，本发明实施例提供的一种立体手掌图像摆正装置所涉及各功能单元的其他相应描述，可以参考图1-6中的对应描述，在此不再赘述。

基于上述如图1-6所示方法，相应的，本发明实施例还提供了一种存储设备，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-6所示的立体手掌图像摆正方法。

基于上述如图1-6所示方法和如图7、8所示虚拟装置的实施例，为了实现上述目的，如图9所示，本发明实施例还提供了一种立体手掌图像摆正装置的实体装置90，该实体装置90包括存储设备901和处理器902；所述存储设备901，用于存储计算机程序；所述处理器902，用于执行所述计算机程序以实现上述如图1-6所示的立体手掌图像摆正方法。

通过应用本发明的技术方案，基于手掌是类似方形的特征而采用手掌图像覆盖手掌区域的至少四个手掌关键点，并构建对应的初始关键点图形模型，并将该初始关键点图形模型和对应无倾斜情况的标准关键点图形模型进行匹配，从而确定手掌图像中的手掌是否倾斜，并对倾斜的图像进行拉伸，以摆正手掌图像。由此，经过关键点识别、模型构建和模型匹配，并对倾斜手掌进行拉伸处理，实现了对手掌图像中倾斜手掌的摆正，能够更广泛地被应用在诸如手机通用型终端中，或者安装有特定应用APP的手机终端，为掌纹识别技术在日常应用市场的推广提供了基础。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种立体手掌图像摆正方法，其特征在于，包括：

获取待处理的手掌图像；

识别所述手掌图像中的至少四个手掌关键点；

根据各个所述手掌关键点，构建初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；

基于所述初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对所述手掌图像进行拉伸处理，以摆正所述手掌图像，其中所述标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

2.根据权利要求1所述的方法，其特征在于，所述根据各个所述手掌关键点，构建相对应的初始关键点图形模型包括：

确定与所识别的各个手掌关键点相对应的关键点类型；

选择所确定的关键点类型与关键点图形模型所需求的关键点类型相匹配的手掌关键点作为目标手掌关键点；以及

基于所述目标手掌关键点，构建相对应的初始关键点图形模型。

3.根据权利要求2所述的方法，其特征在于，当关键点图形模型为四边形模型时，所述关键点图形模型所需求的关键点类型包括中指指尖、食指指根、小拇指指根和手腕线中点。

4.根据权利要求1所述的方法，其特征在于，所述基于所述初始关键点图形模型和预标定的标准关键点图形模型，对所述手掌图像进行拉伸处理，以摆正所述手掌图像包括：

确定所述初始关键点图形模型中的所述各个手掌关键点在恒定坐标系所分别对应的关键点坐标，其中所述恒定坐标系的位置在不同的手掌图像中均保持恒定；

根据各个所述关键点坐标，计算所述初始关键点图形模型中各边边长所对应的初始边长比例；

当所述初始边长比例与所述标准关键点图形模型中各边边长所对应的标准边长比例不匹配时，对所述各个关键点坐标进行拉伸计算，以使得对应的经拉伸计算之后的各个第一关键点所对应的拉伸边长比例与所述标准边长比例相匹配；

检测由所述各个第一关键点所组成的第一关键点图形模型与所述标准关键点图形模型所指示的摆放角度是否相匹配；

若不匹配，则对所述第一关键点图形模型进行矢量方向变更，以使得经矢量方向变更后的第二关键点图形模型与所述标准关键点图形模型所指示的摆放角度相匹配。

5.根据权利要求1所述的方法，其特征在于，所述手掌关键点是通过卷积神经网络进行识别的，其中该方法还包括针对卷积神经网络的训练过程，所述针对卷积神经网络的训练过程包括：

获取多张训练手掌图像以组成训练手掌图像集，其中各张所述训练手掌图像预标注了相对应的手掌关键点；

将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络，使得经训练的所述卷积神经网络能够从手掌图像中识别出手掌关键点。

6.根据权利要求5所述的方法，其特征在于，所述将所述训练手掌图像集输入至所述卷积神经网络，以训练所述卷积神经网络包括：

将所述训练手掌图像集分成训练集和验证集；

基于所述训练集，迭代训练所述卷积神经网络；

当所迭代训练的网络在所述验证集上的检测率超过预设定的检测阈值，且误报率小于预设定的误报阈值时，确定完成针对所述卷积神经网络的训练操作。

7.根据权利要求5所述的方法，其特征在于，所述卷积神经网络包括openpose网络，其中针对所述手掌关键点的识别操作包括：

基于所述openpose网络识别出手掌图像中的各个手掌关节点；以及

根据预设的关节点需求设置从所识别的手掌关节点中自动注释手指关键点，其中所述关节点需求设置包括针对各个手指的指尖、上指节、中指节、指根和手腕线中点中的一者或多者的特定组合。

8.一种立体手掌图像摆正装置，其特征在于，包括：

获取单元，用于获取待处理的手掌图像；

关键点识别单元，用于识别所述手掌图像中的至少四个手掌关键点；

图形模型构建单元，用于根据各个所述手掌关键点，构建初始关键点图形模型，其中由手掌关键点所构建的关键点图形模型能够覆盖手掌区域；

拉伸摆正单元，用于基于所述初始关键点图形模型与预标定的标准关键点图形模型进行匹配，对所述手掌图像进行拉伸处理，以摆正所述手掌图像，其中所述标准关键点图形模型为对应于无手掌倾斜情况的关键点图形模型。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。