CN110287775B - 手掌图像裁剪方法、装置、计算机设备及存储介质 - Google Patents

手掌图像裁剪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110287775B
CN110287775B CN201910401330.4A CN201910401330A CN110287775B CN 110287775 B CN110287775 B CN 110287775B CN 201910401330 A CN201910401330 A CN 201910401330A CN 110287775 B CN110287775 B CN 110287775B
Authority
CN
China
Prior art keywords
palm
image
cascade
regression model
finger root
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910401330.4A
Other languages
English (en)
Other versions
CN110287775A (zh
Inventor
侯丽
王福晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910401330.4A priority Critical patent/CN110287775B/zh
Priority to PCT/CN2019/103179 priority patent/WO2020228181A1/zh
Publication of CN110287775A publication Critical patent/CN110287775A/zh
Application granted granted Critical
Publication of CN110287775B publication Critical patent/CN110287775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别领域，本发明实施例公开了一种手掌图像裁剪的方法、装置、计算机设备及存储介质，其中方法包括下述步骤：获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪的图像包含掌纹识别的关键点，避免了复杂背景的干扰，降低了掌纹识别的误差率。

Description

手掌图像裁剪方法、装置、计算机设备及存储介质
技术领域
本发明属于图像识别领域，尤其涉及一种手掌图像裁剪方法、装置、计算机设备及存储介质。
背景技术
在常用的生物特征识别技术中，指纹识别应用范围最为广泛，虹膜的识别精度很高，然而这两种生物特征的采集区域较小，需要高分辨率的图像才能取得满意的识别精度，普通移动设备的成像系统很难采集到能够满足识别要求的高分辨率指纹或虹膜图像。而手形和掌纹的区域较大，相关的识别技术并不需要很高的图像分辨率。掌纹是指手指末端到手腕部分的手掌图像。其中很多特征可以用来进行身份识别：如主线、皱纹、细小的纹理、分叉点等。掌纹识别也是一种非侵犯性的识别方法，用户比较容易接受，对采集设备要求不高。
但现有技术在获取手掌图像时，通常使用固定设备，通过模板匹配法，检测手的轮廓，要求手的姿态与图像采集设定的姿态一致，当手的姿态与图像采集设定的姿态不一致时，采集到的图像用于掌纹识别，存在识别误差率较高的问题。
发明内容
本发明提供一种手掌图像裁剪方法、装置、计算机设备及存储介质，以解决掌纹识别时手掌图像的获取问题。
为解决上述技术问题，本发明提出一种手掌图像裁剪方法，包括如下步骤：
获取待处理的图像；
将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
根据所述手掌关键点，计算所述图像中手掌的掌心点C；
以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
可选地，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤中，包括下述步骤：
确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E；
以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边。
可选地，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤：
将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
可选地，在所述根据所述手掌关键点，计算所述图像中手掌的掌心点C的步骤之后；所述以掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤之前，还包括下述步骤：
根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；
根据所述倾斜度，对所述图像进行旋转。
可选地，在所述以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪的步骤中，包括下述步骤：
以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线的矩形对所述图像进行裁剪。
可选地，所述级联姿势回归模型按照下述步骤训练：
获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；
将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；
计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；
调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
可选地，所述级联姿势回归模型包含T个回归器，T为大于1的正整数，在所述将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点的步骤中，包括下述步骤：
当t＝1时，将预设的关键点初始化值S0和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St；
当t＝2～T时，将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St，所述第T个回归器输出的关键点预测值ST即为所述级联姿势回归模型预测的手掌关键点。
为解决上述问题，本发明还提供一种手掌图像裁剪装置，包括：
获取模块，用于获取待处理的图像；
处理模块，用于将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
计算模块，用于根据所述手掌关键点，计算所述图像中手掌的掌心点C；
执行模块，用于以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
可选地，所述处理模块还包括：
第一检测子模块，用于将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
第一处理子模块，用于将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
可选地，所述手掌图像裁剪装置还包括：
第一计算子模块，用于根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；
第二处理子模块，用于根据所述倾斜度，对所述图像进行旋转。
可选地，所述执行模块还包括：
第三处理子模块，用于以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线的矩形对所述图像进行裁剪。
可选地，所述手掌图像裁剪装置还包括：
第一获取子模块，用于获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；
第四处理子模块，用于将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；
第二计算子模块，用于计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；
第一调整子模块，用于调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
可选地，所述手掌图像裁剪装置中的级联姿势回归模型包含T个回归器，T为大于1的正整数，所述第四处理子模块中包括：
第一预测子模块，用于当t＝1时，将预设的关键点初始化值S0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S1；
第二预测子模块，用于当t＝2～T时，将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St，所述第T个回归器输出的关键点预测值ST即为所述级联姿势回归模型预测的手掌关键点。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述手掌图像裁剪方法的步骤。
为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行上述所述手掌图像裁剪方法的步骤。
本发明实施例的有益效果为：通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
图1为本发明实施例一种手掌图像裁剪方法基本流程示意图；
图2为本发明实施例以掌心点C为中心，以AB为一条边的矩形对图像进行裁剪的示意图；
图3为本发明实施例手掌关键点预测流程示意图；
图4为本发明实施例图像旋转流程示意图；
图5为本发明实施例级联姿势回归模型训练流程示意图；
图6为本发明实施例一种手掌图像裁剪装置基本结构框图；
图7为本发明实施计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本实施方式中的终端即为上述的终端。
具体地，请参阅图1，图1为本实施例一种手掌图像裁剪方法的基本流程示意图。
如图1所示，一种手掌图像裁剪方法，包括下述步骤：
S101、获取待处理的图像；
通过具有图像采集功能的设备获取待处理的图片，包括带摄像头的手持设备、移动设备等。
S102、将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
本发明实施例通过级联姿势回归模型对输入的图像进行手掌关键点的预测。级联姿势回归模型由一系列的卷积神经网络级联构成，级联姿势回归模型经过训练具备预测手掌关键点的功能，具体的训练过程请参见图5。本发明实施例检测的手的掌关键点包含食指指根A、小指指根B、中指指尖D。通过级联的卷积神经网络预测手的关键位置的优点是可以在初始阶段采用较简单的网络,减少计算量,提高关键点识别的效率。
级联的卷积神经网络模型也可以称之为回归器。通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统从训练样本中学习手的关键点特征来预测手掌关键点。
S103、根据所述手掌关键点，计算所述图像中手掌的掌心点C；
根据步骤S102获取了食指指根A、小指指根B，以AB的中点E为一个端点，以垂直于AB的方向，并以至少等于AB长度的1/2取线段CE，C即为掌心点，且掌心点C与中指指尖D分别位于直线AB的两边。即掌心点在AB的中线上，与中指指尖D分别位于直线AB的两边。
S104、以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
以掌心点C为中心，以至少包含食指指根A和小指指根B的圆形或矩形对图像进行裁剪，得到包含手掌关键点食指指根A和小指指根B的掌纹图像。特别地，如图2所示，当以AB长度的1/2取手掌掌心点C，并以掌心点C为中心，以AB为一条边的矩形对图像进行裁剪时，既全部保留了手掌的关键点和掌纹图像，又去除了干扰掌纹识别的背景图像，裁剪后的图像用于掌纹识别减少了掌纹识别的计算量，提高计算效率，没有背景图像的干扰，掌纹识别的精度更高。由于掌心点C位于AB的中线上，以C为中心，以AB为一条边的矩形的第3个顶点为BC延长到F，CF的长度等于BC，同理，第4个顶点为AC延长到G，CG的长度等于AC。则以C为中心，以AB为一条边的矩形为ABGF。
如图3所示，在所述将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点的步骤中，包括下述步骤：
S111、将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
当图像采集设备采集到的手掌图像背景较复杂时，通过预设的目标检测模型预测手的位置，从而输出只包含待识别的手掌图像。预设的目标检测模型采用SSD(Single ShotMultiBox Detector)目标检测算法。SSD是基于一个前向传播CNN网络，产生一系列固定大小(fixed-size)的bounding boxes，以及每一个box中包含物体实例的可能性，即score。之后，进行一个非极大值抑制(Non-maximum suppression)得到最终的预测结果predictions。
SSD模型的最开始部分，称作base network，是用于图像分类的标准架构。在basenetwork 之后，添加了额外辅助的网络结构：即用来进行特征提取的卷积层，这些卷积层的大小是逐层递减的，可以在多尺度下进行predictions。
每一个新添加的层，可以使用一系列的卷积核进行预测。对于一个大小为m*n、p通道的特征层，使用3*3的卷积核进行预测，在某个位置上预测出一个值，该值是某一类别的得分，本发明实施例中也可以理解为包含在该位置上，以某一尺寸的box包含手的概率。图像经该模型计算，在每个位置都将产生一个值。概率最高的某一位置某一尺寸的box即为预测的手的位置。按照此位置和尺寸对待处理的图片进行裁剪，得到手掌图像。
S112、将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
将去除了背景的手掌图像输入到预先训练的级联姿势回归模型中，获得级联姿势回归模型输出的手掌关键点。
如图4所示，在步骤S103之后；步骤之S104前，还包括下述步骤：
S121、根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；
根据中指指尖D、食指指根A和小指指根B的连线来判断手的倾斜度，食指指根A的坐标为(A.x,A.y),小指指根B的坐标为(B.x,B.y)，以A为原点，则B可以表示(B.x-A.x，B.y-A.y)，AB与水平方向的倾斜角度a可表示为arctan(B.y-A.y)/(B.x-A.x)。
S122、根据所述倾斜度，对所述图像进行旋转。
以A为原点，D可以表示为(D.x-A.x，D.y-A.y)，DA与水平方向的倾斜角度b可表示为arctan(D.y-A.y)/(D.x-A.x)。当a小于b时，将手掌图像顺时针旋转a度，使AB处于水平位置，中指指尖D位于AB的上方，实现手掌姿势与掌纹识别装置预设的姿势对齐。可以理解地，将手掌图像逆时针旋转360-a度，可以达到相同的效果。当a大于b时，将手掌图像顺时针旋转180+a度，使AB处于水平位置，中指指尖D位于AB的上方，实现手掌姿势与掌纹识别装置预设的姿势对齐。可以理解地，将手掌图像逆时针旋转180-a度，可以达到相同的效果。
如图5所示，级联姿势回归模型按照下述步骤训练：
S131、获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；
级联姿势回归模型通过级联的卷积神经网络构成，训练样本为标注了手掌关键点的手掌图片集，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖，使经过训练的姿势回归模型可以预测出食指指根、小指指根和中指之间的位置。
S132、将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；
级联姿势回归模型的级联的卷积神经网络模型也可以称之为回归器，通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统从训练样本中学习手的关键点特征来预测手掌关键点。
手掌关键点检测的目的是估计向量，K表示关键点的个数，由于每个关键点有横纵两个坐标，所以S的长度为2K。在每个阶段中首先进行特征提取，这里使用的是shape-indexed features，也可以使用诸如HOG、SIFT等人工设计的特征，或者其他可学习特征(learning based features)。
训练过程是先初始化一个S0，然后提取特征，用特征进行回归，再更新S。即当t＝1时，将预设的关键点初始化值S0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S1；
当t＝2～T时，将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St，所述第T个回归器输出的关键点预测值ST即为所述级联姿势回归模型预测的手掌关键点。
其中，回归器包括特征提取层、关键点增量估计层，在将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St的具体过程为：
先将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到特征提取层，获取特征提取层输出的特征向量；然后将特征向量输入到所述关键点增量估计层，获取第t个回归器输出的关键点增量值ΔSt；然后将所述第t-1个回归器输出的关键点预测值St-1与所述第t个回归器输出的关键点增量值ΔSt相加，得到所述第t个回归器输出的关键点预测值St。
第T个回归器输出的关键点预测值ST即为级联姿势回归模型预测的手掌关键点。
有时候初始化S0选的不合适就会导致错误预测。所以可以对每一个图像，初始化K个不同姿态，级联神经网络模型运行K次得到K个不同结果。对这些结果进行聚类，选取密度最高的结果作为最终结果。即得到K个食指指根、小指指根和中指指尖的预测值，以每个预测值为圆心，以eps为半径画个圈(称为邻域eps-neigbourhood)，然后数有多少个点在这个圈内，这个数就是该点密度值。选取一个密度阈值MinPts，如圈内点数小于MinPts的圆心点为低密度的点，而大于或等于MinPts的圆心点高密度的点(称为核心点Core point)。则取密度最高的圆心点作为最终预测的手掌关键点。具体算法为DBSCAN算法。
S133、计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；
计算预测的手掌关键点与标注的手掌关键点之间的距离，这里指对应关键点之间的距离，例如标注的手掌关键点为食指指根、中指指尖、小指指根，则计算预测的食指指根与标注的食指指根的距离，预测的小指指根与标注的小指指根的距离，预测的中指指尖与标注中指指尖的距离。两个点之间的距离即两个坐标的差的平方。
S134、调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
调整级联姿势回归模型各节点的参数，即调整级联的各卷积神经网络模型各节点的权重，使预测的手掌关键点与标注的手掌关键的之间的距离最小时，训练结束，此时，认为各节点参数定义的级联姿势回归模型具备预测手掌关键点的功能。
为解决上述技术问题本发明实施例还提供一种手掌图像裁剪装置。具体请参阅图6，图6为本实施例手掌图像裁剪装置的基本结构框图。
如图6所示，一种手掌图像裁剪装置，包括：获取模块210、处理模块220、计算模块230和执行模块240，其中获取模块210，用于获取待处理的图像；处理模块220，用于将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；计算模块230，用于根据所述手掌关键点，计算所述图像中手掌的掌心点C；执行模块240，用于以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
本发明实施例通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
在一些实施方式中，所述处理模块220还包括：第一检测子模块，用于将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；第一处理子模块，用于将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点。
在一些实施方式中，所述手掌图像裁剪装置还包括：第一计算子模块，用于根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；第二处理子模块，用于根据所述倾斜度，对所述图像进行旋转。
在一些实施方式中，所述执行模块240中还包括：第三处理子模块，用于以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线的矩形对所述图像进行裁剪。
在一些实施方式中，所述手掌图像裁剪装置还包括：第一获取子模块，用于获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；第四处理子模块，用于将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；第二计算子模块，用于计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；第一调整子模块，用于调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
在一些实施方式中，所述手掌图像裁剪装置中的级联姿势回归模型包含T个回归器，T为大于1的正整数，所述第四处理子模块中包括：第一预测子模块，用于当t＝1时，将预设的关键点初始化值S0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S1；第二预测子模块，用于当t＝2～T时，将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St，所述第T个回归器输出的关键点预测值ST即为所述级联姿势回归模型预测的手掌关键点。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
如图7所示，计算机设备的内部结构示意图。如图7所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种手掌图像裁剪的方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种手掌图像裁剪的方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图6中获取模块210、处理模块220、计算模块230和执行模块240的具体内容，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有手掌图像裁剪方法中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备通过获取待处理的图像；将所述图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；根据所述手掌关键点，计算所述图像中手掌的掌心点C；以所述掌心点C为中心，以至少包含所述食指指根A和所述小指指根B的圆形或矩形对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。经过裁剪后的图像包含了用于掌纹识别的关键点，且通过关键点可以确定手的姿态，同时避免了复杂背景的干扰，降低了掌纹识别的误差率。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述手掌图像裁剪方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种手掌图像裁剪方法，其特征在于，包括下述步骤：
获取待处理的图像；
将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E；以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边；
根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；根据所述倾斜度，对所述图像进行旋转；以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线对所述图像进行裁剪，获取所述待处理图像中手掌的掌纹图像。
2.根据权利要求1所述的手掌图像裁剪方法，其特征在于，所述级联姿势回归模型按照下述步骤训练：
获取训练样本，所述训练样本为标注了手掌关键点的手掌图片集，其中，每个样本标注的手掌关键点至少包含食指指根、小指指根和中指指尖；
将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点；
计算所述标注的手掌关键点和所述预测的手掌关键点之间的距离；
调整所述级联姿势回归模型各节点的参数，至所述标注的手掌关键点和所述预测的手掌关键点之间的距离最小时，训练结束。
3.根据权利要求2所述的手掌图像裁剪方法，其特征在于，所述级联姿势回归模型包含T个回归器，T为大于1的正整数，在所述将所述训练样本输入到级联姿势回归模型获取所述级联姿势回归模型响应所述训练样本而预测的手掌关键点的步骤中，包括下述步骤：
当t=1时，将预设的关键点初始化值S0和所述训练样本输入到第1个回归器，获取第1个回归器输出的关键点预测值S1；
当t=2~T时，将第t-1个回归器输出的关键点预测值St-1和所述训练样本输入到第t个回归器，获取第t个回归器输出的关键点预测值St，第T个回归器输出的关键点预测值ST即为所述级联姿势回归模型预测的手掌关键点。
4.一种手掌图像裁剪装置，其特征在于，包括：
获取模块，用于获取待处理的图像；
处理模块，用于将所述图像输入到预设的目标检测模型中，以去除所述图像背景，获取所述目标检测模型响应所述图像而输出的待识别的手掌图像，其中预设的目标检测模型采用SSD目标检测算法预测图像中手的位置；
所述处理模块，还用于将所述手掌图像输入到预先训练的级联姿势回归模型，获取所述级联姿势回归模型响应所述手掌图像而输出的手掌关键点，其中，所述级联姿势回归模型输出的手掌关键点至少包括食指指根A、小指指根B、中指指尖D；
计算模块，用于确定以所述食指指根A和所述小指指根B为端点构成的线段AB的中点E；以所述中点E为端点，以垂直于所述线段AB的方向，确定掌心点C，使CE的长度至少为所述线段AB长度的1/2，且掌心点C与所述中指指尖D位于所述线段AB的两边；
执行模块，用于根据所述中指指尖D、食指指根A和小指指根B计算所述图像中手掌的倾斜度；根据所述倾斜度，对所述图像进行旋转；以所述食指指根A和所述小指指根B之间的连线AB为矩形的其中一条边；以所述食指指根A或所述小指指根B为一个端点，以所述掌心点C为中心，以连线AC或者BC长度的2倍为矩形的对角线对所述图像进行裁剪。
5.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项权利要求所述手掌图像裁剪方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至3中任一项权利要求所述手掌图像裁剪方法的步骤。
CN201910401330.4A 2019-05-15 2019-05-15 手掌图像裁剪方法、装置、计算机设备及存储介质 Active CN110287775B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910401330.4A CN110287775B (zh) 2019-05-15 2019-05-15 手掌图像裁剪方法、装置、计算机设备及存储介质
PCT/CN2019/103179 WO2020228181A1 (zh) 2019-05-15 2019-08-29 手掌图像裁剪方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910401330.4A CN110287775B (zh) 2019-05-15 2019-05-15 手掌图像裁剪方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110287775A CN110287775A (zh) 2019-09-27
CN110287775B true CN110287775B (zh) 2023-09-22

Family

ID=68002134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910401330.4A Active CN110287775B (zh) 2019-05-15 2019-05-15 手掌图像裁剪方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110287775B (zh)
WO (1) WO2020228181A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523435A (zh) * 2020-04-20 2020-08-11 安徽中科首脑智能医疗研究院有限公司 一种基于目标检测ssd的手指检测方法、系统及存储介质
CN111814535B (zh) * 2020-05-20 2024-05-07 平安科技（深圳）有限公司 掌纹图像的识别方法、装置、设备及计算机可读存储介质
CN113743169B (zh) * 2020-05-29 2023-11-07 北京达佳互联信息技术有限公司 手掌平面检测方法、装置、电子设备及存储介质
CN114694242B (zh) * 2020-12-25 2024-06-04 华为技术有限公司 Ai识别方法、电子设备和摄像头
CN112836597B (zh) * 2021-01-15 2023-10-17 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN113780201B (zh) * 2021-09-15 2022-06-10 墨奇科技（北京）有限公司 手部图像的处理方法及装置、设备和介质
CN114170620A (zh) * 2021-11-05 2022-03-11 深圳市鸿合创新信息技术有限责任公司 手掌位置确定方法、装置、电子设备及存储介质
CN115273282B (zh) * 2022-07-26 2024-05-17 宁波芯然科技有限公司 一种基于掌静脉识别的车门解锁方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016323A (zh) * 2016-01-28 2017-08-04 厦门中控生物识别信息技术有限公司 一种手掌感兴趣区域的定位方法及装置
CN109472213A (zh) * 2018-10-16 2019-03-15 平安科技（深圳）有限公司 掌纹识别方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649575B2 (en) * 2010-08-24 2014-02-11 Samsung Electronics Co., Ltd. Method and apparatus of a gesture based biometric system
CN104573615B (zh) * 2013-10-24 2018-03-16 华为技术有限公司 掌纹采集方法及装置
US10192098B2 (en) * 2016-09-09 2019-01-29 MorphoTrak, LLC Palm print image matching techniques
CN108427942A (zh) * 2018-04-22 2018-08-21 广州麦仑信息科技有限公司 一种基于深度学习的手掌检测与关键点定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016323A (zh) * 2016-01-28 2017-08-04 厦门中控生物识别信息技术有限公司 一种手掌感兴趣区域的定位方法及装置
CN109472213A (zh) * 2018-10-16 2019-03-15 平安科技（深圳）有限公司 掌纹识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110287775A (zh) 2019-09-27
WO2020228181A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
US11017210B2 (en) Image processing apparatus and method
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
CN108062526A (zh) 一种人体姿态估计方法及移动终端
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
US10885438B2 (en) Self-stabilized deep neural network
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN111160375A (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN111401318B (zh) 动作识别方法及装置
CN112329888A (zh) 图像处理方法、装置、电子设备以及存储介质
CN111583100A (zh) 图像处理方法、装置、电子设备及存储介质
CN112329826A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN113869282A (zh) 人脸识别方法、超分模型训练方法及相关设备
CN111598087A (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN112149699A (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN114399808A (zh) 一种人脸年龄估计方法、系统、电子设备及存储介质
CN113919401A (zh) 基于星座图特征的调制类型识别方法、装置、计算机设备
CN110298233B (zh) 掌纹识别方法、装置、计算机设备及存储介质
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant