CN110688894B - 一种手掌关键点提取方法和装置 - Google Patents
一种手掌关键点提取方法和装置 Download PDFInfo
- Publication number
- CN110688894B CN110688894B CN201910780786.6A CN201910780786A CN110688894B CN 110688894 B CN110688894 B CN 110688894B CN 201910780786 A CN201910780786 A CN 201910780786A CN 110688894 B CN110688894 B CN 110688894B
- Authority
- CN
- China
- Prior art keywords
- convolution
- result
- neural network
- key point
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 60
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000010606 normalization Methods 0.000 claims description 39
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 30
- 238000003062 neural network model Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 244000060701 Kaempferia pandurata Species 0.000 description 1
- 235000016390 Uvaria chamae Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种手掌关键点提取方法和装置。包括确定深度卷积神经网络，通过包括关键点坐标的手掌图像对深度卷积神经网络进行训练，得到第一卷积神经网络模型,确定子卷积神经网络，将第一卷积神经网络模型的预测结果和对应的标记关键点坐标作为子卷积神经网络的输入值对子卷积神经网络进行训练，得到第二卷积神经网络模型,通过第二卷积神经网络模型获取预测关键点坐标；将预测关键点坐标与标记关键点坐标进行对比，确定预测关键点坐标与标记关键点坐标的差值对第二卷积神经网络进行调整。本申请手掌关键点提取方法中，通过两次对预测的卷积神经网络模型进行逐步调整，达到提高预测手掌关键点准确性的目的。
Description
技术领域
本发明涉及神经网络技术领域，特别是涉及一种手掌关键点提取方法和装置。
背景技术
当今社会，对个人身份鉴别的情况无处不在。传统的证件验证等方式不能用于对互联网上的个人身份鉴别，而密码等方式又存在着较大的安全隐患。近年来，相继推出了人脸识别、指纹识别、虹膜识别等进行身份鉴别的生物特征识别技术，并且在一些领域得到了应用。
当前的掌纹识别技术大多数采用接触式的采集方式。接触式的采集方式采用封闭的环境，提供单一的背景。从而避免了外界环境对采集的信息的影响。并且，常见的接触式掌纹采集装置包括辅助点，即采用两个以上小圆柱固定在手指指根缝隙处。从而在指纹采集的同时根据辅助点确定手掌的关键点。上述掌纹提取方法可以在实验室中实现，但显示场景中如超市、车站、银行等，使用固定的小圆柱拍摄手掌并不便捷，且目前手掌关键点提取要求图像背景单一，无法满足实际复杂背景的需要。
因此，现有的非辅助点式掌纹提取方式所采集的指纹识别很难识别，急需提供一种能够对手掌图像标记关键点的方法。
发明内容
基于此，有必要提出一种手掌关键点提取方法和装置。从而对确定出掌纹图像的关键点，为后续的手掌图像的识别做准备。
一方面，本申请具体实施例提供一种手掌关键点坐标提取方法，该方法包括，确定N层深度卷积神经网络，N为大于等于1的正整数；通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，T张手掌图像的尺寸统一且所述T张手掌图像中包括的关键点坐标为手掌中的同一位置，T为大于等于1的正整数；确定子卷积神经网络，将第一卷积神经网络模型的预测结果和对应的标记关键点坐标作为子卷积神经网络的输入值对子卷积神经网络进行训练，得到第二卷积神经网络模型，通过第二卷积神经网络模型获取预测关键点坐标；将预测关键点坐标与标记关键点坐标进行对比，确定预测关键点坐标与标记关键点坐标的差值；根据预测关键点坐标与标记关键点坐标的差值对第二卷积神经网络模型进行调整，以通过调整后的第二卷积神经网络模型对需要提取手掌关键点的手掌图像进行预测。
在一个可能的设计中，通过T张包括关键点坐标的手掌图像对N层深度卷积神经网络进行训练前，还包括将手掌图像调整至预定尺寸大小；将调整至预定尺寸大小的手掌图像分别进行关键点坐标标记，每个手掌图像的关键点坐标相对手掌的位置相同。
在一个可能的设计中，N为6，6层深度卷积神经网络中的第一层为卷积层，第二层为池化层，第三层为3个级联的卷积层，第四层为3个级联的降采样卷积层；第五层为3个级联的降采样卷积层；第六层为卷积层。
在一个可能的设计中，通过T张包括关键点坐标的手掌图像对N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型包括对第一层的卷积结果进行降维卷积，得到第一卷积结果；通过第一卷积结果对第二层计算最大池化，得到第二卷积结果；将所述第二卷积结果与第三层中的多个卷积模块连续进行卷积运算，并经过预设处理得到多个对应计算结果，将多个对应计算结果进行结合得到第三卷积结果；将所述第三卷积结果与第四层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到所述第四卷积结果；将所述第四卷积结果与第五层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第五卷积结果；将第五卷积结果与第六层的卷积模型进行卷积运算，对卷积运算的结果做全局最大池化，将全局最大池化的结果连接特征文件，计算欧式损失函数得到第一卷积神经网络模型。
在一个可能的设计中，所述将所述第二卷积结果与第三层中的多个卷积模块连续进行卷积运算，并经过预设处理得到多个对应计算结果，将多个对应计算结果进行结合得到第三卷积结果，包括将第二卷积结果与第三层中的第一个卷积模块进行卷积运算，将卷积运算的结果进行归一化处理，对归一化处理的结果与激活函数进行计算得到第一结果，将第一结果与第三层中的第二个卷积模块进行卷积运算，对卷积运算的结果进行归一化处理，将归一化处理得到的结果与激活函数进行计算得到第二结果，将第二结果与第三层中的第三个的卷积模块进行卷积运算，对卷积运算的结果进行归一化处理，将归一化处理的结果与激活函数进行计算得到第三结果，将第一结果、第二结果和第三结果连接得到第三卷积结果。
在一个可能的设计中，将所述第三卷积结果与第四层中的多个降采样卷积模块连续进行卷积运算，并进行归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到所述第四卷积结果；将第三卷积结果与第四层的第一个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第四结果，将第四结果与第四层的第二个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第五结果，将第五结果与第四层的第三个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第六结果，将第四结果、第五结果和第六结果连接得到第四卷积结果。
在一个可能的设计中，所述将所述第四卷积结果与第五层中的多个降采样卷积模块连续进行卷积运算，并进行归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第五卷积结果，包括将第四卷积结果与第五层的第一个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第七结果，将第七结果与第五层的第二个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第八结果，将第八结果与第五层的第三个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第九结果，将第七结果，第八结果和第九结果连接得到第五卷积结果。
在一个可能的设计中，所述子卷积神经网络的数量为T，T个子卷积神经网络为S1至St，Sn＝ΔSn+Sn-1，ΔSn是第n个子卷积神经网络的第n个残余状态；将ΔSn与相对应的手掌图像中标记的关键点坐标进行欧式范数损失函数计算得到第二神经卷积神经网络模型。
第二方面，本申请还提供一种手掌关键点提取装置，包括第一确定单元，用于确定N层深度卷积神经网络，N为大于等于1的正整数；处理单元，用于通过T张包括关键点坐标的手掌图像对N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，T张手掌图像的尺寸统一且T张手掌图像中包括的关键点坐标为手掌中的同一位置，T为大于等于1的正整数；第二确定单元，用于确定子卷积神经网络，将第一卷积神经网络模型的预测结果和对应的标记关键点坐标作为子卷积神经网络的输入值对子卷积神经网络进行训练，得到第二卷积神经网络模型，通过第二卷积神经网络模型获取预测关键点坐标，将预测关键点坐标与标记关键点坐标进行对比，确定预测关键点坐标与标记关键点坐标的差值；处理单元，还用于根据预测关键点坐标与标记关键点坐标的差值对第二卷积神经网络模型进行调整，以通过调整后的所述第二卷积神经网络模型对需要提取手掌关键点的手掌图像进行预测。
第三方面，本申请的具体实施例还提供了一种掌纹识别方法，所述方法包括对获取的掌纹图像进行掌纹关键点的提取，对确定出掌纹关键点的掌纹图像进行识别。所述掌纹关键点的提取方法包括第一方面所述任一项。
第四方面，本申请的具体实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
确定N层深度卷积神经网络，N为大于等于1的正整数；通过T张包括关键点坐标的手掌图像对N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，T张手掌图像的尺寸统一且T张手掌图像中包括的关键点坐标为手掌中的同一位置，T为大于等于1的正整数；确定子卷积神经网络，将第一卷积神经网络模型作为子卷积神经网络的输入值对所述子卷积神经网络进行计算，得到第二卷积神经网络模型，通过第二卷积神经网络模型计算所述T张包括手掌关键点坐标的手掌图像；将第二卷积神经网络模型计算的T张手掌图像的关键点坐标与T张手掌图像标记的手掌关键点坐标进行对比，确定第二卷积神经网络模型计算的关键点坐标与标记的关键点坐标的差值；根据预测的关键点坐标与标记的关键点坐标的差值对N层深度卷积神经网络进行调整，以通过调整后的N层深度卷积神经网络对需要提取手掌关键的手掌图像进行预测。
第五方面，本申请具体实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行第一方面任一项所述的步骤。
一种掌纹关键点的提取方法和装置，包括创建N层深度卷积神经网络，通过T张包括关键点的手掌图像对所述N层深度卷积神经网络进行训练。并且，通过N层深度卷积神经网络的预测结果对T个子卷积神经网络进行训练，得到第二卷积神经网络模型，还根据第二卷积神经网络模型的预测结果与实际手掌关键点的偏差，对第二卷积神经网络模型进行调整。本申请通过两次对预测的卷积神经网络模型进行调整，达到提高预测手掌关键点准确性的目的。
附图说明
图1为本申请具体实施例中提供的一种手掌关键点提取方法；
图2为本申请具体实施提供的一种肤色分割装置；
图3为本申请具体实施例提供的一种计算机设备。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一手势测试脚本称为第二手势测试脚本，且类似地，可将第二手势测试脚本称为第二手势测试脚本。
图1为本申请具体实施例提供的一种手掌关键点提取方法。如图1所示，包括:
S1、确定N层深度卷积神经网络，N为大于等于1的正整数。
在本申请的实施例中，在确定N层深度卷积神经网络前，所述方法还包括获取需要进行匹配的手掌图像，所述手掌图像包括需要识别的手掌的信息。通过深度学习训练的手掌关键点模型对所述手掌图像进行计算，以获取关键点坐标信息。根据关键点坐标信息将所述手掌图像分割成至少两块固定大小的区域。
在一个例子中，本申请还可以通过相机/摄像机等图像视频采集设备获取手掌图像，从而无需其他预处理，仅对获取的手掌图像标记手掌图像的关键点即可完成构建训练样本集。
在本申请的实施例中，还可以对获取的手掌图像做随机变化，透视变换，色彩变换等多种变换方式，从而能够成倍的增加训练样本集。
在本申请的实施例中，训练样本集包括T张手掌图像。T张手掌图像的尺寸统一且所述关键点为位置为手掌中的同一位置，N层深度卷积神经网络的训练结果还包括所述手掌关键点的网络初始化状态。
在本申请的实施例中，该N层深度卷积神经网络的构建可以是任意的。在一个例子中，N为6，6层深度卷积神经网络中的第一层是卷积核数量为16的7×7卷积层，第二层是窗口大小为2×2的池化层，第三层是3个级联的3×3卷积层，第四层是3个级联的3×3降采样卷积层；第五层是3个级联的3×3降采样卷积层；第六层是3×3的卷积层。
S2、通过T张包括关键点的手掌图像对所述N层深度卷积神经网络进行训练。
通过T张包括关键点坐标的手掌图像对N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型。通过第一卷积神经网络模型，即可进行手掌关键点坐标提取。当然，若直接使用第一卷积神经网络则与现有技术所采用的方案相类似。
具体的，对第一层的卷积结果进行降维卷积，得到第一卷积结果。通过所述第一卷积结果对第二层计算最大池化，得到第二卷积结果。将所述第二卷积结果与第三层中的多个卷积模块连续进行卷积运算，并经过预设处理得到多个对应计算结果，将多个对应计算结果进行结合得到第三卷积结果。将所述第三卷积结果与第四层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到所述第四卷积结果。将所述第四卷积结果与第五层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第五卷积结果。将第五卷积结果与第六层的卷积模型进行卷积运算，对卷积运算的结果做全局最大池化，将全局最大池化的结果连接特征文件，计算欧式损失函数得到第一卷积神经网络模型。
下面，通过一个具体的例子进行具体说明。
对第一层的卷积结果进行降维卷积运算，通过对第一层进行卷积运算得到L2(第一卷积结果)。
需要说明的时，卷积运算，降维卷积运算，激活函数的计算，多个计算结果的连接，归一化处理，全局最大池化等都是现有的技术方式，本申请对此不进行具体的说明。
第二层为池化层。通过L2对第二层的池化层计算最大池化，得到block3(第二卷积结果)。
将block3与第三层中的第一个3×3卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，再使用激活函数(Rectified Linear Units，ReLU)，得到out1(第一结果)。将out1与第三层中的第二个3×3卷积模块进行卷积运算，对卷积运算的结果进行归一化处理。将归一化处理得到的结果与激活函数进行计算，得到out2(第二结果)。将out2与第三层中的第三个3×3的卷积模块进行卷积运行，对卷积运算的结果进行归一化处理。将归一化处理后得到的结果与激活函数进行计算，得到out3(第三结果)。将out1、out2和out3连接得到第三卷积结果。
将out1、out2和out3的连接结果(第三卷积结果)与第四层的第一个3×3降采样卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，得到out1(第四结果)。将out1与第四层的第二个3×3降采样卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，得到out2(第五结果)。将out2与第四层的第三个3×3降采样卷积进行卷积运算。对卷积运算的结果进行归一化处理，得到out3(第六结果)。将out1、out2和out3连接得到第四卷积结果。
将out1、out2和out3的连接结果(第四卷积结果)与第五层的第一个降采样卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，得到out1(第七结果)。将out1与第五层的第二个降采样卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，得到out2(第八结果)。将out2与第五层的第三个降采样卷积模块进行卷积运算。对卷积运算的结果进行归一化处理，得到out3(第九结果)。将out1，out2和out3连接得到第五卷积结果。
将out1，out2和out3的连接结果(第五卷积结果)与第六层的卷积模型进行卷积运行。对卷积运行的结果做全局最大池化。将全局最大池化的结果进入全连接层并连接特征文件，计算欧式损失函数得到S0，S0是手掌关键点的初始化状态。
S3、确定子卷积神经网络，将第一卷积神经网络模型的训练结果和对应的标记关键点坐标作为子卷积神经网络的输入值对所述子卷积神经网络进行训练，得到第二卷积神经网络模型。通过第二卷积神经网络模型获取预测关键点坐标。
T个子卷积神经网络中的每个神经网络分别包含卷积层、激活层及池化层。通过对所述T个子卷积神经网络的训练，得到第二卷积神经网络模型。通过第二卷积神经网络模型获取预测关键点坐标。
每一个子卷积神经网络直接将其上一阶段的输入手掌图像和输出特征作为输入结果。在第t个阶段，标记的周围区域是从前面的网络模型St-1(上一个子卷积神经网络)预测的标记点附近提取的。每一个切片分别输入到卷积层中，然后所有切片的卷积特征通过全连接层连接在一起，用来预测剩余的关键点ΔSt。将ΔSt与人工标记的关键点坐标进行欧式范数损失函数计算。
具体的，所述T个子卷积神经网络为S1至St。SN为T个子卷积神经网络中的一个。其中
Sn＝ΔSn+Sn-1
其中ΔSn是第n个子卷积神经网络的第n个残余状态。在本申请的一个具体实施例中，S2-S1＝ΔSt,例如，S2-S1＝ΔS2。将ΔSn与相对应的手掌图像中标记的关键点坐标进行欧式范数损失函数计算得到第二卷积神经网络模型。
通过第二卷积神经网络模型，计算得到前述的T张包括手掌图像的关键点坐标。
S4、将预测关键点坐标与所述标记关键点坐标进行对比，确定预测关键点坐标与标记关键点坐标的差值。
也就是说，将第二卷积神经网络模型的计算结果进行验算。通过验算得到的差值，即可知道该模型的计算结果与实际结果之间的误差。
S5、根据预测关键点坐标与标记关键点坐标的差值对所述第二卷积神经网络模型进行调整。
以通过调整后的所述第二卷积神经网络模型对需要提取手掌关键的手掌图像进行预测。根据预测的手掌关键点与标记手掌关键点的关系对所述第二卷积神经网络模型进行调整为现有技术，本申请对此不进行赘述。
图2为本申请具体实施提供的一种手掌关键点提取装置，所述装置包括第一确定单元21、处理单元22和第二确定单元23。
第一确定单元21，用于确定N层深度卷积神经网络，其中，N为大于等于1的正整数。
处理单元22，用于通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，所述T张手掌图像的尺寸统一且所述T张手掌图像中包括的关键点坐标为手掌中的同一位置，所述T为大于等于1的正整数；
第二确定单元23，用于确定子卷积神经网络，将第一卷积神经网络模型的预测结果作和对应的标记关键点坐标为子卷积神经网络的输入值对所述子卷积神经网络进行训练，得到第二卷积神经网络模型，通过第二卷积神经网络模型获取预测关键点坐标，将预测关键点坐标与所述标记关键点坐标进行对比，确定预测关键点坐标与标记关键点坐标的差值；
所述处理单元22，还用于根据预测关键点坐标与标记关键点坐标的差值对所述第二卷积神经网络模型进行调整，以通过调整后的所述第二卷积神经网络模型对需要提取手掌关键点的手掌图像进行预测。
当然，上述手掌关键点提取装置仅为本申请具体实施例的部分内容。
本申请的手掌关键点提取装置还可以用于执行图1所述的任意方法。
应理解以上数据获取装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元通过软件通过处理元件调用的形式实现，部分单元通过硬件的形式实现。例如，确定单元可以为单独设立的处理元件，也可以集成在基站的某一个芯片中实现，此外，也可以以程序的形式存储于基站的存储器中，由基站的某一个处理元件调用并执行第一控制单元的功能。其它单元的实现与之类似。需要说明的是，接收单元可以通过射频装置和天线与终端通信，例如基站可以通过天线接收终端发送的信息，接收的信息通过射频装置处理后发送给接收单元。此外通信装置的单元可以全部或部分集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个单元通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在一个实施例中，图3为本申请具体实施例提供的一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。存储器用于存储实现图1所示方法实施例所执行的方法的程序。处理器调用该程序，执行以上方法实施例的操作。
当然，上述计算机设备的处理器所执行的功能仅为本实施例中的一种举例，不能用于对本申请中的计算机设备的限定。本申请的计算机设备可以执行图1所示方法中的任意步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行图1所示的任意步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种手掌关键点提取方法，其特征在于，所述方法包括：
确定N层深度卷积神经网络，所述N为大于等于1的正整数；
通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，所述T张手掌图像的尺寸统一且所述T张手掌图像中包括的关键点坐标为手掌中的同一位置，所述T为大于等于1的正整数；
确定子卷积神经网络，将所述第一卷积神经网络模型的预测结果和对应的标记关键点坐标作为子卷积神经网络的输入值对所述子卷积神经网络进行训练，得到第二卷积神经网络模型，通过第二卷积神经网络模型获取预测关键点坐标；
将所述预测关键点坐标与所述标记关键点坐标进行对比，确定所述预测关键点坐标与所述标记关键点坐标的差值；
根据所述预测关键点坐标与所述标记关键点坐标的差值对所述第二卷积神经网络模型进行调整，以通过调整后的所述第二卷积神经网络模型对需要提取手掌关键点的手掌图像进行预测；
所述子卷积神经网络的数量为T，T个所述子卷积神经网络为S1至St，Sn＝ΔSn+Sn-1，所述ΔSn是第n个子卷积神经网络的第n个残余状态；
将所述ΔSn与相对应的手掌图像中标记的关键点坐标进行欧式范数损失函数计算得到第二神经卷积神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练前，所述方法还包括：
将所述手掌图像调整至预定尺寸大小；
将调整至预定尺寸大小的手掌图像分别进行关键点坐标标记，每个所述手掌图像的关键点坐标相对手掌的位置相同。
3.根据权利要求1所述的方法，其特征在于，所述N为6，所述6层深度卷积神经网络中的第一层为卷积层，第二层为池化层，第三层为3个级联的卷积层，第四层为3个级联的降采样卷积层；第五层是3个级联的降采样卷积层；第六层为卷积层。
4.根据权利要求3所述的方法，其特征在于，所述通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型包括：
对第一层的卷积结果进行降维卷积，得到第一卷积结果；
通过所述第一卷积结果对第二层计算最大池化，得到第二卷积结果；
将所述第二卷积结果与第三层中的多个卷积模块连续进行卷积运算，并经过预设处理得到多个对应计算结果，将多个对应计算结果进行结合得到第三卷积结果；
将所述第三卷积结果与第四层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第四卷积结果；
将所述第四卷积结果与第五层中的多个降采样卷积模块连续进行卷积运算，并经过归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第五卷积结果；
将第五卷积结果与第六层的卷积模型进行卷积运算，对卷积运算的结果做全局最大池化，将全局最大池化的结果连接特征文件，计算欧式损失函数得到第一卷积神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述第二卷积结果与第三层中的多个卷积模块连续进行卷积运算，并经过预设处理得到多个对应计算结果，将多个对应计算结果进行结合得到第三卷积结果，包括：将所述第二卷积结果与第三层中的第一个卷积模块进行卷积运算，将卷积运算的结果进行归一化处理，对归一化处理的结果与激活函数进行计算得到第一结果，将所述第一结果与第三层中的第二个卷积模块进行卷积运算，对卷积运算的结果进行归一化处理，将归一化处理得到的结果与激活函数进行计算得到第二结果，将所述第二结果与第三层中的第三个的卷积模块进行卷积运算，对卷积运算的结果进行归一化处理，将归一化处理的结果与激活函数进行计算得到第三结果，将第一结果、第二结果和第三结果连接得到第三卷积结果。
6.根据权利要求4所述的方法，其特征在于，所述将所述第三卷积结果与第四层中的多个降采样卷积模块连续进行卷积运算，并进行归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到所述第四卷积结果；
将所述第三卷积结果与第四层的第一个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第四结果，将所述第四结果与第四层的第二个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第五结果，将所述第五结果与第四层的第三个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第六结果，将所述第四结果、所述第五结果和所述第六结果连接得到第四卷积结果。
7.根据权利要求4所述的方法，其特征在于，所述将所述第四卷积结果与第五层中的多个降采样卷积模块连续进行卷积运算，并进行归一化处理得到多个对应计算结果，将多个对应计算结果进行结合得到第五卷积结果，包括：
将所述第四卷积结果与第五层的第一个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第七结果，将所述第七结果与第五层的第二个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第八结果，将所述第八结果与第五层的第三个降采样卷积模块进行卷积运算，对卷积运算的结果进行归一化处理得到第九结果，将第七结果，第八结果和第九结果连接得到第五卷积结果。
8.一种手掌关键点提取装置，其特征在于，包括：
第一确定单元，用于确定N层深度卷积神经网络，所述N为大于等于1的正整数；
处理单元，用于通过T张包括关键点坐标的手掌图像对所述N层深度卷积神经网络进行训练，得到提取手掌关键点坐标的第一卷积神经网络模型，所述T张手掌图像的尺寸统一且所述T张手掌图像中包括的关键点坐标为手掌中的同一位置，所述T为大于等于1的正整数；
第二确定单元，用于确定子卷积神经网络，将所述第一卷积神经网络模型的预测结果和对应的标记关键点坐标作为子卷积神经网络的输入值对所述子卷积神经网络进行训练，得到第二卷积神经网络模型，通过第二卷积神经网络模型获取预测关键点坐标，将所述预测关键点坐标与所述标记关键点坐标进行对比，确定所述预测关键点坐标与所述标记关键点坐标的差值；
所述处理单元，还用于根据预测关键点坐标与标记关键点坐标的差值对所述第二卷积神经网络模型进行调整，以通过调整后的所述第二卷积神经网络模型对需要提取手掌关键点的手掌图像进行预测；
所述第二确定单元中所述子卷积神经网络的数量为T，T个所述子卷积神经网络为S1至St，Sn＝ΔSn+Sn-1，所述ΔSn是第n个子卷积神经网络的第n个残余状态；
将所述ΔSn与相对应的手掌图像中标记的关键点坐标进行欧式范数损失函数计算得到第二神经卷积神经网络模型。
9.一种计算机可读存储介质，包括指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910780786.6A CN110688894B (zh) | 2019-08-22 | 2019-08-22 | 一种手掌关键点提取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910780786.6A CN110688894B (zh) | 2019-08-22 | 2019-08-22 | 一种手掌关键点提取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110688894A CN110688894A (zh) | 2020-01-14 |
| CN110688894B true CN110688894B (zh) | 2024-05-10 |
Family
ID=69108562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910780786.6A Active CN110688894B (zh) | 2019-08-22 | 2019-08-22 | 一种手掌关键点提取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110688894B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523387B (zh) * | 2020-03-24 | 2024-04-19 | 杭州易现先进科技有限公司 | 手部关键点检测的方法、设备和计算机设备 |
| CN112633074B (zh) * | 2020-11-30 | 2024-01-30 | 浙江华锐捷技术有限公司 | 行人信息的检测方法和装置、存储介质及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718879A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法 |
| CN109034069A (zh) * | 2018-07-27 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229509B (zh) * | 2016-12-16 | 2021-02-26 | 北京市商汤科技开发有限公司 | 用于识别物体类别的方法及装置、电子设备 |
-
2019
- 2019-08-22 CN CN201910780786.6A patent/CN110688894B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718879A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法 |
| CN109034069A (zh) * | 2018-07-27 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110688894A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110489951B (zh) | 风险识别的方法、装置、计算机设备和存储介质 | |
| US11062120B2 (en) | High speed reference point independent database filtering for fingerprint identification | |
| KR20140127199A (ko) | 얼굴 인식 방법 및 장치 | |
| CN111191533B (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
| CN112836671B (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
| CN110688894B (zh) | 一种手掌关键点提取方法和装置 | |
| CN110738222B (zh) | 图像匹配方法、装置、计算机设备和存储介质 | |
| US20230334893A1 (en) | Method for optimizing human body posture recognition model, device and computer-readable storage medium | |
| US11164327B2 (en) | Estimation of human orientation in images using depth information from a depth camera | |
| KR102558736B1 (ko) | 지문 인식 방법 및 장치 | |
| Hossain et al. | Improved feature selection based on a mutual information measure for hyperspectral image classification | |
| CN114925348A (zh) | 一种基于指纹识别的安全验证方法及系统 | |
| CN111626313B (zh) | 一种特征提取模型训练方法、图像处理方法及装置 | |
| CN107657223B (zh) | 一种基于快速处理多距离度量学习的人脸认证方法 | |
| Liu et al. | A feedback paradigm for latent fingerprint matching | |
| CN114549857A (zh) | 图像信息识别方法、装置、计算机设备和存储介质 | |
| CN112733670A (zh) | 指纹特征提取方法、装置、电子设备及存储介质 | |
| CN113761987A (zh) | 一种行人重识别的方法、装置、计算机设备和存储介质 | |
| Liu-Jimenez et al. | FPGA implementation for an iris biometric processor | |
| CN111881789B (zh) | 肤色识别方法、装置、计算设备及计算机存储介质 | |
| CN118015386B (zh) | 图像识别方法和装置、存储介质及电子设备 | |
| CN113505648B (zh) | 行人检测方法、装置、终端设备及存储介质 | |
| US11804072B2 (en) | Method for training convolutional neural network, and method for face recognition and device | |
| CN112800801B (zh) | 图像中的图形识别方法、装置、计算机设备和存储介质 | |
| Uma et al. | Implementation of iris recognition system using fpga |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |