CN111695507A - 一种基于改进VGGNet网络和PCA的静态手势识别方法 - Google Patents

一种基于改进VGGNet网络和PCA的静态手势识别方法 Download PDF

Info

Publication number
CN111695507A
CN111695507A CN202010532751.3A CN202010532751A CN111695507A CN 111695507 A CN111695507 A CN 111695507A CN 202010532751 A CN202010532751 A CN 202010532751A CN 111695507 A CN111695507 A CN 111695507A
Authority
CN
China
Prior art keywords
image
gesture
network
gesture recognition
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010532751.3A
Other languages
English (en)
Other versions
CN111695507B (zh
Inventor
谢武
贾清玉
刘满意
强保华
崔梦银
瞿元昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010532751.3A priority Critical patent/CN111695507B/zh
Publication of CN111695507A publication Critical patent/CN111695507A/zh
Application granted granted Critical
Publication of CN111695507B publication Critical patent/CN111695507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进VGGNet网络的静态手势识别方法，该方法将VGGNet网络进行改进，使用不同的分支来学习标签信息，同时在网络中引入哈希层将手势图像的特征投影到汉明空间，通过计算汉明距离来提高处理手势的效率。将改进后的VGGNet网络和传统的主成分分析方法相结合来进行手势识别，首先将原始数据集和增强后的数据集作为输入数据对VGGNet网络进行训练，得到手势图像的高维特征，然后通过主成分分析法PCA将高维图像特征进行降维，减小特征向量长度，缩短图像之间的相似性度量的计算时间，从而提高提高手势识别的精度和效率。

Description

一种基于改进VGGNet网络和PCA的静态手势识别方法
技术领域
本发明涉及一种静态手势识别方法，具体是一种基于改进VGGNet网络和PCA的静态手势识别方法。
背景技术
20世纪90年代，为了解决人工标注方式存在的问题，研究人员开始将特征提取的目光转向图像内容的本身，于是一系列基于内容的图像识别方法开始被提出并广泛应用。为了准确的描述图像的特征，早期的CBIR技术大多数使用全局视觉特征来进行图像的描述。这种特征描述方式比较简洁，使用者可以很方便高效的进行图像检索。但是，由于这种方法提取的是图像低层视觉特征，当遇到外界因素的干扰，如光照强度、遮挡、形变等恶劣条件时，此时无法准确提取到图像的有效特征。近年来，随着CNN在计算机视觉领域获得巨大成功，基于深度学习的图像特征提取方法开始流行起来。
手势识别作为人机交互的一种重要的方式，随着科技的发展已经开始步入人类的生活并且在一些特殊的场合达到了比人类与机器通过键盘鼠标交互更好的效果，大大方便了人类的生活，提升了生活质量。目前人类已经步入大数据时代，传统的手势识别方法在面对海量以及各种外界条件影响的状态下识别往往不尽人意。
发明内容
本发明的目的是为了提高手势识别的精度和效率，而提供一种基于改进VGGNet网络和PCA的静态手势识别方法。
实现本发明目的的技术方案是：
一种基于改进VGGNet网络和PCA的静态手势识别方法，包括如下步骤：
(1)输入原始图像I(x,y)；
(2)预估出每个位置的噪声，并剔除；假设人眼看到的图像I是图像光照分量L和反射率分量R的乘积，具体表示如公式1所示：
I(x，y)＝R(x，y)·L(x，y) (1)
(3)分离三个颜色通道空间分量并转化到对数域；从所拍摄的图片I中合理计算出光照L，保留住物体的固有属性R，并对公式1两边取对数，然后令i(x,y)＝log(I(x,y))，r(x,y)＝log(R(x,y))，l(x,y)＝log(L(x,y))可得到公式2：
i(x,y)＝r(x,y)+l(x,y) (2)
(4)设置高斯函数尺度的个数及大小；
(5)高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量，获取图像r(x,y)；反射分量计算公式如下：
ri(x,y)＝ii(x,y)-ii(x,y)*G(x,y) (3)
Figure BDA0002535940000000021
其中，ii(x,y)表示第i个通道的原始图像，G(x,y)为高斯滤波函数，ri(x,y)表示第i个通道的反射分量，*代表卷积，σ为尺度参数；
(6)采用多尺度的Retinex算法对手势图像进行数据增强；
(7)构建基于VGGNet网络结构：采用VGGNet16网络模型进行训练，对VGGNet16进行网络结构定义及初始化，设置学习率lr、批大小batch和迭代轮次epochs等；
(8)训练模型：模型的训练和验证交替进行；
(9)将步骤(8)训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务；
(10)将步骤(9)训练好的VGGNet模型网络进行改进，模型的输入为手势图像和类别标签，类别标签作为监督信息学习图像特征，每个分支学习不同的标签信息，经过全连接层将之前两个分支学习到的特征进行融合，得到非线性组合特征，然后经过哈希层得到低维度的哈希特征，再经过哈希层得到二进制哈希吗，最后将二进制哈希码作为特征向量来进行手势识别；
(11)将经改进后VGGNet模型处理后的手势数据利用主成分分析算法(PCA)进行降维；将图像的高维特征经过矩阵变换压缩为一个较短长度的向量，即Y＝WTX，其中X为图像的高维特征，W是压缩矩阵，其计算过程满足使样本点经过W压缩后具有最大的方差，Y是压缩后的图像的低维表示；
(12)使用PCA算法对4096维特征向量进行压缩，得到不同维度的手势图像特征数据库；
(13)使用欧式距离与特征数据库中的所有特征进行相似度度量，并按照相似度大小返回该手势识别的结果。
步骤(6)所述多尺度的Retinex算法的过程如下：
1)对于一张手势图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将3的公式变为：
Figure BDA0002535940000000031
其中，Gk(x,y)代表第k个高斯滤波函数，N表示高斯滤波函数的数量，通过实验发现当N＝3时，手势图像数据增强的效果最好；wk是第k个尺度的权重，N个高斯滤波函数所占比例满足约束条件：
Figure BDA0002535940000000032
2)把r(x,y)从对数域转换到实数域得到R(x,y)；
3)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0～255的范围内)，矫正后得到已增强的手势图像。
步骤(10)所述VGGNet模型包含6个卷积层和两个全连接层，网络最后一个全连接层“fc7”输出的维度2048；改进后的网络结构包括两个分支，分别是主干分支和辅助分支；在两个分支2048维的全连接层之后进行了两个关键操作：
一个是特征拼接操作，融合主干分支和辅助分支2048维的全连接层；
另一是在网络的倒数第二层加入一个隐藏层(哈希层)将其特征向量映射为哈希编码，最后接入softmax分类器中。
步骤(11)所述主成分分析算法(PCA)的计算过程如下：
1)输入m个数据D＝(x1,x2,...xm)，xi＝(xi1,xi2,...xid)，i＝1,2,3...,m，d表示维度；
2)将每个样本作为一个列向量，构建样本矩阵；
3)样本矩阵的每一维减去对应元素平均值得到X：
Figure BDA0002535940000000033
4)求协方差：XXT；
5)求XXT的特征值和特征向量；
6)取特征值降序排列的前k值，将它们相应的特征向量组合成投影矩阵W；
7)将数据X经过投影矩阵W进行降维，就得到降维后的数据Y，Y＝WTX。
本发明的有益效果是：将VGGNet网络进行改进，使用不同的分支来学习标签信息，同时在网络中引入哈希层将手势图像的特征投影到汉明空间，通过计算汉明距离来提高处理手势的效率；将改进后的VGGNet网络和传统的主成分分析方法相结合来进行手势识别，首先将原始数据集和增强后的数据集作为输入数据对VGGNet网络进行训练，得到手势图像的高维特征，然后通过主成分分析法PCA将高维图像特征进行降维，减小特征向量长度，缩短图像之间的相似性度量的计算时间，从而提高提高手势识别的精度和效率。
附图说明
图1为本发明实施例改进的VGGNet网络流程图；
图2为本发明实施例的方法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的阐述。
实施例：
本发明一种基于改进VGGNet网络和PCA的静态手势识别方法，是：
1.将Kinect相机架设与人的正前方1m-2m处；
2.启动相机，设置扫描时间间隔为一秒扫描10次，即一秒内，相机获取人体手部信息图像为10份；
3.训练手势图像模型。对传统的VGGNet网络进行改进，并且引入哈希层，保证准确率的前提下提高手势识别的效率。具体过程如下：
(1)输入原始图像I(x,y)；
(2)预估出每个位置的噪声，并剔除。假设人眼看到的图像I是图像光照分量L和反射率分量R的乘积，具体表示如公式1所示：
I(x，y)＝R(x，y)·L(x，y) (1)
(3)分离三个颜色通道空间分量并转化到对数域。从所拍摄的图片I中合理计算出光照L，从而保留住物体的固有属性R，消除光照分布不均的干扰，以提高图像的感官效果。为了方便计算，同时对公式1两边取对数，然后令i(x,y)＝log(I(x,y))，r(x,y)＝log(R(x,y))，l(x,y)＝log(L(x,y))可得到公式2：
i(x,y)＝r(x,y)+l(x,y) (2)
反射分量的计算过程如图2所示。
(4)设置高斯函数尺度的个数及大小；
(5)高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量，获取图像r(x,y)。反射分量计算公式如下。
ri(x,y)＝ii(x,y)-ii(x,y)*G(x,y) (3)
Figure BDA0002535940000000051
其中，ii(x,y)表示第i个通道的原始图像，G(x,y)为高斯滤波函数，ri(x,y)表示第i个通道的反射分量，*代表卷积，σ为尺度参数。
(6)采用多尺度的Retinex算法对手势图像进行数据增强，算法的具体过程如下：对于一张手势图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将3的公式变为：
Figure BDA0002535940000000052
其中，Gk(x,y)代表第k个高斯滤波函数，N表示高斯滤波函数的数量，通过实验发现当N＝3时，手势图像数据增强的效果最好。wk是第k个尺度的权重，N个高斯滤波函数所占比例满足约束条件：
Figure BDA0002535940000000053
(7)把r(x,y)从对数域转换到实数域得到R(x,y)
(8)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0～255的范围内)，矫正后得到已增强的手势图像。
(9)构建基于VGGNet网络结构：采用VGGNet16网络模型进行训练，对VGGNet16进行网络结构定义及初始化，设置学习率lr，批大小batch，迭代轮次epochs等；
(10)训练模型：模型的训练和验证交替进行；
(11)将步骤(10)训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务；
(12)将步骤(10)训练好的VGGNet模型网络进行改进。改进后的多分支网络结构网络模型如图1所示。模型的输入为手势图像和类别标签，类别标签作为监督信息学习图像特征，每个分支学习不同的标签信息，经过全连接层将之前两个分支学习到的特征进行融合，得到非线性组合特征，然后经过哈希层将得到低维度的哈希特征，再经过哈希层得到二进制哈希吗，最后将二进制哈希码作为特征向量来进行手势识别。模型包含6个卷积层和两个全连接层。网络最后一个全连接层“fc7”输出的维度2048。改进后的网络结构包括两个分支，分别是主干分支和辅助分支。在两个分支2048维的全连接层之后进行了两个关键操作，一个是特征拼接操作，融合主干分支和辅助分支2048维的全连接层，另一是在网络的倒数第二层加入一个隐藏层(哈希层)将其特征向量映射为哈希编码，最后接入softmax分类器中。
5.将步骤4经改进后VGGNet模型处理后的手势数据利用主成分分析算法(PCA)进行降维。算法的原理是将图像的高维特征经过矩阵变换压缩为一个较短长度的向量，也即Y＝WTX，其中X为图像的高维特征，W是压缩矩阵(也称为投影矩阵)，其计算过程满足使样本点经过W压缩后具有最大的方差，Y是压缩后的图像的低维表示。PCA算法计算过程下所示：
(1)输入m个数据D＝(x1,x2,...xm)，xi＝(xi1,xi2,...xid)，i＝1,2,3...,m，d表示维度；
(2)将每个样本作为一个列向量，构建样本矩阵；
(3)样本矩阵的每一维减去对应元素平均值得到X：
Figure BDA0002535940000000061
(4)求协方差：XXT；
(5)求XXT的特征值和特征向量；
(6)取特征值降序排列的前k值，将它们相应的特征向量组合成投影矩阵W；
(7)将数据X经过投影矩阵W进行降维，就得到降维后的数据Y，Y＝WTX。
6.使用PCA算法对4096维特征向量进行压缩，得到不同维度的手势图像特征数据库。
7.在Kinect相机捕捉到手势信息后，使用欧式距离与特征数据库中的所有特征进行相似度度量，并按照相似度大小返回该手势识别的结果。

Claims (4)

1.一种基于改进VGGNet网络和PCA的静态手势识别方法，其特征是：包括如下步骤：
(1)输入原始图像I(x,y)；
(2)预估出每个位置的噪声，并剔除；假设人眼看到的图像I是图像光照分量L和反射率分量R的乘积，如公式1所示：
I(x，y)＝R(x，y)·L(x，y) (1)
(3)分离三个颜色通道空间分量并转化到对数域；从所拍摄的图片I中合理计算出光照L，保留住物体的固有属性R，并对公式1两边取对数，然后令i(x,y)＝log(I(x,y))，r(x,y)＝log(R(x,y))，l(x,y)＝log(L(x,y))得到公式2：
i(x,y)＝r(x,y)+l(x,y) (2)
(4)设置高斯函数尺度的个数及大小；
(5)高斯函数对图像的三个通道进行滤波，滤波后的图像就是光照分量，获取图像r(x,y)；反射分量计算公式如下：
ri(x,y)＝ii(x,y)-ii(x,y)*G(x,y) (3)
Figure FDA0002535939990000011
其中，ii(x,y)表示第i个通道的原始图像，G(x,y)为高斯滤波函数，ri(x,y)表示第i个通道的反射分量，*代表卷积，σ为尺度参数；
(6)采用多尺度的Retinex算法对手势图像进行数据增强；
(7)构建基于VGGNet网络结构：采用VGGNet16网络模型进行训练，对VGGNet16进行网络结构定义及初始化，设置学习率lr、批大小batch和迭代轮次epochs；
(8)训练模型：模型的训练和验证交替进行；
(9)将步骤(8)训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务；
(10)将步骤(9)训练好的VGGNet模型网络进行改进，模型的输入为手势图像和类别标签，类别标签作为监督信息学习图像特征，每个分支学习不同的标签信息，经过全连接层将之前两个分支学习到的特征进行融合，得到非线性组合特征，然后经过哈希层得到低维度的哈希特征，再经过哈希层得到二进制哈希吗，最后将二进制哈希码作为特征向量来进行手势识别；
(11)将经改进后VGGNet模型处理后的手势数据利用主成分分析算法进行降维；将图像的高维特征经过矩阵变换压缩为一个较短长度的向量，即Y＝WTX，其中X为图像的高维特征，W是压缩矩阵，其计算过程满足使样本点经过W压缩后具有最大的方差，Y是压缩后的图像的低维表示；
(12)使用主成分分析算法对4096维特征向量进行压缩，得到不同维度的手势图像特征数据库；
(13)使用欧式距离与特征数据库中的所有特征进行相似度度量，并按照相似度大小返回该手势识别的结果。
2.根据权利要求1所述的静态手势识别方法，其特征是：步骤(6)所述多尺度的Retinex算法的过程如下：
1)对于一张手势图像，采用多种尺度的高斯滤波函数，对图像的三个通道进行滤波，对每个尺度的反射分量取加权平均，得到最终输出结果，可以将3的公式变为：
Figure FDA0002535939990000021
其中，Gk(x,y)代表第k个高斯滤波函数，N表示高斯滤波函数的数量，通过实验发现当N＝3时，手势图像数据增强的效果最好；wk是第k个尺度的权重，N个高斯滤波函数所占比例满足约束条件：
Figure FDA0002535939990000022
2)把r(x,y)从对数域转换到实数域得到R(x,y)；
3)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0～255的范围内)，矫正后得到已增强的手势图像。
3.根据权利要求1所述的静态手势识别方法，其特征是：步骤(10)所述VGGNet模型包含6个卷积层和两个全连接层，网络最后一个全连接层输出的维度2048；改进后的网络结构包括两个分支，分别是主干分支和辅助分支；在两个分支2048维的全连接层之后进行了两个关键操作：
一个是特征拼接操作，融合主干分支和辅助分支2048维的全连接层；
另一是在网络的倒数第二层加入一个隐藏层(哈希层)将其特征向量映射为哈希编码，最后接入softmax分类器中。
4.根据权利要求1所述的静态手势识别方法，其特征是：步骤(11)所述主成分分析算法(PCA)的计算过程如下：
1)输入m个数据D＝(x1,x2,...xm)，xi＝(xi1,xi2,...xid)，i＝1,2,3...,m，d表示维度；
2)将每个样本作为一个列向量，构建样本矩阵；
3)样本矩阵的每一维减去对应元素平均值得到X：
Figure FDA0002535939990000031
4)求协方差：XXT；
5)求XXT的特征值和特征向量；
6)取特征值降序排列的前k值，将它们相应的特征向量组合成投影矩阵W；
7)将数据X经过投影矩阵W进行降维，就得到降维后的数据Y，Y＝WTX。
CN202010532751.3A 2020-06-12 2020-06-12 一种基于改进VGGNet网络和PCA的静态手势识别方法 Active CN111695507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010532751.3A CN111695507B (zh) 2020-06-12 2020-06-12 一种基于改进VGGNet网络和PCA的静态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010532751.3A CN111695507B (zh) 2020-06-12 2020-06-12 一种基于改进VGGNet网络和PCA的静态手势识别方法

Publications (2)

Publication Number Publication Date
CN111695507A true CN111695507A (zh) 2020-09-22
CN111695507B CN111695507B (zh) 2022-08-16

Family

ID=72480522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010532751.3A Active CN111695507B (zh) 2020-06-12 2020-06-12 一种基于改进VGGNet网络和PCA的静态手势识别方法

Country Status (1)

Country Link
CN (1) CN111695507B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230107097A1 (en) * 2021-10-06 2023-04-06 Fotonation Limited Method for identifying a gesture
CN116012937A (zh) * 2022-12-14 2023-04-25 杭州电子科技大学信息工程学院 一种交警手势识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778526A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于汉明距离的大规模高效人脸识别方法
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法
CN107423768A (zh) * 2017-08-02 2017-12-01 上海应用技术大学 基于surf和pca结合的图像哈希序列生成方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN109947963A (zh) * 2019-03-27 2019-06-28 山东大学 一种基于深度学习的多尺度哈希检索方法
CN110083734A (zh) * 2019-04-15 2019-08-02 中南大学 基于自编码网络和鲁棒核哈希的半监督图像检索方法
CN110472490A (zh) * 2019-07-05 2019-11-19 南京邮电大学 基于改进VGGNet的动作识别方法及装置、存储介质和终端
CN111125411A (zh) * 2019-12-20 2020-05-08 昆明理工大学 一种深度强相关哈希学习的大规模图像检索方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778526A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于汉明距离的大规模高效人脸识别方法
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法
CN107423768A (zh) * 2017-08-02 2017-12-01 上海应用技术大学 基于surf和pca结合的图像哈希序列生成方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
CN109947963A (zh) * 2019-03-27 2019-06-28 山东大学 一种基于深度学习的多尺度哈希检索方法
CN110083734A (zh) * 2019-04-15 2019-08-02 中南大学 基于自编码网络和鲁棒核哈希的半监督图像检索方法
CN110472490A (zh) * 2019-07-05 2019-11-19 南京邮电大学 基于改进VGGNet的动作识别方法及装置、存储介质和终端
CN111125411A (zh) * 2019-12-20 2020-05-08 昆明理工大学 一种深度强相关哈希学习的大规模图像检索方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIANG X等: "Deep learning in face recognition across variations in pose and illumination", 《DEEP LEARNING IN OBJECT DETECTION AND RECOGNITION. SPRINGER》, 31 December 2019 (2019-12-31), pages 59 - 90 *
NASIRRAHIM等: "Privacy-preserving image retrieval for mobile devices with deep features on the cloud", 《COMPUTER COMMUNICATIONS》, no. 27, 30 September 2018 (2018-09-30), pages 75 - 85 *
ZENG Y等: "An accurate and efficient face recognition method based on hash coding", 《2017 13TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (ICNC-FSKD)》, 31 December 2017 (2017-12-31), pages 20 - 23 *
刘满意: "基于卷积神经网络的大规模车辆图像检索研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》, no. 04, 15 April 2021 (2021-04-15), pages 034 - 485 *
官巍等: "基于卷积神经网络的手势识别网络", 《西安邮电大学学报》, vol. 24, no. 6, 30 November 2019 (2019-11-30), pages 80 - 84 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230107097A1 (en) * 2021-10-06 2023-04-06 Fotonation Limited Method for identifying a gesture
US11983327B2 (en) * 2021-10-06 2024-05-14 Fotonation Limited Method for identifying a gesture
CN116012937A (zh) * 2022-12-14 2023-04-25 杭州电子科技大学信息工程学院 一种交警手势识别方法

Also Published As

Publication number Publication date
CN111695507B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
AU2014368997B2 (en) System and method for identifying faces in unconstrained media
CN109492529A (zh) 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN111738143B (zh) 一种基于期望最大化的行人重识别方法
CN107967456A (zh) 一种基于人脸关键点的多神经网络级联识别人脸方法
CN112766158A (zh) 基于多任务级联式人脸遮挡表情识别方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN111695507B (zh) 一种基于改进VGGNet网络和PCA的静态手势识别方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
Zheng et al. Static Hand Gesture Recognition Based on Gaussian Mixture Model and Partial Differential Equation.
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN113255602A (zh) 基于多模态数据的动态手势识别方法
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN112966649B (zh) 基于核扩展字典稀疏表示的遮挡人脸识别方法
CN107133579A (zh) 基于CSGF(2D)2PCANet卷积网络的人脸识别方法
CN117809339A (zh) 一种基于可变形卷积编码网络和特征区域关注的人体姿态估计方法
WO2024093466A1 (zh) 一种基于模型结构自主进化的行人图像重识别方法
CN116503959B (zh) 基于不确定性感知的弱监督时序动作定位方法及系统
CN113221660A (zh) 一种基于特征融合的跨年龄人脸识别方法
CN113158828A (zh) 一种基于深度学习的面部情感校准方法及系统
CN116578734B (zh) 一种基于clip的概率嵌入组合检索方法
CN115641445B (zh) 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法
CN114330535B (zh) 一种基于支持向量正则化字典对学习的模式分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant