CN110197138B - 一种基于视频帧特征的快速手势识别方法 - Google Patents

一种基于视频帧特征的快速手势识别方法 Download PDF

Info

Publication number
CN110197138B
CN110197138B CN201910404105.6A CN201910404105A CN110197138B CN 110197138 B CN110197138 B CN 110197138B CN 201910404105 A CN201910404105 A CN 201910404105A CN 110197138 B CN110197138 B CN 110197138B
Authority
CN
China
Prior art keywords
gesture
different
video frame
gesture recognition
base learners
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910404105.6A
Other languages
English (en)
Other versions
CN110197138A (zh
Inventor
金波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jimuda Data Technology Co Ltd
Original Assignee
Nanjing Jimuda Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jimuda Data Technology Co Ltd filed Critical Nanjing Jimuda Data Technology Co Ltd
Priority to CN201910404105.6A priority Critical patent/CN110197138B/zh
Publication of CN110197138A publication Critical patent/CN110197138A/zh
Application granted granted Critical
Publication of CN110197138B publication Critical patent/CN110197138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开一种基于视频帧特征的快速手势识别方法，具体包括以下步骤：步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。本发明通过对视频数据提取帧级别的图像，提取出典型的手势特征，并通过集成学习方法，实现较高精度的识别方法。

Description

一种基于视频帧特征的快速手势识别方法
技术领域
本发明属于视频数据智能分析的技术领域，特别是涉及一种基于视频帧特征的快速手势识别方法。
背景技术
手势识别是一种计算机理解人体语言的方式，从而在机器和人之间建立了比文本用户界面或图形用户界面更丰富的桥梁。手势识别使人们能够与硬件设备进行通信，并且无需任何机械设备即可自然交互。手势由于直观、自然和以及易获取，已经成为人机交互的一个热点方向。
手势识别领域的研究者主要有：基于传感器数据的接触式和基于视觉的非接触式两钟。基于传感器数据的方法可以更准确地获取更多手势状态和特征，但穿戴设备会影响用户体验；基于视觉的方法能够使操作者以更加灵活和自然的方式进行人机交互，但有其局限性，不能高质量地保证手势特征的精度而影响识别精度。
发明内容
本发明为解决上述背景技术中存在的技术问题，设计一种快速和准确的手势识别方法。
本方案通过以下技术方案来实现：一种基于视频帧特征的快速手势识别方法，具体包括以下步骤：
步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。
在进一步的实施例中，所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过校正来进行补偿；
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理：
在进一步的实施例中，所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理。将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
在进一步的实施例中，所述步骤4具体包括以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，步骤4-1，静态的选择基学习器数量；
步骤4-2，使用动态的选择基学习器数量的方法，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重。给定容忍错误率参数
Figure BDA0002060426140000021
给定最大的基学习器数量
Figure BDA0002060426140000022
第
Figure BDA0002060426140000023
轮集成学习器在验证集上的精度为
Figure BDA0002060426140000024
第
Figure BDA0002060426140000025
轮集成学习器在验证集上的精度为
Figure BDA0002060426140000026
只要当前基学习器数量且
Figure BDA0002060426140000028
进行
Figure BDA0002060426140000029
轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
本发明的有益效果：本发明通过对视频数据提取帧级别的图像，提取出典型的手势特征，并通过集成学习方法，实现较高精度的识别方法。和已有技术相比，本发明的优点在于：典型手势可以快速从背景中分割出来，并通过集成学习方法，提高了手势识别精度。
附图说明
图1为本发明的操作流程图。
图2为本发明的手势识别效果图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
能够有效的从视频流中分离出手势区域，并融合经典手势生成不同权重的特征，通过集成学习方法进行手势识别，得到准确度较高的手势分类结果。
本发明的步骤如下：
步骤1，视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2，标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3，提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。
为了进一步了解本方案的操作流程：
所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过校正来进行补偿；
操作者可以通过Gamma校正来进行补偿。显示器系统一般取Gamma为2.2。
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理。
高斯滤波能够保证各方向有相同的平滑程度，且能够边缘细节不被模糊，则采用的是函数作为加权，
Figure BDA0002060426140000031
中值滤波选取邻域中像素值的中值作为目标像素值，邻域大小设置恰当的中值滤波可以明显地消减随机噪声。
所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理。将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
所述步骤4包括具体以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，使用动态的选择基学习器数量的方法，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重。给定容忍错误率参数
Figure BDA0002060426140000041
给定最大的基学习器数量
Figure BDA0002060426140000042
第
Figure BDA0002060426140000043
轮集成学习器在验证集上的精度为
Figure BDA0002060426140000044
第
Figure BDA0002060426140000045
轮集成学习器在验证集上的精度为
Figure BDA0002060426140000046
只要当前基学习器数量且
Figure BDA0002060426140000048
进行轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
图2为使用本方法识别出的手势，由图2的右侧可见本方法识别出来的手势清晰可见，精度高。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (3)

1.一种基于视频帧特征的快速手势识别方法，其特征在于，具体包括以下步骤：
步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果；
其中，所述步骤4具体包括以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重，给定容忍错误率参数
Figure FDA0002303968620000011
给定最大的基学习器数量第
Figure FDA0002303968620000013
轮集成学习器在验证集上的精度为
Figure FDA0002303968620000014
第
Figure FDA0002303968620000015
轮集成学习器在验证集上的精度为
Figure FDA0002303968620000016
只要当前基学习器数量
Figure FDA0002303968620000017
且
Figure FDA0002303968620000018
进行轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
2.根据权利要求1所述的一种基于视频帧特征的快速手势识别方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过校正来进行补偿；
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理。
3.根据权利要求1所述的一种基于视频帧特征的快速手势识别方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理，将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
CN201910404105.6A 2019-05-15 2019-05-15 一种基于视频帧特征的快速手势识别方法 Active CN110197138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910404105.6A CN110197138B (zh) 2019-05-15 2019-05-15 一种基于视频帧特征的快速手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910404105.6A CN110197138B (zh) 2019-05-15 2019-05-15 一种基于视频帧特征的快速手势识别方法

Publications (2)

Publication Number Publication Date
CN110197138A CN110197138A (zh) 2019-09-03
CN110197138B true CN110197138B (zh) 2020-02-04

Family

ID=67752897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910404105.6A Active CN110197138B (zh) 2019-05-15 2019-05-15 一种基于视频帧特征的快速手势识别方法

Country Status (1)

Country Link
CN (1) CN110197138B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
CN104134061A (zh) * 2014-08-15 2014-11-05 上海理工大学 一种基于特征融合的支持向量机的数字手势识别方法
US9619024B2 (en) * 2014-06-24 2017-04-11 Beijing TransBorder Information Technology Co., Ltd. Virtual input device and virtual input method
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法
CN108846359A (zh) * 2018-06-13 2018-11-20 新疆大学科学技术学院 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用
CN109034012A (zh) * 2018-07-09 2018-12-18 四川大学 基于动态图像和视频子序列的第一人称视角手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
US9619024B2 (en) * 2014-06-24 2017-04-11 Beijing TransBorder Information Technology Co., Ltd. Virtual input device and virtual input method
CN104134061A (zh) * 2014-08-15 2014-11-05 上海理工大学 一种基于特征融合的支持向量机的数字手势识别方法
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法
CN108846359A (zh) * 2018-06-13 2018-11-20 新疆大学科学技术学院 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用
CN109034012A (zh) * 2018-07-09 2018-12-18 四川大学 基于动态图像和视频子序列的第一人称视角手势识别方法

Also Published As

Publication number Publication date
CN110197138A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
Adeyanju et al. Machine learning methods for sign language recognition: A critical review and analysis
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
US20160154469A1 (en) Mid-air gesture input method and apparatus
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
CN106204658A (zh) 运动图像跟踪方法及装置
CN104484658A (zh) 一种基于多通道卷积神经网络的人脸性别识别方法及装置
JP2013125322A (ja) 学習装置、プログラム及び学習方法
CN103218605A (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
WO2018076484A1 (zh) 一种基于视频的捏合指尖跟踪方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
Guo et al. Research on optimization of static gesture recognition based on convolution neural network
Chattoraj et al. Assistive system for physically disabled people using gesture recognition
Khare et al. Weighted-gradient features for handwritten line segmentation
Cambuim et al. An efficient static gesture recognizer embedded system based on ELM pattern recognition algorithm
CN107729863B (zh) 人体指静脉识别方法
JP2015094973A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体
Perera et al. Sri lankan sign language to sinhala text using convolutional neural network combined with scale invariant feature transform (sift)
CN110197138B (zh) 一种基于视频帧特征的快速手势识别方法
JP2012048326A (ja) 画像処理装置及びプログラム
Sahoo et al. A user independent hand gesture recognition system using deep CNN feature fusion and machine learning technique
Ma et al. Research on kinect-based gesture recognition
Marjusalinah et al. Classification of finger spelling American sign language using convolutional neural network
Li et al. A novel art gesture recognition model based on two channel region-based convolution neural network for explainable human-computer interaction understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant