CN110197138A - 一种基于视频帧特征的快速手势识别方法 - Google Patents
一种基于视频帧特征的快速手势识别方法 Download PDFInfo
- Publication number
- CN110197138A CN110197138A CN201910404105.6A CN201910404105A CN110197138A CN 110197138 A CN110197138 A CN 110197138A CN 201910404105 A CN201910404105 A CN 201910404105A CN 110197138 A CN110197138 A CN 110197138A
- Authority
- CN
- China
- Prior art keywords
- gesture
- video frame
- different
- feature
- gesture identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000006740 morphological transformation Effects 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000009499 grossing Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开一种基于视频帧特征的快速手势识别方法，具体包括以下步骤：步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。本发明通过对视频数据提取帧级别的图像，提取出典型的手势特征，并通过集成学习方法，实现较高精度的识别方法。
Description
技术领域
本发明属于视频数据智能分析的技术领域，特别是涉及一种基于视频帧特征的快速手势识别方法。
背景技术
手势识别是一种计算机理解人体语言的方式，从而在机器和人之间建立了比文本用户界面或图形用户界面更丰富的桥梁。手势识别使人们能够与硬件设备进行通信，并且无需任何机械设备即可自然交互。手势由于直观、自然和以及易获取，已经成为人机交互的一个热点方向。
手势识别领域的研究者主要有：基于传感器数据的接触式和基于视觉的非接触式两钟。基于传感器数据的方法可以更准确地获取更多手势状态和特征，但穿戴设备会影响用户体验；基于视觉的方法能够使操作者以更加灵活和自然的方式进行人机交互，但有其局限性，不能高质量地保证手势特征的精度而影响识别精度。
发明内容
本发明为解决上述背景技术中存在的技术问题，设计一种快速和准确的手势识别方法。
本方案通过以下技术方案来实现：一种基于视频帧特征的快速手势识别方法，具体包括以下步骤：
步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。
在进一步的实施例中，所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过校正来进行补偿；
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理：
在进一步的实施例中，所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理。将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
在进一步的实施例中，所述步骤4具体包括以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，步骤4-1，静态的选择基学习器数量；
步骤4-2，使用动态的选择基学习器数量的方法，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重。给定容忍错误率参数给定最大的基学习器数量第轮集成学习器在验证集上的精度为第轮集成学习器在验证集上的精度为只要当前基学习器数量且进行轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
本发明的有益效果：本发明通过对视频数据提取帧级别的图像，提取出典型的手势特征，并通过集成学习方法，实现较高精度的识别方法。和已有技术相比，本发明的优点在于：典型手势可以快速从背景中分割出来，并通过集成学习方法，提高了手势识别精度。
附图说明
图1为本发明的操作流程图。
图2为本发明的手势识别效果图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
能够有效的从视频流中分离出手势区域，并融合经典手势生成不同权重的特征，通过集成学习方法进行手势识别，得到准确度较高的手势分类结果。
本发明的步骤如下：
步骤1，视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2，标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3，提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。
为了进一步了解本方案的操作流程：
所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过校正来进行补偿；
操作者可以通过Gamma校正来进行补偿。显示器系统一般取Gamma为2.2。
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理。
高斯滤波能够保证各方向有相同的平滑程度，且能够边缘细节不被模糊，则采用的是函数作为加权，中值滤波选取邻域中像素值的中值作为目标像素值，邻域大小设置恰当的中值滤波可以明显地消减随机噪声。
所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理。将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
所述步骤4包括具体以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，使用动态的选择基学习器数量的方法，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重。给定容忍错误率参数给定最大的基学习器数量第轮集成学习器在验证集上的精度为第轮集成学习器在验证集上的精度为只要当前基学习器数量且进行轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
图2为使用本方法识别出的手势，由图2的右侧可见本方法识别出来的手势清晰可见，精度高。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
Claims (4)
1.一种基于视频帧特征的快速手势识别方法，其特征在于，具体包括以下步骤：
步骤1：视频帧图像数据预处理：对输入视频帧进行预处理，数据进行校正，并将数据映射到不同的语义空间；
步骤2：标准手势分割：在特定色彩空间下进行阈值化处理，采用形态学变换和平滑滤波器来消减噪声，确定手势识别区域；
步骤3：提取手势特征：提取手势区域的形状特征，包括Hu矩和傅里叶描述子等；
步骤4，手势识别基于学习器选择及权重计算：选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重；
步骤5，集成学习将不同的手势分类的结果加权得到最终的分类结果。
2.根据权利要求1所述的一种基于视频帧特征的快速手势识别方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1-1，为了解决普遍光照情况下成像和显像的非线性，通过来进行补偿；
步骤1-2，通过高斯滤波和中值滤波来消减噪声，并加权处理。
3.根据权利要求1所述的一种基于视频帧特征的快速手势识别方法，其特征在于，所述步骤3具体包括以下步骤：
步骤3-1，形状特征融合特定手势的局部特征；
步骤3-2，为了使得傅里叶描述子作为图像特征而具备尺度不变性，还需要对傅里叶描述子进行归一化处理。将得到的傅里叶描述子的每一项与第一个相除，即(FD(i))/(FD(1)),i＝2,3,…，从而得到归一化的傅里叶描述子。
4.根据权利要求1所述的一种基于视频帧特征的快速手势识别方法，其特征在于，所述步骤4具体包括以下步骤：
步骤4-1，静态的选择基学习器数量；
步骤4-2，使用动态的选择基学习器数量的方法，选择两个不同的基学习器，不同的基学习器应当被赋予不同的权重。给定容忍错误率参数给定最大的基学习器数量第轮集成学习器在验证集上的精度为第轮集成学习器在验证集上的精度为只要当前基学习器数量且进行轮划分；
步骤4-3直到算法运行终止会得到一系列的验证集精度结果，从中选择精度最高的识别方法，并赋予不同的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910404105.6A CN110197138B (zh) | 2019-05-15 | 2019-05-15 | 一种基于视频帧特征的快速手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910404105.6A CN110197138B (zh) | 2019-05-15 | 2019-05-15 | 一种基于视频帧特征的快速手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197138A true CN110197138A (zh) | 2019-09-03 |
| CN110197138B CN110197138B (zh) | 2020-02-04 |
Family
ID=67752897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910404105.6A Active CN110197138B (zh) | 2019-05-15 | 2019-05-15 | 一种基于视频帧特征的快速手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197138B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101661556A (zh) * | 2009-09-25 | 2010-03-03 | 哈尔滨工业大学深圳研究生院 | 基于视觉的静态手势识别方法 |
| CN104134061A (zh) * | 2014-08-15 | 2014-11-05 | 上海理工大学 | 一种基于特征融合的支持向量机的数字手势识别方法 |
| US9619024B2 (en) * | 2014-06-24 | 2017-04-11 | Beijing TransBorder Information Technology Co., Ltd. | Virtual input device and virtual input method |
| CN107742102A (zh) * | 2017-10-13 | 2018-02-27 | 北京华捷艾米科技有限公司 | 一种基于深度传感器的手势识别方法 |
| CN108846359A (zh) * | 2018-06-13 | 2018-11-20 | 新疆大学科学技术学院 | 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用 |
| CN109034012A (zh) * | 2018-07-09 | 2018-12-18 | 四川大学 | 基于动态图像和视频子序列的第一人称视角手势识别方法 |
-
2019
- 2019-05-15 CN CN201910404105.6A patent/CN110197138B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101661556A (zh) * | 2009-09-25 | 2010-03-03 | 哈尔滨工业大学深圳研究生院 | 基于视觉的静态手势识别方法 |
| US9619024B2 (en) * | 2014-06-24 | 2017-04-11 | Beijing TransBorder Information Technology Co., Ltd. | Virtual input device and virtual input method |
| CN104134061A (zh) * | 2014-08-15 | 2014-11-05 | 上海理工大学 | 一种基于特征融合的支持向量机的数字手势识别方法 |
| CN107742102A (zh) * | 2017-10-13 | 2018-02-27 | 北京华捷艾米科技有限公司 | 一种基于深度传感器的手势识别方法 |
| CN108846359A (zh) * | 2018-06-13 | 2018-11-20 | 新疆大学科学技术学院 | 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用 |
| CN109034012A (zh) * | 2018-07-09 | 2018-12-18 | 四川大学 | 基于动态图像和视频子序列的第一人称视角手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197138B (zh) | 2020-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tan et al. | Efficient and robust segmentation of noisy iris images for non-cooperative iris recognition | |
| CN104424482B (zh) | 图像处理设备和图像处理方法 | |
| CN103971102B (zh) | 基于手指轮廓和决策树的静态手势识别方法 | |
| Liao et al. | Automatic segmentation for cell images based on bottleneck detection and ellipse fitting | |
| CN108399386A (zh) | 饼图中的信息提取方法及装置 | |
| US20190294921A1 (en) | Field identification in an image using artificial intelligence | |
| CN106980852B (zh) | 基于角点检测与匹配的药品识别系统及其识别方法 | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN107516316B (zh) | 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法 | |
| Zhao et al. | Two-stage segmentation of unconstrained handwritten Chinese characters | |
| Xiao et al. | Salient object detection based on eye tracking data | |
| CN109034012A (zh) | 基于动态图像和视频子序列的第一人称视角手势识别方法 | |
| Zhang et al. | Automatic localization and segmentation of optical disk based on faster R-CNN and level set in fundus image | |
| CN107992483A (zh) | 用于手势指点翻译的方法、装置及电子设备 | |
| CN106371614A (zh) | 手势识别的优化方法和装置 | |
| CN110472673B (zh) | 参数调整方法、眼底图像处理方法、装置、介质及设备 | |
| CN105354405A (zh) | 基于机器学习的免疫组化图像自动化判读系统 | |
| Fatichah et al. | Detection of Acute Lymphoblastic Leukemia Subtypes using YOLO and Mask R-CNN | |
| CN109858342B (zh) | 一种融合手工设计描述子和深度特征的人脸姿态估计方法 | |
| CN105005763B (zh) | 一种基于局部特征信息挖掘的人脸识别方法及系统 | |
| CN107146203A (zh) | 一种图像虚化方法及终端 | |
| CN108694398A (zh) | 一种图像分析方法及装置 | |
| Li et al. | Fingertip blood collection point localization research based on infrared finger vein image segmentation | |
| CN110909819A (zh) | 基于时域的电磁信息泄漏检测方法、终端设备及存储介质 | |
| CN110197138A (zh) | 一种基于视频帧特征的快速手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |