CN116311492A - 一种基于深度相机和轮廓提取的手势识别方法及系统 - Google Patents
一种基于深度相机和轮廓提取的手势识别方法及系统 Download PDFInfo
- Publication number
- CN116311492A CN116311492A CN202211574708.9A CN202211574708A CN116311492A CN 116311492 A CN116311492 A CN 116311492A CN 202211574708 A CN202211574708 A CN 202211574708A CN 116311492 A CN116311492 A CN 116311492A
- Authority
- CN
- China
- Prior art keywords
- gesture
- point cloud
- cloud data
- gesture point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 32
- 238000000513 principal component analysis Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims description 33
- 238000013144 data compression Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 abstract description 3
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明属于光信息处理以及计算机视觉等技术领域，具体涉及一种基于深度相机和轮廓提取的手势识别方法及系统，包括：获取手势点云数据；使用手势点云数据处理算法对手势点云数据进行预处理；对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。本发明极大提高了手势点云数据识别算法的处理速度，在移动设备、智能家居、智能控制等领域有较大的应用前景。
Description
技术领域
本发明属于光信息处理和计算机视觉技术领域，特别涉及一种基于深度相机和轮廓提取的手势识别方法及系统。
背景技术
手势识别技术在人机交互、智能家居、机器人控制、聋哑人交流等领域有着广泛的应用。实用的手势识别算法通常具有适用场景广泛、鲁棒性好、处理速度快以及可扩展性强等特点。目前，大部分识别算法均采用灰度图像或彩色图像作为原始数据，环境光照发生变化或者完全黑暗条件下，手势识别的鲁棒性会受到较大的影响。深度相机作为主动测量设备，不易受到环境光照变化的影响，并且可在黑暗环境下正常工作。综上所述，深度相机作为数据采集设备具有很大的应用潜力。
深度相机直接获取的手势点云数据通常包含背景、噪声以及离群点等干扰，需要对上述冗余信息等进行去除。此外，原始手势点云数据中点的数据量大，在保证识别准确率的前提下，现有方法的计算速度不高，影响应用场景的推广。
发明内容
本发明的目的是提出一种基于深度相机和轮廓提取的手势识别方法及系统，以实现复杂光照环境和黑暗条件下的准确手势识别，在保证高识别准确率的前提下极大地提高了算法处理速度。
本发明采用的技术方案具体为：
一种基于深度相机和轮廓提取的手势识别方法，包括：
获取手势点云数据；
使用手势点云数据处理算法对手势点云数据进行预处理；
手势点云数据压缩，对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
作为本发明的进一步改进，所述获取手势点云数据包括：
根据手势识别任务，给出待识别手势；
使用深度相机采集待识别手势对应的手势点云数据；
重复采集所有类型的手势点云数据并保存。
作为本发明的进一步改进，所述深度相机为飞行时间深度相机或结构光深度相机。
作为本发明的进一步改进，所述使用手势点云数据处理算法对手势点云数据进行预处理，包括：
整理和划分采集到的不同类型的手势点云数据；
对手势点云数据进行裁剪处理：设置深度阈值，依据深度阈值裁剪掉背景和冗余的手势点云数据信息，得到只包含关键手势的手势点云数据；
对裁剪处理后的手势点云数据进行滤波处理：设置手势点云数据的近邻点数目和标准差比值两个参数，通过近邻点数目和标准差比值进行滤波处理，完成预处理。
作为本发明的进一步改进，所述对预处理后的手势点云数据进行主成分分析和轮廓提取，即手势点云数据压缩得到压缩后的手势点云数据，包括：
手势点云数据压缩步骤一：手势点云数据包含三个维度，在三维笛卡尔坐标系中用(x,y,z)表示；主成分分析分两步执行：第一步对手势点云数据降维，得到二维手势点云数据和主成分向量；第二步使用主成分向量将二维手势点云数据转换为三维平面手势点云数据；
手势点云数据压缩步骤二：在三维平面手势点云数据基础上，提取手势点云数据的轮廓。
作为本发明的进一步改进，所述将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果，包括：
将经过处理的手势点云数据划分为多个数据集，其方法为：
根据手势的类别和样本容量，将所有手势点云数据划分为训练集、验证集和测试集；
对手势识别模型进行训练和验证，其方法为：
将训练数据集和验证数据集输入到手势点云数据识别算法中，训练并得到手势识别模型；
对手势点云数据识别算法进行测试，其方法为：
将测试集输入到训练好的各种手势识别模型中，对不同模型进行识别，得到手势识别结果。
作为本发明的进一步改进，所述手势点云数据识别算法包括支持向量机机器学习算法、决策树机器学习算法，以及深度学习算法。
一种基于深度相机和轮廓提取的手势识别系统，包括：
获取模块，用于获取手势点云数据；
预处理模块，用于使用手势点云数据处理算法对手势点云数据进行预处理；
数据压缩模块，用于对预处理后的手势点云数据进行主成分分析和轮廓提取得到处理后的手势点云数据；
识别模块，用于将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
一种基于深度相机和轮廓提取的手势识别设备，包括：
存储器，
处理器，
所述处理器被配置为：执行所述的基于深度相机和轮廓提取的手势识别方法。
一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行所述的基于深度相机和轮廓提取的手势识别方法。
相较于现有技术，本发明的优点和有益效果：
本发明使用手势点云数据裁剪和滤波等预处理方法，可以去除手势点云数据的背景和噪声。利用主成分分析和轮廓提取进一步对手势点云数据进行压缩处理，极大地减少了手势点云数据的数据量。使用的手势点云数据识别算法扩展性强，可以实现手势点云数据的快速准确识别。本发明提出的基于深度相机和轮廓提取的手势识别算法，不仅适用场景更加广泛，在保证高识别准确率的前提下极大地提高了算法处理速度。本发明可以识别多种类型的手势，对于人机交互、智能家居和机器人控制等领域有较大应用前景。
进一步，本发明使用深度相机作为数据采集设备，不易受到环境光照变化的影响，并可以在黑暗环境下工作。
附图说明
图1是本发明的一种实施例。101手势是数据采集的对象，102手势示例是数字5的形状示例，103深度相机是数据采集设备，104是数据采集过程，105手势点云数据是相机采集的一种数据类型，106手势点云数据示例是数字5的手势点云数据图，107是数据预处理过程，108是数字5经过预处理的手势点云数据示例，109是后续的数据处理过程。
图2是本发明的流程图，具体为使用深度相机采集手势点云数据、对手势点云数据进行裁剪和滤波等预处理操作、对预处理后的手势点云数据进行主成分分析和轮廓提取等处理，最后使用手势点云数据识别算法实现手势的分类。
图3是本发明的手势点云数据预处理的流程图，具体包括手势点云数据裁剪、手势点云数据滤波、手势点云数据主成分分析和手势点云数据轮廓提取等步骤。
图4是本发明的一种实施例的示意图。401是深度相机采集的原始手势点云数据，402是手势点云数据裁剪示例，403是手势点云数据滤波示例，404是手势点云数据主成分分析示例、405是轮廓提取示例。
图5是本发明的手势点云数据处理算法流程图，具体为使用手势点云数据识别算法对处理过的手势点云数据进行训练，识别手势的类别并给出识别准确率。
图6是本发明的手势识别混淆矩阵图，识别的手势类别是数字0-9。(a)-(g)分别是模型PointNet、PointNet++(SSG)、PointNet++(MSG)、PointConv、PointCNN、DGCNN和PCT的识别结果混淆矩阵图，从中可以分析不同类别手势的识别准确率。
图7是本发明的手势识别准确率柱状图，(a)是未经过手势点云数据压缩得到的手势识别准确率柱状图，(b)是经过手势点云主成分分析和轮廓提取之后的手势识别准确率柱状图；从中可以获得图6中不同模型的手势识别平均准确率。
图8为本发明一种基于深度相机和轮廓提取的手势识别系统结构示意图；
图9为本发明一种电子设备结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
机器学习作为计算机视觉领域的重要研究内容，在图像分类、图像分割、物体检测以及物体追踪等领域都有着重要的应用。机器学习及深度学习算法可以辅助手势识别，实现大样本容量以及高准确率的手势识别任务。
本发明的根本目的是使用深度相机作为数据获取设备采集手势点云数据，结合手势点云数据的裁剪、滤波、主成分分析和轮廓提取等处理方法，进一步运用手势点云数据识别算法实现手势的精确识别。本发明中使用的裁剪、滤波、主成分分析和轮廓提取等手势点云数据处理方法以及手势点云数据识别算法，可实现黑暗以及复杂光照变化环境下的手势识别。引入的轮廓提取算法极大地减少了数据量，在保证识别准确率的前提下大幅提高了手势识别的速度。
本发明具体涉及使用深度相机采集手势点云数据；使用手势点云数据预处理算法对手势点云数据进行裁剪、滤波、主成分分析以及轮廓提取等处理；使用手势点云数据识别算法对手势类型进行识别。
本发明提出的方法包括手势点云数据采集、手势点云数据预处理、手势点云数据处理、手势点云数据识别四部分，具体包括：
获取手势点云数据；
使用手势点云数据处理算法对手势点云数据进行预处理；
手势点云数据压缩，对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
各部分说明如下：
首先，利用深度相机采集手势点云数据。深度相机是基于主动测量的设备，核心是获取物体的深度信息，从而得到手势点云数据。本发明所用深度相机包括但不限于飞行时间深度相机和结构光深度相机等。
其次，使用手势点云数据处理算法对深度相机采集到的手势点云数据进行预处理，以去除背景和噪声等冗余信息。其中，手势点云数据预处理用到的算法包括但不限于手势点云数据裁剪和手势点云数据滤波等算法。
再次，手势点云数据处理是在预处理的基础上进一步对手势点云数据进行压缩，以降低手势点云数据的维度并减少手势点云数据的数据量。其中，手势点云数据压缩用到的算法包括但不限于主成分分析，轮廓提取和降采样等算法。
最后，利用手势点云数据识别算法，得到手势识别的结果和识别的准确率。其中，手势点云数据识别算法包括但不限于支持向量机、决策树等实现分类任务的机器学习算法，以及用于手势点云数据分类的深度学习算法，如PointNet、PointNet++等深度学习网络。
其中，基于深度相机和轮廓提取的手势识别方法，包括：
手势：数据采集的对象；作为手势识别的对象，提供不同的手势形状用于数据采集；
深度相机：手势点云数据采集设备；利用主动测量原理，获取对象的深度信息，采集手势对象的手势点云数据；
手势点云数据采集：使用深度相机采集包含手势信息的手势点云数据；将深度相机拍摄得到的各类的手势信息记录为手势点云数据；
手势点云数据处理：对手势点云数据进行裁剪和滤波等预处理操作，去除背景和噪声，再对预处理后的数据进行主成分分析和轮廓提取等手势点云数据压缩操作，进一步减少手势点云的数据量；对采集的手势点云数据进行处理，包括预处理和后续的手势点云数据压缩；
手势识别：使用手势点云数据识别算法对处理后的手势点云数据进行识别。
其中，所用的深度相机包括但不限于飞行时间深度相机和结构光深度相机等。
以下更相信的进行说明每个步骤的具体内容：
1)该手势采集主要由深度相机采集要识别的一系列手势点云数据，其工作步骤如下：
步骤一：根据手势识别任务，给出待识别的某一类手势；
步骤二：使用深度相机采集对应的手势点云数据；
步骤三：重复步骤一、二，依次采集所有类型的手势点云数据并保存；
通过上述步骤，实现基于深度相机的手势点云数据采集系统。
2)用于手势点云数据处理的方法；此处理系统位于手势点云数据采集步骤之后，对采集到的手势点云数据进行裁剪、滤波等预处理；并对预处理后的手势点云数据进行主成分分析和轮廓提取等手势点云数据压缩操作，具体工作步骤如下：
步骤一：将保存的一系列手势点云数据按照类别进行整理和划分；
步骤二：对手势点云数据进行裁剪处理；
使用手势点云数据处理软件或者编程完成手势点云数据裁剪。设置适当的深度阈值，然后裁剪掉背景和冗余的手势点云数据信息，最终得到只包含关键手势的手势点云数据。
步骤三：对裁剪处理后的手势点云数据进行滤波处理；
手势点云数据滤波可以去除噪声和减少数据量。可采用的算法包括但不限于Statistical Outlier Removal(SOR)滤波、直通滤波、体素滤波、统计滤波、条件滤波、双边滤波等滤波算法。
步骤四：手势点云数据压缩，对裁剪和滤波后的手势点云数据进行主成分分析和轮廓提取；
原始手势点云数据包含三个维度，在三维笛卡尔坐标系中用(x,y,z)表示。主成分分析算法分两步执行：第一步对手势点云数据降维，得到二维手势点云数据和主成分向量；第二步使用主成分向量将二维手势点云数据转换为三维平面手势点云数据。轮廓提取是在三维平面手势点云数据基础上，提取手势点云数据的轮廓。主成分分析结合轮廓提取极大减少了手势点云数据的数据量。手势点云数据压缩的算法包括但不限于主成分分析和轮廓提取等算法。
通过上述步骤，实现手势点云数据的预处理和压缩。
具体地，本发明对原始手势点云数据进行预处理，所使用的数据预处理方法包括但不限于裁剪和滤波等。
手势点云数据压缩，减少手势点云数据的数据量，用于减少手势点云数据量的方法包括但不限进行主成分分析和轮廓提取等。
3)基于手势点云数据识别方法；使用不同种类的手势点云数据识别算法对经过处理后的手势点云数据进行训练、验证和测试，实现手势类型的快速准确识别。此系统由手势点云数据识别算法对经过处理后的手势点云数据进行训练，可实现手势快速准确识别，其工作步骤如下：
步骤一：将经过手势点云数据处理系统后的数据划分为多个数据集；
根据手势的类别和样本容量，将所有手势点云数据划分为训练集、验证集和测试集；
步骤二：对手势识别模型进行训练和验证，其方法为：
将训练数据集和验证数据集输入到手势识别模型中，训练并选择识别效果最好的手势识别模型；
一部分数据集用于手势点云数据识别算法的训练和验证，另一部分数据集用于算法的测试；
手势点云数据识别算法的输入是手势点云数据，输出是手势的类别信息。
步骤三：对手势点云数据识别算法进行测试，其方法为：
将测试数据输入到训练好的手势识别模型中，进一步对不同模型的识别准确率等结果进行分析；
步骤四：使用手势点云数据识别算法获得手势识别的准确率；
通过上述步骤，实现基于手势点云数据的手势识别系统。
手势点云数据识别算法包括但不限于支持向量机、决策树等实现分类任务的机器学习算法，以及用于手势点云数据分类的深度学习算法，如PointNet、PointNet++等深度学习网络。
使用不同种类的手势点云数据识别算法进行手势识别，手势点云数据识别算法包括但不限于支持向量机、决策树等实现分类任务的机器学习算法，以及用于手势点云数据分类的深度学习算法，如PointNet、PointNet++等深度学习网络。
下面结合附图和实施例对本发明做进一步说明：
图1是本发明的一种实施例。其处理步骤如下：
步骤一：深度相机103依次采集101所示的多种手势形状，102是数字5的手势形状示例；
步骤二：数据采集过程104通过深度相机103获取一系列的手势点云数据，106是数字5的手势点云数据示例；
步骤三：手势点云数据105经过数据预处理流程107，得到108所示的预处理手势点云数据示例；
步骤四：预处理后的所有手势点云数据传输至数据处理109。
图3是本发明一种实施例的详细流程图，所涉及处理过程和图4的示例相对应。结合图1中107数据预处理和109数据处理，其处理步骤如下：
步骤一：图1中107数据预处理对手势点云数据进行裁剪。
具体方法为：对手势点云数据进行裁剪，以去除背景和无效手势点云数据。裁剪算法原理是设置合适的深度阈值，去除手势点云数据之外的冗余信息。对于本实施例，所用手势点云数据裁剪算法包括但不限于深度阈值裁剪等算法。图4中402为经过裁剪处理后的手势点云数据。
步骤二：图1中107数据预处理对手势点云数据进行滤波。
具体方法为：最大限度地保留手势点云数据结构信息的同时，对噪声以及离群点的影响进行消除。针对手势点云数据，本发明使用SOR滤波方法，设置手势点云数据的近邻点数目和标准差比值两个参数，滤波结果如图4中403所示。本实施例中使用的手势点云数据滤波算法包括但不限于SOR滤波、直通滤波、体素滤波、统计滤波、条件滤波、双边滤波等滤波算法。
步骤三：手势点云数据压缩，图1中109数据处理对手势点云数据进行主成分分析和轮廓提取。
具体方法为：对手势点云数据进行主成分分析和轮廓提取，以减少手势点云数据的数据量。对于本实施例，先使用主成分分析将三维手势点云数据降为二维，再使用主成分向量将二维手势点云数据升维得到三维平面手势点云数据，结果如图4中404所示。对平面手势点云数据进行轮廓提取得到如图4中405所示结果。本实施例中使用的手势点云数据压缩算法包括但不限于主成分分析和轮廓提取相结合的算法。
根据图5所示详细流程图，对处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，得到手势识别结果和准确率，图6为所用七种模型的手势识别混淆矩阵，图7为七种模型的手势识别准确率，具体处理步骤如下：
步骤一：将经过处理的手势点云数据划分为多个数据集；
根据图5的流程图，数据集的划分比例按照各个类别手势的样本量决定，本发明将所有手势点云数据按照8:1:1的比例划分为三个数据集，分别为训练集、验证集和测试集。
步骤二：对手势识别模型进行训练；
根据图5的流程图，将训练集和验证集的手势点云数据输入到手势识别模型中，训练并选择识别效果最好的模型。本发明训练得到了七种不同的手势识别模型，分别是PointNet、PointNet++(SSG)、PointNet++(MSG)、PointConv、PointCNN、DGCNN和PCT。
其中，手势点云数据识别算法包括但不限于支持向量机、决策树等实现分类任务的机器学习算法，以及用于手势点云数据分类的深度学习算法，如PointNet、PointNet++等深度学习网络。
步骤三：对训练好的手势识别模型进行测试，输出手势点云数据手势识别模型的混淆矩阵；
根据图5的流程图，使用测试数据集对七种手势识别手势点云数据模型进行测试，得到图6所示的混淆矩阵。根据混淆矩阵，可以得出不同模型对于十类手势的分类准确率。
步骤四：对训练好的手势识别模型进行测试，输出并汇总各种模型的手势识别准确率；
如图7所示柱状图，汇总了七种模型的平均手势识别准确率，(a)是未经过手势点云数据压缩的柱状图，(b)是经过手势点云主成分分析和轮廓提取的柱状图，从图中可以得出手势点云数据压缩基本不会影响手势识别的准确率，体现了手势点云数据压缩算法的稳定性。
如图8所示，本发明还提供一种基于深度相机和轮廓提取的手势识别系统，包括：
获取模块，用于获取手势点云数据；
预处理模块，用于使用手势点云数据处理算法对手势点云数据进行预处理；
数据压缩模块，用于对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
识别模块，用于将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
如图9所示，本发明的另一目的在于提出基于深度相机和轮廓提取的手势识别设备，包括：
存储器，
处理器，
所述处理器被配置为：执行所述的基于深度相机和轮廓提取的手势识别方法。
本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行基于深度相机和轮廓提取的手势识别方法。
所述基于深度相机和轮廓提取的手势识别方法，包括：
获取手势点云数据；
使用手势点云数据处理算法对手势点云数据进行预处理；
对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
综上所述，本发明主要包括使用深度相机采集不同类型的手势点云数据；对采集的手势点云数据进行裁剪、滤波、主成分分析、轮廓提取等处理；使用手势点云数据识别算法对已处理的手势点云数据进行识别，获取手势的分类准确率。本发明提出用深度相机作为数据采集设备，受到环境光照变化的影响小，可实现黑暗环境下的精确手势识别；所提出的轮廓提取算法，极大减少了原始手势点云数据的数据量，提高了后续手势点云数据识别算法的处理速度。本发明的技术方案使用深度相机采集的手势点云数据作为原始数据，提出的手势识别算法在保证识别准确率的前提下，通过引入轮廓提取，极大提高了手势点云数据识别算法的处理速度，在移动设备、智能家居、智能控制等领域有较大的应用前景。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度相机和轮廓提取的手势识别方法，其特征在于，包括：
获取手势点云数据；
使用手势点云数据处理算法对手势点云数据进行预处理；
对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
2.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述获取手势点云数据包括：
根据手势识别任务，给出待识别手势；
使用深度相机采集待识别手势对应的手势点云数据；
重复采集所有类型的手势点云数据并保存。
3.根据权利要求2所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述深度相机为飞行时间深度相机或结构光深度相机。
4.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述使用手势点云数据处理算法对手势点云数据进行预处理，包括：
整理和划分采集到的不同类型的手势点云数据；
对手势点云数据进行裁剪处理：设置深度阈值，依据深度阈值裁剪掉背景和冗余的手势点云数据信息，得到只包含关键手势的手势点云数据；
对裁剪处理后的手势点云数据进行滤波处理：设置手势点云数据的近邻点数目和标准差比值两个参数，通过近邻点数目和标准差比值进行滤波处理，完成预处理。
5.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述对预处理后的手势点云数据进行主成分分析和轮廓提取，得到处理后的手势点云数据，包括：
手势点云数据包含三个维度，在三维笛卡尔坐标系中用(x,y,z)表示；主成分分析分两步执行：第一步对手势点云数据降维，得到二维手势点云数据和主成分向量；第二步使用主成分向量将二维手势点云数据转换为三维平面手势点云数据；
在三维平面手势点云数据基础上，提取手势点云数据的轮廓。
6.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果，包括：
将经过处理的手势点云数据划分为多个数据集，其方法为：
根据手势的类别和样本容量，将所有手势点云数据划分为训练集、验证集和测试集；
对手势识别模型进行训练和验证，其方法为：
将训练数据集和验证数据集输入到手势点云数据识别算法中，训练并得到手势识别模型；
对手势点云数据识别算法进行测试，其方法为：
将测试集输入到训练好的各种手势识别模型中，对不同模型进行识别，得到手势识别结果。
7.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述手势点云数据识别算法包括支持向量机机器学习算法、决策树机器学习算法，以及深度学习算法。
8.一种基于深度相机和轮廓提取的手势识别系统，其特征在于，包括：
获取模块，用于获取手势点云数据；
预处理模块，用于使用手势点云数据处理算法对手势点云数据进行预处理；
数据压缩模块，用于对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
识别模块，用于将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
9.一种基于深度相机和轮廓提取的手势识别设备，其特征在于，包括：
存储器，
处理器，
所述处理器被配置为：执行权利要求1至7任一项所述的基于深度相机和轮廓提取的手势识别方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求1至7任一项所述的基于深度相机和轮廓提取的手势识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574708.9A CN116311492A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度相机和轮廓提取的手势识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574708.9A CN116311492A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度相机和轮廓提取的手势识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311492A true CN116311492A (zh) | 2023-06-23 |
Family
ID=86792997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211574708.9A Pending CN116311492A (zh) | 2022-12-08 | 2022-12-08 | 一种基于深度相机和轮廓提取的手势识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311492A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117075730A (zh) * | 2023-08-18 | 2023-11-17 | 广东早安文化发展有限公司 | 一种基于图像识别技术的3d虚拟展厅控制系统 |
-
2022
- 2022-12-08 CN CN202211574708.9A patent/CN116311492A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117075730A (zh) * | 2023-08-18 | 2023-11-17 | 广东早安文化发展有限公司 | 一种基于图像识别技术的3d虚拟展厅控制系统 |
| CN117075730B (zh) * | 2023-08-18 | 2024-04-30 | 广东早安文化发展有限公司 | 一种基于图像识别技术的3d虚拟展厅控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148117B (zh) | 基于电力图像的电力设备缺陷识别方法、装置与存储介质 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN102915432A (zh) | 一种车载微机图像视频数据提取方法及装置 | |
| CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
| CN115409797A (zh) | 一种基于改进深度学习算法的pcb缺陷图像检测方法 | |
| CN116311492A (zh) | 一种基于深度相机和轮廓提取的手势识别方法及系统 | |
| CN111104855A (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN202815869U (zh) | 一种车载微机图像视频数据提取装置 | |
| CN114386931A (zh) | 一种基于ai技术的图像分析系统及方法 | |
| CN113780287A (zh) | 一种多深度学习模型的最优选取方法及系统 | |
| CN111401184A (zh) | 机器视觉处理方法、装置、存储介质和电子设备 | |
| Li et al. | Incremental learning of infrared vehicle detection method based on SSD | |
| CN114494441B (zh) | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 | |
| CN110728316A (zh) | 一种课堂行为检测方法、系统、装置和存储介质 | |
| CN110598716A (zh) | 一种人员属性识别方法、装置及系统 | |
| CN110555384A (zh) | 基于图像数据的牛肉大理石纹自动分级系统及方法 | |
| CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
| CN104915682A (zh) | 一种豆科种子识别系统及方法 | |
| CN114743257A (zh) | 图像目标行为的检测识别方法 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| CN114359786A (zh) | 一种基于改进时空卷积网络的唇语识别方法 | |
| CN113569912A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
| CN114579827B (zh) | 一种工业设备数据性能曲线的处理方法、装置及设备 | |
| CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
| CN114723748B (zh) | 电机控制器的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |