CN113627397A - 一种手部姿态识别方法、系统、设备和存储介质 - Google Patents

一种手部姿态识别方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN113627397A
CN113627397A CN202111180272.0A CN202111180272A CN113627397A CN 113627397 A CN113627397 A CN 113627397A CN 202111180272 A CN202111180272 A CN 202111180272A CN 113627397 A CN113627397 A CN 113627397A
Authority
CN
China
Prior art keywords
hand
feature map
hand gesture
attention mechanism
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111180272.0A
Other languages
English (en)
Other versions
CN113627397B (zh
Inventor
蒋杰
刘阳
王翔汉
孙家豪
杨君燕
何亦湘
白亮
康来
魏迎梅
谢毓湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111180272.0A priority Critical patent/CN113627397B/zh
Publication of CN113627397A publication Critical patent/CN113627397A/zh
Application granted granted Critical
Publication of CN113627397B publication Critical patent/CN113627397B/zh
Priority to US17/902,511 priority patent/US11688098B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种手部姿态识别方法、系统、设备和存储介质，该方法包括：从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述立体声图像和所述深度图像获取手部姿态数据集；将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于软件模型的训练；通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。该识别方法在提供识别精确度的同时，验证了坐标注意力机制模块和多光谱注意力机制模块在手部姿态估计网络特征提取器中的有效性。

Description

一种手部姿态识别方法、系统、设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种手部姿态识别方法、系统、设备和存储介质。
背景技术
随着信息化时代的不断发展，各种搭载人工智能信息系统的电子设备融入我们的生活之中，人机交互的需求日益凸显。而作为手部交互的基础性工作，人体手部位置识别定位与姿态估计，也有着巨大的研究价值。利用深度学习进行手部姿态估计有许多方法。有基于图像加深度信息的方法，有直接基于RGB图像的方法，也有基于双目乃至多目视觉的方法。在此之中，基于单幅RGB图像的手部姿态估计方法由于其实现简单，对硬件要求较低，便于推广等诸多优点而更为受到人们的关注。
利用深度学习方法，基于单幅RGB图像进行手部姿态估计，其中一个令人瞩目的方法是InterNet， InterNet通过输入单幅标注后的RGB图像通过一个深度神经网络特征提取器和全连接网络的后续热图估计和位置拟合，精准估计手部姿态位置。作为作者提出数据集，该方法提升了手部姿态估计的性能，在STB数据集上实现了解决了交互式手部姿态估计的难题。但是，上述识别过程存在识别精度不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种手部姿态识别方法、系统、设备和存储介质。
第一方面，本发明实施例提供了一种手部姿态识别方法，包括以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
进一步的，所述通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图，包括：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
进一步的，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
进一步的，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
另一方面，本发明实施例还提供了一种手部姿态识别系统，包括：
数据集模块，用于从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
图像预处理模块，用于将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
特征图提取模块，用于通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
特征图识别模块，用于根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
进一步的，所述特征图提取模块包括反转残差单元，所述反转残差单元用于：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
进一步的，所述特征图识别模块包括注意力机制单元，所述注意力机制单元用于：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
进一步的，所述特征图识别模块包括结果识别单元，所述结果识别单元用于：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
本申请的有益效果是：本发明实施例公开了一种手部姿态识别方法、系统、设备和存储介质，该方法首先从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述立体声图像和所述深度图像获取手部姿态数据集；将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于软件模型的训练；通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。该识别方法在提供识别精确度的同时，验证了坐标注意力机制模块和多光谱注意力机制模块在手部姿态估计网络特征提取器中的有效性，相对于现有技术该坐标注意力机制对于网络性能的改进更为优秀。在手部姿态估计的数据获取等方面，通过该方法可以逐渐用自动或半自动方法取代人工标注，通过利用神经网络等学习模型进行较为精确的标注有助于降低人工标注带来的工作量负担。
附图说明
图1为一个实施例中手部姿态识别方法的流程示意图；
图2为一个实施例中反转残差模块处理特征图的流程示意图；
图3为一个实施例中注意力机制模块处理特征图的流程示意图；
图4为一个实施例中全局特征图识别结果的流程示意图；
图5为一个实施例中手部姿态识别系统的结构框图；
图6为一个实施例中设备的内部结构图。
具体实施方式
在一个实施例中，如图1所示，提供了一种手部姿态识别方法，该方法包括以下步骤：
步骤101，从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
步骤102，将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
步骤103，通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
步骤104，根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
具体地，从RGB图像进行手部姿态估计一直是一项伴随诸多困难的任务，由于深度信息的不完备性等。InterNet通过其独特的设计将手部姿态估计的精确度提升到了新的高度，但仍存在很大的潜力，我们基于MobileNet v3和MoGA网络的架构，重新设计了一个特征提取器，该特征提取器引入了计算机视觉领域最新的成果，诸如ACON激活函数和新的注意力机制模块等，将其有效地运用在网络架构中，能够对手部RGB图像更好地提取全局特征，相较于InterNet有较大的性能提升，并在多个数据集上取得了state of the art。我们通过引入了多光谱注意力机制FcaLayer在全连接网络前处理得到的特征图，以使得其保留更多频域信息以提升性能；我们改进了网络的整体训练方式，从可用数据中获取更多信息。该识别方法在提供识别精确度的同时，验证了坐标注意力机制模块和多光谱注意力机制模块在手部姿态估计网络特征提取器中的有效性，相对于现有技术该坐标注意力机制对于网络性能的改进更为优秀。在手部姿态估计的数据获取等方面，通过该方法可以逐渐用自动或半自动方法取代人工标注，通过利用神经网络等学习模型进行较为精确的标注有助于降低人工标注带来的工作量负担。
在一个实施例中，如图2所示，反转残差模块处理特征图的流程包括：
步骤201，在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
步骤202，在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
步骤203，通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
具体地，本实施例采用了反转残差模块。这种模块也被应用到MobileNet v3和MoGA的系列网络中。反转残差模块与残差模块类似，由输入，瓶颈和扩展组成。在前人的研究中，已被证明瓶颈实际上包含所有必要的信息，而扩展层仅作为伴随张量非线性变换的实现细节。直接在瓶颈间插入类似于残差连接的shortcut连接。其设计与残差模块的设计差异。在实际的应用中，被证明相较于传统的残差模块能具有更高的内存效率和实验效果。本实施例提出了ACON激活函数。该 从定义n个参数最大值的max函数出发，确定了其光滑可微的近似函数——smooth maximum。以此为基础推论，证明了swish函数为ReLU函数的平滑逼近。在此之上，本实施例仿照ReLU函数族建立了ACON函数族，并通过设立超参数来学习在具体的网络位置整个激活函数区域线性和非线性的程度门从而达到在激活和不激活的状态间切换。我们在特征提取器的反转残差模块前的可分离卷积末尾加入了此种激活函数，取得了较好的效果。
在一个实施例中，如图3所示，注意力机制模块处理特征图的流程包括：
步骤301，在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
步骤302，在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
具体地，在此前的手部姿态估计任务中，注意力机制模块很少被使用。其中的一个原因是注意力机制研究尚处于方兴未艾阶段，提出了许多诸如空间或是频域的注意力机制在手部姿态估计任务中并没有提升网络的性能；另一个原因是注意力机制对于部分数据集能起到较好的促进作用，而在另一些数据集上却效果不甚明显甚至起到相反的效果。通过对原理的解析和在网络结构中的正确应用的不断尝试，我们能够在一个网络整体中添加多个种类注意力机制模块共同作用，提升其在不同数据集上的性能，在后续试验中的消融分析可以证明我们方法的有效性。通过添加坐标注意力机制模块能够提升手部姿态估计精读，并且效果好于传统的空间注意力机制模块。由于手部目标相较于环境背景而言，往往所占像素比重较小，存在分辨率不足和信息不完备等多种问题。通过引入注意力机制理论上可以促进网络对于目标区域的专注认知和特征提取。在之前的工作中，注意力机制模块较少地被运用于手部姿态估计任务中。我们在网络设计中察觉到此类空缺。由于手部姿态估计任务的特殊性，我们尝试在网络中引入注意力机制以提升网络的性能。在基于坐标注意力机制的模块取得较好结果的基础上，我们尝试对于提取的特征图进行初步处理，以便于对此进行高阶操作，同时，也验证了多光谱注意力机制模块在手部姿态估计网络特征提取器中的有效性。
在一个实施例中，如图4所示，全局特征图识别结果过程包括：
步骤401，根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
步骤402，将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
具体的，在通过特征提取器得到特征图后，我们没有直接将其送入后续的全连接层和线性结构去判断图像中存在手的左右以及个数或是拟合关键节点的位置热图。由于特征图是一个通道数远大于二维尺寸的三维张量（在我们的网络中，其尺寸是2048x8x8），我们利用新的注意力机制对其进行处理，以求在后续的处理前尽可能多的保留频域上的信息。最终根据全局特征图得到位置热图和手部位置信息，从而得到手部姿态识别的具体结果。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种手部姿态识别系统，包括：
数据集模块501，用于从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
图像预处理模块502，用于将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
特征图提取模块503，用于通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
特征图识别模块504，用于根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
在一个实施例中，如图5所示，所述特征图提取模块503包括反转残差单元5031，所述反转残差单元5031用于：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
在一个实施例中，如图5所示，所述特征图识别模块504包括注意力机制单元5041，所述注意力机制单元5041用于：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
在一个实施例中，如图5所示，所述特征图识别模块504包括结果识别单元5042，所述结果识别单元5042用于：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
关于手部姿态识别系统的具体限定可以参见上文中对于手部姿态识别方法的限定，在此不再赘述。上述手部姿态识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6示出了一个实施例中设备的内部结构图。该设备包括该设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现权限异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行权限异常检测方法。设备的显示屏可以是液晶显示屏或者电子墨水显示屏，设备的输入装置可以是显示屏上覆盖的触摸层，也可以是设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图6所示，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手部姿态识别方法，其特征在于，包括以下步骤：
从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
2.根据权利要求1所述的手部姿态识别方法，其特征在于，所述通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图，包括：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
3.根据权利要求1所述的手部姿态识别方法，其特征在于，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
4.根据权利要求1所述的手部姿态识别方法，其特征在于，所述根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果，包括：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
5.一种手部姿态识别系统，其特征在于，包括：
数据集模块，用于从RGB摄像头捕获了手部的RGB图像，从主动深度摄像头捕获了手部的深度图像，根据所述RGB图像和所述深度图像获取手部姿态数据集；
图像预处理模块，用于将所述手部姿态数据集进行处理，得到3D关节位置，将所述3D关节位置作为数据集标注用于深度神经网络模型的训练；
特征图提取模块，用于通过基于深度神经网络的特征提取器提取所述RGB图像，得到手部姿态的特征图；
特征图识别模块，用于根据注意力机制处理所述特征图，得到手部姿态的全局特征图，并利用所述全局特征图得到手部姿态的识别结果。
6.根据权利要求5所述的手部姿态识别系统，其特征在于，所述特征图提取模块包括反转残差单元，所述反转残差单元用于：
在所述特征提取器中加入由输入层，瓶颈层和扩展层组成反转残差模块；
在所述反转残差模块前的可分离卷积末尾加入ACON激活函数；
通过设立超参数来学习在具体的网络位置，获取所述激活函数区域线性和非线性的程度。
7.根据权利要求5所述的手部姿态识别系统，其特征在于，所述特征图识别模块包括注意力机制单元，所述注意力机制单元用于：
在所述特征提取器中引入坐标注意力机制模块，根据所述坐标注意力机制模块处理所述特征图，提高所述特征图的分辨率和信息完备度；
在所述特征提取器中引入多光谱注意力机制模块，根据所述多光谱注意力机制模块在手部姿态中估计网络特征提取的有效程度。
8.根据权利要求5所述的手部姿态识别系统，其特征在于，所述特征图识别模块包括结果识别单元，所述结果识别单元用于：
根据所述特征图的处理结果，得到手部三维姿态估计位置热图；
将所述特征图进行平均池化的外形调整后得到手掌根部节点的位置信息并判断左右手部种类。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202111180272.0A 2021-10-11 2021-10-11 一种手部姿态识别方法、系统、设备和存储介质 Active CN113627397B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111180272.0A CN113627397B (zh) 2021-10-11 2021-10-11 一种手部姿态识别方法、系统、设备和存储介质
US17/902,511 US11688098B2 (en) 2021-10-11 2022-09-02 Method and system for hand pose recognition, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111180272.0A CN113627397B (zh) 2021-10-11 2021-10-11 一种手部姿态识别方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113627397A true CN113627397A (zh) 2021-11-09
CN113627397B CN113627397B (zh) 2022-02-08

Family

ID=78390859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111180272.0A Active CN113627397B (zh) 2021-10-11 2021-10-11 一种手部姿态识别方法、系统、设备和存储介质

Country Status (2)

Country Link
US (1) US11688098B2 (zh)
CN (1) CN113627397B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665156A (zh) * 2023-07-28 2023-08-29 苏州中德睿博智能科技有限公司 多尺度融合注意力的交通头盔小目标检测系统及方法
CN117908678B (zh) * 2024-01-19 2024-07-16 广州维启通讯科技有限公司 一种耳机及其充电盒显示屏的手势识别控制系统
CN117953545B (zh) * 2024-03-27 2024-06-21 江汉大学 基于彩色图像的三维手部姿态估计方法、装置及处理设备
CN118279521B (zh) * 2024-05-31 2024-08-20 江西财经大学 基于多头令牌自注意力的双手网格重建方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020236993A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
WO2020247545A1 (en) * 2019-06-04 2020-12-10 Northeastern University Lightweight decompositional convolution neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020236993A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
WO2020247545A1 (en) * 2019-06-04 2020-12-10 Northeastern University Lightweight decompositional convolution neural network

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MARK SANDLER，ET,AL.: "MobileNetV2: Inverted Residuals and Linear Bottlenecks", 《ARXIV:1801.04381V4 [CS.CV]》 *
NINGNING MA,ET AL.: "Activate or Not: Learning Customized Activation", 《ARXIV:2009.04759V2》 *
ZEQUN QIN ET AL: "FcaNet: Frequency Channel Attention Networks", 《HTTPS://ARXIV.ORG/ABS/2012.11879V1》 *
夏寅皓: ""基于单张RGB图像的手部三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN113627397B (zh) 2022-02-08
US11688098B2 (en) 2023-06-27
US20230116029A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
CN113627397B (zh) 一种手部姿态识别方法、系统、设备和存储介质
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
EP4068150A1 (en) Hand key point detection method, gesture recognition method, and related devices
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
WO2021017283A1 (zh) 基于离线型的在线跟踪方法、装置、计算机设备及存储介质
CN114641799A (zh) 对象检测设备、方法和系统
CN111242840A (zh) 手写体字符生成方法、装置、计算机设备和存储介质
CN112949437A (zh) 一种手势识别方法、手势识别装置及智能设备
CN116766213B (zh) 一种基于图像处理的仿生手控制方法、系统和设备
CN117557877A (zh) 人物异常行为图像训练样本生成方法、装置和计算机设备
CN113592881B (zh) 图片指代性分割方法、装置、计算机设备和存储介质
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112199994B (zh) 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置
CN116912829A (zh) 小气道分割方法、装置、电子设备及非易失性存储介质
CN112883853A (zh) 车道线的检测方法、装置、设备及存储介质
US20230071291A1 (en) System and method for a precise semantic segmentation
CN115810152A (zh) 基于图卷积的遥感图像变化检测方法、装置和计算机设备
KR102382883B1 (ko) 3차원 손 자세 인식 장치 및 방법
CN114973396B (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN115731588B (zh) 模型处理方法及装置
JP2016085694A (ja) 画像処理装置及びその制御方法、プログラム
JP2019125128A (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant