CN112926423B - 捏合手势检测识别方法、装置及系统 - Google Patents

捏合手势检测识别方法、装置及系统 Download PDF

Info

Publication number
CN112926423B
CN112926423B CN202110182469.1A CN202110182469A CN112926423B CN 112926423 B CN112926423 B CN 112926423B CN 202110182469 A CN202110182469 A CN 202110182469A CN 112926423 B CN112926423 B CN 112926423B
Authority
CN
China
Prior art keywords
hand
determining
preset
image data
pinch gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110182469.1A
Other languages
English (en)
Other versions
CN112926423A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110182469.1A priority Critical patent/CN112926423B/zh
Publication of CN112926423A publication Critical patent/CN112926423A/zh
Priority to PCT/CN2021/123348 priority patent/WO2022166243A1/zh
Priority to US17/880,769 priority patent/US11776322B2/en
Application granted granted Critical
Publication of CN112926423B publication Critical patent/CN112926423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及图像识别技术领域，提供一种捏合手势检测识别方法，应用于电子装置，包括实时获取待检测视频中每一帧的图像数据；基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。利用上述发明能够快速、准确的对用户手势进行检测及识别，提高用户对人造现实系统的体验效果。

Description

捏合手势检测识别方法、装置及系统
技术领域
本发明涉及图像检测技术领域，更为具体地，涉及一种捏合手势检测识别方法、装置及系统。
背景技术
目前，VR/AR/MR一体机设备越来越多的进入到人们生活中，其主要的应用场景是当用户进行VR/AR/MR场景交互时，通过头戴上的多目追踪摄像头自动识别跟踪用户手一些行为轨迹信息，并通过手的一些行为轨迹检测手势指令，然后作为人造虚拟现实系统的输入信息，和虚拟场景进行交互。
其中，对于上述一体设备的空间定位方式，比较普遍和流行的是在一体机设备上内置一个或者多个单色鱼眼追踪相机，通过追踪相机实时定位一体机设备相对物理空间环境的位置和姿态信息。此外，为增强VR/AR/MR一体机设备的虚实结合的沉浸感，使此类设备具有更好的人机交互体验，作为关键模块的手势交互模块必不可少，且其在VR/AR/MR的场景交互中占据着越来越重要的位置。
现有的手势交互模块在采集用户手部动作信息时，通常是在手臂采集手部动作的肌电信号，然后根据肌电信号判断手部动作，该方式成本高，且需要对应的手臂采集装置，用户佩戴体验效果差；此外，采用简单的手势识别模型，通过识别模型直接进行手势识别，对手指的识别精度较差，容易出现误判，适用场景受限，影响用户体验。
发明内容
鉴于上述问题，本发明的目的是提供一种捏合手势检测识别方法、装置及系统，以解决现有手势检测方法存在的成本高、佩戴效果差，或者识别精度提，影响用户体验等问题。
本发明提供的捏合手势检测识别方法，应用于电子装置，包括：实时获取待检测视频中每一帧的图像数据；基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。
此外，优选的技术方案是，每一帧的图像数据通过至少两个鱼眼追踪相机获取，确定手部位置上的预设个数的骨骼点的步骤包括：基于骨骼点识别模型确定手部位置上的预设个数的骨骼点的二维坐标信息；根据二维坐标信息及立体三角成像原理，实时获取与二维坐标信息对应的三维位置坐标信息；其中，三维位置坐标信息用于确定预设手指的骨骼点间的距离信息。
此外，优选的技术方案是，根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势的步骤包括：根据三维坐标位置信息，确定预设预手指对应的骨骼点之间的三维欧式距离；当三维欧氏距离小于预设阈值时，确定手部为捏合手势；否则，当三维欧氏距离大于等于预设阈值时，确定手部为非捏合手势。
此外，优选的技术方案是，还包括：通过手部检测模型获取手部位置在对应的图像数据上的ROI，并获取与ROI对应的ROI图像；对ROI图像进行二值化处理，获取对应的二值化图像；基于骨骼点及图像处理原理，获取二值化图像中的预设手指之间的轮廓信息；获取与轮廓信息对应的轮廓特征距离以及预设手指的指尖骨骼点之间的欧式距离；当轮廓特征距离大于欧式距离，且手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定手部为捏合手势。
此外，优选的技术方案是，手部检测模型的训练过程包括：对获取的训练图像数据中的目标区域进行标注，并获取标注的位置信息；其中，目标区域为手部区域；利用yolo模型对标注后的位置信息进行参数训练，直至yolo模型收敛在对应的预设范围内，以完成手部检测模型的训练。
此外，优选的技术方案是，骨骼点识别模型的训练过程包括：基于训练图像数据训练基础神经网络模型，直至神经网络模型收敛在对应的预设范围内，以完成骨骼点识别模型；其中，基础神经网络模型包括：yolo模型、CNN模型、SSD模型或者FPN模型。
此外，优选的技术方案是，还包括：获取连续预设值个帧的图像数据的捏合手势信息；当预设值个帧的图像数据的手部均为捏合手势时，确定待检测视频中的手部为捏合手势。
此外，优选的技术方案是，预设个数的骨骼点包括21个骨骼点；21个骨骼点包括手部的每个手指的3个骨骼点和1个指尖骨骼点，以及1个手掌点。
此外，本发明还提供一种电子装置，该电子装置包括：存储器、处理器及摄像装置，存储器中包括捏合手势检测识别程序，捏合手势检测识别程序被处理器执行时实现如下步骤：实时获取待检测视频中的每一帧图像数据；基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势。
本发明还提供一种捏合手势检测识别系统，其特征在于，包括：图像数据获取单元，用于实时获取待检测视频中的每一帧图像数据；手部位置确定单元，用于基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；骨骼点确定单元，用于基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；手势确定单元，用于根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。
利用上述捏合手势检测识别方法、装置及系统，通过预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置，然后基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点，最终根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势，能够识别手指等小部位处的人体姿势，检测准确度高、速度快、灵活性强。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的捏合手势检测识别方法的流程图；
图2为根据本发明实施例的捏合手势检测识别方法的详细流程图；
图3为根据本发明实施例的手部位置的二值化图像；
图4为根据本发明实施例的电子装置的结构示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
为详细描述本发明的捏合手势检测识别方法、装置及系统，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的捏合手势检测识别方法的流程。
如图1所示，本发明实施例的捏合手势检测识别方法，包括以下步骤：
S110：实时获取待检测视频中每一帧的图像数据。
其中，当本发明的捏合手势检测识别方法应用至VR/AR/MR头戴式一体机设备中时，由于VR/AR/MR头戴式一体机设备基本都采用了Inside-Out定位追踪方案，即通过头戴端内置的至少两个追踪鱼眼相机，实时定位头戴式一体机相对物理环境的位置和姿态信息，因此，图像数据可以为追踪鱼眼相机拍摄的待检测视频中每一帧的图像数据。
可知，该图像数据也可为其他视频中需要进行手势等细小部位的姿势检测的图像数据，本发明中不做具体限制。
S120：基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置。
具体地，手部检测模型的预训练过程包括：
S121：获取训练图像数据；
S122：对获取的训练图像数据中的目标区域进行标注，并获取标注的位置信息；其中，目标区域为手部区域；
S123：利用yolo模型对标注后的位置信息进行参数训练，直至yolo模型收敛在对应的预设范围内，以完成手部检测模型的训练。
可知，手部检测模型也可采用其他的神经网络模型进行训练，并不相遇上述的具体训练过程。
S130：基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点。
其中，骨骼点识别模型的预训练过程包括：
S131：获取训练图像数据；
S132：基于获取的训练图像数据训练基础神经网络模型，直至神经网络模型收敛在对应的预设范围内，以完成骨骼点识别模型；其中，基础神经网络模型包括：yolo模型、CNN模型、SSD模型或者FPN模型。
需要说明的是，在上述步骤S120和步骤S130中，训练图像数据可通过头戴式一体机设备上的多个追踪鱼眼相机来获取，例如，图像数据可通过追踪鱼眼相机采集150个用户的手部的动作，共200万张图像数据；当待检测视频为其他类型的视频时，对应的训练图像数据也可以为其他需要进行微小动作采集的图像信息。
具体地，每一帧的图像数据通过至少两个鱼眼追踪相机获取，确定手部位置上的预设个数的骨骼点的步骤包括：
1、基于骨骼点识别模型确定手部位置上的预设个数的骨骼点的二维坐标信息。其中，获取两个追踪鱼眼相机采集的每一帧的图像数据，并通过预训练获取的骨骼点识别模型确定手部位置上的预设个数的骨骼点的二维坐标。
需要说明的是，预设个数的骨骼点可以包括21个骨骼点，进一步地21个骨骼点包括手部的每个手指的3个骨骼点和1个指尖骨骼点，以及1个手掌点，即手的21个骨骼点分别分布在每一个手指的4个骨骼点(三个关节点以及一个手指尖端的骨骼点)和手掌的一个骨骼点。
此外，上述预设个数的骨骼点的具体个数及位置可根据具体的应用场景或者需求进行设置或调整。
另外，在本发明的捏合手势检测识别方法中，通过复用VR/AR/MR的头戴式一体机设备的多个追踪鱼眼相机来实现，本文描述的追踪鱼眼Camera的参数如下：FOV：143°*107°*163°(H*V*D)；分辨率：640*480；帧率：30Hz；曝光方式：Global shutter；颜色通道：单色。
2、根据二维坐标信息及立体三角成像原理，实时获取与二维坐标信息对应的三维位置坐标信息；其中，三维位置坐标信息用于确定预设手指的骨骼点间的距离信息。
S140：根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。
其中，根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势的步骤包括：
1、根据三维坐标位置信息，确定预设预手指对应的骨骼点之间的三维欧式距离。2、当三维欧氏距离小于预设阈值时，确定手部为捏合手势；否则，当三维欧氏距离大于等于预设阈值时，确定手部为非捏合手势。
上述预设手指可根据用户的行为习惯或需求进行设定，符合多数人使用习惯的手势，可将预设手指设置为大拇指和食指，通过二者支架内的单位欧式距离，确定二者是否形成捏合手势，当二者符合捏合手势要求时，可模拟鼠标的确定事件，进行VR/AR/MR场景中的确定信息指令输入。
为确保对手势识别的精度，降低手势的误判率，在本发明的一个具体实施方式中，还可以增加距离判断项，当手势满足两个判断条件时，最终确定其为捏合手势。
具体地，图2示出了根据本发明实施例的捏合手势识别方法的详细流程，如图2所示，本发明提供的捏合手势检测识别，还包括：
S150：通过手部检测模型获取手部位置在对应的图像数据上的ROI，并获取与ROI对应的ROI图像；
S160：对ROI图像进行二值化处理，获取对应的二值化图像，该二值化图像如图3所示。
S170：基于骨骼点及图像处理原理，获取二值化图像中的预设手指之间的轮廓信息；
S180：获取与轮廓信息对应的轮廓特征距离以及预设手指的指尖骨骼点之间的欧式距离；
S190：当轮廓特征距离大于欧式距离，且手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定手部为捏合手势。
通过上述在二维及三维空间分别对手部的各种距离信息进行限定，能够提高对手部姿势的检测精度，进而增强用户在使用VR/AR/MR头戴式一体机设备时的体验。
需要说明的是，上述各步骤均是对图像数据的手部位置的状态检测及识别，在待检测视频中，通常一个手势需要持续一定的时间，为此，可在上述各步骤的基础上，判断连续N帧的图像数据的拟合状态，换言之，可通过获取连续预设值个帧的图像数据的捏合手势信息，当预设值个帧的图像数据的手部均为捏合手势时，确定待检测视频中的手部为捏合手势。其中，N帧为经验阈值，在本发明提供的VR/AR/MR头戴式一体机设备应用场景中，该预设阈值可设置为5，在手势识别稳定的前提下，该阈值可设置为更小的数值，否则会影响用户体验。
与上述捏合手势检测识别方法相对应的，本发明还提供一种电子装置。图4示出了根据本发明实施例的电子装置的示意结构。
如图4所示，本发明的电子装置1可以是VR/AR/MR头戴式一体机设备、服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。其中，该电子装置1包括：处理器12、存储器11、网络接口14及通信总线15。
其中，存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的捏合手势检测识别程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行捏合手势检测识别程序10等。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线15用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及捏合手势检测识别程序10；处理器12执行存储器11中存储的捏合手势检测识别程序10时实现如下步骤：
实时获取待检测视频中的每一帧图像数据；
基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；
基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；
根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括捏合手势检测识别程序，所述捏合手势检测识别程序被处理器执行时实现如上所述捏合手势检测识别程序方法的步骤。
另一方面，上述捏合手势检测识别程序10，即捏合手势检测识别系统，进一步包括：
图像数据获取单元，用于实时获取待检测视频中的每一帧图像数据；
手部位置确定单元，用于基于预训练的手部检测模型对图像数据进行手部定位检测，确定图像数据的手部位置；
骨骼点确定单元，用于基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定手部位置上的预设个数的骨骼点；
手势判断单元，用于根据预设手指的骨骼点间的距离信息确定与图像数据对应的手部是否为捏合手势。
本发明之计算机可读存储介质的具体实施方式与上述捏合手势检测识别程序方法、装置、系统的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
如上参照附图以示例的方式描述根据本发明的捏合手势检测识别方法、装置及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的捏合手势检测识别方法、装置及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种捏合手势检测识别方法，应用于电子装置，其特征在于，包括：
实时获取待检测视频中每一帧的图像数据；
基于预训练的手部检测模型对所述图像数据进行手部定位检测，确定所述图像数据的手部位置；
基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定所述手部位置上的预设个数的骨骼点；
其中，所述确定所述手部位置上的预设个数的骨骼点的步骤包括：基于所述骨骼点识别模型确定所述手部位置上的预设个数的骨骼点的二维坐标信息；根据所述二维坐标信息及立体三角成像原理，实时获取与所述二维坐标信息对应的三维位置坐标信息；其中，所述三维位置坐标信息用于确定所述预设手指的骨骼点间的距离信息；
根据预设手指的骨骼点间的距离信息确定与所述图像数据对应的手部是否为捏合手势；
其中，根据预设手指的骨骼点间的距离信息确定与所述图像数据对应的手部是否为捏合手势，包括：根据所述三维坐标位置信息，确定所述预设手指对应的骨骼点之间的三维欧式距离；通过所述手部检测模型获取所述手部位置在对应的所述图像数据上的ROI，并获取与所述ROI对应的ROI图像；对所述ROI图像进行二值化处理，获取对应的二值化图像；基于所述骨骼点及图像处理原理，获取所述二值化图像中的预设手指之间的轮廓信息；获取与所述轮廓信息对应的轮廓特征距离以及所述预设手指的指尖骨骼点之间的欧式距离；当所述轮廓特征距离大于所述欧式距离，且所述手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定所述手部为捏合手势；当所述三维欧氏距离大于等于所述预设阈值时，确定所述手部为非捏合手势。
2.如权利要求1所述的捏合手势检测识别方法，其特征在于，所述每一帧的图像数据通过至少两个鱼眼追踪相机获取。
3.如权利要求1所述的捏合手势检测识别方法，其特征在于，所述手部检测模型的训练过程包括：
对获取的训练图像数据中的目标区域进行标注，并获取标注的位置信息；其中，所述目标区域为手部区域；
利用yolo模型对标注后的位置信息进行参数训练，直至所述yolo模型收敛在对应的预设范围内，以完成所述手部检测模型的训练。
4.如权利要求1所述的捏合手势检测识别方法，其特征在于，所述骨骼点识别模型的训练过程包括：
基于训练图像数据训练基础神经网络模型，直至所述神经网络模型收敛在对应的预设范围内，以完成所述骨骼点识别模型；其中，
所述基础神经网络模型包括：yolo模型、CNN模型、SSD模型或者FPN模型。
5.如权利要求1所述的捏合手势检测识别方法，其特征在于，还包括：
获取连续预设值个帧的图像数据的捏合手势信息；
当所述预设值个帧的图像数据的手部均为捏合手势时，确定所述待检测视频中的手部为捏合手势。
6.如权利要求1所述的捏合手势检测识别方法，其特征在于，
所述预设个数的骨骼点包括21个骨骼点；
所述21个骨骼点包括所述手部的每个手指的3个骨骼点和1个指尖骨骼点，以及1个手掌点。
7.一种电子装置，其特征在于，该电子装置包括：存储器、处理器及摄像装置，所述存储器中包括捏合手势检测识别程序，所述捏合手势检测识别程序被所述处理器执行时实现如下步骤：
实时获取待检测视频中的每一帧图像数据；
基于预训练的手部检测模型对所述图像数据进行手部定位检测，确定所述图像数据的手部位置；
基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定所述手部位置上的预设个数的骨骼点；
其中，所述确定所述手部位置上的预设个数的骨骼点的步骤包括：基于所述骨骼点识别模型确定所述手部位置上的预设个数的骨骼点的二维坐标信息；根据所述二维坐标信息及立体三角成像原理，实时获取与所述二维坐标信息对应的三维位置坐标信息；其中，所述三维位置坐标信息用于确定所述预设手指的骨骼点间的距离信息；
根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势；
其中，根据预设手指的骨骼点间的距离信息确定手部是否为捏合手势，包括：根据所述三维坐标位置信息，确定所述预设手指对应的骨骼点之间的三维欧式距离；通过所述手部检测模型获取所述手部位置在对应的所述图像数据上的ROI，并获取与所述ROI对应的ROI图像；对所述ROI图像进行二值化处理，获取对应的二值化图像；基于所述骨骼点及图像处理原理，获取所述二值化图像中的预设手指之间的轮廓信息；获取与所述轮廓信息对应的轮廓特征距离以及所述预设手指的指尖骨骼点之间的欧式距离；当所述轮廓特征距离大于所述欧式距离，且所述手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定所述手部为捏合手势；当所述三维欧氏距离大于等于所述预设阈值时，确定所述手部为非捏合手势。
8.一种捏合手势检测识别系统，其特征在于，包括：
图像数据获取单元，用于实时获取待检测视频中的每一帧图像数据；
手部位置确定单元，用于基于预训练的手部检测模型对所述图像数据进行手部定位检测，确定图像数据的手部位置；
骨骼点确定单元，用于基于预训练的骨骼点识别模型对确定后的手部位置进行骨骼点识别，确定所述手部位置上的预设个数的骨骼点；
其中，所述确定所述手部位置上的预设个数的骨骼点的步骤包括：基于所述骨骼点识别模型确定所述手部位置上的预设个数的骨骼点的二维坐标信息；根据所述二维坐标信息及立体三角成像原理，实时获取与所述二维坐标信息对应的三维位置坐标信息；其中，所述三维位置坐标信息用于确定所述预设手指的骨骼点间的距离信息；
手势确定单元，用于根据预设手指的骨骼点间的距离信息确定与所述图像数据对应的手部是否为捏合手势；
其中，根据预设手指的骨骼点间的距离信息确定与所述图像数据对应的手部是否为捏合手势，包括：根据所述三维坐标位置信息，确定所述预设手指对应的骨骼点之间的三维欧式距离；通过所述手部检测模型获取所述手部位置在对应的所述图像数据上的ROI，并获取与所述ROI对应的ROI图像；对所述ROI图像进行二值化处理，获取对应的二值化图像；基于所述骨骼点及图像处理原理，获取所述二值化图像中的预设手指之间的轮廓信息；获取与所述轮廓信息对应的轮廓特征距离以及所述预设手指的指尖骨骼点之间的欧式距离；当所述轮廓特征距离大于所述欧式距离，且所述手部位置的预设两手指之间的三维欧氏距离小于预设阈值时，确定所述手部为捏合手势；当所述三维欧氏距离大于等于所述预设阈值时，确定所述手部为非捏合手势。
CN202110182469.1A 2021-02-07 2021-02-07 捏合手势检测识别方法、装置及系统 Active CN112926423B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110182469.1A CN112926423B (zh) 2021-02-07 2021-02-07 捏合手势检测识别方法、装置及系统
PCT/CN2021/123348 WO2022166243A1 (zh) 2021-02-07 2021-10-12 捏合手势检测识别方法、装置及系统
US17/880,769 US11776322B2 (en) 2021-02-07 2022-08-04 Pinch gesture detection and recognition method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110182469.1A CN112926423B (zh) 2021-02-07 2021-02-07 捏合手势检测识别方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112926423A CN112926423A (zh) 2021-06-08
CN112926423B true CN112926423B (zh) 2023-08-25

Family

ID=76171426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110182469.1A Active CN112926423B (zh) 2021-02-07 2021-02-07 捏合手势检测识别方法、装置及系统

Country Status (3)

Country Link
US (1) US11776322B2 (zh)
CN (1) CN112926423B (zh)
WO (1) WO2022166243A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926423B (zh) * 2021-02-07 2023-08-25 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN113238650B (zh) 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113378774A (zh) * 2021-06-29 2021-09-10 北京百度网讯科技有限公司 手势识别方法、装置、设备、存储介质以及程序产品
CN116328276A (zh) * 2021-12-22 2023-06-27 成都拟合未来科技有限公司 基于健身装置的姿势交互方法及系统及装置及介质
CN115082529B (zh) * 2022-06-30 2023-04-14 华东师范大学 一种大体组织多维信息采集和分析系统与方法
CN115171217B (zh) * 2022-07-27 2023-03-03 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统
CN115798054B (zh) * 2023-02-10 2023-11-10 国网山东省电力公司泰安供电公司 一种基于ar/mr技术的手势识别方法及电子设备
CN116597473B (zh) * 2023-05-16 2024-01-26 南京莱医特电子科技有限公司 手势识别方法、装置、设备及存储介质
CN116766213B (zh) * 2023-08-24 2023-11-03 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN105378593A (zh) * 2012-07-13 2016-03-02 索夫特克尼特科软件公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
CN107292295A (zh) * 2017-08-03 2017-10-24 华中师范大学 手势分割方法及装置
CN110796033A (zh) * 2019-10-12 2020-02-14 江苏科技大学 一种基于包围盒模型的静态手势识别方法
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN111722700A (zh) * 2019-03-21 2020-09-29 Tcl集团股份有限公司 一种人机交互方法及人机交互设备
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN112083801A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于vr虚拟办公的手势识别系统及方法
CN112083800A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10488939B2 (en) * 2017-04-20 2019-11-26 Microsoft Technology Licensing, Llc Gesture recognition
US10261595B1 (en) * 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
US11294472B2 (en) * 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11507019B2 (en) * 2019-02-23 2022-11-22 Microsoft Technology Licensing, Llc Displaying holograms via hand location
EP3846064A1 (en) * 2019-12-30 2021-07-07 Dassault Systèmes Selection of a vertex with an immersive gesture in 3d modeling
CN112183424A (zh) * 2020-10-12 2021-01-05 北京华严互娱科技有限公司 一种基于视频的实时手部追踪方法和系统
CN112926423B (zh) * 2021-02-07 2023-08-25 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378593A (zh) * 2012-07-13 2016-03-02 索夫特克尼特科软件公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN107292295A (zh) * 2017-08-03 2017-10-24 华中师范大学 手势分割方法及装置
CN111722700A (zh) * 2019-03-21 2020-09-29 Tcl集团股份有限公司 一种人机交互方法及人机交互设备
WO2020244071A1 (zh) * 2019-06-06 2020-12-10 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN110796033A (zh) * 2019-10-12 2020-02-14 江苏科技大学 一种基于包围盒模型的静态手势识别方法
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN112083801A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于vr虚拟办公的手势识别系统及方法
CN112083800A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度信息的指尖追踪及手势识别;顾德等;《计算机工程与应用》;20151231;全文 *

Also Published As

Publication number Publication date
US20220375269A1 (en) 2022-11-24
CN112926423A (zh) 2021-06-08
US11776322B2 (en) 2023-10-03
WO2022166243A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
KR102437456B1 (ko) 이벤트 카메라-기반 변형가능 물체 추적
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
CN108062526B (zh) 一种人体姿态估计方法及移动终端
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
Lee et al. Handy AR: Markerless inspection of augmented reality objects using fingertip tracking
Shen et al. Vision-based hand interaction in augmented reality environment
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
CN110310288A (zh) 用于混合现实环境中的对象分割的方法和系统
US10678342B2 (en) Method of virtual user interface interaction based on gesture recognition and related device
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR20130088104A (ko) 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
US20120242566A1 (en) Vision-Based User Interface and Related Method
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
US20150370336A1 (en) Device Interaction with Spatially Aware Gestures
US9189072B2 (en) Display device and control method thereof
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN113986093A (zh) 互动方法及相关装置
Chu et al. A Kinect-based handwritten digit recognition for TV remote controller
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备
CN115047966A (zh) 交互方法、电子设备与交互系统
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant