CN113989942A - 手势识别方法和装置 - Google Patents

手势识别方法和装置 Download PDF

Info

Publication number
CN113989942A
CN113989942A CN202111413880.1A CN202111413880A CN113989942A CN 113989942 A CN113989942 A CN 113989942A CN 202111413880 A CN202111413880 A CN 202111413880A CN 113989942 A CN113989942 A CN 113989942A
Authority
CN
China
Prior art keywords
information
gesture
palm
recognized
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111413880.1A
Other languages
English (en)
Inventor
范天伟
安岗
王金石
李森
佟曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202111413880.1A priority Critical patent/CN113989942A/zh
Publication of CN113989942A publication Critical patent/CN113989942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种手势识别方法和装置，涉及计算机视觉技术领域。方法包括：对待处理图像进行分析，获取待处理图像中人手的待识别手势和与待识别手势对应的指关节信息，待处理图像是通过三维深度相机获取的图像；提取指关节信息中的角度信息和距离信息，角度信息表征人手的指关节之间的角度，距离信息表征人手的指关节与掌根之间的距离；依据角度信息和距离信息对待识别手势进行识别，确定手势动作。通过三维深度相机获取待处理图像，提升待处理图像的深度信息的准确性；从多个维度体现指关节的特征，依据角度信息和距离信息对待识别手势进行识别，使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。

Description

手势识别方法和装置
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种手势识别方法和装置。
背景技术
计算机视觉中的三维手势识别不仅可以应用于工业领域中的增强现实(Augmented Reality，AR)交互、工业器械操控、工业机器人控制等；三维手势识别还可以应用于消费级AR、消费级体感娱乐和移动手机的手势操作等信息输入的场景。通过三维手势识别的方式，用户能够自然、直观的与设备进行互动，设备通过主动捕捉用户的手势动作，并对该手势动作进行识别和处理。例如，工业AR用户或工业虚拟现实(Virtual Reality，VR)用户，无需使用手柄或其他穿戴设备，即可通过手势动作与工业设备进行交互。
目前，可采用摄像头手势识别的方式来实现三维手势识别，摄像头手势识别包括单目摄像头和多目摄像头；其中，单目色彩系统(Red Green Blue，RGB)摄像头更易集成，但基于单目RGB摄像头的手势识别方式难以直接识别三维手势，通常需要搭配关键点回归和实时姿态方案来合作完成对用户的三维手势识别，难以获得连贯的动作，无法满足用户低抖动的需求，易导致手势识别效果相对较差。
而多目摄像头的实现方式中的采集设备成本昂贵，且难以直接从三维数据中提取关键特征，使得该实现方式对计算资源的消耗较大，无法支撑用户对于低时延的需求，以及业务灵活部署的需求。
发明内容
为此，本申请提供一种手势识别方法和装置，解决如何提升设备对手势的识别效果的问题。
为了实现上述目的，本申请第一方面提供一种手势识别方法，方法包括：对待处理图像进行分析，获取待处理图像中人手的待识别手势和与待识别手势对应的指关节信息，待处理图像是通过三维深度相机获取的图像；提取指关节信息中的角度信息和距离信息，角度信息表征人手的指关节之间的角度，距离信息表征人手的指关节与掌根之间的距离；依据角度信息和距离信息对待识别手势进行识别，确定手势动作。
在一些具体实现中，对待处理图像进行分析，获取待识别手势和待识别手势对应的指关节信息，包括：提取待处理图像中的三维手掌深度信息；依据三维手掌深度信息，确定手势点云信息；将手势点云信息映射到多个平面上，生成多个二维点云映射图像；从多个二维点云映射图像中提取手掌骨骼信息；依据手掌骨骼信息，确定待识别手势和指关节信息。
在一些具体实现中，手掌骨骼信息包括：指关节信息和掌根信息；提取指关节信息中的角度信息和距离信息，包括：依据指关节信息、掌根信息和预设坐标系，确定指关节的位置信息和掌根的位置信息；依据指关节的位置信息和掌根的位置信息，确定距离信息；提取指关节信息中的方向信息；依据方向信息，确定相邻的指关节之间的角度信息。
在一些具体实现中，依据角度信息和距离信息对待识别手势进行识别，确定手势动作，包括：对角度信息和距离信息进行优化，获得优化后的特征数据；依据优化后的特征数据对待识别手势进行识别，确定手势动作。
在一些具体实现中，对角度信息和距离信息进行优化，获得优化后的特征数据，包括：采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，获得滤波后的数据；依据预设长度的滑动窗口和预设重叠程度，对滤波后的数据进行分割，获得优化后的特征数据。
在一些具体实现中，采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，获得滤波后的数据之前，对角度信息和距离信息进行优化，获得优化后的特征数据，还包括：依据角度信息，确定待识别手势的动作频率；依据待识别手势的动作频率，确定低通滤波器对应的角频率。
在一些具体实现中，角度信息，包括：手指弯曲程度、手指指向角度和手指运动速度中的至少一种；手势动作，包括：抓取、释放和点按中的至少一种。
在一些具体实现中，手势识别方法通过预设的手势识别模型实现，手势识别模型是使用预设训练集训练得到的模型，预设训练集包括：样本手势和样本手势对应的指关节信息。
为了实现上述目的，本申请第二方面提供一种手势识别装置，其包括：获取模块，被配置为对待处理图像进行分析，获取待识别手势和待识别手势对应的指关节信息，待处理图像是通过三维深度相机获取的图像；提取模块，被配置为提取指关节信息中的角度信息和距离信息，角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息；识别模块，被配置为依据角度信息和距离信息对待识别手势进行识别，确定手势动作。
在一些具体实现中，获取模块，包括：第一提取子模块，被配置为提取待处理图像中的三维手掌深度信息；确定子模块，被配置为依据三维手掌深度信息，确定手势点云信息；映射子模块，被配置为将手势点云信息映射到多个平面上，生成多个二维点云映射图像；第二提取子模块，被配置为从多个二维点云映射图像中提取手掌骨骼信息；确定子模块，被配置为依据手掌骨骼信息，确定待识别手势和指关节信息。
本申请中的手势识别方法和装置，通过三维深度相机获取待处理图像，能够提升待处理图像的深度信息的准确性；对待处理图像进行分析，获取待识别手势和所述待识别手势对应的指关节信息，以获得更准确的基于手掌的空间信息；提取指关节信息中的角度信息和距离信息，其中的角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息，可从多个维度体现指关节的特征；依据角度信息和距离信息对待识别手势进行识别，确定手势动作，使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1示出本申请一实施例提供的手势识别方法的流程示意图。
图2示出本申请又一实施例提供的手势识别方法的流程示意图。
图3示出本申请实施例提供的手势识别模型的训练方法的流程示意图。
图4示出本申请实施例提供的手势识别装置的组成方框图。
图5示出本申请实施例提供的手势识别系统的组成方框图。
图6示出本申请实施例提供的手势识别系统的工作方法的流程示意图。
图7示出本申请实施例提供的人手的骨骼关节示意图。
图8示出本申请实施例提供的指关节运动特征示意图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出本申请一实施例提供的手势识别方法的流程示意图。该方法可应用于手势识别装置。如图1所示，手势识别方法包括但不限于如下步骤。
步骤S101，对待处理图像进行分析，获取待处理图像中人手的待识别手势和与待识别手势对应的指关节信息。
其中，待处理图像是通过三维深度相机获取的图像。
通过该三维深度相机能检测出拍摄空间的景深距离，能准确获知图像中的每个节点与摄像头之间距离，进而结合该节点在二维图像中的横纵坐标，可获知该图像中每个节点的三维空间坐标。通过该三维坐标就能还原真实场景。
需要说明的是，待识别手势是需要被识别的手势。通过对待处理图像中的信息进行分析和处理(例如，将待处理图像中的各个节点与三维深度相机之间的距离，与节点在二维图像中的横纵坐标相结合等)可获知待识别手势对应的指关节信息。
步骤S102，提取指关节信息中的角度信息和距离信息。
其中，角度信息表征人手的指关节之间的角度，距离信息表征人手的指关节与掌根之间的距离。
通过角度信息和距离信息，明确人手的各个指关节对应的运动特征，能够从多个维度体现指关节的特征，加快对指关节的状态的确认效率。
步骤S103，依据角度信息和距离信息对待识别手势进行识别，确定手势动作。
其中，可以将角度信息和距离信息相结合，例如，某个手指的指关节与掌根之间的距离发生变化，且该指关节与其他指关节之间的角度也发生了变化，能够细化该指关节的相对位置信息，并将多个指关节的相对位置信息进行结合，从而准确确定手势动作，提升对手势动作的识别准确性。
在本实施例中，通过三维深度相机获取待处理图像，能够提升待处理图像的深度信息的准确性；对待处理图像进行分析，获取待识别手势和所述待识别手势对应的指关节信息，以获得更准确的基于手掌的空间信息；提取指关节信息中的角度信息和距离信息，其中的角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息，可从多个维度体现指关节的特征；依据角度信息和距离信息对待识别手势进行识别，确定手势动作，使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
图2示出本申请又一实施例提供的手势识别方法的流程示意图。该方法可应用于手势识别装置。如图2所示，手势识别方法包括但不限于如下步骤。
步骤S201，提取待处理图像中的三维手掌深度信息。
其中，三维手掌深度信息可以包括：各个指关节在三维空间坐标系中的空间坐标、各个指关节与掌心(和/或掌根)之间的相对位置信息等。
通过提取待处理图像中的三维手掌深度信息，并基于三维手掌深度信息重新构建手掌的三维图像，可明确待处理图像中的手掌的大概轮廓以及各个指关节的相对位置信息，加快对待处理图像的识别速度。
步骤S202，依据三维手掌深度信息，确定手势点云信息。
其中，手势点云信息包括：颜色信息、几何位置信息和反射强度信息中的至少一种。其中，颜色信息通常是通过三维深度相机获取的彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。
反射强度信息是通过激光扫描仪接收装置采集到的回波强度，此强度信息与目标(例如，人手的手掌)的表面的粗糙程度、入射角的方向，以及仪器的发射能量(例如，激光波长信息等)有关。
通过手势点云信息，能够进一步明确人手的手掌的相关信息，细化对手掌的分析数据。
步骤S203，将手势点云信息映射到多个平面上，生成多个二维点云映射图像。
其中，多个平面可以包括：前平面、后平面、左平面、右平面、上平面和下平面中的至少一种。
将手势点云信息映射到前平面、后平面、左平面、右平面、上平面和下平面中的至少一种，可获得多个不同平面对应的二维点云映射图像，提升对手势点云信息的分析准确性。
步骤S204，从多个二维点云映射图像中提取手掌骨骼信息。
其中，手掌骨骼信息可以包括：手掌中的手指数量、每个手指包括的指关节的数量、掌心信息和掌根信息等。能够明确采集到的手掌的具体信息，加快对手掌的分析速度。
步骤S205，依据手掌骨骼信息，确定待识别手势和指关节信息。
可根据手掌中的手指数量和每个手指包括的指关节的数量，以及各个指关节的三维坐标信息，能够获知手掌中的各个指关节之间的相对位置信息，并结合手掌的大概轮廓，可确定待识别手势和指关节信息。
步骤S206，提取指关节信息中的角度信息和距离信息。
其中，角度信息，包括：手指弯曲程度、手指指向角度和手指运动速度中的至少一种。
例如，将指关节信息中的手指弯曲程度、手指指向角度和手指运动速度中的至少一种提取出来，并将该信息与距离信息相结合，能够进一步细化指关节的相对位置，提升对指关节的辨识准确性。
步骤S207，依据角度信息和距离信息对待识别手势进行识别，确定手势动作。
其中，手势动作不仅可以包括：抓取、释放和点按中的至少一种；还可以包括篮球手势、足球手势、战队手势和交警手势中的至少一种，通过不同的手势动作，适用于不同的场景，使不同应用场景中的手势动作能够被快速识别，提升人与机器之间的交互效率。
在本实施例中，通过提取三维深度相机采集到的待处理图像中的三维手掌深度信息，并依据三维手掌深度信息，确定手势点云信息；将手势点云信息映射到多个平面上，生成多个二维点云映射图像，并从多个二维点云映射图像中提取手掌骨骼信息，能够逐步细化手掌中的各个指关节之间的位置信息以及角度信息，以准确确定待识别手势和指关节信息；并依据指关节信息中的角度信息和距离信息对待识别手势进行识别，确定手势动作，以使获得的手势动作更准确，能够适应不同应用场景的需求，且无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
本申请实施例提供了另一种可能的实现方式，其中，手掌骨骼信息包括：指关节信息和掌根信息；步骤S102或步骤S206中的提取指关节信息中的角度信息和距离信息，可以采用如下方式实现:依据指关节信息、掌根信息和预设坐标系，确定指关节的位置信息和掌根的位置信息；依据指关节的位置信息和掌根的位置信息，确定距离信息；提取指关节信息中的方向信息；依据方向信息，确定相邻的指关节之间的角度信息。
其中，可根据指关节的位置信息(例如，指关节在预设坐标系中的坐标信息)和掌根的位置信息(例如，掌根在预设坐标系中的坐标信息)，计算获得距离信息(例如，各个指关节与掌根之间的距离，以及各个指关节之间的相对距离等)，能够明确各个指关节之间，以及指关节与掌根之间的位置关系，提升对手掌的识别准确性。
其中，方向信息可以包括：基于相邻两个指关节之间的角度信息、每个指关节与掌根之间的连线与每个指关节与掌心之间的连线所形成的角度信息等。
通过不同维度的信息体现手掌骨骼信息，能够细化对手掌的信息的处理，提升对手掌的分析准确性。
本申请实施例提供了再一种可能的实现方式，其中，步骤S103或步骤S207中的依据角度信息和距离信息对待识别手势进行识别，确定手势动作，可以采用如下方式实现:
对角度信息和距离信息进行优化，获得优化后的特征数据；依据优化后的特征数据对待识别手势进行识别，确定手势动作。
其中，对角度信息和距离信息进行优化，获得优化后的特征数据，能够使优化后的特征数据更能体现手掌的特征，使用该优化后的特征数据对待识别手势进行识别，能够提升手势动作的识别准确性。
在一些具体实现中，对角度信息和距离信息进行优化，获得优化后的特征数据，包括：采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，获得滤波后的数据；依据预设长度的滑动窗口和预设重叠程度，对滤波后的数据进行分割，获得优化后的特征数据。
其中，采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，能够抑制角度信息和距离信息中的噪声干扰，优化手势运动特性信息。
并且，采用预设长度(例如，0.2秒、0.5秒或1秒等)的滑动窗口和预设重叠程度(例如，20％、40％或50％等)对滤波后的数据进行分割，能够更有效地提取特征信息，获得优化后的特征数据。
在一些具体实现中，采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，获得滤波后的数据之前，对角度信息和距离信息进行优化，获得优化后的特征数据，还包括：依据角度信息，确定待识别手势的动作频率；依据待识别手势的动作频率，确定低通滤波器对应的角频率。
需要说明的是，人类的手势动作频率通常在20Hz以下，因此，可确定待识别手势的动作频率为20Hz，并使用该动作频率作为低通滤波器的角频率；能够对低通滤波器的参数进行设置，提升滤波的性能，例如，以最小的波形延迟获得更高的特征信噪比。
本申请中的任意一种手势识别方法还可以通过预设的手势识别模型实现，其中，手势识别模型是使用预设训练集训练得到的模型，预设训练集包括：样本手势和样本手势对应的指关节信息。
例如，图3示出本申请实施例提供的手势识别模型的训练方法的流程示意图。如图3所示，手势识别模型的训练方法包括但不限于如下步骤。
步骤S301，对样本图像进行分析，获取样本图像中人手的样本手势和与样本手势对应的指关节信息。
其中，样本图像是通过三维深度相机获取的图像。本申请中的三维深度相机与图1所示的方法中的三维深度相机相同，在此不再赘述。
步骤S302，提取与样本手势对应的指关节信息中的角度信息和距离信息。
其中，角度信息表征人手的指关节之间的角度，距离信息表征人手的指关节与掌根之间的距离。
通过角度信息和距离信息，明确样本手势对应的各个指关节的运动特征，能够从多个维度体现指关节的特征，加快对指关节的状态的确认效率。
步骤S303，将角度信息和距离信息，输入到深度学习网络分类模型中进行训练，获得手势识别模型。
其中，手势识别模型用于对待识别手势进行识别，获得手势动作。该手势识别模型可以包括一维卷积滤波器、一维卷积滤波器(例如，包括64个大小为3的卷积核的滤波器等)、激活函数处理模块和门控循环单元(Gated Recurrent Unit，GRU)(例如，包括100个细胞的处理模块等)中的至少一种。GRU可有效解决手势识别模型中的长期记忆和反向传播中的梯度消失的问题。
需要说明的是，使用该手势识别模型对待识别手势进行检测的过程与手势识别模型的训练过程类似，提取的特征信息也相同，在此不再赘述。
在本实施例中，通过三维深度相机获取样本图像，能够提升样本图像的深度信息的准确性；对样本图像进行分析，获取样本图像中人手的样本手势和与样本手势对应的指关节信息，以获得更准确的获知手掌的空间信息；提取指关节信息中的角度信息和距离信息，其中的角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息，可从多个维度体现指关节的特征；，将角度信息和距离信息，输入到深度学习网络分类模型中进行训练，获得手势识别模型，并使用该手势识别模型对待识别手势进行识别，确定手势动作，使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
图4示出本申请实施例提供的手势识别装置的组成方框图。值得说明的是，本实施方式中的装置的具体实施不局限于以上实施例，其他未说明的实施例也在本装置的保护范围之内。
如图4所示，手势识别装置400包括如下模块：获取模块410，被配置为对待处理图像进行分析，获取待识别手势和待识别手势对应的指关节信息，待处理图像是通过三维深度相机获取的图像；提取模块420，被配置为提取指关节信息中的角度信息和距离信息，角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息；识别模块430，被配置为依据角度信息和距离信息对待识别手势进行识别，确定手势动作。
在一些具体实现中，获取模块410，包括：第一提取子模块，被配置为提取待处理图像中的三维手掌深度信息；确定子模块，被配置为依据三维手掌深度信息，确定手势点云信息；映射子模块，被配置为将手势点云信息映射到多个平面上，生成多个二维点云映射图像；第二提取子模块，被配置为从多个二维点云映射图像中提取手掌骨骼信息；确定子模块，被配置为依据手掌骨骼信息，确定待识别手势和指关节信息。
在本实施方式中，通过三维深度相机获取待处理图像，能够提升待处理图像的深度信息的准确性；使用获取模块对待处理图像进行分析，获取待识别手势和所述待识别手势对应的指关节信息，以获得更准确的基于手掌的空间信息；使用提取模块提取指关节信息中的角度信息和距离信息，其中的角度信息表征指关节之间的角度信息，距离信息表征指关节与掌根之间的距离信息，可从多个维度体现指关节的特征；使用识别模块依据角度信息和距离信息对待识别手势进行识别，确定手势动作，使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
图5示出本申请实施例提供的手势识别系统的组成方框图。如图5所示，该手势识别系统包括如下设备：三维深度相机510和手势识别服务器520。
其中，手势识别服务器520可以包括：手掌指关节骨骼信息提取模块521、指关节线性特征信息确定模块522、指关节角度特征信息确定模块523、手势运动特征信息确定模块524、低通滤波模块525、分割模块526和深度学习模块527。
图6示出本申请实施例提供的手势识别系统的工作方法的流程示意图。如图6所示，该手势识别系统的工作方法包括但不限于如下步骤。
步骤S601，使用三维深度相机510捕捉人物，获得与人物对应的待处理图像。
步骤S602，三维深度相机510将待处理图像输入到手掌指关节骨骼信息提取模块521中进行处理，获得待处理图像中的三维手掌深度信息；依据三维手掌深度信息，确定手势点云信息；将手势点云信息映射到多个平面上，生成多个二维点云映射图像，并从多个二维点云映射图像中提取手掌骨骼信息。
其中，将手势点云信息映射到多个平面上，生成多个二维点云映射图像可以是将某一帧手势点云信息映射到前平面、后平面、左平面、右平面、上平面和下平面中，获得与该帧的手势点云信息对应的六组二维点云映射图像。
需要说明的是，每组二维点云映射图像均可以提取出手掌骨骼特征信息，通过将多组手掌骨骼特征信息进行融合，获得最终输出给指关节线性特征信息确定模块522和指关节角度特征信息确定模块523的手掌骨骼特征信息。
例如，从手掌骨骼特征信息分解出N个指关节节点，N取决于手势跟踪的平面输出结果，且N为大于或等于1且小于或等于15的整数。指关节节点集合可表示为：J＝[J1,J2,J3,……,JN]。
其中，J表示指关节节点集合，JN表示第N个指关节节点，第i个指关节节点可以表示为Ji＝(ni,wi)。ni表示第i个指关节节点的位置向量，wi表示第i个指关节节点的方向向量，且，该方向向量是基于世界坐标系确定的方向向量。
步骤S603，手掌指关节骨骼信息提取模块521将手掌骨骼信息分别输入到指关节线性特征信息确定模块522和指关节角度特征信息确定模块523中进行处理，获得指关节线性特征信息和指关节角度特征信息。
图7示出本申请实施例提供的人手的骨骼关节示意图。如图7所示，人手的骨骼关节包括：大拇手指的关节节点(例如，大拇手指节点11、大拇手指节点12和大拇手指节点13)，食指的关节节点(例如，食指节点21、食指节点22、食指节点23和食指节点24)，中指的关节节点(例如，中指节点31、中指节点32、中指节点33和中指节点34)，无名指的关节节点(例如，无名指节点41、无名指节点42、无名指节点43和无名指节点44)，小手指的关节节点(例如，小手指节点51、小手指节点52、小手指节点53和小手指节点54)，掌心节点60和掌根节点70。
基于手掌正面，建立的世界坐标系中，X轴正向为屏幕水平向右，Y轴正向为垂直向上，Z轴正向为垂直屏幕平面指向使用者。坐标原点(图中未示出)在屏幕左下角。
其中，指关节线性特征信息包括：不同的关节节点与掌根节点70之间的距离向量di，该距离向量di可采用公式(1)表示为：
Figure BDA0003374503850000131
其中，i＝1，2，……，N-1，N为大于或等于1且小于或等于15的整数，Ji表示第i个指关节节点对应的位置信息，Jg表示掌根节点70对应的位置信息，Jx表示掌心节点60对应的位置信息。
在一些具体实现中，还可以对掌心节点60和掌根节点70之间的距离向量进行标准化，以使距离向量di更准确，并保证节点间的距离变换的对称性。
步骤S604，将指关节线性特征信息和指关节角度特征信息输入到手势运动特性信息确定模块524中进行处理，获得由X帧手势点云信息确定的手势运动特性信息。
其中，手势运动特性信息可以包括如手指的运动方向和运行距离等信息。
图8示出本申请实施例提供的指关节运动特征示意图。如图8所示，第1点云帧对应的大拇手指节点11、大拇手指节点12和大拇手指节点13之间的位置关系，……，第K点云帧对应的大拇手指节点11、大拇手指节点12和大拇手指节点13之间的位置关系。
其中，K为大于或等于1的整数。指关节线性特征信息包括：多个指关节线性特征向量。
例如，指关节线性特征向量的集合Ln可以采用公式(2)表示为：
Ln＝[d(x,1),d(x,2),……,d(x,N-1),] (2)
其中，x＝1，2，……，X，X为大于或等于1的整数，d(x,N-1)表示第x帧中的第N-1个指关节节点与掌根节点70之间的距离向量。
通过集合Ln表征所有帧的手势特征的指关节线性特征向量的集合，可以有效跟踪指关节所处位置信息，有助于对不同的手势动作(如滑动、拖拽等)进行区分；并且，通过指关节角度特征信息，可提取出手指的弯曲程度、手指的指向角度和手指运动速度等信息，有助于区分如抓取、释放、点按等手势动作。
需要说明的是，对于一组由X帧手势点云信息组成的手势动作，可以进一步通过Ax表征所有帧的手势特征的相邻两个指关节之间的角度信息(例如，指关节角度特征向量的集合)，即两个相邻指关节之间的角度随时间变化的动作信息(例如，角度变化的大小、速率的步伐信息)有助于区分手势动作。
在一些具体实现中，还可以对每一帧手势点云信息中的所有指关节节点相对于掌根节点70的距离相连进行标准化处理，获得标准后的距离向量；以及通过相邻两个指关节之间的指关节角度特征向量确定相邻两个指关节之间的角度。
通过不同帧的手势点云信息，能够有效跟踪一组手势动作的变化情况，从而将指关节线性特征信息和指关节角度特征信息进行连接，获得每一帧手势点云信息对应的手势运动特性信息；进而获得由X帧手势点云信息确定的手势运动特性信息。
步骤S605，依据指关节之间的角度信息，确定待识别手势的动作频率；依据待识别手势的动作频率，确定低通滤波器对应的角频率；采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，获得滤波后的数据。
需要说明的是，人类的手势动作频率通常在20Hz以下，因此，可确定待识别手势的动作频率为20Hz，并使用该动作频率作为低通滤波器(例如，一阶巴特沃斯(Butterworth)低通滤波器)的角频率；能够对低通滤波器的参数进行设置，提升滤波的性能，例如，以最小的波形延迟获得更高的特征信噪比。
并且，采用低通滤波器分别对角度信息中的噪声信息和距离信息中的噪声信息进行过滤，能够抑制角度信息和距离信息中的噪声干扰，优化手势运动特性信息。
步骤S606，依据预设长度的滑动窗口和预设重叠程度，对滤波后的数据进行分割，获得优化后的特征数据。
例如，采用预设重叠程度为50％重叠的窗口，以及预设长度(例如，变化周期为0.5秒)的滑动窗口对滤波后的数据进行分割，能够更有效地提取特征信息，获得优化后的特征数据。
步骤S607，将优化后的特征数据输入到手势识别模型中进行识别，确定手势动作。
其中，手势识别模型可以是卷积神经网络(Convolutional Neural Networks，CNN)模型，也可以是其他预设的分类模型。以上对于深度学习网络分类模型仅是举例说明，可根据实际需要进行具体设定，其他未说明的深度学习网络分类模型也在本申请的保护范围之内，在此不再赘述。
其中的手势识别模型还可以是是将分类好的分割特征数据集，输入到CNN模型中进行训练，获得的模型。因CNN模型适用于时序特征敏感的场景，可获得准确的手势动作，从而获得准确的手势识别结果。
例如，手势识别模型可以包括一维卷积滤波器、一维卷积滤波器(例如，包括64个大小为3的卷积核的滤波器等)、激活函数处理模块和GRU(例如，包括100个细胞的处理模块等)中的至少一种。
其中，GRU可有效解决手势识别模型中的长期记忆和反向传播中的梯度消失的问题。
进一步的，还可以根据识别到的手势动作对手势识别模型进行优化(例如，调整手势识别模型的网络模型参数等)，从而提高对手势识别的准确性。
本实施例中，通过三维深度相机逐帧采集一组手势动作的三维的手势点云信息；将手势点云信息映射到多个平面上，生成多个二维点云映射图像，并从多个二维点云映射图像中提取手掌骨骼信息；并从手掌骨骼特征中提取获得指关节线性特征信息和指关节角度特征信息；再将这两种特征信息进行连接，获得由X帧手势点云信息确定的手势运动特性信息；然后，利用滤波技术和滑动窗口的处理方式，对手势运动特性信息进行预处理和分割，获得优化后的特征数据，再将该优化后的特征数据输入到手势识别模型中进行识别，确定手势动作，以使获得的手势动作更准确，无需消耗过多的计算资源，即可满足用户对于手势识别的需求。
可以理解的是，以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式，然而本申请并不局限于此。对于本领域内的普通技术人员而言，在不脱离本申请的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本申请的保护范围。

Claims (10)

1.一种手势识别方法，其特征在于，所述方法包括：
对待处理图像进行分析，获取所述待处理图像中人手的待识别手势和与所述待识别手势对应的指关节信息，所述待处理图像是通过三维深度相机获取的图像；
提取所述指关节信息中的角度信息和距离信息，所述角度信息表征人手的指关节之间的角度，所述距离信息表征人手的指关节与掌根之间的距离；
依据所述角度信息和所述距离信息对所述待识别手势进行识别，确定手势动作。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行分析，获取待识别手势和所述待识别手势对应的指关节信息，包括：
提取所述待处理图像中的三维手掌深度信息；
依据所述三维手掌深度信息，确定手势点云信息；
将所述手势点云信息映射到多个平面上，生成多个二维点云映射图像；
从多个所述二维点云映射图像中提取手掌骨骼信息；
依据所述手掌骨骼信息，确定所述待识别手势和所述指关节信息。
3.根据权利要求2所述的方法，其特征在于，所述手掌骨骼信息包括：指关节信息和掌根信息；
所述提取所述指关节信息中的角度信息和距离信息，包括：
依据所述指关节信息、所述掌根信息和预设坐标系，确定所述指关节的位置信息和所述掌根的位置信息；
依据所述指关节的位置信息和所述掌根的位置信息，确定所述距离信息；
提取所述指关节信息中的方向信息；
依据所述方向信息，确定相邻的所述指关节之间的角度信息。
4.根据权利要求1所述的方法，其特征在于，所述依据所述角度信息和所述距离信息对所述待识别手势进行识别，确定手势动作，包括：
对所述角度信息和所述距离信息进行优化，获得优化后的特征数据；
依据所述优化后的特征数据对所述待识别手势进行识别，确定手势动作。
5.根据权利要求4所述的方法，其特征在于，所述对所述角度信息和所述距离信息进行优化，获得优化后的特征数据，包括：
采用低通滤波器分别对所述角度信息中的噪声信息和所述距离信息中的噪声信息进行过滤，获得滤波后的数据；
依据预设长度的滑动窗口和预设重叠程度，对所述滤波后的数据进行分割，获得所述优化后的特征数据。
6.根据权利要求5所述的方法，其特征在于，所述采用低通滤波器分别对所述角度信息中的噪声信息和所述距离信息中的噪声信息进行过滤，获得滤波后的数据之前，所述对所述角度信息和所述距离信息进行优化，获得优化后的特征数据，还包括：
依据所述角度信息，确定所述待识别手势的动作频率；
依据所述待识别手势的动作频率，确定所述低通滤波器对应的角频率。
7.根据权利要求1所述的方法，其特征在于，所述角度信息，包括：手指弯曲程度、手指指向角度和手指运动速度中的至少一种；所述手势动作，包括：抓取、释放和点按中的至少一种。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述手势识别方法通过预设的手势识别模型实现，所述手势识别模型是使用预设训练集训练得到的模型，所述预设训练集包括：样本手势和所述样本手势对应的指关节信息。
9.一种手势识别装置，其包括：
获取模块，被配置为对待处理图像进行分析，获取待识别手势和所述待识别手势对应的指关节信息，所述待处理图像是通过三维深度相机获取的图像；
提取模块，被配置为提取所述指关节信息中的角度信息和距离信息，所述角度信息表征指关节之间的角度信息，所述距离信息表征所述指关节与掌根之间的距离信息；
识别模块，被配置为依据所述角度信息和所述距离信息对所述待识别手势进行识别，确定手势动作。
10.根据权利要求9所述的装置，其特征在于，所述获取模块，包括：
第一提取子模块，被配置为提取所述待处理图像中的三维手掌深度信息；
确定子模块，被配置为依据所述三维手掌深度信息，确定手势点云信息；
映射子模块，被配置为将所述手势点云信息映射到多个平面上，生成多个二维点云映射图像；
第二提取子模块，被配置为从多个所述二维点云映射图像中提取手掌骨骼信息；
确定子模块，被配置为依据所述手掌骨骼信息，确定所述待识别手势和所述指关节信息。
CN202111413880.1A 2021-11-25 2021-11-25 手势识别方法和装置 Pending CN113989942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111413880.1A CN113989942A (zh) 2021-11-25 2021-11-25 手势识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111413880.1A CN113989942A (zh) 2021-11-25 2021-11-25 手势识别方法和装置

Publications (1)

Publication Number Publication Date
CN113989942A true CN113989942A (zh) 2022-01-28

Family

ID=79731859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111413880.1A Pending CN113989942A (zh) 2021-11-25 2021-11-25 手势识别方法和装置

Country Status (1)

Country Link
CN (1) CN113989942A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027953A (zh) * 2022-08-15 2023-04-28 荣耀终端有限公司 指关节触控操作的识别方法、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027953A (zh) * 2022-08-15 2023-04-28 荣耀终端有限公司 指关节触控操作的识别方法、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
Segen et al. Shadow gestures: 3D hand pose estimation using a single camera
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
Chu et al. Hand gesture for taking self portrait
Nakamura Real-time 3-D object tracking using Kinect sensor
CN110210426B (zh) 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
CN108734194A (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN111709973A (zh) 目标跟踪方法、装置、设备及存储介质
CN112528831A (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
EP4055561A1 (en) Object detection device, method, and systerm
JP2016014954A (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN114299604A (zh) 一种基于二维图像的手骨骼捕捉、手势判别方法
Kabir et al. A novel dynamic hand gesture and movement trajectory recognition model for non-touch HRI interface
CN113989942A (zh) 手势识别方法和装置
CN107220588A (zh) 一种基于级联深度神经网络的实时手势追踪方法
Pasarica et al. Remote control of a robotic platform based on hand gesture recognition
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN110634160A (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
Shaker et al. Real-time finger tracking for interaction
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
Kopinski et al. A time-of-flight-based hand posture database for human-machine interaction
Ghodichor et al. Virtual mouse using hand gesture and color detection
CN114581535A (zh) 图像中用户骨关键点标注方法、装置、存储介质及设备
Chen et al. Accurate fingertip detection from binocular mask images
Jain et al. [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination