CN112016370A - 基于形态学的静态手势识别方法 - Google Patents

基于形态学的静态手势识别方法 Download PDF

Info

Publication number
CN112016370A
CN112016370A CN201910472557.8A CN201910472557A CN112016370A CN 112016370 A CN112016370 A CN 112016370A CN 201910472557 A CN201910472557 A CN 201910472557A CN 112016370 A CN112016370 A CN 112016370A
Authority
CN
China
Prior art keywords
finger
gesture
image
joint
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910472557.8A
Other languages
English (en)
Inventor
陈更
史凌波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Arhieason Co ltd
Original Assignee
Beijing Arhieason Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Arhieason Co ltd filed Critical Beijing Arhieason Co ltd
Priority to CN201910472557.8A priority Critical patent/CN112016370A/zh
Publication of CN112016370A publication Critical patent/CN112016370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于形态学的静态手势识别方法,包括以下步骤:提取待识别图像中的手部图像;基于形态学特征识别手部图像中预设数量的关节点,确定关节点在图像坐标系中的坐标;根据关节点在图像坐标系中的坐标,计算手部图像中每个手指的弯曲角度,获取手指的姿态,确定手部图像对应的手指姿态序列;将手指姿态序列与预设手势模型进行匹配,确定手部图像的手势识别结果。本发明提供的基于形态学的静态手势识别方法,通过对手部图像进行生态学识别,获取手指姿态序列,确定手势识别结果,有效地降低了手势识别算法的复杂度,提高识别效率,同时大幅提升手势识别的准确性。

Description

基于形态学的静态手势识别方法
技术领域
本发明涉及计算机视觉及人机交互技术领域,尤其涉及一种基于形态学的静态手势识别方法。
背景技术
手势作为一种自然直观的信息表达模式,是人类最本能的意图表达,也是符合人们习惯的自然交流方式。随着人机交互技术的快速发展,手势识别技术已经在机器人、现实增强、运动检测等技术领域中得到广泛的应用,成为新型人机交互方式研究的重要方向之一。
静态手势识别是最为经典传统的手势识别研究方向,同时也是多目视觉手势识别和动态图像手势识别等其他手势识别技术的实现基础。目前,静态手势识别仍存在技术瓶颈,如何优化静态手势识别效率,提升识别准确率,是静态手势识别技术发展过程中亟待解决的问题之一。
发明内容
本发明的目的是提供一种基于形态学的静态手势识别方法,结合人类手掌生物学形态,识别手指形态,获取手部姿态,通过匹配比对确定手势识别结果。
有鉴于此,本发明提出了一种基于形态学的静态手势识别方法,包括以下步骤:提取待识别图像中的手部图像;基于形态学特征识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标;根据所述关节点在图像坐标系中的坐标,计算所述手部图像中每个手指的弯曲角度,获取所述手指的姿态,确定所述手部图像对应的手指姿态序列;将所述手指姿态序列与预设手势模型进行匹配,确定所述手部图像的手势识别结果。
优选地,所述提取待识别图像中的手部图像的步骤,具体为:基于肤色分割算法提取待识别图像中的手部图像区域。
优选地,所述基于形态学特征识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标的步骤,具体为:基于形态学特征确定所述手部图像中的手部轮廓,根据预设的手部骨骼模型,识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标。
优选地,所述关节点包括:指尖、第一指间关节点、第二指间关节点、指根及腕关节点。
优选地,所述根据所述关节点在图像坐标系中的坐标,计算所述手部图像中每个手指的弯曲角度,获取所述手指的姿态,确定所述手部图像对应的手指姿态序列的步骤,具体为:根据所述手部图像中每个手指上每两个相邻的所述关节点确定所述手指每一关节的关节向量,计算所述关节向量在图像坐标系中的方向角度;根据所述关节向量的方向角度,计算所述每个手指上每两个相邻关节对应的关节向量之间的旋转角之和,得到所述手指的弯曲角度;根据所述手指的弯曲角度,获取所述手指的姿态;根据所述每个手指的手指姿态,确定所述手部图像对应的手指姿态序列。
优选地,所述根据所述手指的弯曲角度,获取所述手指的姿态的步骤,具体为:预设第一角度阈值和第二角度阈值;判断所述手指弯曲角度若小于等于所述第一角度阈值,则确定所述手指为第一姿态;判断所述手指弯曲角度若大于所述第一角度阈值且小于所述第二角度阈值,则确定所述手指为第二姿态;判断所述手指弯曲角度若大于等于所述第二角度阈值,则确定所述手指为第三姿态。
优选地,所述将所述手指姿态序列与预设手势模型进行匹配,确定所述手部图像的手势识别结果的步骤,具体为:预设至少一个手势模型;将所述手指姿态序列与所述手势模型对应的手指姿态序列进行匹配比对,根据匹配比对结果,确定对应的手势模型。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的实施例一的基于形态学的静态手势识别方法的流程示意图;
图2是本发明的实施例一的手部图像的第一示意图;
图3是本发明的实施例一的手部图像的第二示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的基于形态学的静态手势识别方法,如图1所示,包括以下步骤:S101、提取待识别图像中的手部图像;S102、基于形态学特征识别手部图像中预设数量的关节点,确定关节点在图像坐标系中的坐标;S103、根据关节点在图像坐标系中的坐标,计算手部图像中每个手指的弯曲角度,获取手指的姿态,确定手部图像对应的手指姿态序列;S104、将手指姿态序列与预设手势模型进行匹配,确定手部图像的手势识别结果。
在该技术方案中,通过图像采集设备获取待识别图像,采用基于肤色的分割方法将待识别图像中的手部区域从图像的背景中分离,得到手部图像。进一步地,图像采集设备获取待识别图像的同时,通过深度图像采集设备获取待识别图像的深度图像,采用基于肤色的分割方法提取手部图像时,结合深度图像信息进行像素筛选,滤除指定深度值之外的肤色或者肤色相近的区域,提高在复杂背景下手部图像提取的准确性。
在上述技术方案中,步骤S102,具体为:基于形态学特征确定手部图像中的手部轮廓,根据预设的手部骨骼模型,识别手部图像中预设数量的关节点,确定关节点在图像坐标系中的坐标。
在该技术方案中,对手部图像进行形态学处理,得到手部图像中的手部轮廓,根据预设的手部骨骼模型,识别手部图像中预设数量的关节点,确定关节点在图像坐标系中的坐标。其中,预设数量的关节点共21个,包括,每一手指的指尖、第一指间关节点、第二指间关节点、指根以及腕关节点。具体地,如图2所示,预设的21个关节点包括:大拇指的指尖T0、第一指间关节点T1、第二指间关节点T2及指根T3,食指的指尖F0、第一指间关节点F1、第二指间关节点F2及指根F3,中指的指尖M0、第一指间关节点M1、第二指间关节点M2及指根M3,无名指的指尖R0、第一指间关节点R1、第二指间关节点R2及指根R3,小拇指的指尖L0、第一指间关节点L1、第二指间关节点L2及指根L3,以及腕关节点W。
在上述技术方案中,步骤S103,具体为:根据手部图像中每个手指上每两个相邻的关节点确定手指每一关节的关节向量,计算关节向量在图像坐标系中的方向角度;根据关节向量的方向角度,计算每个手指上每两个相邻关节对应的关节向量之间的旋转角之和,得到手指的弯曲角度;根据手指的弯曲角度,获取手指的姿态;根据每个手指的手指姿态,确定手部图像对应的手指姿态序列。
在该技术方案中,如图3所示,以大拇指为例,依次连接大拇指上每两个相邻的关节点,确定每一关节的关节向量,具体地,大拇指包括指尖T0、第一指间关节点T1、第二指间关节点T2和指根T3四个关节点,依次连接指尖T0和第一指间关节点T1、第一指间关节点T1和第二指间关节点T2、第二指间关节点T2和指根T3,以及指根T3和腕关节点W,得到大拇指对应的四个关节向量T0T1、T1T2、T2T3和T3W,根据以下表达式确定该四个关节向量在图像坐标系中的方向角度:
degrees(atan(x1–x0,y1–y0))
其中,(x0,y0)和(x1,y1)分别为两个相邻关节点在图像坐标系中的坐标。
根据该四个关节向量在图像坐标系中的方向角度,计算相邻两个关节向量之间的旋转角,分别得到关节向量T0T1与关节向量T1T2之间的旋转角Af10、关节向量T1T2与关节向量T2T3之间的旋转角Af11、关节向量T2T3与关节向量T3W之间的旋转角Af12,将Af10、Af11和Af12相加求和得到大拇指的弯曲角度。根据预设的第一角度阈值threshS和第二角度阈值threshC,判断大拇指的弯曲角度若小于等于第一角度阈值threshS,则确定大拇指为第一姿态S;判断大拇指弯曲角度若大于第一角度阈值threshS且小于第二角度阈值threshC,则确定大拇指为第二姿态H;判断大拇指弯曲角度若大于等于第二角度阈值threshC,则确定大拇指为第三姿态C。具体地,根据图像质量和具体识别场景,预设的第一角度阈值threshS的取值范围为0-60度,第二角度阈值threshC的取值范围为180-360度。其中,第一姿态S为手指完全伸直姿态,第二姿态H为手指向掌心呈部分弯曲姿态,第三姿态C为手指向掌心呈完全弯曲姿态。以此类推,根据以上步骤分别获取手部图像对应的大拇指姿态T、食指姿态F、中指姿态M、无名指姿态R和小拇指姿态L,得到手部图像对应的手指姿态序列{T,F,M,R,L}。
在上述技术方案中,步骤S104,具体为:预设至少一个手势模型;将手指姿态序列与手势模型对应的手指姿态序列进行匹配比对,根据匹配比对结果,确定对应的手势模型。
在该技术方案中,预设手势模型数据库,建立手势模型与手指姿态序列的映射关系,根据待识别手部图像对应的手指姿态序,通过匹配比对确定手指姿态序列对应的手势模型,得到手势识别结果。具体地,当待识别的手部图像对应的手指姿态序列为{S,S,S,S,S},通过手指姿态序列与手势模型的关系映射表匹配比对,得到对应的手势模型为五个手指伸直;当待识别的手部图像对应的手指姿态序列为{C,C,C,C,C},通过手指姿态序列与手势模型的关系映射表匹配比对,得到对应的手势模型为五个手指向掌心弯曲握拳;当待识别的手部图像对应的手指姿态序列为{C,S,S,C,C},通过手指姿态序列与手势模型的关系映射表匹配比对,得到对应的手势模型为大拇指、无名指及小拇指完全向掌心弯曲,食指和中指伸直,即代表“胜利”的V型手势。
根据本发明实施例的基于形态学的静态手势识别方法,通过对手部图像进行生态学识别,获取手指姿态序列,确定手势识别结果,有效地降低了手势识别算法的复杂度,提高识别效率,同时大幅提升手势识别的准确性。
再次声明,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式进行组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.一种基于形态学的静态手势识别方法,其特征在于,包括以下步骤:
提取待识别图像中的手部图像;
基于形态学特征识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标;
根据所述关节点在图像坐标系中的坐标,计算所述手部图像中每个手指的弯曲角度,获取所述手指的姿态,确定所述手部图像对应的手指姿态序列;
将所述手指姿态序列与预设手势模型进行匹配,确定所述手部图像的手势识别结果。
2.根据权利要求1所述的基于形态学的静态手势识别方法,其特征在于,所述提取待识别图像中的手部图像的步骤,具体为:基于肤色分割算法提取待识别图像中的手部图像区域。
3.根据权利要求1所述的基于形态学的静态手势识别方法,其特征在于,所述基于形态学特征识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标的步骤,具体为:基于形态学特征确定所述手部图像中的手部轮廓,根据预设的手部骨骼模型,识别所述手部图像中预设数量的关节点,确定所述关节点在图像坐标系中的坐标。
4.根据权利要求1至3中任一项所述的基于形态学的静态手势识别方法,其特征在于,所述关节点包括:指尖、第一指间关节点、第二指间关节点、指根及腕关节点。
5.根据权利要求4所述的基于形态学的静态手势识别方法,其特征在于,所述根据所述关节点在图像坐标系中的坐标,计算所述手部图像中每个手指的弯曲角度,获取所述手指的姿态,确定所述手部图像对应的手指姿态序列的步骤,具体为:
根据所述手部图像中每个手指上每两个相邻的所述关节点确定所述手指每一关节的关节向量,计算所述关节向量在图像坐标系中的方向角度;
根据所述关节向量的方向角度,计算所述每个手指上每两个相邻关节对应的关节向量之间的旋转角之和,得到所述手指的弯曲角度;
根据所述手指的弯曲角度,获取所述手指的姿态;
根据所述每个手指的手指姿态,确定所述手部图像对应的手指姿态序列。
6.根据权利要求5所述的基于形态学的静态手势识别方法,其特征在于,所述根据所述手指的弯曲角度,获取所述手指的姿态的步骤,具体为:
预设第一角度阈值和第二角度阈值;
判断所述手指弯曲角度若小于等于所述第一角度阈值,则确定所述手指为第一姿态;
判断所述手指弯曲角度若大于所述第一角度阈值且小于所述第二角度阈值,则确定所述手指为第二姿态;
判断所述手指弯曲角度若大于等于所述第二角度阈值,则确定所述手指为第三姿态。
7.根据权利要求6所述的基于形态学的静态手势识别方法,其特征在于,所述将所述手指姿态序列与预设手势模型进行匹配,确定所述手部图像的手势识别结果的步骤,具体为:
预设至少一个手势模型;
将所述手指姿态序列与所述手势模型对应的手指姿态序列进行匹配比对,根据匹配比对结果,确定对应的手势模型。
CN201910472557.8A 2019-05-31 2019-05-31 基于形态学的静态手势识别方法 Pending CN112016370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910472557.8A CN112016370A (zh) 2019-05-31 2019-05-31 基于形态学的静态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472557.8A CN112016370A (zh) 2019-05-31 2019-05-31 基于形态学的静态手势识别方法

Publications (1)

Publication Number Publication Date
CN112016370A true CN112016370A (zh) 2020-12-01

Family

ID=73506437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472557.8A Pending CN112016370A (zh) 2019-05-31 2019-05-31 基于形态学的静态手势识别方法

Country Status (1)

Country Link
CN (1) CN112016370A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221738A (zh) * 2021-05-11 2021-08-06 广州虎牙科技有限公司 手势识别方法、装置、电子设备及可读存储介质
CN116258655A (zh) * 2022-12-13 2023-06-13 合肥工业大学 基于手势交互的实时图像增强方法及系统
CN116766213A (zh) * 2023-08-24 2023-09-19 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866824A (zh) * 2015-05-17 2015-08-26 华南理工大学 一种基于Leap Motion的手语字母识别方法
US20160026857A1 (en) * 2014-07-23 2016-01-28 Lsi Corporation Image processor comprising gesture recognition system with static hand pose recognition based on dynamic warping
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技(深圳)有限公司 一种手势图像生成方法、装置及存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026857A1 (en) * 2014-07-23 2016-01-28 Lsi Corporation Image processor comprising gesture recognition system with static hand pose recognition based on dynamic warping
CN104866824A (zh) * 2015-05-17 2015-08-26 华南理工大学 一种基于Leap Motion的手语字母识别方法
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技(深圳)有限公司 一种手势图像生成方法、装置及存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221738A (zh) * 2021-05-11 2021-08-06 广州虎牙科技有限公司 手势识别方法、装置、电子设备及可读存储介质
CN116258655A (zh) * 2022-12-13 2023-06-13 合肥工业大学 基于手势交互的实时图像增强方法及系统
CN116258655B (zh) * 2022-12-13 2024-03-12 合肥工业大学 基于手势交互的实时图像增强方法及系统
CN116766213A (zh) * 2023-08-24 2023-09-19 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备
CN116766213B (zh) * 2023-08-24 2023-11-03 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Similar Documents

Publication Publication Date Title
JP3863809B2 (ja) 手の画像認識による入力システム
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
JP5403699B2 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
US8254627B2 (en) Method for automatically following hand movements in an image sequence
Lee et al. Model-based analysis of hand posture
Bhuyan et al. Fingertip detection for hand pose recognition
Zhu et al. Vision based hand gesture recognition using 3D shape context
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
CN109919039B (zh) 一种基于手掌和手指特征的静态手势识别方法
JP2001056861A (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
CN111414837A (zh) 手势识别方法、装置、计算机设备及存储介质
CN112016370A (zh) 基于形态学的静态手势识别方法
He et al. Salient feature point selection for real time RGB-D hand gesture recognition
CN111309149B (zh) 一种手势识别方法及手势识别装置
JP6651388B2 (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
CN114581535B (zh) 图像中用户骨关键点标注方法、装置、存储介质及设备
CN115240224A (zh) 基于三维手部关键点和图像特征融合的手势特征提取方法
CN113282164A (zh) 一种处理方法和装置
CN114596582B (zh) 一种带视觉和力反馈的增强现实交互方法及系统
Gong et al. A multi-objective optimization model and its evolution-based solutions for the fingertip localization problem
Tavari et al. A review of literature on hand gesture recognition for Indian Sign Language
CN118470802B (zh) 一种多模态陪护机器人意图理解方法及系统
CN114816054B (zh) 一种基于物联网的显示器手势动态控制系统及方法
Lin et al. A reliable hand tracking method using kinect
Prabhakar et al. AI And Hand Gesture Recognition Based Virtual Mouse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201201

WD01 Invention patent application deemed withdrawn after publication