CN108564013A - 一种基于手势轮廓快速匹配的手势识别方法 - Google Patents

一种基于手势轮廓快速匹配的手势识别方法 Download PDF

Info

Publication number
CN108564013A
CN108564013A CN201810285719.2A CN201810285719A CN108564013A CN 108564013 A CN108564013 A CN 108564013A CN 201810285719 A CN201810285719 A CN 201810285719A CN 108564013 A CN108564013 A CN 108564013A
Authority
CN
China
Prior art keywords
matching
gesture
profile
matrix
gesture identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810285719.2A
Other languages
English (en)
Other versions
CN108564013B (zh
Inventor
应忍冬
王伟行
邹耀
刘佩林
葛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Digital Intelligent Technology Co Ltd
Original Assignee
Shanghai Digital Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Digital Intelligent Technology Co Ltd filed Critical Shanghai Digital Intelligent Technology Co Ltd
Priority to CN201810285719.2A priority Critical patent/CN108564013B/zh
Publication of CN108564013A publication Critical patent/CN108564013A/zh
Application granted granted Critical
Publication of CN108564013B publication Critical patent/CN108564013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于手势轮廓快速匹配的手势识别方法，该方法包括如下步骤：(1)根据手部区域计算封闭的轮廓；(2)基于待匹配的手势轮廓模板，计算匹配矩阵；(3)计算手部区域轮廓和匹配矩阵每行的卷积；(4)计算匹配误差；(5)根据匹配误差和固定门限比较，得到手势识别结果。该基于手势轮廓快速匹配的手势识别方法直接利用原始轮廓数据提高匹配正确率并利用构建的特殊结构的匹配矩阵降低匹配算法的复杂度。

Description

一种基于手势轮廓快速匹配的手势识别方法
技术领域
本发明涉及图像处理和模式识别技术领域，具体为一种基于手势轮廓快速 匹配的手势识别方法。
背景技术
手势动作识别是基于人体动作的人机交互技术的重要手段，传统的算法基 于手势图像统计特征参数的计算，获取手势的信息，并通过比对特定手势数 据确定当前手势是否符合待匹配手势。这一过程速度慢、效率低。不能满足 实时手势交互对算法复杂度和运算量的要求。
根据现有手势识别算法在速度和效率上的瓶颈问题，可以从手部轮廓几何 形状匹配的方式，得到手势识别结果，但传统的匹配基于手势轮廓的统计量， 不直接匹配原始数据，匹配误差大。针对上述手势识别领域的问题，本专利 提出基于轮廓数据直接匹配的算法，直接利用原始轮廓数据提高匹配正确率 并利用构建的特殊结构的匹配矩阵降低匹配算法的复杂度。
发明内容
本发明的目的在于提供一种基于手势轮廓快速匹配的手势识别方法，以 解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于手势轮廓快速匹配 的手势识别方法，该方法包括如下步骤：
(1)根据手部区域计算封闭的轮廓；
(2)基于待匹配的手势轮廓模板，计算匹配矩阵；
(3)计算手部区域轮廓和匹配矩阵每行的卷积；
(4)计算匹配误差；
(5)根据匹配误差和固定门限比较，得到手势识别结果。
优选的，所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤(1) 根据手部区域计算封闭的轮廓方法，从带有完整手部的图像中找出手部区域， 并计算该区域的外轮廓，得到封闭的手部轮廓曲线，并对轮廓按固定步长进 行采样，得到轮廓上的采样点的坐标。
优选的，所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤(2) 基于待匹配的手势轮廓模板，计算匹配矩阵算法，根据手势轮廓模板，按固 定步长进行采样，得到轮廓上的采样点的坐标，根据坐标数据构建出特定结 构的矩阵，作为匹配矩阵。
优选的，所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤(3) 计算手部区域轮廓和匹配矩阵每行的卷积算法，计算封闭手部轮廓曲线上采 样点坐标序列和匹配矩阵每行的卷积结果，卷积结果重新排列成矩阵。
优选的，所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤(4) 计算匹配误差，根据计算手部区域轮廓和匹配矩阵每行的卷积的运算结果对 应的矩阵，计算各列的2范数，构成匹配误差序列。
优选的，所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤(5) 根据匹配误差和固定门限比较，得到手势识别结果，根据匹配误差序列的 最小元素值和特定门限比较，确定匹配是否成功，当匹配成功时，即匹配误 差序列最小元素值小于特定门限，输出匹配的手势轮廓模板对应的手势作为 识别结果，否则输出识别失败。
与现有技术相比，本发明的有益效果是：该基于手势轮廓快速匹配的手 势识别方法直接利用原始轮廓数据提高匹配正确率并利用构建的特殊结构的 匹配矩阵降低匹配算法的复杂度。
附图说明
图1为本发明结构示意图。
图2是本发明案例示意图。
图3是本发明卷积结果仍旧排列成矩阵形式示意图。
图4是本发明匹配误差序列示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本发明提供一种技术方案：
实施例1：
一种基于手势轮廓快速匹配的手势识别方法，该方法包括如下步骤：
(1)根据手部区域计算封闭的轮廓；
(2)基于待匹配的手势轮廓模板，计算匹配矩阵；
(3)计算手部区域轮廓和匹配矩阵每行的卷积；
(4)计算匹配误差；
(5)根据匹配误差和固定门限比较，得到手势识别结果。
实施例2：
根据实施例1所述的基于手势轮廓快速匹配的手势识别方法，所述的步骤 (1)根据手部区域计算封闭的轮廓方法，从带有完整手部的图像中找出手部 区域，并计算该区域的外轮廓，得到封闭的手部轮廓曲线，并对轮廓按固定 步长进行采样，得到轮廓上的采样点的坐标。
实施例3：
根据实施例1或2所述的基于手势轮廓快速匹配的手势识别方法，所述的 步骤(2)基于待匹配的手势轮廓模板，计算匹配矩阵算法，根据手势轮廓模 板，按固定步长进行采样，得到轮廓上的采样点的坐标，根据坐标数据构建 出特定结构的矩阵，作为匹配矩阵。
实施例4：
根据实施例1或2或喔所述的基于手势轮廓快速匹配的手势识别方法，所 述的步骤(3)计算手部区域轮廓和匹配矩阵每行的卷积算法，计算封闭手部 轮廓曲线上采样点坐标序列和匹配矩阵每行的卷积结果，卷积结果重新排列 成矩阵。
实施例5：
根据实施例1或2或3或4所述的基于手势轮廓快速匹配的手势识别方法， 所述的步骤(4)计算匹配误差，根据计算手部区域轮廓和匹配矩阵每行的卷 积的运算结果对应的矩阵，计算各列的2范数，构成匹配误差序列。
实施例6：
根据实施例1或2或3或4或5所述的基于手势轮廓快速匹配的手势识 别方法，所述的步骤(5)根据匹配误差和固定门限比较，得到手势识别结果， 根据匹配误差序列的最小元素值和特定门限比较，确定匹配是否成功，当 匹配成功时，即匹配误差序列最小元素值小于特定门限，输出匹配的手势轮 廓模板对应的手势作为识别结果，否则输出识别失败。
实施例7：
根据实施例1或2或3或4或5所述的基于手势轮廓快速匹配的手势识 别方法，通过图1给出的总体算法架构实现的。算法包括几个处理步骤：1.根 据手部区域计算封闭的轮廓(图1中标号1)；2.基于待匹配的手势轮廓模 板，计算匹配矩阵(图1中标号2)；3.计算手部区域轮廓和匹配矩阵每行 的卷积(图1中标号3)；4.计算匹配误差(图1中标号4)；5.根据匹配 误差和固定门限比较，得到手势识别结果(图1中标号5)。
对图1中各个算法模块的具体实现原理如下给出。
1.根据手部区域计算封闭的轮廓
对于输入带有完整手部区域的图像，找出手部区域对应的像素区域，并 计算该像素区域的外轮廓。为了保证后续匹配过程，需要保证轮廓是封闭曲 线，并且包括了所有手部区域像素。
接着需要将手部轮廓进行“轮廓采样”，流程如下：1)在轮廓上任取一 点作为第一个采样点；2)以上一个采样点为起点，沿轮廓的顺时针旋转方向， 计算轮廓上各点和上一个采样点之间的距离，找出第一个距离超过特定门限 的点，作为下一个采样点；3)重复上述步骤2)，直到当前采样点和第一个 采样点距离小于特定门限。依次将上述轮廓采样得到的采样点序列的XY坐标 保存下来，记为{xn，yn}n＝0，1，...，N-1其中N是轮廓采样点总数。利用该坐 标序列构造出复数向量：c：＝[v0 v1 ... vN-1]T，其中：vn＝xn+ynj
图2是一个例子，图2中标号1是某一个轮廓采样点，以他为中心的特 定半径的圆和轮廓相交点(图2中标号2)就是上述算法计算得到的标号1对 应采样点的下一个采样点。
2.基于待匹配的手势轮廓模板，计算匹配矩阵
对于待匹配手势轮廓模板，根据前面所述的“轮廓采样”，得到模板对 应的轮廓采样点坐标，记为{xn，yn}n＝0，1，...，N-1其中N是轮廓采样点总数。
从上述轮廓采样点坐标，得到复数序列：m：＝[v0 v1 ... vN-1]T，其中： vn＝xn+ynj。
构造矩阵G，即：G：＝[m 1]，其中向量1：＝[1 1 ... 1]T(N个1)，接 着计算下面矩阵：
P＝G(GHG)-1GH-E
其中P就是“匹配矩阵”，E是尺寸为NxN的单位阵。
3.计算手部区域轮廓和匹配矩阵每行的卷积
计算手部轮廓对应的复数向量c和匹配矩阵P的每一行的卷积，计算过 程可以通过快速傅里叶变换实现加速。卷积结果仍旧排列成矩阵形式，如图3 所示。图3中标号1对应P矩阵(即匹配矩阵)，标号2对应P矩阵的某一 行，标号3对应手部轮廓采样点坐标构成的复数向量c，标号4对应卷积结果， 标号5是卷积结果构成的矩阵。标号4对应的行号和标号2对应的P矩阵的 行号一致。
4.计算匹配误差
根据“计算手部区域轮廓和匹配矩阵每行的卷积”的运算结果对应的矩 阵，计算各列的2范数，构成匹配误差序列。入图4所示。图4中标号1是 “手部区域轮廓和匹配矩阵每行的卷积”输出的卷积结果矩阵，图4的标号4 对应矩阵某一列，即图4中标号2的“2范数”即：列向量的元素平方和。图 4中标号3是卷积结果矩阵所有列的2范数构成的向量，即“匹配误差向量”
5.根据匹配误差和固定门限比较，得到手势识别结果
根据图4中标号3对应的向量，找出其最小值，该最小值代表轮廓匹配 误差，将他和固定的门限比较，小于该门限则表示轮廓匹配误差很小，输出 匹配矩阵对应的手势作为手势识别结果，否则输出匹配失败。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (6)

1.一种基于手势轮廓快速匹配的手势识别方法，其特征是：该方法包括如下步骤：
(1)根据手部区域计算封闭的轮廓；
(2)基于待匹配的手势轮廓模板，计算匹配矩阵；
(3)计算手部区域轮廓和匹配矩阵每行的卷积；
(4)计算匹配误差；
(5)根据匹配误差和固定门限比较，得到手势识别结果。
2.根据权利要求1所述的基于手势轮廓快速匹配的手势识别方法，其特征是：所述的步骤(1)根据手部区域计算封闭的轮廓方法，从带有完整手部的图像中找出手部区域，并计算该区域的外轮廓，得到封闭的手部轮廓曲线，并对轮廓按固定步长进行采样，得到轮廓上的采样点的坐标。
3.根据权利要求1所述的基于手势轮廓快速匹配的手势识别方法，其特征是：所述的步骤(2)基于待匹配的手势轮廓模板，计算匹配矩阵算法，根据手势轮廓模板，按固定步长进行采样，得到轮廓上的采样点的坐标，根据坐标数据构建出特定结构的矩阵，作为匹配矩阵。
4.根据权利要求1所述的基于手势轮廓快速匹配的手势识别方法，其特征是：所述的步骤(3)计算手部区域轮廓和匹配矩阵每行的卷积算法，计算封闭手部轮廓曲线上采样点坐标序列和匹配矩阵每行的卷积结果，卷积结果重新排列成矩阵。
5.根据权利要求1所述的基于手势轮廓快速匹配的手势识别方法，其特征是：所述的步骤(4)计算匹配误差，根据计算手部区域轮廓和匹配矩阵每行的卷积的运算结果对应的矩阵，计算各列的2范数，构成匹配误差序列。
6.根据权利要求1所述的基于手势轮廓快速匹配的手势识别方法，其特征是：所述的步骤(5)根据匹配误差和固定门限比较，得到手势识别结果，根据匹配误差序列的最小元素值和特定门限比较，确定匹配是否成功，当匹配成功时，即匹配误差序列最小元素值小于特定门限，输出匹配的手势轮廓模板对应的手势作为识别结果，否则输出识别失败。
CN201810285719.2A 2018-03-23 2018-03-23 一种基于手势轮廓快速匹配的手势识别方法 Active CN108564013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810285719.2A CN108564013B (zh) 2018-03-23 2018-03-23 一种基于手势轮廓快速匹配的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810285719.2A CN108564013B (zh) 2018-03-23 2018-03-23 一种基于手势轮廓快速匹配的手势识别方法

Publications (2)

Publication Number Publication Date
CN108564013A true CN108564013A (zh) 2018-09-21
CN108564013B CN108564013B (zh) 2021-08-03

Family

ID=63533828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810285719.2A Active CN108564013B (zh) 2018-03-23 2018-03-23 一种基于手势轮廓快速匹配的手势识别方法

Country Status (1)

Country Link
CN (1) CN108564013B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610157A (zh) * 2022-03-23 2022-06-10 北京拙河科技有限公司 一种基于手势交互的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002567A1 (en) * 2011-06-30 2013-01-03 Ricky Lee Method and System of Implementing Multi-Touch Panel Gestures in Computer Applications Without Multi-Touch Panel Functions
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN105160400A (zh) * 2015-09-08 2015-12-16 西安交通大学 基于l21范数的提升卷积神经网络泛化能力的方法
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106408024A (zh) * 2016-09-20 2017-02-15 四川大学 针对dr片的肺叶轮廓提取方法
CN107507167A (zh) * 2017-07-25 2017-12-22 上海交通大学 一种基于点云平面轮廓匹配的货物托盘检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002567A1 (en) * 2011-06-30 2013-01-03 Ricky Lee Method and System of Implementing Multi-Touch Panel Gestures in Computer Applications Without Multi-Touch Panel Functions
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN105160400A (zh) * 2015-09-08 2015-12-16 西安交通大学 基于l21范数的提升卷积神经网络泛化能力的方法
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106408024A (zh) * 2016-09-20 2017-02-15 四川大学 针对dr片的肺叶轮廓提取方法
CN107507167A (zh) * 2017-07-25 2017-12-22 上海交通大学 一种基于点云平面轮廓匹配的货物托盘检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610157A (zh) * 2022-03-23 2022-06-10 北京拙河科技有限公司 一种基于手势交互的方法及系统

Also Published As

Publication number Publication date
CN108564013B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
US11734851B2 (en) Face key point detection method and apparatus, storage medium, and electronic device
Liu et al. Lightweight object detection algorithm for robots with improved YOLOv5
CN109740534A (zh) 图像处理方法、装置及处理设备
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN106570456A (zh) 基于全卷积递归网络的手写汉字文本识别方法
CN111046751B (zh) 公式识别方法和装置
CN108509881A (zh) 一种无切分的脱机手写汉字文本识别方法
CN112836597B (zh) 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN111259880A (zh) 一种基于卷积神经网络的电力操作票文字识别方法
CN109558855B (zh) 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
Zhou et al. DPNet: Dual-path network for real-time object detection with lightweight attention
He et al. Context-aware mathematical expression recognition: An end-to-end framework and a benchmark
Debard et al. Learning to recognize touch gestures: Recurrent vs. convolutional features and dynamic sampling
CN115132201A (zh) 唇语识别方法、计算机设备及存储介质
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN113780140B (zh) 基于深度学习的手势图像分割与识别方法以及装置
CN108564013A (zh) 一种基于手势轮廓快速匹配的手势识别方法
CN106897770B (zh) 一种建立车牌识别模型的方法及装置
CN111814508A (zh) 一种文字识别方法、系统及设备
CN113435398B (zh) 基于掩码预训练模型的签名特征识别方法、系统、设备及存储介质
CN114913541A (zh) 基于正交匹配追踪的人体关键点检测方法、装置及介质
CN114187445A (zh) 识别图像中文本的方法、装置、电子设备及存储介质
CN112489687A (zh) 一种基于序列卷积的语音情感识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant