CN108509049B - 录入手势功能的方法及系统 - Google Patents

录入手势功能的方法及系统 Download PDF

Info

Publication number
CN108509049B
CN108509049B CN201810353325.6A CN201810353325A CN108509049B CN 108509049 B CN108509049 B CN 108509049B CN 201810353325 A CN201810353325 A CN 201810353325A CN 108509049 B CN108509049 B CN 108509049B
Authority
CN
China
Prior art keywords
gesture
image
similarity
current
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810353325.6A
Other languages
English (en)
Other versions
CN108509049A (zh
Inventor
王行
李骊
周晓军
李朔
杨淼
盛赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810353325.6A priority Critical patent/CN108509049B/zh
Publication of CN108509049A publication Critical patent/CN108509049A/zh
Application granted granted Critical
Publication of CN108509049B publication Critical patent/CN108509049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明公开了一种录入手势功能的方法和系统。包括S110、获取用户在预设时间段内的当前手势动作图像；S120、识别当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；S130、根据各帧手势自由度参数，确定全部帧的预设参数相似度；S140、将预设参数相似度与预设相似度阈值进行比较，并当预设参数相似度满足预设相似度阈值且与预先存储的手势功能不同时，则判定当前手势动作图像为目标手势动作图像；反之，重复执行步骤S110至步骤S140；S150、获取用于输入的对应于目标手势动作图像的操作指令，以完成录入手势功能。方法简单，可以为用户自定义手势交互系统提供了解决途径，能够让不同的用户针对自身需求，实现个性化的手势交互系统。

Description

录入手势功能的方法及系统
技术领域
本发明涉及交互技术领域，特别涉及一种录入手势功能的方法和一种录入手势功能的系统。
背景技术
人类的交流方式包括语言、面部表情、肢体动作和手势等。随着AR技术和人工智能技术的发展，人机交互方式也逐渐向人类的自然交流方式发展。相较于传统的键鼠操作方式和触屏操作方式，语音指令、表情识别、手势指令等交互方式更符合人类的自然直觉，学习成本更低，用户体验更好。其中，手势交互系统相比较语音交互系统，具有易于实现，更加实时等特点，能够应用于车载控制、智能家居等领域。
但是，传统的手势交互系统中，只能对预先定义好的特定的手势进行判断，执行相应操作，不提供用户自定义手势的功能。部分用户可能在比划个别手势时会有不适应感，甚至比划较为困难，大大降低了用户体验。此外，人们在日常交流中不常使用的手势并没有统一的、共识的意义，甚至是无意义的，很难将这类手势对应到统一的操作中去。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种录入手势功能的方法和一种录入手势功能的系统。
为了实现上述目的，本发明的第一方面，提供了一种录入手势功能的方法，包括：
步骤S110、获取用户在预设时间段内的当前手势动作图像；
步骤S120、识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；
步骤S130、根据各帧手势自由度参数，确定全部帧的预设参数相似度；
步骤S140、将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像；反之，重复执行步骤S110至步骤S140；
步骤S150、获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
可选地，所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像。
可选地，当所述当前手势动作图像为所述当前手势动作静态图像时；
所述步骤S130包括：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
可选地，当所述当前手势动作图像为所述当前手势动作动态图像时；
所述步骤S110包括：
多次获取用户在预设时间段内的当前手势动作图像；
所述步骤S120包括：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹；
所述步骤S130包括：
计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；
将所述轨迹相似度作为所述预设参数相似度。
可选地，当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
本发明的第二方面，提供了一种录入手势功能的系统，包括：
获取模块，用于获取用户在预设时间段内的当前手势动作图像；
计算模块，用于识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；
确定模块，用于根据各帧手势自由度参数，确定全部帧的预设参数相似度；
判断模块，用于将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像，
录入模块，用于获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
可选地，所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像。
可选地，当所述当前手势动作图像为所述当前手势动作静态图像时；
所述确定模块用于：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
可选地，当所述当前手势动作图像为所述当前手势动作动态图像时；
所述获取模块用于：
多次获取用户在预设时间段内的当前手势动作图像；
所述计算模块用于：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹；
所述确定模块用于：
计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；
将所述轨迹相似度作为所述预设参数相似度。
可选地，还包括：
报警模块，用于当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
本发明的录入手势功能的方法和系统。首先，获取用于在预设时间段内的当前手势动作图像，之后进行识别并计算各帧手势自由度参数，并确定全部帧的预设参数相似度，将预设参数相似度与预设相似度阈值进行比较，从而确定当前手势动作图像是否为目标手势动作图像，并获取用户所输入的对应于目标手势动作图像的操作指令，完成录入手势功能。因此，本发明的录入手势功能的方法，方法简单，可以为用户自定义手势交互系统提供了解决途径，能够让不同的用户针对自身需求，实现个性化的手势交互系统。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明第一实施例中录入手势功能的方法的流程图；
图2为本发明第二实施例中录入手势功能的系统的结构示意图。
附图标记说明
100：录入手势功能的系统；
110：获取模块；
120：计算模块；
130：确定模块；
140：判断模块；
150：录入模块；
160：报警模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
参考图1，本发明的第一方面，涉及一种录入手势功能的方法S100，包括：
步骤S110、获取用户在预设时间段内的当前手势动作图像。
具体地，在本步骤中，用户在预设时间段内，可以持续比划需录入的手势。
步骤S120、识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数。
步骤S130、根据各帧手势自由度参数，确定全部帧的预设参数相似度。
步骤S140、将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像；反之，重复执行步骤S110至步骤S140。
步骤S150、获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
本实施例中的录入手势功能的方法S100，首先，获取用于在预设时间段内的当前手势动作图像，之后进行识别并计算各帧手势自由度参数，并确定全部帧的预设参数相似度，将预设参数相似度与预设相似度阈值进行比较，从而确定当前手势动作图像是否为目标手势动作图像，并获取用户所输入的对应于目标手势动作图像的操作指令，完成录入手势功能。因此，本实施例中的录入手势功能的方法S100，方法简单，可以为用户自定义手势交互系统提供了解决途径，能够让不同的用户针对自身需求，实现个性化的手势交互系统。
可选地，所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像。
当所述当前手势动作图像为所述当前手势动作静态图像时，也就是说，此时对应于静态手势定义的过程。
具体地，所述步骤S130包括：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
可选地，当所述当前手势动作图像为所述当前手势动作动态图像时，也就是说，此时对应于动态手势定义的过程。
具体地，所述步骤S110包括：
多次获取用户在预设时间段内的当前手势动作图像；
所述步骤S120包括：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹；
所述步骤S130包括：
计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；
将所述轨迹相似度作为所述预设参数相似度。
以上是两种不同的实施例，一种是可以利用静态手势实现录入手势功能，另外一种是利用动态手势实现录入手势功能，无论哪种方式，方法均较简单，可以为用户自定义手势交互系统提供了解决途径，能够让不同的用户针对自身需求，实现个性化的手势交互系统。
可选地，当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
本发明的第二方面，如图2所示，提供了一种录入手势功能的系统100，包括：
获取模块110，用于获取用户在预设时间段内的当前手势动作图像；
计算模块120，用于识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；
确定模块130，用于根据各帧手势自由度参数，确定全部帧的预设参数相似度；
判断模块140，用于将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像，
录入模块150，用于获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
本实施例中的录入手势功能的系统100，首先，获取模块110获取用于在预设时间段内的当前手势动作图像，之后计算模块120进行识别并计算各帧手势自由度参数，并利用确定模块130确定全部帧的预设参数相似度，所述判断模块140将预设参数相似度与预设相似度阈值进行比较，从而确定当前手势动作图像是否为目标手势动作图像，最终，所述录入模块150获取用户所输入的对应于目标手势动作图像的操作指令，完成录入手势功能。因此，本实施例中的录入手势功能的系统100，方法简单，可以为用户自定义手势交互系统提供了解决途径，能够让不同的用户针对自身需求，实现个性化的手势交互系统。
可选地，所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像。
可选地，当所述当前手势动作图像为所述当前手势动作静态图像时；
所述确定模块130用于：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
可选地，当所述当前手势动作图像为所述当前手势动作动态图像时；
所述获取模块110用于：
多次获取用户在预设时间段内的当前手势动作图像；
所述计算模块120用于：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹；
所述确定模块130用于：
计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；
将所述轨迹相似度作为所述预设参数相似度。
可选地，还包括：
报警模块160，用于当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种录入手势功能的方法，其特征在于，包括：
步骤S110、获取用户在预设时间段内的当前手势动作图像，所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像；
步骤S120、识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；
步骤S130、根据各帧手势自由度参数，确定全部帧的预设参数相似度；其中，计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；将所述轨迹相似度作为所述预设参数相似度；
步骤S140、将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像；反之，重复执行步骤S110至步骤S140；
步骤S150、获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
2.根据权利要求1所述的录入手势功能的方法，其特征在于，当所述当前手势动作图像为所述当前手势动作静态图像时；
所述步骤S130包括：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
3.根据权利要求1所述的录入手势功能的方法，其特征在于，当所述当前手势动作图像为所述当前手势动作动态图像时；
所述步骤S110包括：
多次获取用户在预设时间段内的当前手势动作图像；
所述步骤S120包括：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹。
4.根据权利要求1至3中任意一项所述的录入手势功能的方法，其特征在于，
当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
5.一种录入手势功能的系统，其特征在于，包括：
获取模块，用于获取用户在预设时间段内的当前手势动作图像；所述当前手势动作图像包括当前手势动作静态图像和/或当前手势动作动态图像；
计算模块，用于识别所述当前手势动作图像中，每一帧的手势关键点坐标，并计算各帧手势自由度参数；
确定模块，用于根据各帧手势自由度参数，确定全部帧的预设参数相似度；其中，所述确定模块用于：计算全部所获取的当前手势动作图像中，运动轨迹和形态变化轨迹之间的轨迹相似度；将所述轨迹相似度作为所述预设参数相似度；
判断模块，用于将所述预设参数相似度与预设相似度阈值进行比较，并当所述预设参数相似度满足所述预设相似度阈值且与预先存储的手势功能不同时，则判定所述当前手势动作图像为目标手势动作图像，
录入模块，用于获取用于输入的对应于所述目标手势动作图像的操作指令，以完成录入手势功能。
6.根据权利要求5所述的录入手势功能的系统，其特征在于，当所述当前手势动作图像为所述当前手势动作静态图像时；
所述确定模块用于：
根据各帧手势自由度参数，确定全部帧的手势自由度参数的相似度；
将所述手势自由度参数的相似度作为所述预设参数相似度。
7.根据权利要求5所述的录入手势功能的系统，其特征在于，当所述当前手势动作图像为所述当前手势动作动态图像时；
所述获取模块用于：
多次获取用户在预设时间段内的当前手势动作图像；
所述计算模块用于：
对各次所获取的当前手势动作图像执行下述步骤：
根据每一帧的手势关键点坐标，计算各帧手势自由度参数；
根据所述手势自由度参数中的坐标参数，确定当前手势动作图像的运动轨迹；
根据所述手势自由度参数中的角度参数，确定当前手势动作图像的形态变化轨迹。
8.根据权利要求5至7中任意一项所述的录入手势功能的系统，其特征在于，还包括：
报警模块，用于当所述预设参数相似度不满足所述预设相似度阈值时；和/或，
当前手势动作图像的手势功能与预先存储的手势功能相同时，输出报警信号。
CN201810353325.6A 2018-04-19 2018-04-19 录入手势功能的方法及系统 Active CN108509049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353325.6A CN108509049B (zh) 2018-04-19 2018-04-19 录入手势功能的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353325.6A CN108509049B (zh) 2018-04-19 2018-04-19 录入手势功能的方法及系统

Publications (2)

Publication Number Publication Date
CN108509049A CN108509049A (zh) 2018-09-07
CN108509049B true CN108509049B (zh) 2020-04-10

Family

ID=63382585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353325.6A Active CN108509049B (zh) 2018-04-19 2018-04-19 录入手势功能的方法及系统

Country Status (1)

Country Link
CN (1) CN108509049B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109088803B (zh) * 2018-09-20 2023-11-07 塔普翊海（上海）智能科技有限公司 一种ar遥控装置、智能家居遥控系统及方法
CN111077783A (zh) * 2018-10-18 2020-04-28 珠海格力电器股份有限公司 家电自定义控制系统、方法、自定义动作处理系统、方法
CN109696958A (zh) * 2018-11-28 2019-04-30 南京华捷艾米软件科技有限公司 一种基于深度传感器手势识别的手势控制方法及系统
CN111981537B (zh) * 2020-08-14 2022-11-15 华帝股份有限公司 一种非接触式吸油烟机的自适应控制方法
CN112121280B (zh) * 2020-08-31 2022-04-01 浙江大学 一种心音盒的控制方法及控制系统
CN111895473A (zh) * 2020-09-04 2020-11-06 珠海格力电器股份有限公司 油烟机控制方法、装置、设备及油烟机系统
CN112173899A (zh) * 2020-10-10 2021-01-05 田锐 升降装置控制方法、系统及其计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745228B (zh) * 2013-12-31 2017-01-11 清华大学 基于Fréchet距离的动态手势识别方法
CN106775377B (zh) * 2016-11-23 2020-12-18 北京小米移动软件有限公司 手势识别装置、设备及手势识别装置的控制方法
CN106371614A (zh) * 2016-11-24 2017-02-01 朱兰英 手势识别的优化方法和装置

Also Published As

Publication number Publication date
CN108509049A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509049B (zh) 录入手势功能的方法及系统
CN107025629B (zh) 一种图像处理方法及移动终端
Gupta et al. A continuous hand gestures recognition technique for human-machine interaction using accelerometer and gyroscope sensors
US20190057247A1 (en) Method for awakening intelligent robot, and intelligent robot
US20090153468A1 (en) Virtual Interface System
CN111418198B (zh) 提供文本相关图像的电子装置及其操作方法
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
KR102474245B1 (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
CN109933272A (zh) 多模态深度融合机载座舱人机交互方法
CN106502382B (zh) 用于智能机器人的主动交互方法和系统
CN111047507A (zh) 图像生成模型的训练方法、图像生成方法及装置
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN115617217B (zh) 一种车辆状态的显示方法、装置、设备及可读存储介质
Zhang et al. A strong tracking nonlinear robust filter for eye tracking
CN108052901B (zh) 一种基于双目的手势识别智能无人机远程操控方法
CN106773817B (zh) 一种用于智能机器人的命令解析方法及机器人
CN112784926A (zh) 一种手势交互的方法和系统
Vasisht et al. Human computer interaction based eye controlled mouse
KR102147930B1 (ko) 포즈 인식 방법 및 장치
CN111144266A (zh) 人脸表情的识别方法及装置
WO2016013685A1 (en) Method and system for recognizing speech including sequence of words
US10983808B2 (en) Method and apparatus for providing emotion-adaptive user interface
CN116403576A (zh) 车辆智能座舱的交互方法、装置、设备及存储介质
CN109129467B (zh) 一种基于认知的机器人交互方法及系统
CN105488978A (zh) 对终端进行控制的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant