CN107943300A - 一种基于超声波的手势识别方法及系统 - Google Patents

一种基于超声波的手势识别方法及系统 Download PDF

Info

Publication number
CN107943300A
CN107943300A CN201711293631.7A CN201711293631A CN107943300A CN 107943300 A CN107943300 A CN 107943300A CN 201711293631 A CN201711293631 A CN 201711293631A CN 107943300 A CN107943300 A CN 107943300A
Authority
CN
China
Prior art keywords
gesture
loudspeaker
ultrasonic wave
ultrasonic
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711293631.7A
Other languages
English (en)
Inventor
伍楷舜
陈孟奇
谢海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711293631.7A priority Critical patent/CN107943300A/zh
Publication of CN107943300A publication Critical patent/CN107943300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于无线识别技术改进领域，提供了一种基于超声波的手势识别方法，基于超声波的手势识别的方法及控制系统。该方法通过利用内置于多媒体终端内的多个麦克风和扬声器，实现以上所述的功能。所述方法包含的步骤主要包括：扬声器发送单个或者多个频率的余弦波超声波，麦克风采集经由人手移动时反射回来的超声波信号，再经过一系列的数字信号处理方法得到人手相对于多个麦克风的相对移动位移，最终根据可以预先自定义好的各个不同手势的手相对于多个麦克风的相对移动位移的模板识别不同的可操控多媒体终端的手势。

Description

一种基于超声波的手势识别方法及系统
技术领域
本发明属于识别技术改进领域，尤其涉及一种基于超声波的手势识别方法及系统。
背景技术
如今，随着移动设备以及家庭多媒体设备逐渐普及，越来越需求一种新的无源操控方式，拓展现有的操控方式。目前智能可穿戴设备类似于智能手表、智能手机由于屏幕的限制，虽然现有的按钮触摸屏等人机交互方式基本可以满足日常的需求，但体验不佳，尤其是智能手表。用户在这些设备的操控方式有限，于是在设备屏幕外使用无线感知的操控方式将更好的增强用户体验，让开发者能利用更多维度的人机交互选项。
目前智能手表、手机的操控方式主要集中在触摸屏和按键上，针对当屏幕尺寸十分小时如何日常操控设备，或者这类设备进行游戏等问题上，基于触摸屏和按键的交互方式已经不能满足精度的需求。若使用现有的交互方式必然会让手指遮挡一部分设备屏幕，这不是一种很好的解决方案。
发明内容
本发明的目的在于提供一种基于超声波的手势识别方法及系统，旨在解决上述的技术问题。
本发明是这样实现的，一种基于超声波的手势识别方法及系统，所述手势识别方法包括以下步骤：
S1、多媒体终端的扬声器发出超声波信号；
S2、多媒体终端的麦克风接收经由人手动作反射回的超声波信号；
S3、对收集到的超声波信号进行处理获取手势移动时的相对位置；
S4、根据获取不同手势的位置建立一个完整的手势动作模型；
S5、将建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。
本发明的进一步技术方案是：所述手势识别方法还包括：
S0、对手势移动进行采集形成手势模板数据库并进行存储。
本发明的进一步技术方案是：所述步骤S1中还包括：
S11、用户对着扬声器做出各种手势移动各种动作。
本发明的进一步技术方案是：所述步骤S1中发出单个或多个频率的余弦波超声波。
本发明的进一步技术方案是：所述扬声器和麦克风所发送和接收的超声波频率大于17000HZ。
本发明的另一目的在于提供一种基于超声波的手势识别系统，所述手势识别系统包括
信号发生模块，用于多媒体终端的扬声器发出超声波信号；
信号接收模块，用于多媒体终端的麦克风接收经由人手动作反射回的超声波信号；
测距模块，用于对收集到的超声波信号进行处理获取手势移动时的相对位置；
生成模型模块，用于根据获取不同手势的位置建立一个完整的手势动作模型；
匹配模块，用于将建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。
本发明的进一步技术方案是：所述手势识别系统还包括：
建立数据库模块，用于对手势移动进行采集形成手势模板数据库并进行存储。
本发明的进一步技术方案是：所述手势识别系统还包括：
手势单元，用于用户对着扬声器做出各种手势移动各种动作。
本发明的进一步技术方案是：所述信号发生模块中发出单个或多个频率的余弦波超声波。
本发明的进一步技术方案是：所述扬声器和麦克风所发送和接收的超声波频率大于17000HZ。
本发明的有益效果是：该方法利用超声波的反射信号，尽力手势模型，与匹配的手势完成多媒体的各种控制，使得控制方便、简单，不再需要外部有源遥控器控制设备，并且可以自定义各种手势进行操控，增强用户的交互体验，开发者也可以利用这种技术开发相应的体感游戏，为家庭娱乐提供一种新的游玩方式，甚至可以辅助残障人士使用带有此技术的设备，为残障人士提供更好的人机交互体验。
附图说明
图1是本发明实施例提供的基于超声波的手势识别方法的流程图。
图2是本发明实施例提供的基于超声波的手势识别系统的结构框图。
具体实施方式
图1示出了本发明提供的基于超声波的手势识别方法的流程图，其详述如下：
步骤S0，对手势移动进行采集形成手势模板数据库并进行存储。对手势的动作进行全面的采集，将每个采集到的完整的手势动作进行存储，将其存储在数据库，建立一整套的手势动作模型，并对每一个动作手势进行编号等；在做各个不同手势的过程中，保存整个过程中手离多媒体的位置变化作为模板，用户可自定义手势，并保存为模板。
步骤S1，多媒体终端的扬声器发出超声波信号；利用多媒体终端上的扬声器发出超声波，其中超声波采用的余弦波形式的，在发出的时候单个或者是多个频率的超声波，其中超声波的频率在17000Hz以上，扬声器能够发送17000Hz以上的超声波，用户对着扬声器做出各种手势移动各种动作，用户将手置于扬声器前方，在前方各种手势。
步骤S2、多媒体终端的麦克风接收经由人手动作反射回的超声波信号；利用多媒体终端的麦克风接收超声波信号，超声波信号在发出后遇到阻碍反射进行接收，接收反射回的信号，所述麦克风能够接收17000Hz以上的超声波，并且设备所含麦克风数量为2个或以上；用户在麦克风能够接收到的手部反射超声波信号的区域内的任一位置做已自定义好的手势，都能匹配到模板库中相应的手势。
步骤S3，对收集到的超声波信号进行处理获取手势移动时的相对位移；具体方法为：1.对收集到的超声波信号进行IQ调制；2.使用低通滤波器提取出其低频信号，低频信号的相位变化即为其手部移动时相对于麦克风的距离变化的映射；3.累加完整手势由开始到结束时的相位变化再结合声音的频率和音速求出相对位移。媒体终端使用数字信号处理的方法，区分出经由移动的手部反射的超声超声波信号，并利用其相位或者频率计算出相对位移。
步骤S4，根据获取不同手势的位置建立一个完整的手势动作模型；在接收到反射回来的超声波处理后得到相应的手势距离，根据手势距离模拟出了一组手势的整个动作形成一个手势模型。每一个不同的手势完成时，对于不同位置的麦克风来说，其相对位移的变化都是不同的，利用这种特性，用户自定义手势时，获取其做手势时的完整相对位移变化，利用每个手势的独特相位位移变化作为特征建立模型，得到每个手势的动作模型。
步骤S5，建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。将生成的手势模型与数据库中的手势模型进行比对匹配，将匹配到的模型进行数据更新，并调取其模型的对应指令进行操作，完成手势识别控制。具体方法为：1.利用步骤S3获得做手势的完整相对距离变化2.与步骤S3中建立好的手势动作模型作进行差别的对比，例如使用求欧几里得距离求出其做出的手势和每一个手势动作模型库中的模型的距离，设定一个阈值，当做出的一个手势与模型库中的某一个模型距离小于该阈值并且该距离为该模型库所有模型的最小值时，可以认为该手势为模型库中对应的手势。
如图2所示，本发明的另一目的在于提供一种基于超声波的手势识别系统，所述手势识别系统包括
信号发生模块，用于多媒体终端的扬声器发出超声波信号；
信号接收模块，用于多媒体终端的麦克风接收经由人手动作反射回的超声波信号；
测距模块，用于对收集到的超声波信号进行处理获取手势移动时的相对位置；
生成模型模块，用于根据获取不同手势的位置建立一个完整的手势动作模型；
匹配模块，用于将建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。
所述手势识别系统还包括：
建立数据库模块，用于对手势移动进行采集形成手势模板数据库并进行存储。
所述手势识别系统还包括：
手势单元，用于用户对着扬声器做出各种手势移动各种动作。
所述信号发生模块中发出单个或多个频率的余弦波超声波。
所述扬声器和麦克风所发送和接收的超声波频率大于17000HZ。
所述扬声器和麦克风所属的多媒体终端，包括但不限于智能手机、家庭音响等一切能发射和接收超声波信号的多媒体终端。
所述扬声器能够发送17000Hz以上的超声波。
所述麦克风能够接收17000Hz以上的超声波，并且设备所含麦克风数量为2个或以上。
媒体终端使用数字信号处理的方法，区分出经由移动的手部反射的超声超声波信号，并利用其相位或者频率计算出相对位移。
在做各个不同手势的过程中，保存整个过程中手离多媒体的位置变化作为模板，用户可自定义手势，并保存为模板。
用户在麦克风能够接收到的手部反射超声波信号的区域内的任一位置做已自定义好的手势，都能匹配到模板库中相应的手势。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于超声波的手势识别方法，其特征在于，所述手势识别方法包括以下步骤：
S1、多媒体终端的扬声器发出超声波信号；
S2、多媒体终端的麦克风接收经由人手动作反射回的超声波信号；
S3、对收集到的超声波信号进行处理获取手势移动时的相对位置；
S4、根据获取不同手势的位置建立一个完整的手势动作模型；
S5、将建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。
2.根据权利要求1所述的手势识别方法，其特征在于，所述手势识别方法还包括：
S0、对手势移动进行采集形成手势模板数据库并进行存储。
3.根据权利要求2所述的手势识别方法，其特征在于，所述步骤S1中还包括：
S11、用户对着扬声器做出各种手势移动各种动作。
4.根据权利要求3所述的手势识别方法，其特征在于，所述步骤S1中发出单个或多个频率的余弦波超声波。
5.根据权利要求4所述的手势识别方法，其特征在于，所述扬声器和麦克风所发送和接收的超声波频率大于17000HZ。
6.一种基于超声波的手势识别系统，其特征在于，所述手势识别系统包括
信号发生模块，用于多媒体终端的扬声器发出超声波信号；
信号接收模块，用于多媒体终端的麦克风接收经由人手动作反射回的超声波信号；
测距模块，用于对收集到的超声波信号进行处理获取手势移动时的相对位置；
生成模型模块，用于根据获取不同手势的位置建立一个完整的手势动作模型；
匹配模块，用于将建立的手势动作模型与数据库中的手势模板进行匹配进行手势识别。
7.根据权利要求6所述的手势识别系统，其特征在于，所述手势识别系统还包括：
建立数据库模块，用于对手势移动进行采集形成手势模板数据库并进行存储。
8.根据权利要求7所述的手势识别系统，其特征在于，所述手势识别系统还包括：
手势单元，用于用户对着扬声器做出各种手势移动各种动作。
9.根据权利要求8所述的手势识别系统，其特征在于，所述信号发生模块中发出单个或多个频率的余弦波超声波。
10.根据权利要求9所述的手势识别系统，其特征在于，所述扬声器和麦克风所发送和接收的超声波频率大于17000HZ。
CN201711293631.7A 2017-12-07 2017-12-07 一种基于超声波的手势识别方法及系统 Pending CN107943300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711293631.7A CN107943300A (zh) 2017-12-07 2017-12-07 一种基于超声波的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711293631.7A CN107943300A (zh) 2017-12-07 2017-12-07 一种基于超声波的手势识别方法及系统

Publications (1)

Publication Number Publication Date
CN107943300A true CN107943300A (zh) 2018-04-20

Family

ID=61945290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711293631.7A Pending CN107943300A (zh) 2017-12-07 2017-12-07 一种基于超声波的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN107943300A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194810A (zh) * 2018-07-02 2019-01-11 Oppo（重庆）智能科技有限公司 显示控制方法及相关产品
CN109871122A (zh) * 2019-01-18 2019-06-11 深圳大学 一种智能电子设备的水下操控系统及其操控方法
CN110850419A (zh) * 2019-11-28 2020-02-28 深圳大学 一种基于声学的手写签名识别方法
WO2020147099A1 (zh) * 2019-01-18 2020-07-23 深圳大学 一种智能电子设备的水下操控系统及其操控方法
WO2022262359A1 (zh) * 2021-06-18 2022-12-22 华为技术有限公司 手势识别方法、电子设备及存储介质
WO2023061054A1 (zh) * 2021-10-13 2023-04-20 华为技术有限公司 非接触式手势控制方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898844A (zh) * 2015-01-23 2015-09-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
US20160017656A1 (en) * 2013-03-15 2016-01-21 Springs Window Fashions, Llc Window covering motorized lift and control operating system
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统
CN105938399A (zh) * 2015-12-04 2016-09-14 深圳大学 基于声学的智能设备的文本输入识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160017656A1 (en) * 2013-03-15 2016-01-21 Springs Window Fashions, Llc Window covering motorized lift and control operating system
CN104898844A (zh) * 2015-01-23 2015-09-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
CN105938399A (zh) * 2015-12-04 2016-09-14 深圳大学 基于声学的智能设备的文本输入识别方法
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194810A (zh) * 2018-07-02 2019-01-11 Oppo（重庆）智能科技有限公司 显示控制方法及相关产品
CN109194810B (zh) * 2018-07-02 2021-05-04 Oppo（重庆）智能科技有限公司 显示控制方法及相关产品
CN109871122A (zh) * 2019-01-18 2019-06-11 深圳大学 一种智能电子设备的水下操控系统及其操控方法
WO2020147099A1 (zh) * 2019-01-18 2020-07-23 深圳大学 一种智能电子设备的水下操控系统及其操控方法
CN109871122B (zh) * 2019-01-18 2023-01-10 深圳大学 一种智能电子设备的水下操控系统及其操控方法
CN110850419A (zh) * 2019-11-28 2020-02-28 深圳大学 一种基于声学的手写签名识别方法
WO2022262359A1 (zh) * 2021-06-18 2022-12-22 华为技术有限公司 手势识别方法、电子设备及存储介质
WO2023061054A1 (zh) * 2021-10-13 2023-04-20 华为技术有限公司 非接触式手势控制方法和电子设备

Similar Documents

Publication Publication Date Title
CN107943300A (zh) 一种基于超声波的手势识别方法及系统
WO2021082749A1 (zh) 一种基于人工智能的动作识别方法和相关装置
CN105431813B (zh) 基于生物计量身份归属用户动作
CN102789313B (zh) 一种用户交互系统和方法
CN104410883A (zh) 一种移动可穿戴非接触式交互系统与方法
CN110263131B (zh) 回复信息生成方法、装置及存储介质
US10636417B2 (en) Method and apparatus for performing voice recognition on basis of device information
CN106796789A (zh) 与话音参考点的协同言语交互
CN103885744B (zh) 一种基于声音的手势识别方法
CN109870984B (zh) 一种基于可穿戴设备的多家电控制方法
CN108509028A (zh) 用于虚拟情感触摸的系统和方法
CN109901698B (zh) 一种智能交互方法、可穿戴设备和终端以及系统
CN106178496B (zh) 一种基于体感和声音操作的游戏控制方法及系统
CN111225237B (zh) 一种视频的音画匹配方法、相关装置以及存储介质
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN113325948B (zh) 隔空手势的调节方法及终端
CN105117608A (zh) 信息交互方法及装置
CN104536677A (zh) 具有智能语音交互功能的三维数字人像
CN112995402A (zh) 控制方法及装置、计算机可读介质和电子设备
CN205302186U (zh) 一种基于外部输入的虚拟现实控制系统
CN104436651B (zh) 智能玩具的控制方法和系统
CN111050266B (zh) 一种基于耳机检测动作进行功能控制的方法及系统
CN113949936A (zh) 一种电子设备的屏幕交互方法及装置
CN112809709B (zh) 机器人及其操作系统、控制装置、控制方法及存储介质
CN203874446U (zh) 基于移动终端的网球游戏球拍控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420