CN116719407A - 一种基于数字发声芯片的手势识别方法及装置 - Google Patents
一种基于数字发声芯片的手势识别方法及装置 Download PDFInfo
- Publication number
- CN116719407A CN116719407A CN202310600687.1A CN202310600687A CN116719407A CN 116719407 A CN116719407 A CN 116719407A CN 202310600687 A CN202310600687 A CN 202310600687A CN 116719407 A CN116719407 A CN 116719407A
- Authority
- CN
- China
- Prior art keywords
- gesture
- ultrasonic
- digital
- chip
- sounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 244000208734 Pisonia aculeata Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开一种基于数字发声芯片的手势识别方法及装置,涉及手势识别技术领域,以解决手势识别精确度差且识别手势类型少的问题。一种基于数字发声芯片的手势识别方法包括:获取每个发声像素单元的相位信息;根据相位信息控制数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;接收麦克风采集的手势超声信号,手势超声信号是指向性超声波声场发射至手部反射得到的信号;对手势超声信号进行特征提取,得到手势特征,根据手势特征识别手势类型;手势类型用于隔空操作设备。本发明提供的基于数字发声芯片的手势识别方法用于提高手势识别精确度同时增加识别的手势类型数量。
Description
技术领域
本发明涉及手势识别技术领域,尤其涉及一种基于数字发声芯片的手势识别方法及装置。
背景技术
随着人机交互的发展,手势隔空操作的功能应用于越来越多的设备中,例如汽车座舱内用手势快速开关某些功能,手机隔空截屏等;手势识别的方法通常采用光学或者超声波的方式,然而光学手段容易受到光照环境影响;现有的采用超声波进行手势识别的方法通常采用扬声器发出超声波,而扬声器发出的超声波功率低,方向不可控,容易受到环境反射和高频噪声的干扰,导致手势识别的准确率低,且仅能对简单的手势进行识别,而无法识别复杂手势就无法实现设备的更多功能。
发明内容
本发明的目的在于提供一种基于数字发声芯片的手势识别方法及装置,用于提高手势识别精确度同时识别更多复杂的手势类型。
为了实现上述目的,本发明提供如下技术方案:
第一方面,本发明提供一种基于数字发声芯片的手势识别方法,包括:
获取数字发声芯片中每个发声像素单元的相位信息;
根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;
接收麦克风采集的手势超声信号,所述手势超声信号是所述指向性超声波声场发射至手部反射得到的信号;
对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;所述手势类型用于隔空操作设备。
与现有技术相比,本发明提供的一种基于数字发声芯片的手势识别方法,通过获取数字发声芯片中每个发声像素单元的相位信息;根据相位信息控制数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;可以控制发出的超声波的发射范围以及发射频率,使得反射的手势信号更加稳定;且指向性超声波声场根据调节可以形成均匀锥面超声波或区域扫描超声波,超声波可调,适用场景更加广泛,接收麦克风采集的手势超声信号,手势超声信号是指向性超声波声场发射至手部反射得到的信号;对手势超声信号进行特征提取,得到手势特征,由于数字发声芯片发射的声场均匀、指向性可调,因此提取的手势特征更加精确,通过手势特征识别的手势类型更加准确,识别出的手势类型可以用于隔空操作设备。另外,由于数字发声芯片发出的指向性超声波声场可调,可以生成监测点阵,实现更多复杂手势的识别,使得本基于数字发声芯片的手势识别方法具有更高的分辨精度与识别能力,同时本方法适用于不同的数字发声芯片和麦克风组合的手势识别系统。
第二方面,本发明提供一种基于数字发声芯片的手势识别装置,包括:
相位信息获取模块,用于获取数字发声芯片中每个发声像素单元的相位信息;
指向性超声波声场发出模块,用于根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;
手势超声信号接收模块,用于接收麦克风采集的手势超声信号,所述手势超声信号是所述指向性超声波声场发射至手部反射得到的信号;
特征提取模块,用于对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;所述手势类型用于隔空操作设备。
第二方面提供的装置类方案所实现的技术效果与第一方面提供的方法类方案相同,此处不再赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明提供的一种基于数字发声芯片的手势识别系统及实现示意图;
图2为本发明提供的一种基于数字发声芯片的手势识别方法流程图;
图3为本发明提供的数字发声芯片发出的均匀锥面超声波示意图;
图4为本发明提供的数字发声芯片发出的区域扫描超声波示意图;
图5为本发明提供的四个麦克风和一个数字发声芯片的位置及手势位置示意图;
图6为本发明提供的一个麦克风和四个数字发声芯片的位置及手势位置示意图;
图7本发明提供的一种基于数字发声芯片的手势识别装置的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一阈值和第二阈值仅仅是为了区分不同的阈值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本发明中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b的结合,a和c的结合,b和c的结合,或a、b和c的结合,其中a,b,c可以是单个,也可以是多个。
基于超声波的手势识别方法,可以避免计算机视觉易受视角范围限制和光照环境影响的问题,现有的超声波手势识别方法通常采用扬声器作为发射超声波的超声换能器,然而普通扬声器发出的超声波频率低,受环境干扰大,容易使得反射的超声波信号不稳,导致识别精度低,且扬声器发出的超声波信号不可控,无法识别更加复杂的手势。
为解决上述问题,本发明提供一种基于数字发声芯片的手势识别方法及装置,结合数字发声芯片的发射角可调、指向性可调,声场均匀的优势,具有更高的分辨率精度与识别能力,接下来结合附图进行说明。
图1为本发明提供的一种基于数字发声芯片的手势识别系统及实现示意图,如图1所示,该系统可以包括:处理器、数字发声芯片、麦克风以及手势库,手势库中存储有手势类型、与手势类型对应的功能以及实现对应功能的控制信号;处理器将数字开关信号发送给数字发声芯片,使其发射超声波,超声波经手部反射后被麦克风接收,麦克风将采集的反射信号发送给处理器,反射信号形成手势超声信号,为降低环境对采集信号的干扰,首先处理器将麦克风采集的手势超声信号按预设时间间隔分成若干帧;然后对每帧数据进行短时傅里叶变换处理,最后处理器使用数字滤波器对处理后的信号进行滤波和降噪处理,得到降噪后的信号,对降噪后的信号进行特征提取,得到手势特征,根据手势特征识别手势类型,将手势类型与手势库中存储的用于实现特定功能的控制信号进行匹配,得到手势类型对应的功能类型;输出与功能类型对应的最匹配的手势控制信号。
图1中的系统,数字发声芯片包括多个级联成阵列的发声像素单元,可以形成可调节的指向性超声波声场,和传统的扬声器的发声原理本质不同,通过分配给数字发声芯片每个发声像素单元不同的相位,每个发声像素单元发出不同相位的脉冲声波,基于数字声音重构算法,各个发声像素单元发出的不同相位的脉冲声波叠加重构形成具有指向性的超声波。通过调整相位可以调节超声波的指向性,从而可以调整超声波发射范围、发射角度以及超声波发射形式,具体的实现步骤结合图2进行说明。
图2为本发明提供的一种基于数字发声芯片的手势识别方法流程图,从程序角度而言,流程的执行主体可以为基于数字发声芯片的手势识别系统的处理器,能够接收计算机指令,实现控制数字发声芯片发出指向性超声波声场,并对接收的麦克风采集信号进行特征提取以及手势识别,本基于数字发声芯片的手势识别方法包括以下步骤:
步骤201:获取数字发声芯片中每个发声像素单元的相位信息。
数字发射芯片具有发射角可调、指向性可调、声场均匀的特点,在获取相位信息前,需接收用户指定的指向性超声波声场的收音方位角,根据收音方位角计算每个发声像素单元相位信息。
步骤202:根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场。
指向性超声波声场可以为均匀锥面超声波或者区域扫描超声波,可调节指的是数字发声芯片发出的超声波的发射角可调,超声波指向的方向可调,超声波发射的范围可调,根据设置各发声像素单元的相位可以控制数字发声芯片发出均匀锥面超声波或发出区域扫描超声波,当发出的是均匀锥面超声波,可以通过调节各发声像素单元的相位值调节超声波的发射范围,当发出的是区域扫描超声波可以通过调节各发声像素单元的相位值可以控制数字发声芯片发出指向性的超声波的发射角的角度,通过调节发射角度可以调节超声波指向的方向。具体的,均匀锥面超声波可以结合图3进行说明,如图3所示数字发声芯片发出的均匀锥面超声波为扇形声波,在实际应用中可以根据需要调节均匀锥面超声波发出的范围,例如碰到障碍物时,可以缩小数字发声芯片发出的均匀锥面超声波的范围,这样既可以避免环境中由于障碍物产生的干扰,提高手势识别精度,也可以避免资源的浪费。当指向性超声波声场为区域扫描超声波时,相位信息可以包括第一相位信息和第二相位信息,第一相位信息为使数字发声芯片发出指向某一区域的超声波时各发声像素单元所需的相位信息,第二相位信息为数字发声芯片发射的指向性超声波的调节角度和发射顺序,根据相位信息中的第一相位信息控制数字发声芯片发出指向工作区域中的第一个监测区域的超声波;根据第二相位信息调节各发声像素单元的相位并控制数字发声芯片按照预设顺序发出指向下一监测区域的超声波直到发出的超声波遍历整个工作区域,完成一个扫描周期,从而形成区域扫描超声波。如图4所示,区域扫描超声波中,数字发声芯片发出的超声波汇聚到一个发射角度进行发射,通过调整发射角度使发出的超声波在指定区域内进行逐行扫描,实现发射区域扫描超声波,每个角度发射的超声波形成一个如图4所示的点阵即一个监测区域,按照预设方向以及发射角度进行超声波发射,从而在扫描区域形成监测点阵。发射角度调整幅度越小,监测点阵越密集,识别的手势类型精度越高。
步骤203:接收麦克风采集的手势超声信号。
手势超声信号是数字发声芯片发出指向性超声波声场后,指向性超声波声场发射至手部反射,麦克风采集得到的信号。
步骤204:对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;手势类型用于隔空操作设备。
手势特征可以为手部相对于麦克风的距离、手部的空间坐标、速度特征、时间差特征、手势投影点阵图等;手势类型可以为前推、后拉、向左滑动、向右滑动、静态手势,例如伸出一个手指、OK手势等。识别出的手势类型用于设备的隔空操作,能够识别出的手势越多,可以实现的功能也就越多。例如可以手机隔空截屏,隔空操作危险设备等。
手势识别的基本原理:经手部反射的手势超声信号的声压P可以由公式(1)表示,如公式(1)所示:
手势超声信号包含了幅值A、圆频率ω以及相位三部分信息。其中,通过计算发射超声波与接收手势超声信号的时间差以及相位差,可以计算出手部相对于麦克风的距离,在此基础上,由于数字发声芯片发出的指向性超声波声场形成均匀的声场,可以根据反射手势超声信号声波的能量计算手部相对麦克风的距离。具体的通过反射的手势超声信号的幅值计算被手部遮挡而反射的能量,进而估算被遮挡面积,从而得到手部相对于麦克风的距离。两种距离计算方式对照下,使距离的计算更为精准。另外,由于多普勒效应,手部的移动会造成反射手势超声信号的频率的升高或降低,反射手势超声信号的频率f'如公式(2)所示:
其中f为发出超声波的频率,c为声速,v为人手移动速度,根据反射手势超声信号频率以及发出超声波频率可以计算出手部的移动速度以及靠近或远离的运动趋势。
可选的,当指向性超声波声场为均匀锥面超声波时,基于数字发声芯片的手势识别系统中麦克风或数字发声芯片至少为两个;示例性的,麦克风为一个时,数字发声芯片的数量可以为两个、三个或四个等,数字发声芯片为一个时,麦克风的数量可以为两个、三个或四个等。当指向性超声波声场为区域扫描超声波时,基于数字发声芯片的手势识别系统中麦克风和数字发声芯片至少为一个,示例性的,麦克风和数字发声芯片均为一个。
作为一种可选的方式,基于数字发声芯片的手势识别系统中麦克风和数字发声芯片均为一个时,处理器根据相位信息控制数字发声芯片发出区域扫描超声波,可以实现静态手势识别,所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:
当数字发声芯片发出的区域扫描超声波扫描到某个监测点,麦克风接收到反射信号,则判定该监测点被遮挡,根据接收到的手势超声信号确定被遮挡的监测点;扫描一个周期完成后,根据各被遮挡的监测点绘制所有被遮挡的监测点,生成手势投影点阵图;根据所述手势投影点阵图识别当前手势类型。通过该方法可以实现更高精度的特定手势识别功能,例如可以识别“伸出两个手指”手势、“比心”手势等。
作为一种可选的方式,在基于数字发声芯片的手势识别系统中麦克风和数字发声芯片均为一个时,还可以进行动态手势识别,具体的,所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:对接收到的多个扫描周期对应的手势超声信号进行处理,得到多个扫描周期对应的手势投影点阵图;根据多个扫描周期对应的手势投影点阵图识别手势类型。根据此方法除识别静态的手势外还可以识别动态手势,例如手掌张开、手掌向左滑动等。
作为一种可选的方式,基于数字发声芯片的手势识别系统中麦克风为两个,数字发声芯片为一个时,两个麦克风可以水平设置形成阵列或者垂直设置形成阵列,麦克风平行于手势挥动的方向;处理器根据相位信息控制数字发声芯片发出均匀锥面超声波,当水平设置时可以实现水平运动的手势的识别,当麦克风垂直设置时可以实现垂直运动的手势的识别,所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;包括:
对每个麦克风采集的手势超声信号进行时频变换处理,得到两个麦克风对应的时频图;计算两个时频图中幅值变化对应时间的时间差特征;根据所述时间差特征识别手势类型。示例性的,当麦克风为水平设置时,从左往右依次为第一麦克风和第二麦克风,当第一麦克风对应的时频图的幅值变化的时间为1s,第二麦克风对应的时频图的幅值变化的时间为3s,则时间差为+2s,识别的手势类型为向右滑动;如果第一麦克风对应的时频图的幅值变化的时间为3s,第二麦克风对应的时频图的幅值变化的时间为1s,则时间差为-2s,识别的手势类型为向左滑动。当麦克风垂直设置时,从上往下为第三麦克风和第四麦克风,当第三麦克风对应的时频图的幅值变化的时间为1s,第四麦克风对应的时频图的幅值变化的时间为3s,则时间差为+2s,识别的手势类型为向下滑动;如果第三麦克风对应的时频图的幅值变化的时间为3s,第四麦克风对应的时频图的幅值变化的时间为1s,则时间差为-2s,识别的手势类型为向上滑动。
作为一种可选的方式,基于数字发声芯片的手势识别系统中麦克风的数量为四个,可以结合图5进行说明,数字发声芯片的数量为一个,四个麦克风中两个麦克风水平设置,另外两个麦克风垂直设置,围绕在数字发声芯片的四周,数字发声芯片发出的均匀锥面超声波通过手部反射,四个麦克风同时采集反射的手势超声信号,提取不同麦克风采集的手势超声信号的频率,根据不同频率的幅值变化的时间差,计算手部相对于数字发声芯片的速度,速度包括运动速度和运动方向,同时可以通过手部距各个麦克风的距离,计算手部在不同时刻的空间坐标,基于运动方向、运动速度以及手部的空间坐标可以识别出前推、后拉、水平滑动、向上滑动、向下滑动等手部整体运动的手势类型。
作为一种可选的方式,基于数字发声芯片的手势识别系统中麦克风的数量为三个,数字发声芯片的数量为一个,三个麦克可以位于同一水平面上,数字发声芯片发出的均匀锥面超声波通过手部反射,三个麦克风同时采集反射的手势超声信号,提取不同麦克风采集的手势超声信号与数字发声芯片发射超声波的时间差并计算手部相对于不同麦克风的距离;根据所述手势超声信号的频率确定手部相对于数字发声芯片的速度特征;速度特征包括运动速度和运动方向;根据手部相对于不同麦克风的距离确定手部的空间坐标;基于速度特征以及手部的空间坐标可以识别出前推、后拉、水平滑动等手部整体运动的手势类型。
作为一种可选的方式,在数字发声芯片发射均匀锥面超声波时,数字发声芯片的数量至少为两个,当基于数字发声芯片的手势识别系统中数字发声芯片为两个时,麦克风为一个,数字发声芯片设置在麦克风的两边级联成阵列;同样数字发声芯片可以为四个,麦克风为一个,以数字发声芯片为四个、麦克风为一个为例可以结合图6说明,如图6所示,麦克风设置在中间,数字发声芯片设置在所述麦克风的四周;不同数字发声芯片发出频率不同的超声波,超声波经过手部反射,麦克风采集反射四个数字发声芯片发出超声波的手势超声信号,处理器对接收的信号进行处理,具体的所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型包括:确定接收的手势超声信号的频率,根据频率确定发出频率超声波的目标数字发声芯片;提取不同目标数字发声芯片对应手势超声信号的频率;根据频率确定手部相对于数字发声芯片的速度特征;根据发出指向性超声波声场和接收手势超声信号的时间差确定手部相对于多个数字发声芯片的距离;根据距离和速度特征识别手势类型。速度特征为矢量包括运动的速度值和运动方向。
作为一种可选的方式,反射的手势超声信号的幅值随着距离的增加而衰减,可以设置阈值来排除指定距离之外的反射干扰。具体的在接收麦克风采集的手势超声信号之后,对接收到的手势超声信号的频谱能量进行提取,并判断所述频谱能量是否小于预设频谱能量阈值,若小于,则删除所述频谱能量对应的手势超声信号,进行下一手势超声信号的计算,若等于或大于,则对所述手势超声信号进行特征提取,得到手势特征。
基于同样的思路,本发明还提供一种基于数字发声芯片的手势识别装置。
如图7所示,所述装置可以包括:
相位信息获取模块701,用于获取数字发声芯片中每个发声像素单元的相位信息;
指向性超声波声场发出模块702,用于根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;
手势超声信号接收模块703,用于接收麦克风采集的手势超声信号,所述手势超声信号是所述指向性超声波声场发射至手部反射得到的信号;
特征提取模块704,用于对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;所述手势类型用于隔空操作设备。
可选的,所述指向性超声波声场为均匀锥面超声波或区域扫描超声波,当所述指向性超声波声场为均匀锥面超声波时,所述麦克风或所述数字发声芯片至少为两个;当所述指向性超声波声场为区域扫描超声波时,所述麦克风和所述数字发声芯片至少为一个。
可选的,当所述指向性超声波声场为区域扫描超声波时,所述指向性超声波声场发出模块702具体可以用于:
根据所述相位信息控制所述数字发声芯片发出指向工作区域中的第一个监测区域的超声波;
通过调节所述发声像素单元的相位控制所述数字发声芯片按照预设顺序发出指向下一监测区域的超声波直到发出的超声波遍历整个工作区域,完成一个扫描周期,形成区域扫描超声波。
可选的,所述麦克风和所述数字发声芯片至少为一个时,所述特征提取模块704具体可以用于:
根据接收到的手势超声信号确定被遮挡的监测点;
根据各被遮挡的监测点生成手势投影点阵图;
根据所述手势投影点阵图识别当前手势类型。
可选的,所述麦克风和所述数字发声芯片至少为一个时,所述特征提取模块704具体还可以用于:
对接收到的多个扫描周期的手势超声信号进行处理,得到多个扫描周期对应的手势投影点阵图;
根据多个扫描周期对应的手势投影点阵图识别手势类型。
可选的,所述麦克风包括四个麦克风时,所述数字发声芯片为一个;所述特征提取模块704具体还可以用于:
提取不同麦克风采集的手势超声信号与数字发声芯片发射超声波的时间差并计算手部相对于不同麦克风的距离;根据所述手势超声信号的频率确定手部相对于数字发声芯片的速度特征;
根据手部相对于不同麦克风的距离确定手部的空间坐标;
根据所述空间坐标和所述速度特征识别手势类型。
可选的,所述麦克风包括两个麦克风时,所述数字发声芯片为一个,两个所述麦克风水平设置,且所述麦克风平行于手势挥动的方向;所述特征提取模块704具体还可以用于:
对每个麦克风采集的手势超声信号进行时频变换处理,得到两个麦克风对应的时频图;
计算两个时频图中幅值变化对应时间的时间差特征;
根据所述时间差特征识别手势类型。
可选的,所述数字发声芯片发出的指向性超声波声场形成均匀的声场,根据反射手势超声信号的能量计算手部相对麦克风的距离。
可选的,所述装置还可以包括数据处理模块,所述数据处理模块具体可以用于:
将所述麦克风采集的手势超声信号按预设时间间隔分成若干帧;
对每帧数据进行短时傅里叶变换处理,并进行降噪处理,得到降噪后的信号;
对所述降噪后的信号的频谱能量进行提取,并判断所述频谱能量是否小于预设频谱能量阈值,若小于,则删除所述频谱能量对应的手势超声信号,进行下一手势超声信号的计算,若等于或大于,则对所述手势超声信号进行特征提取,得到手势特征;
将所述手势类型与手势库中存储的用于实现特定功能的控制信号进行匹配,得到所述手势类型对应的功能类型;
输出所述功能类型对应的所述控制信号。
上述一种基于数字发声芯片的手势识别装置,包括虚拟单元和虚拟功能模块,本装置是搭建在基于数字发声芯片的手势识别系统中使用的,同时本发明提供的基于数字发声芯片的手势识别装置与基于数字发声芯片的手势识别方法对应,作用于基于数字发声芯片的手势识别系统。
上述主要从各个模块之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是,为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
可选的,本发明中的计算机执行指令也可以称之为应用程序代码,本发明对此不作具体限定。
上述本发明揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing,DSP)、ASIC、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘(digital video disc,DVD);还可以是半导体介质,例如,固态硬盘(solid state drive,SSD)。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述,显而易见的,在不脱离本发明的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明,且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于数字发声芯片的手势识别方法,其特征在于,包括:
获取数字发声芯片中每个发声像素单元的相位信息;
根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;
接收麦克风采集的手势超声信号,所述手势超声信号是所述指向性超声波声场发射至手部反射得到的信号;
对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;所述手势类型用于隔空操作设备。
2.根据权利要求1所述基于数字发声芯片的手势识别方法,其特征在于,所述指向性超声波声场为均匀锥面超声波或区域扫描超声波,当所述指向性超声波声场为均匀锥面超声波时,所述麦克风或所述数字发声芯片至少为两个;当所述指向性超声波声场为区域扫描超声波时,所述麦克风和所述数字发声芯片至少为一个。
3.根据权利要求2所述基于数字发声芯片的手势识别方法,其特征在于,当所述指向性超声波声场为区域扫描超声波时,所述根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场,包括:
根据所述相位信息控制所述数字发声芯片发出指向工作区域中的第一个监测区域的超声波;
通过调节所述发声像素单元的相位控制所述数字发声芯片按照预设顺序发出指向下一监测区域的超声波直到发出的超声波遍历整个工作区域,完成一个扫描周期,形成区域扫描超声波。
4.根据权利要求2所述基于数字发声芯片的手势识别方法,其特征在于,所述麦克风和所述数字发声芯片至少为一个时,所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:
根据接收到的手势超声信号确定被遮挡的监测点;
根据各被遮挡的监测点生成手势投影点阵图;
根据所述手势投影点阵图识别当前手势类型。
5.根据权利要求2所述基于数字发声芯片的手势识别方法,其特征在于,所述麦克风和所述数字发声芯片至少为一个时,所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:
对接收到的多个扫描周期的手势超声信号进行处理,得到多个扫描周期对应的手势投影点阵图;
根据多个扫描周期对应的手势投影点阵图识别手势类型。
6.根据权利要求2所述基于数字发声芯片的手势识别方法,其特征在于,所述麦克风包括四个麦克风时,所述数字发声芯片为一个;所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:
提取不同麦克风采集的手势超声信号与数字发声芯片发射超声波的时间差并计算手部相对于不同麦克风的距离;根据所述手势超声信号的频率确定手部相对于数字发声芯片的速度特征;
根据手部相对于不同麦克风的距离确定手部的空间坐标;
根据所述空间坐标和所述速度特征识别手势类型。
7.根据权利要求2所述基于数字发声芯片的手势识别方法,其特征在于,所述麦克风包括两个麦克风时,所述数字发声芯片为一个,两个所述麦克风水平设置,且所述麦克风平行于手势挥动的方向;所述对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型,包括:
对每个麦克风采集的手势超声信号进行时频变换处理,得到两个麦克风对应的时频图;
计算两个时频图中幅值变化对应时间的时间差特征;
根据所述时间差特征识别手势类型。
8.根据权利要求1所述基于数字发声芯片的手势识别方法,其特征在于,所述数字发声芯片发出的指向性超声波声场形成均匀的声场,根据反射手势超声信号的能量计算手部相对麦克风的距离。
9.根据权利要求1所述基于数字发声芯片的手势识别方法,其特征在于,所述接收麦克风采集的手势超声信号之后还包括:
将所述麦克风采集的手势超声信号按预设时间间隔分成若干帧;
对每帧数据进行短时傅里叶变换处理,并进行降噪处理,得到降噪后的信号;
对所述降噪后的信号的频谱能量进行提取,并判断所述频谱能量是否小于预设频谱能量阈值,若小于,则删除所述频谱能量对应的手势超声信号,进行下一手势超声信号的计算,若等于或大于,则对所述手势超声信号进行特征提取,得到手势特征;
将所述手势类型与手势库中存储的用于实现特定功能的控制信号进行匹配,得到所述手势类型对应的功能类型;
输出所述功能类型对应的所述控制信号。
10.一种基于数字发声芯片的手势识别装置,其特征在于,包括:
相位信息获取模块,用于获取数字发声芯片中每个发声像素单元的相位信息;
指向性超声波声场发出模块,用于根据所述相位信息控制所述数字发声芯片的发声像素单元发出不同相位的脉冲声波,并将不同相位的脉冲声波叠加重构形成可调节的指向性超声波声场;
手势超声信号接收模块,用于接收麦克风采集的手势超声信号,所述手势超声信号是所述指向性超声波声场发射至手部反射得到的信号;
特征提取模块,用于对所述手势超声信号进行特征提取,得到手势特征,根据所述手势特征识别手势类型;所述手势类型用于隔空操作设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310600687.1A CN116719407A (zh) | 2023-05-25 | 2023-05-25 | 一种基于数字发声芯片的手势识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310600687.1A CN116719407A (zh) | 2023-05-25 | 2023-05-25 | 一种基于数字发声芯片的手势识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116719407A true CN116719407A (zh) | 2023-09-08 |
Family
ID=87874362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310600687.1A Pending CN116719407A (zh) | 2023-05-25 | 2023-05-25 | 一种基于数字发声芯片的手势识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116719407A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117354680A (zh) * | 2023-11-08 | 2024-01-05 | 北京逸和软件科技有限公司 | 一种基于数字发声芯片的声音定向方法、系统及终端 |
-
2023
- 2023-05-25 CN CN202310600687.1A patent/CN116719407A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117354680A (zh) * | 2023-11-08 | 2024-01-05 | 北京逸和软件科技有限公司 | 一种基于数字发声芯片的声音定向方法、系统及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9098116B2 (en) | Object and movement detection | |
US20200075012A1 (en) | Methods, apparatuses, systems, devices, and computer-readable storage media for processing speech signals | |
JP5710792B2 (ja) | 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体 | |
Tan et al. | A real-time high resolution passive WiFi Doppler-radar and its applications | |
KR101797804B1 (ko) | 사운드 필드의 제스처 조종을 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들 | |
JP4266659B2 (ja) | スペクトル・ドプラ・イメージングの自動制御のための方法及び装置 | |
JP2021535406A (ja) | 光検出および測距システムにおいて光学的クロストークを軽減するシステムおよび方法 | |
CN110799927A (zh) | 一种手势识别方法及终端、存储介质 | |
US20120243374A1 (en) | Acoustic motion determination | |
US11249719B2 (en) | Audio playback control method of mobile terminal, and wireless earphone | |
Wang et al. | {MAVL}: Multiresolution analysis of voice localization | |
CN110515085B (zh) | 超声波处理方法、装置、电子设备及计算机可读介质 | |
CN116719407A (zh) | 一种基于数字发声芯片的手势识别方法及装置 | |
CN113918004B (zh) | 手势识别方法及其装置、介质和系统 | |
US11467254B2 (en) | Method and apparatus of radar-based activity detection | |
CN112859000A (zh) | 一种声源定位方法以及装置 | |
WO2016078486A1 (en) | Method and apparatus for obtaining vibration information and user equipment | |
KR101627821B1 (ko) | 가상음원 기반 초음파 집속방법 및 이를 이용한 초음파 장치 | |
Ibrahim et al. | Low complexity multi-directional in-air ultrasonic gesture recognition using a TCN | |
US20180003818A1 (en) | Method and apparatus for space status detection based on acoustic chirp signals | |
JP6963996B2 (ja) | 制御装置、バイタル検出方法、プログラム、およびバイタル検出装置 | |
CN111103807A (zh) | 一种家用终端设备的控制方法及装置 | |
CN110610706A (zh) | 声音信号采集方法、装置、电器设备控制方法及电器设备 | |
JP2022001864A (ja) | 移動オブジェクトを検出する方法、装置及び電子機器 | |
JP6924694B2 (ja) | 制御装置、バイタル検出方法、プログラム、およびバイタル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |