CN109885162B - 振动方法及移动终端 - Google Patents

振动方法及移动终端 Download PDF

Info

Publication number
CN109885162B
CN109885162B CN201910101436.2A CN201910101436A CN109885162B CN 109885162 B CN109885162 B CN 109885162B CN 201910101436 A CN201910101436 A CN 201910101436A CN 109885162 B CN109885162 B CN 109885162B
Authority
CN
China
Prior art keywords
sound source
audio
determining
audio data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910101436.2A
Other languages
English (en)
Other versions
CN109885162A (zh
Inventor
王汝军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201910101436.2A priority Critical patent/CN109885162B/zh
Publication of CN109885162A publication Critical patent/CN109885162A/zh
Application granted granted Critical
Publication of CN109885162B publication Critical patent/CN109885162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

本发明提供了一种振动方法及终端,涉及数据处理技术领域。其中,所述方法包括:获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。

Description

振动方法及移动终端
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种振动方法及终端。
背景技术
立体声具有各个声源的方位感,能够提高声音的清晰度和可懂度,因此应用广泛。
目前,许多终端能够提供立体声,为了进一步增强声音的体验,通常会在播放立体声的同时,增加振动。
但发明人在研究上述现有技术的过程中发现,上述现有技术方案存在如下缺点:振动对立体声的反馈程度低。
发明内容
本发明提供一种振动方法及终端,以解决振动对立体声反馈程度低的问题。
第一方面,本发明实施例提供了一种振动方法,应用于移动终端,所述移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,所述方法包括:
获取立体声音频数据;
从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。
第二方面,本发明实施例还提供了一种振动装置,应用于移动终端,所述移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,所述装置包括:
立体声音频数据获取模块,用于获取立体声音频数据;
声源参数确定模块,用于从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
振动模块,用于控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。
第三方面,本发明实施例还提供了一种移动终端,该移动终端包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明所述的振动方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现本发明所述的振动方法的步骤。
在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。
附图说明
图1示出了本发明实施例提供的一种振动方法的流程图;
图2示出了本发明实施例提供的一种移动终端的结构示意图;
图3示出了本发明实施例提供的另一种振动方法的流程图;
图4示出了本发明实施例提供的又一种振动方法的流程图;
图5示出了根据本发明实施例提供的一种振动装置的结构框图;
图6示出了根据本发明实施例提供的另一种振动装置的结构框图;
图7示出了本发明实施例提供的移动终端的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参照图1,示出了本发明实施例提供的一种振动方法的流程图,该振动方法应用于移动终端中,该终端可以包括:至少两个振动马达,至少两个振动马达分布在该移动终端的不同位置。在本发明实施例中,上述振动马达的数量、设置位置等,对此不作具体限定。
在本发明实施例中,上述振动马达可以为线性振动马达、柱状振动马达等。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可选的,参照图2所示,图2示出了本发明实施例提供的一种移动终端的结构示意图,所述移动终端可以包括:四个线性振动马达,所述四个线性振动马达分别相对第一中线以及第二中线对称设置;所述第一中线为所述移动终端的一对第一侧边的中线,所述第二中线为所述移动终端的一对第二侧边的中线。在实际应用中,该四个线性马达可以分布于移动终端靠近四个顶点的位置。
具体的,参照图2所示,移动终端可以包括一对第一侧边11和12,一对第二侧边13和14,该侧边可以为移动终端的边沿,一对第一侧边11和 12的第一中线可以为图2中位于第一侧边11和12之间,且平行于第一侧边 11或12的虚线,一对第二侧边13和14的第二中线可以为图2中位于第二侧边13和14中间,且平行于第二侧边13或14的虚线。移动终端可以包括:四个线性振动马达,四个线性振动马达分布在移动终端的四个不同位置,左前方的线性振动马达1、右前方的线性振动马达2、左后方的线性振动马达3 和右后方的线性振动马达4,其中,左前方的线性振动马达1、右前方的线性振动马达2、左后方的线性振动马达3和右后方的线性振动马达4,可以关于第一侧边11和12的第一中线以及第二侧边13和14的第二中线对称,进而上述四个线性马达能够响应四个方位的振动,该线性振动马达能够实现更为准确的振动,能够加强立体声音频数据的振动效果,可以提高对立体声音频数据的反馈程度。在本发明实施例中,对此不作具体限定。
当然,实际应用中,还可以设置更多的线性马达,该线性马达可以绕着移动终端边沿均匀分布设置,在本发明实施例中,对此不作具体限定。
该方法具体可以包括如下步骤:
步骤101,获取立体声音频数据。
在本发明实施例中,该立体声音频数据可以为:移动终端上的某些应用,在运行过程中的立体声音频数据等,或者,可以为移动终端接收或录制的立体声音频数据等。在本发明实施例中,对此不作具体限定。
例如,该立体声音频数据可以为移动终端上游戏应用运行过程中的立体声音频数据。
在本发明实施例中,该移动终端可以通过音频数据的获取接口等,获取上述立体音频数据。本发明实施例中,对此不做具体限制。
步骤102,从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数。
在本发明实施例中,目标声源可以为某一类型的声源,或该目标声源可以为某一类特定发声体。该目标声源可以根据实际的需要进行设定。在本发明实施例中,对此不作具体限定。例如,在某一游戏应用中,该目标声源可以为枪。
在本发明实施例中,可以从上述立体声音频数据中获取能够表征声源类别的第二音频特征,根据上述第二音频特征,确定该立体声音频数据的中的目标声源,该第二音频特征可以包括梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)等。在本发明实施例中,对此不作具体限定。
在本发明实施例中,该声源参数可以包括声源方位和声学参数,该声源方位为声源的发声方位等;该声学参数与振动参数对应,用于生成振动参数,声学参数可以包括声源持续时长、声源响度等。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可以从上述立体声音频数据提取能够表征各个声源的声源参数的音频特征,根据该音频特征,确定音频特征,确定各个声源的声源参数。该音频特征可以为该立体声音频数据中各个声源在不同声道对应的振幅、频谱、共振峰、基频、信噪比等,通过各个声源在不同声道对应的振幅、频谱、共振峰、基频、信噪比等,先确定出各个声源的方位,然后可以从上述各个声源中识别出目标声源,从上述各个声源的方位中,选择出目标声源的方位。
例如,若立体声音频数据由左声道音频数据和右声道音频数据组成,则可以通过各个声源在左声道音频数据中的振幅、频谱、共振峰、基频、信噪比等音频特征,对上述各个音频特征设定一定的权重,确定各个声源在左声道音频数据中的权重和,同样的,确定各个声源在右声道音频数据中的权重和,比较各个声源在左声道和右声道的权重和的大小,同一声源在那个声道的权重和大,则可以将该声源的声源方位确定为该声道对应的方位。如,声源1在左声道的上述权重和大于声源1在右声道的上述权重和,则该声源1 所处的方位可能距离左声道较近,则可以将声源1的声源方位确定为左声道对应的左侧位置。将各个声源的方位确定后,从上述各个声源中,通过上述第二音频特征,识别出目标声源,从各个声源的方位中,选择目标声源的声源方位即可。例如,若确定出上述目标声源中包括的声源1的声源方位为左侧位置、声源2的声源方位为右侧位置,声源3的声源方位为左侧声道和右侧声道对应的中线位置,若从上述3个声源中,识别出目标声源若为声源1,声源1的声源方位左侧位置即为目标声源的声源方位。
在本发明实施例中,还可以只确定出该立体声音频数据各个声源的整体方位,根据该立体声音频数据中各个声源的预设属性等,进一步确定目标声源的声源方位。例如,若立体声音频数据由左声道音频数据和右声道音频数据组成,若该立体声音频数据中,若预设属性为目标声源的第一音频特征均为最大,该立体声音频数据中,各个声源中目标声源的上述第一音频特征的权重和为最大,则可以获取左声道音频数据整体的振幅、频谱、共振峰、基频、信噪比等音频特征,获取右声道音频数据整体的振幅、频谱、共振峰、基频、信噪比等音频特征,比较左右声道的音频数据中,权重和最大的声道,然后从权重和最大的声道对应的音频数据中提取能够表征声源类别的第二音频特征,判断上述权重和最大的声道对应的音频数据中是否包括该目标声源,若包括,可以认为该目标声源的声源方位即为该权重和最大的声道对应的位置,进而可以从一定程度上减少运算量,进而可以提升确定目标声源参数的效率。
例如,若立体声音频数据由左声道音频数据和右声道音频数据组成,若该立体声音频数据中,若预设属性为目标声源:枪的第一音频特征均为最大,获取左声道音频数据整体的振幅、频谱、共振峰、基频、信噪比等音频特征对应的权重和,大于右声道音频数据整体的振幅、频谱、共振峰、基频、信噪比等音频特征对应的权重和,则可以获取左声道音频数据能够表征声源类别的第二音频特征,若判断出左声道音频数据中包括了该目标声源:枪,则可以将目标声源:枪的声源方位确定为左声道对应的左侧,可以将左声道音频数据对应的声学参数确定为目标声源:枪的声学参数,进而可以从一定程度上减少运算量,进而可以提升确定目标声源参数的效率。
步骤103,控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。
在本发明实施例中,在确定出目标声源的声源方位和声学参数后,可以确定声学参数对应的振动参数,可以控制与该声源方位对应的振动马达,按照上述声学参数对应的振动参数进行振动。该声学参数对应的振动参数可以包括:振动强度、振动时长等。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可以提前设定声学参数与振动参数的对应关系,根据上述对应关系,确定该声学参数对应的振动参数。例如,振动时长可以与目标声源的持续时长相同,该振动强度可以与目标声源的响度相对应。如,目标声源的响度为大于0小于等于10宋,对应的振动强度可以为1级,目标声源的响度为大于10小于等于20宋,对应的振动强度可以为2级等。
例如,针对上述例子,若确定出目标声源枪的声源方位为左声道对应的左侧,则可以控制设置在移动终端左侧位置的振动马达,根据上述目标声源枪的声学参数对应的振动参数进行振动。
在本发明实施例中,可选的,在移动终端的振动马达的布设位置比目标声源的方位更具体的情况下,则与声源方位对应的振动马达可以为多个,此种情况下,可以驱动该目标声源方位对应的多个振动马达,按照上述目标声学参数对应的振动参数进行振动。在本发明实施例中对此不作具体限定。
例如,针对上述例子,若确定出目标声源枪的声源方位为左侧,参照图 2所示,该移动终端在左侧布设了2个振动马达,分别为左前方的振动马达 1和左后方的振动马达2,则可以驱动上述左前方的振动马达1和左后方的振动马达2,同时根据上述目标声学参数对应的振动参数进行振动,增强振动效果。进而可以提升娱乐效果。
在本发明实施例中,可选的,上述振动马达可以设置有控制模块等,可以通过上述控制模块等,即,可以将上述声源方位和声学参数对应的振动参数等送入上述控制模块,进而由该控制模块控制与声源方位对应的振动马达,按照该振动参数进行振动。在本发明实施例中,对此不作具体限定。
在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。
实施例二
参照图3,示出了本发明实施例提供的另一种振动方法的流程图,该振动方法同样应用于移动终端,该移动终端包括:至少两个振动马达,关于该终端的描述,可以参照上述记载,此处不再赘述。该方法具体可以包括如下步骤:
步骤201,获取立体声音频数据。
在本发明实施例中,步骤201可以参照上述步骤101,为了避免重复,此处不再赘述。
步骤202,基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源。
在本发明实施例中,可以基于立体声音频数据的频谱特征,从上述立体声音频数据中识别出第一声源,该第一声源可以为该立体声音频数据所包括的所有声源。
具体的,立体声音频数据的频谱特征可以包括:立体声音频数据的频率、信号强度等,可以根据立体声音频数据中,不同的频率、信号强度等,对应的声源可能不同,将该立体声音频数据分离为多个子音频数据。例如,可以获取该立体声音频数据的频率、信号强度等,通过语音增强等途径,将上述立体声音频数据分离为:多个声源的子音频数据,该立体声音频数据所包括的各个子音频数据对应的声源即可以为上述第一声源。在本发明实施例中,对此不作具体限定。
在实际应用中,可以预设一个用于识别声源的声源识别模型,可以利用大量立体声音频样本,提取每个样本的频谱特征,然后训练机器学习模型,得到上述声源识别模型,然后对于当前待识别的立体声音频数据,从中提取频谱特征,将该频谱特征输入该声源识别模型,即可识别出第一声源。
例如,若立体声音频数据中包括3个第一声源,则通过上述处理可以从该立体声音频数据中识别出3个第一声源。
在本发明实施例中,该立体声音频数据可以由多个声道对应的音频数据组成,可以将各个声道对应的音频数据分离为多个子音频数据。从各个声道对应的多个子音频数据中,通过上述处理,识别出各个声道对应的音频数据中包括的各个第一声源。在本发明实施例中,对此不作具体限定。
例如,若立体声音频数据中包括3个第一声源,该立体声音频数据由左声道音频数据和右声道音频数据组成,则通过上述处理,可以从左声道对应的音频数据中识别出3个第一声源,从右声道对应的音频数据中识别出3个第一声源。
在本发明实施例中,可选的,在基于上述立体声音频数据的频谱特征,从上述立体声音频数据中识别出第一声源之前,可以对上述立体声音频数据进行预处理,上述预处理可以包括:自动增益补偿、背景噪声抑制、回声消除等,进而可以提升后续处理的准确性。在本发明实施例中,对此不作具体限定。
步骤203,获取所述第一声源对应的第一音频特征;所述第一音频特征为表征所述声源参数的特征。
在本发明实施例中,可以获取上述第一声源对应的第一音频特征,该第一音频特征可以为能够表征声源参数的特征,该第一音频特征可以包括:振幅、频谱、共振峰、基频中的至少一种。该第一音频特征还可以包括信噪比等。在本发明实施例中,对此不作具体限定。
具体的,可以将各个声道对应的音频数据分离为各个第一声源对应的子音频数据。从各个声道对应的多个子音频数据中,获取各个第一声源对应的第一音频特征。在本发明实施例中,对此不作具体限定。
例如,若立体声音频数据中包括3个第一声源,该立体声音频数据由左声道音频数据和右声道音频数据组成,可以将左声道音频数据分离为3个第一声源对应的3个子音频数据,将右声道音频数据分离为3个第一声源对应的3个子音频数据,从左声道音频数据对应的3个子音频数据中,获取3个第一声源对应的第一音频特征,从右声道音频数据对应的3个子音频数据中,获取3个第一声源对应的第一音频特征。
步骤204,根据所述第一音频特征,确定声源参数。
在本发明实施例中,可以针对同一第一声源,不同声道对应的第一音频特征进行计算,确定声源参数。
具体的,在声源参数为声源方位的情况下,可以确定出同一第一声源,在不同声道对应的第一音频特征的总和,针对同一第一声源,从不同声道中,选取出第一音频特征的总和最大的一个声道,将该声道对应的方位,确定为该第一声源的方位,以此类推,确定出各个第一声源的声源方位。
在确定出第一声源的声源方位后,针对该第一声源,可以从该声源方位对应声道的子音频数据中,提取该声道对应的子音频数据的信噪比、以及振幅、频谱、共振峰、基频中的至少一种,进而确定该第一声源的距离参数,进而根据该距离参数,确定该第一声源的声源响度。该距离参数可以为该第一声源的子音频数据,相对该移动终端的某个参照点的发声强弱的值。例如,可以将该移动终端的中心确定为该参照点,则该第一声源的距离参数可以为第一声源的子音频数据,相对该移动终端的中心发声强弱的值。根据该第一声源的距离参数,确定该第一声源的声源响度。
例如,若该立体声音频数据由左声道音频数据和右声道音频数据组成,若针对第一声源1,左声道对应的第一音频特征的总和,大于右声道对应的第一音频特征的总和,则可以将该第一声源1的声源方位确定为左声道所指示方位,若左声道所指示的方位为该移动终端中心的靠左侧,则该第一声源 1的声源方位可以为该移动终端中心左侧。可以从左声道音频数据中第一声源1对应的子音频数据中,提取信噪比、以及振幅、频谱、共振峰、基频中的至少一种,进而确定该第一声源1的距离参数,该第一声源1的距离参数可以为第一声源1的音频数据,相对该移动终端的中心发声强弱的值,该第一声源1的距离参数越大,可以表征该第一声源1的音频数据,相对该移动终端的中心发声越强,该第一声源1的距离参数越小,可以表征该第一声源 1的音频数据,相对该移动终端的中心发声越弱,则该第一声源1的音频数据,相对该移动终端的中心发声越强,可以将第一声源1的声源响度确定为越大,该第一声源1的音频数据,相对该移动终端的中心发声越弱,可以将第一声源1的声源响度确定为越小,使得振动的强度能够充分反映该第一声源1的音频数据,相对该移动终端的中心发声强弱。
在本发明实施例中,可选的,可以提前设置距离参数与声源响度的对应关系,在确定出上述距离参数后,可以根据该距离参数与声源响度的对应关系,确定出声源响度。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可以基于第一声源的子音频数据的振幅,确定声源持续时长,例如,可以基于该第一声源,声源方位对应声道的子音频数据的时域表示,确定第一声源的声源持续时长。该时域表示可以为该第一声源,声源方位对应声道的子音频数据的振幅与时长的对应关系,可以将第一声源,声源方位对应声道的子音频数据的时域表示中,振幅超过预设振幅的时长确定为该第一声源的声源持续时长。该预设振幅可以根据实际需要进行设定。
例如,若该立体声音频数据由左声道音频数据和右声道音频数据组成,若针对第一声源1,左声道对应的第一音频特征的总和,大于右声道对应的第一音频特征的总和,可以从左声道音频数据中第一声源1对应的子音频数据的时域表示中,振幅超过预设振幅的时长若为20s,则该立体声音频数据中,该第一声源1的声源持续时长可以为20s。
在本发明实施例中,可选的,在所述声源参数包括声源方位的情况下,所述第一音频特征包括不同声道的能量特征;所述能量特征包括:振幅、频谱、共振峰、基频中的至少一种;所述根据所述第一音频特征,确定声源参数,包括:根据不同声道的能量特征,确定所述声源方位;在所述声源参数包括声学参数的情况下,所述第一音频特征包括所述能量特征和信噪比,所述根据所述第一音频特征,确定声源参数,包括:根据所述能量特征和信噪比,确定所述声源的距离参数;根据所述距离参数,确定声源响度;和/或,根据所述振幅,确定所述声源持续时长。
具体的,在声源参数包括声源方位的情况下,上述第一音频特征可以包括不同声道的能量特征,该能量特征可以包括:振幅、频谱、共振峰、基频中的至少一种,可以根据不同声道的能量特征,确定某一第一声源的声源方位。即,在声源参数包括声源方位的情况下,可以将该立体声音频数据中,各个第一声源在不同声道的能量特征,根据同一声源在不同声道的能量特征,确定该第一声源的声源方位。可以将,同一声源在不同声道中,能量特征最大的声道对应的方位,确定该第一声源的声源方位。
例如,若该立体声音频数据由左声道音频数据和右声道音频数据组成,若针对第一声源1,从左声道对应的音频数据中,提取上述能量特征,从右声道对应的音频数据中,提取上述能量特征,若左声道对应的能量特征,大于右声道对应的能量特征,或左声道对应的能量特征加权和大于右声道对应的能量特征加权和,则可以将该第一声源1的声源方位确定为左声道所指示方位,若左声道所指示的方位为该移动终端中心的靠左侧,则该第一声源1 的声源方位可以为该移动终端中心左侧。
具体的,在声源参数包括声学参数的情况下,第一音频特征可以包括上述能量特征和信噪比,可以根据上述能量特征和信噪比,确定上述声源的距离参数,根据该距离参数,确定声源响度。该第一声源的距离参数可以为第一声源的子音频数据,相对该移动终端的参照位置发声强弱的值,该第一声源的距离参数越大,可以表征该第一声源的子音频数据,相对该移动终端的参照位置发声越强,该第一声源的距离参数越小,可以表征该第一声源的子音频数据,相对该移动终端的参照位置发声越弱。该第一声源的子音频数据可以为该第一声源能量特征最大的声道的音频数据中,该第一声源的子音频数据。在本发明实施例中,对此不作具体限定。
例如,若该立体声音频数据由左声道音频数据和右声道音频数据组成,若针对第一声源1,左声道对应的能量特征,大于右声道对应的能量特征,可以从左声道对应的音频数据中第一声源1对应的子音频数据中,提取信噪比、以及振幅、频谱、共振峰、基频中的至少一种,进而确定该第一声源1 的距离参数,若距离参数为相对该移动终端的参照位置发声较弱,若预设的距离参数与声源响度的对应关系中:较弱对应的声源响度为2级声源响度,则确定的该立体声音频数据中,该第一声源1的声源响度即可以为2级声源响度。
在本发明实施例中,还可以根据上述振幅,确定声源持续时长。具体的,可以根据第一声源的子音频数据的振幅,确定声源持续时长。该第一声源的子音频数据可以为该第一声源能量特征最大的声道的音频数据中,该第一声源的子音频数据。在本发明实施例中,对此不作具体限定。
例如,若该立体声音频数据由左声道音频数据和右声道音频数据组成,若针对第一声源1,左声道对应的能量特征,大于右声道对应的能量特征,可以从左声道对应的音频数据中第一声源1对应的子音频数据中,提取振幅,将振幅超过预设振幅的时长,确定为声源持续时长。若左声道对应的音频数据中,第一声源1对应的子音频数据中,振幅超过预设振幅的时长若为20s,则该立体声音频数据中,该第一声源1的声源持续时长可以为20s。
在本发明实施例中,还可以只确定第一声源的声源响度,不确定第一声源的声源持续时长,进而也不确定振动时长,将振动时长设置为固定的振动时长,或者,可以只确定第一声源的声源持续时长,不确定第一声源的声源响度,进而也不确定振动强度,将振动强度设置为固定的振动强度,以减少运算量,且能达到较好的振动效果。在本发明实施例中,对此不作具体限定。
步骤205,在所述声源参数中的声源方位与预设方位匹配的情况下,获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征。
在本发明实施例中,该预设方位可以为某些场景下,用户所关注的方位等,该预设方位可以根据实际需要进行设定。比如,针对不同的游戏场景,可以设置不同的预设方位,例如,在游戏A中,用户只需关注在其游戏A 中前后两个方位是否存在目标声源,就有助于用户玩好游戏A,则该预设方位可以为用户在游戏A中前后两个方位所对应的方位。若用户在游戏A中前后两个方位所对应的方位,分别对应该移动终端中心的靠前侧和靠右侧,则该预设方位可以为该移动终端中心的靠前侧和靠后侧。
再例如,在游戏B中,用户需要关注在其游戏B中前后左右四个方位是否存在目标声源,就有助于用户玩好游戏B,则该预设方位可以为用户在游戏B中前后左右四个方位对应的方位。若用户在游戏B中前后左右四个方位所对应的方位,分别为该移动终端中心的靠前侧、靠后侧、靠左侧、靠右侧,则该预设方位可以为该移动终端中心的靠前侧、靠后侧、靠左侧、靠右侧。
在本发明实施例中,在上述声源参数中的声源方位与预设方位匹配的情况下,可以获取第一声源的子音频数据的第二音频特征,该第二音频特征可以为表征该声源类别的特征。例如,该第二音频特征可以包括MFCC等。
例如,针对上述例子,若在游戏A中,用户只需关注在其游戏A中前后两个方位,就有助于用户玩好游戏A,若用户在游戏A中前后两个方位所对应的方位,分别为该移动终端中心的靠前侧和靠右侧,则该预设方位可以为该移动终端中心的靠前侧和靠后侧。若上述各个第一声源的声源参数中,存在位于该移动终端中心的靠前侧或靠后侧的第一声源,可以认为上述各个第一声源的声源方位与预设方位匹配。
具体的,该第一声源的子音频数据可以为该第一声源能量特征最大的声道的音频数据中,该第一声源的子音频数据。在本发明实施例中,对此不作具体限定。从该第一声源的子音频数据中,提取上述第二音频特征。该第二音频特征的提取可以通过特征提取器等进行,可以提前训练该特征提取器,具体的,可以获取音频数据样本,对该音频数据样本中的上述第二音频特征进行标注,将该音频数据样本输入至该特征提取器,基于标注后的音频数据样本,调整该特征提取器的相关参数,直至由该特征提取器提取的该音频数据样本的第二音频特征与标注的第二音频特征的相似程度达到预设相似程度的情况下,训练得到该特征提取器。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可选的,在上述声源参数的声源方位与预设方位匹配的情况下,可以获取该预设方位的第一声源的第二音频特征,进而可以避免获取其它用户无需关注方位的第一声源的第二音频特征,可以从很大程度上提升确定目标声源及目标声源的声源参数的效率。
例如,针对上述例子,若在游戏A中,用户只需关注在其游戏A中前后两个方位,若用户在游戏A中前后两个方位所对应的方位,分别为该移动终端中心的靠前侧和靠后侧,则该预设方位可以为该移动终端中心的靠前侧和靠后侧。若上述各个第一声源的声源参数中,存在位于该移动终端中心的靠前侧或靠后侧的第一声源,可以认为上述各个第一声源的声源方位与预设方位匹配。可以只获取该第一声源中,声源方位为该移动终端中心的靠前侧或靠后侧的第一声源的第二音频特征,而无需获取声源方位为该移动终端中心的靠前侧、靠后侧之外的其它方位的第一声源的第二音频特征,进而可以从很大程度上提升确定目标声源及目标声源的声源参数的效率。
步骤206,利用立体声音频样本数据对初始机器学习模型进行训练,获得所述音频识别模型。
在本发明实施例中,可以利用立体声音频样本数据对初始机器学习模型进行训练,获得音频识别模型。该音频识别模型可以与其要识别的声源具有对应关系,例如,若目标声源为枪,则该音频识别模型可以为针对枪的音频谁别模型。
在本发明实施例中,可以获取立体声音频样本数据,提取出立体声音频样本数据中的第二音频特征等,对上述立体声音频样本数据进行标注,标注出该立体声音频样本数据中的目标声源,将上述立体声音频样本数据的第二音频特征等输入至该初始机器学习模型,调整该初始机器学习模型的有关参数,直至该初始机器学习模型对该立体声音频样本数据中目标声源的识别,与该立体声音频样本数据中标注的目标声源,一致性达到预设一致性的情况下,得到该音频识别模型。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可选的,该初始机器学习模型可以包括:高斯混合模型,支持向量机模型,主成分分析模型、卷积神经网络模型、循环神经网络模型等。在本发明实施例中,对此不作具体限定。
步骤207,根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别。
在本发明实施例中,可以根据上述各个第一声源的第二音频特征,利用预设的音频识别模型,确定各个第一声源的声源类别。
具体的,可以根据各个第一声源包括MFCC等的第二音频特征,输入至预设的音频识别模型,进而由该预设的音频识别模型确定出各个第一声源的声源类别。例如,若该预设的音频设备模型为针对目标声源枪的音频识别模型,则该预设的音频设备模型可以识别出各个第一声源是否为目标声源枪。
例如,针对上述例子,若立体声音频数据包括第一声源1、第二声源2、第三声源3,若通过上述预设的音频设备模型,识别得到上述第一声源1为目标声源枪,第一声源2和第一声源3均不为目标声源枪。
步骤208,在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源。
在本发明实施例中,可以在声源类别为预设类别的情况下,确定该第一声源为目标声源。该预设类别可以根据实际情况确定,在本发明实施例中,对此不作具体限定。
例如,针对上述例子,若预设类别为枪,若立体声音频数据包括第一声源1、第二声源2、第三声源3,若通过上述预设的音频设备模型,识别得到上述第一声源1为目标声源枪,第一声源2和第一声源3均不为目标声源枪,则第一声源1可以为目标声源。
步骤209,从所述声源参数中,选择所述目标声源的声源参数。
在本发明实施例中,从立体声音频数据中,确定出目标声源之后,可以从上述声源参数中,选择出目标声源的声源参数。
针对上述例子,若立体声音频数据包括第一声源1、第二声源2、第三声源3,若目标声源为第一声源1,从上述第一声源1、第二声源2、第三声源3对应的声源参数中,选择出目标声源:第一声源1的声源参数。
在本发明实施例中,各个第一声源对应的声源参数识别的运算量相对较小,确定各个第一声源的声源类型运算量相对较大,在某些应用场景下,用户可能只关心某些声源方位目标声源的声学参数,先确定各个第一声源的声源参数,如果上述各个第一声源的声源参数中,均不存在用户所关心的声源方位,说明,用户关心的方位上也不存在目标声源,则可以无需进行后续的声源类别确定步骤,进而可以减小一定的运算量。
例如,在游戏A中,可能用户只关心其在游戏A中前后方向上,是否存在枪声,进而有利于击毙对手,若各个第一声源的声源参数中,均不存在游戏A中前后方向上的声源方位,则说明用户所关心的目标声源:枪也不在游戏A中前后方向上,则可以不用做后续的声源类别确定操作,进而可以减小一定的运算量,可以提升确定目标声源及目标声源的声源参数的效率。
步骤210,控制与所述声源方位对应的振动马达,按照所述声源响度和/ 或所述声源持续时长对应的振动参数进行振动。
在本发明实施例中,可以控制与声源方位对应的振动马达,按照上述声源响度和/或上述声源持续时长对应的振动参数进行振动。
具体的,可以控制控制与声源方位对应的振动马达,按照上述声源响度对应的振动强度和固定的振动时长进行振动。或者,可以控制控制与声源方位对应的振动马达,按照上述声源持续时长对应的振动时长和固定的振动强度进行振动。或者,可以控制控制与声源方位对应的振动马达,按照上述声源响度对应的振动强度和上述声源持续时长对应的振动时长进行振动。
例如,若确定出目标声源枪的声源方位为左侧,若确定的目标声源枪的声源响度15宋,若声源响度15宋对应的振动强度为2级,可以控制控制与声源方位对应的振动马达,即,布设在移动终端左侧的振动马达,按照上述振动强度2级和固定的振动时长进行振动。
再例如,若确定出目标声源枪的声源方位为左侧,若确定的目标声源枪的声源持续时长为20s,可以控制控制与声源方位对应的振动马达,即,布设在移动终端左侧的振动马达,按照声源持续时长对应的振动时长20s,和固定的振动强度进行振动。
再例如,若确定出目标声源枪的声源方位为左侧,若确定的目标声源枪的声源持续时长为20s,若确定出目标声源枪的声源响度为15宋,若声源持续时长20s对应的振动时长为20s,声源响度15宋对应的振动强度为2级,可以控制控制与声源方位对应的振动马达,即,布设在移动终端左侧的振动马达,按照上述振动强度:2级,振动时长20s进行振动。
在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。
在本发明实施例中,参照图4所示,图4示出了本发明实施例提供的又一种振动方法的流程图,该终端可以包括:至少两个振动马达,至少两个振动马达分布在该移动终端的不同位置。在本发明实施例中,对此不作具体限定。关于该移动终端中振动马达的布设等,可以参照上述实施例的基础,此处不再赘述。该方法可以包括:
步骤301,获取立体声音频数据。
步骤302,基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源。
在本发明实施例中,该步骤301-302可以分别参照上述步骤201-202,为了避免重复,此处不再赘述。
步骤303,获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征。
步骤304,利用立体声音频样本数据对初始机器学习模型进行训练,获得所述音频识别模型。
在本发明实施例中,该步骤303-304可以参照上述步骤205-206,为了避免重复,此处不再赘述。
步骤305,根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别。
步骤306,在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源。
在本发明实施例中,该步骤305-306可以分别参照上述步骤207-208,为了避免重复,此处不再赘述。
步骤307,获取所述目标声源的第一音频特征,所述第一音频特征为表征所述声源参数的特征。
在本发明实施例中,该步骤307可以参照上述步骤203,需要说明的是,获取的是目标声源的第一音频特征,具体的,可以从该立体声音频数据包括的各个声道的音频数据中,获取出目标声源的子音频数据,分别提取各个声道中目标声源的子音频数据的第一音频特征。
步骤308,根据所述第一音频特征,确定声源参数。
在本发明实施例中,该步骤308可以参照上述步骤204,需要说明的是,该第一音频特征为,立体声音频数据包括的各个声道的音频数据中,各个声道中目标声源的子音频数据的第一音频特征,进而根据该第一音频特征,确定的声源参数即为目标声源的声源参数。
在本发明实施例中,先确定出目标声源,后续只需确定目标声源的第一音频特征,根据目标声源的第一音频特征确定目标声源的声源参数,无需除目标声源之外的其它第一声源的第一音频特征,同样也无需确定除目标声源之外的其它第一声源的声源参数,进而可以减少运算量。
步骤309,控制与所述声源方位对应的振动马达,按照所述声源响度和/ 或所述声源持续时长对应的振动参数进行振动。
在本发明实施例中,该步骤309可以参照上述步骤210,为了避免重复,此处不再赘述。
在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定都是本申请实施例所必须的。
实施例三
参照图5所示,图5示出了根据本发明实施例三提供的一种振动装置的结构框图,应用于移动终端,所述移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,所述装置400可以包括:
立体声音频数据获取模块401,用于获取立体声音频数据;
声源参数确定模块402,用于从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
振动模块404,用于控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。
可选的,在上述图5的基础上,参照图6所示,所述声源参数确定模块 402可以包括:
第一声源第一识别单元4021,用于基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
第一音频特征第一获取单元4022,用于获取所述第一声源对应的第一音频特征;所述第一音频特征为表征所述声源参数的特征;
声源参数第一确定单元4023,用于根据所述第一音频特征,确定声源参数;
第二音频特征第一获取单元4024,用于在所述声源参数中的声源方位与预设方位匹配的情况下,获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
声源类别第一确定单元4025,用于根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
目标声源第一确定单元4026,用于在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
声源参数第二确定单元4027,用于从所述声源参数中,选择所述目标声源的声源参数。
可选的,所述声源参数确定模块402可以包括:
第一声源第二识别单元,用于基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
第二音频特征第二获取单元,用于获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
声源类别第二确定单元,用于根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
目标声源第二确定单元,用于在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
第一音频特征第二获取单元,用于获取所述目标声源的第一音频特征,所述第一音频特征为表征所述声源参数的特征;
声源参数第三确定单元,用于根据所述第一音频特征,确定声源参数。
可选的,在所述声源参数包括声源方位的情况下,所述第一音频特征包括不同声道的能量特征;所述能量特征包括:振幅、频谱、共振峰、基频中的至少一种;所述声源参数第一确定单元4023或声源参数第二确定单元,包括:
声源方位确定子单元,用于根据不同声道的能量特征,确定所述声源方位;
在所述声源参数包括声学参数的情况下,所述声源参数第一确定单元 4023或声源参数第二确定单元,包括:
距离参数确定子单元,用于根据所述能量特征和信噪比,确定所述声源的距离参数;
声学参数确定子单元,用于根据所述距离参数,确定声源响度;
和/或,
声源持续时长确定子单元,用于根据所述振幅,确定所述声源持续时长。
可选的,所述振动模块404,可以包括:
振动单元4041,用于控制与所述声源方位对应的振动马达,按照所述声源响度和/或所述声源持续时长对应的振动参数进行振动。
可选的,所述装置还可以包括:
音频识别模型训练模块403,用于利用立体声音频样本数据对初始机器学习模型进行训练,获得所述音频识别模型。
可选的,参照图2所示,所述移动终端包括:四个线性振动马达,所述四个线性振动马达分别相对第一中线以及第二中线对称设置;所述第一中线为所述移动终端的一对第一侧边的中线,所述第二中线为所述移动终端的一对第二侧边的中线。
本发明实施例提供的终端能够实现图1至图4的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
这样,在本发明实施例中,在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了立体声音频数据的读懂性,同时提升了娱乐效果。
图7为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解,图7中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器710,用于获取立体声音频数据;
从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。
在本发明实施例中,移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,获取立体声音频数据;从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动。声源参数包括了声源方位和声学参数对应的声学参数,与声源方位对应的振动马达根据上述声学参数对应的振动参数进行振动,该振动至少体现了该立体声音频数据中目标声源的方位,提高了对立体声音频数据的反馈程度。
应理解的是,本发明实施例中,射频单元701可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器710处理;另外,将上行的数据发送给基站。通常,射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元701还可以通过无线通信系统与网络和其他设备通信。
移动终端通过网络模块702为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元703还可以提供与移动终端700执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。
输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit,GPU)7041和麦克风7042,图形处理器7041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元 706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042 可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。
移动终端700还包括至少一种传感器705,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度,接近传感器可在移动终端700移动到耳边时,关闭显示面板7061或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。
用户输入单元707可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元707 包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器710,接收处理器710发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071,用户输入单元707还可以包括其他输入设备7072。具体地,其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板7071可覆盖在显示面板7061上,当触控面板7071 检测到在其上或附近的触摸操作后,传送给处理器710以确定触摸事件的类型,随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中,触控面板7071与显示面板7061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板7071与显示面板7061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元708为外部装置与移动终端700连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端700内的一个或多个元件或者可以用于在移动终端700和外部装置之间传输数据。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器709可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器710是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器709内的软件程序或模块,以及调用存储在存储器709内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器710可包括一个或多个处理单元;优选的,处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端700还可以包括给各个部件供电的电源711(比如电池),优选的,电源711可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,移动终端700包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种移动终端,包括处理器710,存储器 709,存储在存储器709上并可在上述处理器710上运行的计算机程序,该计算机程序被处理器710执行时实现上述振动方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
基于上述移动终端的硬件结构,以下对本发明各实施例进行详细详述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述振动方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,上述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称 ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (13)

1.一种振动方法,应用于移动终端,其特征在于,所述移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,所述方法包括:
获取立体声音频数据;
从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动;
所述从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数包括:
基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
获取所述第一声源对应的第一音频特征;所述第一音频特征为表征所述声源参数的特征;
根据所述第一音频特征,确定声源参数;
在所述声源参数中的声源方位与预设方位匹配的情况下,获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
从所述声源参数中,选择所述目标声源的声源参数。
2.根据权利要求1所述的方法,其特征在于,所述从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数包括:
基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
获取所述目标声源的第一音频特征,所述第一音频特征为表征所述声源参数的特征;
根据所述第一音频特征,确定声源参数。
3.根据权利要求2所述的方法,其特征在于,在所述声源参数包括声源方位的情况下,所述第一音频特征包括不同声道的能量特征;所述能量特征包括:振幅、频谱、共振峰、基频中的至少一种;所述根据所述第一音频特征,确定声源参数,包括:
根据不同声道的能量特征,确定所述声源方位;
在所述声源参数包括声学参数的情况下,所述第一音频特征包括所述能量特征和信噪比,所述根据所述第一音频特征,确定声源参数,包括:
根据所述能量特征和信噪比,确定所述声源的距离参数;
根据所述距离参数,确定声源响度;
和/或,
根据所述振幅,确定声源持续时长。
4.根据权利要求3所述的方法,其特征在于,所述控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动,包括:
控制与所述声源方位对应的振动马达,按照所述声源响度和/或所述声源持续时长对应的振动参数进行振动。
5.根据权利要求2所述的方法,其特征在于,在所述获取立体声音频数据之前,还包括:
利用立体声音频样本数据对初始机器学习模型进行训练,获得所述音频识别模型。
6.根据权利要求1所述的方法,其特征在于,所述移动终端包括:四个线性振动马达,所述四个线性振动马达分别相对第一中线以及第二中线对称设置;所述第一中线为所述移动终端的一对第一侧边的中线,所述第二中线为所述移动终端的一对第二侧边的中线。
7.一种振动装置,应用于移动终端,其特征在于,所述移动终端包括:至少两个振动马达,所述至少两个振动马达分布在所述移动终端的不同位置,所述装置包括:
立体声音频数据获取模块,用于获取立体声音频数据;
声源参数确定模块,用于从所述立体声音频数据中确定目标声源以及所述目标声源的声源参数;所述声源参数包括声源方位和声学参数;
振动模块,用于控制与所述声源方位对应的振动马达,按照所述声学参数对应的振动参数进行振动;
所述声源参数确定模块包括:
第一声源第一识别单元,用于基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
第一音频特征第一获取单元,用于获取所述第一声源对应的第一音频特征;所述第一音频特征为表征所述声源参数的特征;
声源参数第一确定单元,用于根据所述第一音频特征,确定声源参数;
第二音频特征第一获取单元,用于在所述声源参数中的声源方位与预设方位匹配的情况下,获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
声源类别第一确定单元,用于根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
目标声源第一确定单元,用于在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
声源参数第二确定单元,用于从所述声源参数中,选择所述目标声源的声源参数。
8.根据权利要求7所述的装置,其特征在于,所述声源参数确定模块包括:
第一声源第二识别单元,用于基于所述立体声音频数据的频谱特征,从所述立体声音频数据中识别出第一声源;
第二音频特征第二获取单元,用于获取所述第一声源的第二音频特征;所述第二音频特征为表征所述声源类别的特征;
声源类别第二确定单元,用于根据所述第二音频特征,利用预设的音频识别模型,确定所述第一声源的声源类别;
目标声源第二确定单元,用于在所述声源类别为预设类别的情况下,确定所述第一声源为目标声源;
第一音频特征第二获取单元,用于获取所述目标声源的第一音频特征,所述第一音频特征为表征所述声源参数的特征;
声源参数第三确定单元,用于根据所述第一音频特征,确定声源参数。
9.根据权利要求8所述的装置,其特征在于,在所述声源参数包括声源方位的情况下,所述第一音频特征包括不同声道的能量特征;所述能量特征包括:振幅、频谱、共振峰、基频中的至少一种;所述声源参数第一确定单元或声源参数第二确定单元,包括:
声源方位确定子单元,用于根据不同声道的能量特征,确定所述声源方位;
在所述声源参数包括声学参数的情况下,所述声源参数第一确定单元或声源参数第二确定单元,包括:
距离参数确定子单元,用于根据所述能量特征和信噪比,确定所述声源的距离参数;
声源响度确定子单元,用于根据所述距离参数,确定声源响度;
和/或,
声源持续时长确定子单元,用于根据所述振幅,确定所述声源持续时长。
10.根据权利要求9所述的装置,其特征在于,所述振动模块,包括:
振动单元,用于控制与所述声源方位对应的振动马达,按照所述声源响度和/或所述声源持续时长对应的振动参数进行振动。
11.根据权利要求8所述的装置,其特征在于,还包括:
音频识别模型训练模块,用于利用立体声音频样本数据对初始机器学习模型进行训练,获得所述音频识别模型。
12.根据权利要求7所述的装置,其特征在于,所述移动终端包括:四个线性振动马达,所述四个线性振动马达分别相对第一中线以及第二中线对称设置;所述第一中线为所述移动终端的一对第一侧边的中线,所述第二中线为所述移动终端的一对第二侧边的中线。
13.一种移动终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的振动方法的步骤。
CN201910101436.2A 2019-01-31 2019-01-31 振动方法及移动终端 Active CN109885162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910101436.2A CN109885162B (zh) 2019-01-31 2019-01-31 振动方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910101436.2A CN109885162B (zh) 2019-01-31 2019-01-31 振动方法及移动终端

Publications (2)

Publication Number Publication Date
CN109885162A CN109885162A (zh) 2019-06-14
CN109885162B true CN109885162B (zh) 2022-08-23

Family

ID=66927760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910101436.2A Active CN109885162B (zh) 2019-01-31 2019-01-31 振动方法及移动终端

Country Status (1)

Country Link
CN (1) CN109885162B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111076807B (zh) * 2019-12-18 2022-03-04 瑞声科技(新加坡)有限公司 振动信号的处理方法、装置、设备及可读介质
CN111885257A (zh) * 2020-07-21 2020-11-03 联想(北京)有限公司 一种控制方法、装置及电子设备
CN112803828B (zh) * 2020-12-31 2023-09-01 上海艾为电子技术股份有限公司 一种马达控制方法、控制系统和控制芯片
CN112657179B (zh) * 2020-12-31 2024-09-27 上海艾为电子技术股份有限公司 一种马达控制方法、控制系统和控制芯片
CN115206337A (zh) * 2022-06-27 2022-10-18 瑞声开泰声学科技(上海)有限公司 一种振动马达的控制方法、装置、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140092A (ja) * 2000-10-31 2002-05-17 Nec Corp 音声認識ロボット
CN101656908A (zh) * 2008-08-19 2010-02-24 深圳华为通信技术有限公司 控制声音聚焦的方法、通讯设备及通讯系统
CN102055423A (zh) * 2010-11-01 2011-05-11 深圳市凯立德欣软件技术有限公司 位置服务设备的音量控制方法及位置服务设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186038A (ja) * 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
CN202588924U (zh) * 2012-04-12 2012-12-12 北京太阳光影影视科技有限公司 一种多通道音频控制动感座椅平台
CN103379424B (zh) * 2012-04-24 2016-08-10 华为技术有限公司 一种混音方法及多点控制服务器
CN103780757A (zh) * 2014-01-10 2014-05-07 瑞声科技(南京)有限公司 基于音频终端开启应用程序的系统及其开启方法
CN105472527B (zh) * 2016-01-05 2017-12-15 北京小鸟看看科技有限公司 一种马达矩阵控制方法及一种可穿戴设备
US10049538B2 (en) * 2016-08-31 2018-08-14 Apple Inc. Electronic device including haptic actuator driven based upon audio noise and motion and related methods
CN106710599A (zh) * 2016-12-02 2017-05-24 深圳撒哈拉数据科技有限公司 一种基于深度神经网络的特定声源检测方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140092A (ja) * 2000-10-31 2002-05-17 Nec Corp 音声認識ロボット
CN101656908A (zh) * 2008-08-19 2010-02-24 深圳华为通信技术有限公司 控制声音聚焦的方法、通讯设备及通讯系统
CN102055423A (zh) * 2010-11-01 2011-05-11 深圳市凯立德欣软件技术有限公司 位置服务设备的音量控制方法及位置服务设备

Also Published As

Publication number Publication date
CN109885162A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109885162B (zh) 振动方法及移动终端
CN110544488B (zh) 一种多人语音的分离方法和装置
CN109558512B (zh) 一种基于音频的个性化推荐方法、装置和移动终端
CN109256146B (zh) 音频检测方法、装置及存储介质
CN108668024B (zh) 一种语音处理方法及终端
CN107863095A (zh) 音频信号处理方法、装置和存储介质
CN109040641B (zh) 一种视频数据合成方法及装置
CN110568926B (zh) 一种声音信号处理方法及终端设备
CN111370018B (zh) 音频数据的处理方法、电子设备及介质
CN109065060B (zh) 一种语音唤醒方法及终端
CN112735388B (zh) 网络模型训练方法、语音识别处理方法及相关设备
CN110097872B (zh) 一种音频处理方法及电子设备
CN107731241B (zh) 处理音频信号的方法、装置和存储介质
CN110706679B (zh) 一种音频处理方法及电子设备
CN110830368B (zh) 即时通讯消息发送方法及电子设备
CN110808019A (zh) 一种歌曲生成方法及电子设备
CN113314126A (zh) 知识蒸馏方法、语音识别处理方法及相关设备
CN110796918A (zh) 一种训练方法、装置及移动终端
CN110378677B (zh) 一种红包领取方法、装置、移动终端及存储介质
CN110728993A (zh) 一种变声识别方法及电子设备
CN113870862A (zh) 声纹识别模型训练方法、声纹识别方法及相关设备
CN110677770B (zh) 发声控制方法、电子设备及介质
CN111338598B (zh) 一种消息处理方法及电子设备
CN111479005B (zh) 一种音量调节方法及电子设备
CN111416955B (zh) 一种视频通话方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant