CN110010151A - 一种音频信号处理方法及设备、存储介质 - Google Patents

一种音频信号处理方法及设备、存储介质 Download PDF

Info

Publication number
CN110010151A
CN110010151A CN201811651551.9A CN201811651551A CN110010151A CN 110010151 A CN110010151 A CN 110010151A CN 201811651551 A CN201811651551 A CN 201811651551A CN 110010151 A CN110010151 A CN 110010151A
Authority
CN
China
Prior art keywords
vibration
audio signal
audio
signal
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811651551.9A
Other languages
English (en)
Inventor
郑亚军
邓瀚林
路翔
张玉蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AAC Technologies Pte Ltd
Original Assignee
AAC Technologies Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AAC Technologies Pte Ltd filed Critical AAC Technologies Pte Ltd
Priority to CN201811651551.9A priority Critical patent/CN110010151A/zh
Publication of CN110010151A publication Critical patent/CN110010151A/zh
Priority to PCT/CN2019/113831 priority patent/WO2020140590A1/zh
Priority to US16/703,907 priority patent/US11289110B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/24—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument incorporating feedback means, e.g. acoustic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18—Details of the transformation process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Artificial Intelligence (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例涉及音频信号处理领域，公开了一种音频信号处理方法。本发明中，该音频信号处理方法包括：获取输入的音频信号；解析获得音频信号的音频特征；确定音频特征对应的振动特征；根据振动特征，生成音频信号对应的振动信号。根据输入的音频信号的音频特征对应的振动特征，将输入的音频信号自动地转换为振动信号，可避免人工操作造成的错误，使振动信号具有较高的通用性。

Description

一种音频信号处理方法及设备、存储介质
技术领域
本发明实施例涉及信号处理领域，特别涉及一种音频信号处理方法及设备、存储介质。
背景技术
目前，随着智能电子设备的快速发展，用户对于智能电子设备所带来的感官体验，要求也越来越高，除了传统的视觉与听觉体验，对于触觉体验中的震感体验也逐渐被用户所接受。在一些智能触控电子设备中，如手机、游戏设备、平板电脑等，已经有部分产品增加了震感体验的功能，并且将该震感体验作为用户体验中的一个重要评测指标，常用的震感体验多应用在信息提醒中，例如：信息接收、来电通知、闹钟、日历中的行程提醒等，以及应用于游戏和电影情节的互动体验中。
发明人发现现有技术中至少存在如下问题：上述震感体验给用户带来的感官体验还十分有限，例如：应用于通知和计时提醒的震感旋律单一，用户在长时间接触后，容易产生麻木感，导致用户对该设备的震感反应迟钝，降低了该设备送达信息的效率；而应用于游戏和电影情节的互动体验中，其中的振感主要是采用人工根据听感来手动匹配振动信号，该方法效率很低，并且受人的主观因素影响明显，对配置振动的人员要求较高，不能够得到普遍应用。
发明内容
本发明实施方式的目的在于提供一种音频信号处理方法及设备、存储介质，根据输入的音频信号的音频特征对应的振动特征，将输入的音频信号自动地转换为振动信号，可避免人工操作造成的错误，使振动信号具有较高的通用性。
为解决上述技术问题，本发明的实施方式提供了一种音频信号处理方法，包括以下步骤：获取输入的音频信号；解析获得音频信号的音频特征；确定音频特征对应的振动特征；根据振动特征，生成音频信号对应的振动信号。
为解决上述技术问题，本发明的实施方式提供了一种音频信号处理装置，该装置包括：获取模块，用于获取输入的音频信号；解析模块，用于解析获得音频信号的音频特征；配置模块，用于确定音频特征对应的振动特征；生成模块，用于根据振动特征，生成音频信号对应的振动信号。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述音频信号处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述音频信号处理方法。
本发明实施方式相对于现有技术而言，根据输入的音频信号的音频特征对应的振动特征，将输入的音频信号自动地转换为振动信号，可避免人工操作造成的错误，使振动信号具有较高的通用性。
另外，音频特征包括：音频信号的节拍时长、音符占比率、音频强度、音频粗糙度和强度峰值中的至少一种。
另外，振动特征包括：振动强度、振动频率和振动波形中的至少一种。
该方式中，可将多个维度的振动特征，应用于不同的场景，扩展振动信号的应用维度。
另外，节拍时长与振动频率呈反比，和/或，与振动强度呈反比，和/或，与振动波长呈正比；音符占比率与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；音频强度与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；音频粗糙度与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；强度峰值与振动频率呈反比，和/或，与振动强度呈正比，和/或，与振动波长呈正比。
该方式中，通过音频特征与振动特征之间的对应关系，根据不同的应用场景，使振动信号具有较高的通用性。
另外，根据预先设置的音频特征与振动特征之间的对应关系，确定音频信号的音频特征对应的振动特征。
另外，将音频信号分段后，分别计算每段音频信号的速度、音符数和频谱关系；分别根据每段音频信号的速度，确定每段音频信号各自的节拍时长；和/或，分别根据每段音频信号的音符数以及每段音频信号的时长，确定每段音频信号各自的音符占比率；和/或，分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频强度；和/或，分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频粗糙度；和/或，分别根据每段音频信号的总帧数和强度峰值占比率，确定每段音频信号各自的强度峰值。
该方式中，通过解析音频信号，获得多个维度的音频特征，根据不同维度的音频特征，可增加对于音频信号的利用率，进而对应的振动信号也会有多种应用场景，扩展了振动信号的应用维度。
另外，根据振动特征，生成音频信号对应的振动信号之后，获得输入的马达参数；根据马达参数和振动信号，获得并输出振动波形信号。
该方式中，通过输入的马达参数和振动信号，进而获得对应马达的振动波形信号，提高振动波形信号与马达的适配性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式中的音频信号处理方法流程方框图；
图2是根据本发明第二实施方式中的音频信号处理方法流程方框图；
图3是根据本发明第二实施方式中的音频信号和振动信号的波形图；
图4是根据本发明第三实施方式中的音频信号处理装置方框图；
图5是根据本发明第四实施方式中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种音频信号处理方法。用于根据输入的音频信号的音频特征对应的振动特征，将输入的音频信号自动地转换为振动信号，可避免人工操作造成的错误，使振动信号具有较高的通用性。
下面对本实施方式中的音频信号处理方法的实现细节进行具体的说明，以下内容仅为方便理解本方案的实现细节，并非实施本方案的必须。
图1所示为本实施方式中的音频信号处理方法的流程图，该方法可包括如下步骤。
在步骤101中，获取输入的音频信号。
需要说明的是，输入的音频信号可以保存在多种格式的音频文件中，例如，获取后缀名为wav、ogg、mp3、flac、aiff、aifc、au的音频文件中所包含的音频信号。因为多轨音频在多轨道上的单信号特征基本一致，所以在分析中，提取音频文件其中一个音轨上的信号作为输入的音频信号即可。
在步骤102中，解析获得音频信号的音频特征。
其中，音频特征包括：音频信号的节拍时长、音符占比率、音频强度、音频粗糙度(roughness)和强度峰值中的至少一种。当然，音频特征还可能是其他参数，此处仅为举例说明，本发明的保护范围并不以此为限制。
在一个具体实现中，根据客户的需要，解析输入的音频信号，可获得音频信号的节拍时长、音符占比率、音频强度、音频粗糙度和强度峰值中的至少一种，例如，对于音乐，可以通过乐理的相关知识获取该音频信号的节拍长度和音符占比率即可满足客户需求。
其中，解析音频信号获得音频特征的一个具体实现过程为：将音频信号分段后，分别计算每段音频信号的速度、音符数和频谱关系；分别根据每段音频信号的速度，确定每段音频信号各自的节拍时长；和/或，分别根据每段音频信号的音符数以及每段音频信号的时长，确定每段音频信号各自的音符占比率；和/或，分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频强度；和/或，分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频粗糙度；和/或，分别根据每段音频信号的总帧数和强度峰值占比率，确定每段音频信号各自的强度峰值。
在一个具体实现中，结合乐理上的相关知识，分别计算每段音频信号的速度、音符数和频谱关系，例如，根据能量特征及频谱特征可分析获得该音频信号的速度，以及音符数；对该音频信号做傅里叶变换即可得到该音频信号的频谱关系；用单位时间除以音乐速度即可得到节拍时长；音符数除以音频总时长可获得音符占比率。
在一个具体实现中，对整段音频信号进行分帧，再对每一帧进行频谱分析，可获得相关系数，比如音频信号的振幅，音频信号的频率等，将这些系数带入到对应的计算公式中，可计算获得每一帧的音频强度和音频粗糙度。
其中，音频强度可根据以下公式计算获得：其中，xf是音频信号的振幅；F为最高频率，其中系数C与最高频率F相对应，其对应关系可参考标准ISO266:2003,例如，当F＝6400Hz时，查找标准ISO-266:2003,可获得系数C＝0.065；αf是在关于频率f等响曲线的声压级；c是度量常数，根据音频采样类型来设定，例如，对于典型的16位整数采样，取c值为1.37。
在对每段音频信号进行混合频率处理后，基于人耳对于混频后的音频信号的感受进行量化计算，得到该音频信号的音频粗糙度，具体可根据以下公式计算获得：其中，f1和f2为指定的一系列音阶频率中的任意两个频率值；在对每一帧进行频谱分析时，x1和x2是频率值f1和f2对应的幅度值；xM为x1和x2两者中的较大值，即xM＝max(x1,x2)；xm为x1和x2两者之中的较小值，即xm＝min(x1,x2)；fd为f1与f2差的绝对值，即fd＝|f2-f1|；s为系数，即s＝0.24/(0.0.207min(f1,f2)+18.96)。
通过解析音频信号，获得多个维度的音频特征，根据不同维度的音频特征，可增加对于音频信号的利用率，对应的振动信号也会被应用于多种应用场景，扩展了振动信号的应用维度。
在步骤103中，确定音频特征对应的振动特征。
其中，振动特征包括：振动强度、振动频率和振动波形中的至少一种。需要说明的是，振动特征还可能是其他参数，此处仅为举例说明，本发明的保护范围并不以此为限制。
在一个具体实现中，根据音频信号的多维度的音频特征，以及预先设置的音频特征与振动特征之间的对应关系，在不同节拍内，确定振动特征中的至少一种，例如，可对应确定振动强度，和/或，振动频率，和/或，振动波形。
在一个具体实现中，根据预先设置的音频特征与振动特征之间的对应关系，确定音频信号的音频特征对应的振动特征。
例如，节拍时长与振动频率呈反比，和/或，与振动强度呈反比，和/或，与振动波长呈正比；音符占比率与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；音频强度与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；音频粗糙度与振动频率呈正比，和/或，与振动强度呈正比，和/或，与振动波长呈反比；强度峰值与振动频率呈反比，和/或，与振动强度呈正比，和/或，与振动波长呈正比。
需要说明的是，可应用音频特征与振动特征的对应关系中的至少一种，来具体确定不同场景下所需要的振动特征，扩展了振动特征的应用维度。例如，在手机上设定闹钟提醒，只需要确定节拍时长和音符占比率与各个振动特征之间的对应关系，或者只使用节拍长度与各个振动特征之间的对应关系，或者只使用音符占比率与各个振动特征之间的对应关系，即可简单确定该闹钟所需要的振动特征；例如，在游戏中，若想获得更好的振动体验，就需要确定节拍时长，音符占比率，音频强度以及音频粗糙度这些音频特征所对应的振动特征，进而使客户获得的游戏振动体验更精细，为客户带来更好的游戏体验。
在步骤104中，根据振动特征，生成音频信号对应的振动信号。
在一个具体实现中，根据音频信号的音频特征与振动信号的振动特征的对应关系，为每段音频信号配置好对应的振动特征，进而生成该音频信号对应的振动信号，并输出该振动信号。
需要说明的是，根据多次将音频信号转换为振动信号的测试经验，可获得经验值强度峰值占比率，使用音频信号中包含的总帧数乘以该强度峰值占比率，约等于数量n，其中的数量n表示在该音频信号中具有n个强度峰值，在总帧数固定的情况下，若确定获得的音频信号的强度峰值占比率越大，则该音频信号所包含的强度峰值越多；若确定对应的音频粗糙度越大，并且该音频信号所包含的强度峰值越多，则可确定该音频信号对应的振动强度越强；若确定该音频信号所包含的强度峰值越多，则可确定该音频信号对应的振动频率越小，该音频信号对应的振动波长越长。
在本实施方式中，通过输入的音频信号的音频特征对应的振动特征，将输入的音频信号自动地转换为振动信号，可避免人工操作造成的错误，使振动信号具有较高的通用性。
本发明的第二实施方式涉及一种音频信号处理方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：还需要根据获得的马达参数和振动信号，获得并输出振动波形信号。
具体处理流程如图2所示，在本实施方式中，该音频信号处理方法包括步骤201～206，因该实施方式中步骤201～204，与第一实施方式中的步骤101～104相同，在此不再赘述，下面具体介绍本实施方式中的步骤205～206。
在步骤205中，获得输入的马达参数。
需要说明的是，其中的马达参数主要包括：马达型号、马达形式、谐振频率、轴的直径、空转电流、转速、电压等参数。该马达参数是为了更好的匹配振动信号，根据马达参数的不同，所产生的振动效果也不同。若该马达参数与振动信号相匹配，则获得的振动效果就好；反之，若该马达参数与振动信号不匹配，则获得的振动效果就比较差，例如，谐振频率为110Hz的马达，用170Hz的正弦波驱动，震感可能会很弱，用户体验的效果就会较差。
在步骤206中，根据马达参数和振动信号，获得并输出振动波形信号。
在一个具体实现中，以马达参数为索引，将振动信号保存到数据库中；若需要获得振动波形信号，则根据马达参数从数据库中调取到对应的振动信号，以及上述马达参数确定对应的马达性能，计算获得对应的振动波形信号，并将该振动波形信号输出。
在一个具体实现中，将该方法应用于服务器上，终端设备将音频信号和相关的马达参数上传给该服务器，该服务器根据该音频信号的处理方法，解析该音频信号获得对应的音频特征，并根据该音频特征获得对应的振动特征，进而获得对应的振动波形信号，该服务器再将该振动波形信号下载到终端设备上，根据该振动波形信号，驱动终端设备上的马达，进而使该终端设备的使用者获得振动触感。
在一个具体实现中，选用音频信号A作为实验对象验证该音频信号处理方法的效果，该音频信号的波形图，如图3中的I所示，其中，音频信号A的采样率为44.1KHz，文件格式为ogg，经过该音频信号的音频特征与振动信号的振动特征的对应关系，获取到该音频信号的音频特征参数为：节拍步长为488ms，音符占比率为0.4643，强度峰值占比率为0.2644，根据上述振动信号的振动特征，获得振动信号的波形图，如图3中的II所示，对比图3中的I和II，可确定该振动信号的波形图能够很好的反应音频信号的音频特征。
在该实施方式中，通过不同的终端上所使用的马达参数的不同，结合振动信号，获得对应的振动波形信号，该振动波形信号可以适配于不同马达，进而提高该振动信号的通用性。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种音频信号处理装置，该装置的具体实施可参见第一实施方式的相关描述，重复之处不再赘述。值得说明的是，本实施方式中的装置的具体实施也可参见第二实施方式的相关描述，但不局限于以上两个实施例，其他未说明的实施例也在本装置的保护范围之内。
如图4所示，该装置主要包括：获取模块401用于获取输入的音频信号；解析模块402用于解析获得音频信号的音频特征；配置模块403用于确定音频特征对应的振动特征；生成模块404用于根据振动特征，生成音频信号对应的振动信号。
不难发现，本实施方式为与第一或第二实施方式相对应的系统实施例，本实施方式可与第一或第二实施方式互相配合实施。第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一或第二实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本申请第四实施方式提供了一种电子设备，该设备具体结构如图5所示。包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502。其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行第一或第二实施方式所描述的音频信号处理方法。
本实施方式中，处理器501以中央处理器(Central Processing Unit，CPU)为例，存储器502以可读写存储器(Random Access Memory，RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现音频信号处理方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述音频信号处理方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。
一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的音频信号处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请的第五实施方式涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的音频信号处理方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种音频信号处理方法，其特征在于，所述方法包括：
获取输入的音频信号；
解析获得所述音频信号的音频特征；
确定所述音频特征对应的振动特征；
根据所述振动特征，生成所述音频信号对应的振动信号。
2.根据权利要求1所述的音频信号处理方法，其特征在于，所述音频特征包括：所述音频信号的节拍时长、音符占比率、音频强度、音频粗糙度和强度峰值中的至少一种。
3.根据权利要求2所述的音频信号处理方法，其特征在于，所述振动特征包括：振动强度、振动频率和振动波形中的至少一种。
4.根据权利要求3所述的音频信号处理方法，其特征在于，所述节拍时长与所述振动频率呈反比，和/或，与所述振动强度呈反比，和/或，与所述振动波长呈正比；
所述音符占比率与所述振动频率呈正比，和/或，与所述振动强度呈正比，和/或，与所述振动波长呈反比；
所述音频强度与所述振动频率呈正比，和/或，与所述振动强度呈正比，和/或，与所述振动波长呈反比；
所述音频粗糙度与所述振动频率呈正比，和/或，与所述振动强度呈正比，和/或，与所述振动波长呈反比；
所述强度峰值与所述振动频率呈反比，和/或，与所述振动强度呈正比，和/或，与所述振动波长呈正比。
5.根据权利要求4所述的音频信号处理方法，其特征在于，确定所述音频特征对应的振动特征，包括：
根据预先设置的音频特征与振动特征之间的对应关系，确定所述音频信号的音频特征对应的振动特征。
6.根据权利要求4所述的音频信号处理方法，其特征在于，解析获得所述音频信号的音频特征，包括：
将所述音频信号分段后，分别计算每段音频信号的速度、音符数和频谱关系；
分别根据每段音频信号的速度，确定每段音频信号各自的节拍时长；和/或，
分别根据每段音频信号的音符数以及每段音频信号的时长，确定每段音频信号各自的音符占比率；和/或，
分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频强度；和/或，
分别根据每段音频信号的频谱关系，确定每段音频信号各自的音频粗糙度；和/或，
分别根据每段音频信号的总帧数和强度峰值占比率，确定每段音频信号各自的强度峰值。
7.根据权利要求1至6中任一项所述的音频信号处理方法，其特征在于，根据所述振动特征，生成所述音频信号对应的振动信号之后，还包括：
获得输入的马达参数；
根据所述马达参数和所述振动信号，获得并输出振动波形信号。
8.一种音频信号处理装置，其特征在于，包括：
获取模块，用于获取输入的音频信号；
解析模块，用于解析获得所述音频信号的音频特征；
配置模块，用于确定所述音频特征对应的振动特征；
生成模块，用于根据所述振动特征，生成所述音频信号对应的振动信号。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的音频信号处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述的音频信号处理方法。
CN201811651551.9A 2018-12-31 2018-12-31 一种音频信号处理方法及设备、存储介质 Pending CN110010151A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811651551.9A CN110010151A (zh) 2018-12-31 2018-12-31 一种音频信号处理方法及设备、存储介质
PCT/CN2019/113831 WO2020140590A1 (zh) 2018-12-31 2019-10-29 一种音频信号处理方法及设备、存储介质
US16/703,907 US11289110B2 (en) 2018-12-31 2019-12-05 Method and device for audio signal processing, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811651551.9A CN110010151A (zh) 2018-12-31 2018-12-31 一种音频信号处理方法及设备、存储介质

Publications (1)

Publication Number Publication Date
CN110010151A true CN110010151A (zh) 2019-07-12

Family

ID=67165315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811651551.9A Pending CN110010151A (zh) 2018-12-31 2018-12-31 一种音频信号处理方法及设备、存储介质

Country Status (3)

Country Link
US (1) US11289110B2 (zh)
CN (1) CN110010151A (zh)
WO (1) WO2020140590A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111076807A (zh) * 2019-12-18 2020-04-28 瑞声科技(新加坡)有限公司 振动信号的处理方法、装置、设备及可读介质
CN111312281A (zh) * 2020-05-09 2020-06-19 北京小米移动软件有限公司 一种触感振动实现方法
WO2020140590A1 (zh) * 2018-12-31 2020-07-09 瑞声声学科技(深圳)有限公司 一种音频信号处理方法及设备、存储介质
CN111627412A (zh) * 2020-05-06 2020-09-04 Oppo（重庆）智能科技有限公司 音频变速方法、装置、电子设备和计算机可读存储介质
CN112114674A (zh) * 2020-09-29 2020-12-22 北京小米移动软件有限公司 震动强度控制方法和装置、电子设备、存储介质
CN112466267A (zh) * 2020-11-24 2021-03-09 瑞声新能源发展(常州)有限公司科教城分公司 振动生成方法、振动控制方法及其相关设备
WO2022057677A1 (zh) * 2020-09-18 2022-03-24 腾讯科技（深圳）有限公司 振动控制方法、装置、电子设备和计算机可读存储介质
CN118157540A (zh) * 2024-05-09 2024-06-07 广州星际悦动股份有限公司 电机控制方法、装置、口腔清洁设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416116B (zh) * 2020-06-01 2022-11-11 上海哔哩哔哩科技有限公司 计算机设备的震动控制方法和系统
CN112269895A (zh) * 2020-11-06 2021-01-26 Oppo广东移动通信有限公司 一种振动控制方法、装置及计算机可读存储介质
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1081786A (en) * 1973-05-03 1980-07-15 Albert E. Sanderson Method and apparatus for tuning musical instruments
JP2002291579A (ja) * 2001-03-30 2002-10-08 Denon Ltd 音楽鑑賞用椅子
WO2009001202A1 (en) * 2007-06-28 2008-12-31 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
US20090315688A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for processing audio signals for handset vibration
US20140167940A1 (en) * 2012-12-17 2014-06-19 Postech Academy - Industry Foundation Method of converting audio signal to haptic signal and apparatus thereof
CN108777747A (zh) * 2018-08-09 2018-11-09 瑞声科技(新加坡)有限公司 一种振动方法、移动终端和计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
CN1604676A (zh) * 2004-11-03 2005-04-06 北京中星微电子有限公司 手机振动的产生方法及手机振动系统
US7774078B2 (en) * 2005-09-16 2010-08-10 Sony Corporation Method and apparatus for audio data analysis in an audio player
JP4375471B2 (ja) * 2007-10-05 2009-12-02 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
CN102024481B (zh) * 2009-09-14 2013-01-09 展讯通信（上海）有限公司 从音频文件提取振动信息的方法、装置以及振动装置
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
CN104707331B (zh) * 2015-03-31 2018-08-07 北京奇艺世纪科技有限公司 一种游戏体感产生方法及装置
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
WO2018053159A1 (en) * 2016-09-14 2018-03-22 SonicSensory, Inc. Multi-device audio streaming system with synchronization
WO2018151770A1 (en) * 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
WO2019046744A1 (en) * 2017-09-01 2019-03-07 Georgetown University AID TO THE VIBROTACTILE WORD TO WEAR ABOUT
US10800433B2 (en) * 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1081786A (en) * 1973-05-03 1980-07-15 Albert E. Sanderson Method and apparatus for tuning musical instruments
JP2002291579A (ja) * 2001-03-30 2002-10-08 Denon Ltd 音楽鑑賞用椅子
WO2009001202A1 (en) * 2007-06-28 2008-12-31 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
US20090315688A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for processing audio signals for handset vibration
US20140167940A1 (en) * 2012-12-17 2014-06-19 Postech Academy - Industry Foundation Method of converting audio signal to haptic signal and apparatus thereof
CN108777747A (zh) * 2018-08-09 2018-11-09 瑞声科技(新加坡)有限公司 一种振动方法、移动终端和计算机可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140590A1 (zh) * 2018-12-31 2020-07-09 瑞声声学科技(深圳)有限公司 一种音频信号处理方法及设备、存储介质
CN111076807A (zh) * 2019-12-18 2020-04-28 瑞声科技(新加坡)有限公司 振动信号的处理方法、装置、设备及可读介质
CN111076807B (zh) * 2019-12-18 2022-03-04 瑞声科技(新加坡)有限公司 振动信号的处理方法、装置、设备及可读介质
CN111627412A (zh) * 2020-05-06 2020-09-04 Oppo（重庆）智能科技有限公司 音频变速方法、装置、电子设备和计算机可读存储介质
CN111627412B (zh) * 2020-05-06 2023-05-05 Oppo（重庆）智能科技有限公司 音频变速方法、装置、电子设备和计算机可读存储介质
CN111312281A (zh) * 2020-05-09 2020-06-19 北京小米移动软件有限公司 一种触感振动实现方法
WO2022057677A1 (zh) * 2020-09-18 2022-03-24 腾讯科技（深圳）有限公司 振动控制方法、装置、电子设备和计算机可读存储介质
CN112114674A (zh) * 2020-09-29 2020-12-22 北京小米移动软件有限公司 震动强度控制方法和装置、电子设备、存储介质
CN112466267A (zh) * 2020-11-24 2021-03-09 瑞声新能源发展(常州)有限公司科教城分公司 振动生成方法、振动控制方法及其相关设备
WO2022110259A1 (zh) * 2020-11-24 2022-06-02 瑞声声学科技(深圳)有限公司 振动生成方法、振动控制方法及其相关设备
CN112466267B (zh) * 2020-11-24 2024-04-02 瑞声新能源发展(常州)有限公司科教城分公司 振动生成方法、振动控制方法及其相关设备
CN118157540A (zh) * 2024-05-09 2024-06-07 广州星际悦动股份有限公司 电机控制方法、装置、口腔清洁设备及存储介质

Also Published As

Publication number Publication date
US11289110B2 (en) 2022-03-29
US20200211577A1 (en) 2020-07-02
WO2020140590A1 (zh) 2020-07-09

Similar Documents

Publication Publication Date Title
CN110010151A (zh) 一种音频信号处理方法及设备、存储介质
Engel et al. Neural audio synthesis of musical notes with wavenet autoencoders
CN104123938A (zh) 语音控制系统、电子装置及语音控制方法
Lloyd et al. Sound synthesis for impact sounds in video games
CN109348274A (zh) 一种直播互动方法、装置及存储介质
US9110817B2 (en) Method for creating a markov process that generates sequences
Varni et al. Interactive sonification of synchronisation of motoric behaviour in social active listening to music with mobile devices
CN110058676A (zh) 一种振动方法、电子设备及存储介质
CN113921022B (zh) 音频信号分离方法、装置、存储介质和电子设备
CN106921749A (zh) 用于推送信息的方法和装置
Vaca et al. Real-time automatic music transcription (AMT) with Zync FPGA
WO2021248849A1 (zh) 一种驱动电压生成方法、装置、存储介质和电子设备
CN108269579A (zh) 语音数据处理方法、装置、电子设备及可读存储介质
CN114187922A (zh) 一种音频检测方法、装置及终端设备
CN110969141A (zh) 一种基于音频文件识别的曲谱生成方法、装置及终端设备
CN108210311A (zh) 一种按摩器的视频播放的优化方法、装置及设备
CN109410972A (zh) 生成音效参数的方法、装置及存储介质
CN102053810A (zh) 一种屏保状态下音乐频谱的显示方法和装置
WO2024055924A1 (zh) 振动数据的生成方法、装置、电子设备和存储介质
CN117056728A (zh) 一种时间序列生成方法、装置、设备和存储介质
Eerola et al. Melodic and contextual similarity of folk song phrases
CN109841232B (zh) 音乐信号中音符位置的提取方法和装置及存储介质
Virtanen Algorithm for the separation of harmonic sounds with time-frequency smoothness constraint
EP3594947A1 (en) Audio interactive decomposition editor method and system
CN110097618A (zh) 一种音乐动画的控制方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712