CN111415681A - 一种基于音频数据确定音符的方法及装置 - Google Patents

一种基于音频数据确定音符的方法及装置 Download PDF

Info

Publication number
CN111415681A
CN111415681A CN202010187328.4A CN202010187328A CN111415681A CN 111415681 A CN111415681 A CN 111415681A CN 202010187328 A CN202010187328 A CN 202010187328A CN 111415681 A CN111415681 A CN 111415681A
Authority
CN
China
Prior art keywords
frequency
amplitude peak
initial
predicted
value corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010187328.4A
Other languages
English (en)
Other versions
CN111415681B (zh
Inventor
韩忠涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010187328.4A priority Critical patent/CN111415681B/zh
Publication of CN111415681A publication Critical patent/CN111415681A/zh
Application granted granted Critical
Publication of CN111415681B publication Critical patent/CN111415681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

一种基于音频数据确定音符的方法及装置，涉及数据处理领域。所述方法包括：当接收到音符确定指令时，获取待分析的音频数据；在频域中，确定音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；从预设频率范围中选取多个初始频率；针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，预设数目个预测频率与初始频率之间的倍数包括1至预测数目之间的整数；根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；将对应的函数值最小的初始频率作为音频数据的基础频率；采用预设的频率转换音符方式，确定基础频率对应的音符。采用本申请，能够提高基础频率的识别准确率。

Description

一种基于音频数据确定音符的方法及装置
技术领域
本申请涉及数据处理领域，尤其涉及一种基于音频数据确定音符的方法及装置。
背景技术
随着互联网技术的发展，电子设备可以具有基于音频数据确定音符的功能，例如，电子设备可以针对构成伴奏音乐的每个音频帧，基于该音频帧的音频数据进行识别，得到该音频帧对应的音符，由此，电子设备可以确定构成伴奏音乐的各音频帧对应的音符，得到伴奏音乐的乐谱。电子设备基于音频数据确定音符时，最关键的是要从每个音频帧的音频数据中提取出声音的基础频率。
相关技术中，电子设备可以通过多种提取算法，从音频数据中提取基础频率，提取算法例如基于时域分析的自相关函数算法、基于时域分析的YIN算法。然而，采用上述提取算法确定基础频率时，容易受到噪声的干扰，导致基础频率的识别准确率低。
发明内容
为了解决上述基础频率的识别准确率低的技术问题，本申请提供了一种基于音频数据确定音符的方法及装置。
第一方面，本申请提供了一种基于音频数据确定音符的方法，所述方法包括：
当接收到音符确定指令时，获取待分析的音频数据；
在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；
从预设频率范围中，选取多个初始频率；
针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，所述预设数目个预测频率与所述初始频率之间的倍数包括1至所述预测数目之间的整数；
根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；
将对应的函数值最小的初始频率作为所述音频数据的基础频率；
采用预设的频率转换音符方式，确定所述基础频率对应的音符。
可选的，所述根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值，包括：
将所述多个幅值峰值中的最大值，作为最大幅值峰值；
针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率；
根据第一预设损失函数、所述预测频率、所述最大幅值峰值、所述目标度量频率、所述目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；
基于所述各预测频率对应的函数值，计算该初始频率对应的函数值。
可选的，所述基于所述各预测频率对应的函数值，计算该初始频率对应的函数值，包括：
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各预测频率对应的函数值、所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值，包括：
将所述多个幅值峰值中的最大值，作为最大幅值峰值；
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率，包括：
在频域中，确定所述音频数据包含的多个初始幅值峰值；
对每个所述初始幅值峰值进行修正处理，得到修正后的幅值峰值；
将每个幅值峰值对应的频率作为度量频率。
第二方面，本申请还提供了一种基于音频数据确定音符的装置，所述装置包括：
获取模块，用于当接收到音符确定指令时，获取待分析的音频数据；
第一确定模块，用于在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；
选取模块，用于从预设频率范围中，选取多个初始频率；
生成模块，用于针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，所述预设数目个预测频率与所述初始频率之间的倍数包括1至所述预测数目之间的整数；
计算模块，用于根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；
第二确定模块，用于将对应的函数值最小的初始频率作为所述音频数据的基础频率；
第三确定模块，用于采用预设的频率转换音符方式，确定所述基础频率对应的音符。
可选的，所述计算模块包括：
第一计算子模块，用于将所述多个幅值峰值中的最大值，作为最大幅值峰值；
第一确定子模块，用于针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率；
第二计算子模块，用于根据第一预设损失函数、所述预测频率、所述最大幅值峰值、所述目标度量频率、所述目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；
第三计算子模块，用于基于所述各预测频率对应的函数值，计算该初始频率对应的函数值。
可选的，所述第三计算子模块，具体用于：
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各预测频率对应的函数值、所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述计算模块，包括：
第四计算子模块，用于将所述多个幅值峰值中的最大值，作为最大幅值峰值；
第二确定子模块，用于针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
第五计算子模块，用于根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
第六计算子模块，用于基于所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述第一确定模块包括：
第三确定子模块，用于在频域中，确定所述音频数据包含的多个初始幅值峰值；
修正处理子模块，用于对每个所述初始幅值峰值进行修正处理，得到修正后的幅值峰值；
第四确定子模块，用于将每个幅值峰值对应的频率作为度量频率。
第三方面，本申请还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一第一方面所述的方法步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一第一方面所述的方法步骤。
第五方面，本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行任一第一方面所述的方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，可以在接收到音符确定指令时，获取待分析的音频数据；在频域中，确定音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；从预设频率范围中，选取多个初始频率；针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，预设数目个预测频率与初始频率之间的倍数包括1至预测数目之间的整数；根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；将对应的函数值最小的初始频率作为音频数据的基础频率；采用预设的频率转换音符方式，确定基础频率对应的音符。
本申请实施例中，利用声音在频域具有谐波属性这一特征，针对选取的每个初始频率，生成多个与初始频率成倍数关系的预测频率，然后，采用数据拟合的方式计算初始频率对应的函数值，即，根据多个预测频率、多个度量频率、每个度量频率对应的幅值峰值和预设损失函数，计算与该初始频率对应的函数值。利用初始频率对应的函数值衡量拟合程度，函数值越小表明拟合程度越高，之后，将函数值最小的初始频率作为音频数据的基础频率。
由于采用成倍数关系的多个预测频率拟合多个度量频率，能够减少在噪声影响下单个度量频率的提取失真对基础频率确定的影响，因此，能够提高基础频率的识别准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种声音的频谱图；
图2为本申请实施例提供的一种基于音频数据确定音符的方法的流程图；
图3a为本申请实施例提供的一种布莱克曼窗的示意图；
图3b为本申请实施例提供的一种音频数据的频谱图；
图4为本申请实施例提供的另一种基于音频数据确定音符的方法的流程图；
图5为本申请实施例提供的另一种基于音频数据确定音符的方法的流程图；
图6为本申请实施例提供的另一种基于音频数据确定音符的方法的流程图；
图7为本申请实施例提供的一种基于音频数据确定音符的装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种基于音频数据确定音符的方法，该方法应用于电子设备，电子设备可以是手机、平板电脑、可穿戴式电子设备等。
发明人研究发现：声音信号是随时间变化的信号，但在一个较短的时间内，通常可以认为声音信号是稳定的，所以基于一个音频帧的音频数据可以确定出一个音符。
而且，播放音乐的声音在频域中具有很明显的harmonic(谐波)属性，即，构成声音的多个频率包括：基础频率、与基础频率成倍频关系的频率，如图1所示，为本申请实施例提供的一种声音的频谱图，可见，声音的多个频率与基础频率成倍数关系。
理想情况下，从音频数据中提取出的多个度量频率之间成倍数关系，电子设备可以直接确定基础频率。然而实际处理过程中，由于噪声干扰，从音频数据中提取出的多个度量频率之间没有明确的倍数关系，因此，相关技术中，电子设备无法基于多个度量频率确定基础频率。
本申请实施例提供的基于音频数据确定音符的方法，可以基于声音的谐波属性和音频帧的音频数据确定基础频率，能够提高基础频率的识别准确率。
如图2所示，基于音频数据确定音符的方法的处理过程可以包括：
步骤201、当接收到音符确定指令时，获取待分析的音频数据。
在实施中，当想要识别某一音频中的音符时，用户可以执行音符确定操作，以使电子设备接收到音符确定指令，音频确定操作可以是发出识别音符的语音指令，音频确定操作也可以是点击电子设备中表示识别音符的预设图标。
在接收到音符确定指令后，电子设备可以获取待分析的音频数据。
电子设备可以通过多种方式获取待分析的音频数据，例如，电子设备可以采集当前场景中的音频数据，将采集到的每个音频帧的音频数据作为待分析的音频数据。电子设备也可以获取本地存储的音频数据，针对该音频数据包含的每个音频帧，将该音频帧的音频数据，作为待分析的音频数据。
通常情况下，一个音频帧可以包含几十毫秒的音频数据，本申请实施例中，可以将30ms的音频数据作为一个音频帧。
步骤202、在频域中，确定音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率。
在实施中，电子设备可以确定待分析的音频数据在频域中的频域信号，然后，电子设备可以在频域信号中，确定幅值大于预设幅值峰值阈值的坐标点，将确定出的坐标点的幅值作为幅值峰值，并将确定出的坐标点的频率作为与幅值峰值对应的度量频率。其中，预设幅值峰值阈值可以为-80dB。
本申请实施例中，电子设备可以采用STFT(Short-Time Fourier Transform，短时傅立叶变换)算法，对每个音频帧的音频数据进行分析，得到多个幅值峰值和每个幅值峰值对应的度量频率。
本申请实施例提供了一种STFT公式的表达式，如式(1)所示：
Figure BDA0002414641520000081
其中，Xl[k]表示短时傅立叶变换的频谱，k表示频域中第k个离散的频率位置，l表示帧序号，H表示处理时域音频时，从一个帧时间点跳到下一个帧时音频采样点时采样点的数目；N表示傅立叶变换的尺寸，也就是一个音频帧的音频数据的采样点的数目；w(n)表示分析窗口，分析窗口的类型需要根据声音的类型去选择，通常可以使用Blackman window(布莱克曼窗)。
本申请实施例还提供了一种Blackman window的公式，如式(2)所示：
w[n]＝0.42-0.5cos(2πn/M)+0.08cos(4πn/M),n＝-M/2,K,0,K,M/2 (2)
其中，M表示窗口的长度，Blackman window的时域波形图如图3a中的(1)所示，频域频谱图如图3a中的(2)所示。
如图3b所示，为本申请实施例提供的一种音频数据的频谱图，频谱图的横坐标为频率，纵坐标为幅值峰值。图3b包含多个用符号“×”标识的坐标点，每个坐标点的纵坐标为音频数据包含的幅值峰值，每个坐标点的横坐标为该幅值峰值对应的频率，也即度量频率。
步骤203、从预设频率范围中，选取多个初始频率。
其中，预设频率范围可以是100Hz-10000Hz。
在实施中，电子设备可以通过多种方式从预设频率范围中，选取初始频率。在一种可行的实现方式中，电子设备中可以预先存储有多个预设频率，电子设备可以将每个预设频率作为初始频率，得到多个初始频率。预设频率可以由开发人员根据经验设定。
在另一种可行的实现方式中，电子设备可以从预设频率范围中，随机选取多个初始频率。
以随机间隔选取为例，电子设备可以按照频率间隔和预设初始频率，选取多个初始频率。
例如，电子设备可以从预设频率范围100Hz-10000Hz中，以10Hz为频率间隔，100Hz为预设初始频率，选取990个初始频率，得到100Hz、110Hz、……、9990Hz，10000Hz。
以随机分层选取为例，电子设备中可以预先存储有多个预设频率，预设频率可以由开发人员根据经验设定。电子设备可以针对每个预设频率，确定包含该预设频率的频率区间，在该频率区间中随机选取多个频率，得到该预设频率对应的多个初始频率。由此，针对多个预设频率，电子设备可以确定出多个初始频率。
例如，预设频率为800Hz，电子设备可以针对该预设频率，确定频率区间798Hz～802Hz。然后，电子设备可以在该频率区间中随机选取5个频率，得到预设频率800Hz对应的5个初始频率。类似的，预设频率为860Hz，电子设备可以针对该预设频率，确定频率区间858Hz～862Hz。然后，电子设备可以在该频率区间中随机选取5个频率，得到预设频率860Hz对应的5个初始频率。
电子设备还可以通过其他方式从预设频率范围中选取多个初始频率，本申请实施例在此不再一一赘述。
步骤204、针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率。
其中，预设数目个预测频率与初始频率之间的倍数包括1至预测数目之间的整数。
在实施中，电子设备可以获取预设数目，然后，电子设备可以针对每个初始频率，生成预设数目个与初始频率成倍数关系的频率，即，得到预设述目个预测频率。
例如，用N表示预设数目，用ffund表示初始频率，用fn表示预测频率，预设数目个与初始频率ffund成倍数关系的预测频率fn可以表示为：(1×ffund,2×ffund,L,N×ffund)。
电子设备可以通过多种方式获取预设数目，在一种可行的实现方式中，电子设备可以从预先存储的预设数目范围中，选取某一数值作为预设数目。预设数目范围可以由开发人员根据经验设定，预设数目较大时，有利于针对包含少量噪声的音频数据确定基础频率；预设数目较小时，有利于抑制回响、环境干扰等因素的干扰。通常情况下，预设数目范围为0≤N≤10。
在另一种可行的实现方式中，预设数目可以由电子设备根据度量频率和初始频率计算得到，例如，电子设备可以计算最大度量频率与初始频率的比值，将该比值取整后的数值作为预设数目。预设数目可以表示为N＝ceil{fmax/ffund}，其中fmax表示最大度量频率，ffund表示初始频率。
步骤205、根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值。
在实施中，电子设备中可以预先设置有不同类别的预设损失函数，根据预设损失函数的类别的不同，电子设备根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值的方式也有所不同，具体处理过程后续会进行详细说明。
本申请实施例中，电子设备可以采用某一种类别的预设损失函数，计算与初始频率对应的函数值，即，电子设备可以根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和该预设损失函数，计算与该初始频率对应的函数值。
电子设备也可以结合多种类别的预设损失函数计算与初始频率对应的函数值，即，电子设备可以根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和多种类别的预设损失函数，计算与该初始频率对应的函数值。具体处理过程后续会进行详细说明。
在确定每个初始频率对应的函数值后，电子设备可以得到各初始频率对应的函数值。
本申请实施例中，损失函数的函数值越小，则表明预测频率与度量频率越接近。
步骤206、将对应的函数值最小的初始频率作为音频数据的基础频率。
在实施中，电子设备可以比较各初始频率对应的函数值，将对应的函数值最小的初始频率，作为音频数据的基础频率。
步骤207、采用预设的频率转换音符方式，确定基础频率对应的音符。
其中，电子设备中可以预先存储有频率与音符的对应关系。
在实施中，电子设备可以在频率与音符的对应关系所包含的多个频率中查找基础频率，再确定与基础频率对应的音符。电子设备也可以根据基础频率、预设的音符计算方式，计算基础频率对应的音符。
本申请实施例提供了一种频率与音符的对应关系，具体如表1所示：
表1
Figure BDA0002414641520000121
其中，0～9表示音符的八度。
在识别包含多个音频帧的音频数据的情况下，例如，识别伴奏音乐的乐谱的情况下，电子设备可以针对每个音频帧，采用上述处理方式，确定该音频帧的音频数据对应的音符，从而可以确定音频数据对应的多个音符。
本申请实施例中，可以在接收到音符确定指令时，获取待分析的音频数据；在频域中，确定音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；从预设频率范围中，选取多个初始频率；针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，预设数目个预测频率与初始频率之间的倍数包括1至预测数目之间的整数；根据多个预测频率、多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；将对应的函数值最小的初始频率作为音频数据的基础频率；采用预设的频率转换音符方式，确定基础频率对应的音符。
本申请实施例中，利用声音在频域具有谐波属性这一特征，针对选取的每个初始频率，生成多个与初始频率成倍数关系的预测频率，然后，采用数据拟合的方式计算初始频率对应的函数值，即，根据多个预测频率、多个度量频率、每个度量频率对应的幅值峰值和预设损失函数，计算与该初始频率对应的函数值。利用初始频率对应的函数值衡量拟合程度，函数值越小表明拟合程度越高，之后，将函数值最小的初始频率作为音频数据的基础频率。
由于采用成倍数关系的多个预测频率拟合多个度量频率，能够减少在噪声影响下单个度量频率的提取失真对基础频率确定的影响，因此，能够提高基础频率的识别准确率。
可选的，本申请实施例提供了两种类别的预设损失函数，为了便于区分，分别称为第一预设损失函数和第二预设损失函数。
第一预设损失函数的表达式如式(3)所示：
Figure BDA0002414641520000131
其中，Lossp->m是第一预设损失函数的函数值，表示从预测频率到度量频率方向的损失函数。fn是预测频率，Δfn是预测频率fn与目标度量频率fk之间的频率差值，可以表示为Δfn＝|fn-fk|。an是预测频率的幅值峰值，可以将an赋值为Ak。Amax为多个幅值峰值中的最大幅值峰值。p可以取值为0.5，q可以取值为1.4，r可以取值为0.5，N表示预测频率的预设数目。
第二预设损失函数的表达式如式(4)所示：
Figure BDA0002414641520000141
其中，Lossm->p是第二预设损失函数的函数值，表示从度量频率到预测频率方向的损失函数。fk是度量频率，Δfk是度量频率fk与目标预测频率fn之间的频率差值，可以表示为Δfk＝|fn-fk|。ak是度量频率的幅值峰值，ak赋值为Ak。Amax为多个幅值峰值中的最大幅值峰值。p可以取值为0.5，q可以取值为1.4，r可以取值为0.5，K表示度量频率的数目。
本申请实施例中，针对不同类别的预设损失函数，电子设备可以选取不同的方式获取预设数目，例如，电子设备可以针对第一预设损失函数，从预设数目范围中选取预设数目。电子设备可以针对第二预设损失函数，计算最大度量频率与初始频率的比值，将该比值取整后的数值作为预设数目。
电子设备可以采用第一预设损失函数计算与初始频率对应的函数值，如图4所示，具体处理过程包括：
步骤401，将多个幅值峰值中的最大值，作为最大幅值峰值。
在实施中，电子设备可以比较音频数据包含的多个幅值峰值，将多个幅值峰值中的最大值作为最大幅值峰值。
例如，音频数据包含k个幅值峰值，k个幅值峰值可以表示为Ak，最大幅值峰值可以表示为Amax＝max{Ak}。k个幅值峰值对应的度量频率可以表示为fk，最大度量频率可以表示为fmax＝max{fk}。
步骤402，针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率。
在实施中，电子设备可以针对每个预测频率，计算该预测频率与每个度量频率之间的频率差值，得到与多个度量频率对应的频率差值。然后，电子设备可以将对应的频率差值最小的度量频率，作为与该预测频率最接近的度量频率，也即，目标度量频率。
步骤403，根据第一预设损失函数、预测频率、最大幅值峰值、目标度量频率、目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值。
在实施中，电子设备可以将预测频率fn的幅值峰值an赋值为目标度量频率对应的幅值峰值Ak，然后，电子设备可以根据式(3)所示的第一预设损失函数、预测频率fn、预测频率fn与目标度量频率fk之间的频率差值Δfn＝|fn-fk|、最大幅值峰值Amax、预测频率的幅值峰值an，计算与预测频率fn对应的函数值。
由此，电子设备可以计算得到与各预测频率对应的函数值。
步骤404，基于各预测频率对应的函数值，计算该初始频率对应的函数值。
在实施中，电子设备可以计算各预测频率对应的函数值的平均值，将平均值作为该初始频率对应的函数值。
或者，电子设备也可以根据其他类别的预设损失函数的函数值，计算初始频率对应的函数值。具体处理过程后续会进行详细说明。
本申请实施例基于表示从预测频率到度量频率这一方向的第一预设损失函数，对初始频率的多个预测频率和多个度量频率进行数据拟合，得到初始频率对应的函数值。即，针对每个预测频率，确定与该预测频率最接近的目标度量频率；再根据第一预设损失函数、预测频率、最大幅值峰值、目标度量频率、目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；再基于各预测频率对应的函数值，计算初始频率对应的函数值。
由于基于第一预设损失函数，将成倍数关系的多个预测频率与多个度量频率进行数据拟合，得到初始频率对应的函数值，因此，能够减少在噪声影响下少数度量频率的提取失真对基础频率确定的影响，从而能够提高基础频率的识别准确度和鲁棒性。
电子设备可以采用第二预设损失函数计算与初始频率对应的函数值，如图5所示，具体处理过程包括：
步骤501，将多个幅值峰值中的最大值，作为最大幅值峰值。
在实施中，此步骤的处理过程可以参照步骤401的处理过程，此处不再赘述。
步骤502，针对每个度量频率，从多个预测频率中确定与该度量频率最接近的预测频率，得到目标预测频率。
在实施中，电子设备可以针对每个度量频率，计算该度量频率与每个预测频率之间的频率差值，得到与多个预测频率对应的频率差值。然后，电子设备可以将对应的频率差值最小的预测频率，作为与该度量频率最接近的预测频率，也即，目标预测频率。
步骤503，根据第二预设损失函数、目标预测频率、最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值。
在实施中，电子设备可以根据式(4)所示的第二预设损失函数、目标预测频率fn、最大幅值峰值Amax、该度量频率fk、该度量频率对应的幅值峰值ak，计算与该度量频率对应的函数值。
步骤504，基于各度量频率对应的函数值，计算与该初始频率对应的函数值。
在实施中，电子设备可以计算各度量频率对应的函数值的平均值，将平均值作为该初始频率对应的函数值。
或者，电子设备也可以根据其他类别的预设损失函数的函数值，计算初始频率对应的函数值。具体处理过程后续会进行详细说明。
本申请实施例基于表示从度量频率到预测频率这一方向的第二预设损失函数，对初始频率的多个预测频率和多个度量频率进行数据拟合，得到初始频率对应的函数值。即，针对每个度量频率，确定与该度量频率最接近的目标预测频率；再根据第二预设损失函数、目标预测频率、最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；再基于各度量频率对应的函数值，计算初始频率对应的函数值。
由于基于第二预设损失函数，将成倍数关系的多个预测频率与多个度量频率进行数据拟合，得到初始频率对应的函数值，因此，能够减少在噪声影响402下少数度量频率的提取失真对基础频率确定的影响，从而能够提高基础频率的识别准确度和鲁棒性。
可选的，电子设备可以结合多种类别的预设损失函数计算与初始频率对应的函数值，本申请实施例提供了一种电子设备结合第一预设损失函数、第二预设损失函数，计算与初始频率对应的函数值的实现方式，如图6所示，包括：
步骤601，将多个幅值峰值中的最大值，作为最大幅值峰值。
在实施中，此步骤的处理过程可以参照步骤401的处理过程，此处不再赘述。
步骤602，针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率。
在实施中，此步骤的处理过程可以参照步骤402的处理过程，此处不再赘述。
步骤603，根据第一预设损失函数、预测频率、最大幅值峰值、目标度量频率、目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值。
在实施中，此步骤的处理过程可以参照步骤403的处理过程，此处不再赘述。
步骤604，针对每个度量频率，从多个预测频率中确定与该度量频率最接近的目标预测频率。
在实施中，此步骤的处理过程可以参照步骤502的处理过程，此处不再赘述。
步骤605，根据第二预设损失函数、目标预测频率、最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值。
在实施中，此步骤的处理过程可以参照步骤503的处理过程，此处不再赘述。
步骤606，基于各预测频率对应的函数值、各度量频率对应的函数值，计算与该初始频率对应的函数值。
在实施中，电子设备可以按照预设的预测频率的权重、度量频率的权重、各预测频率对应的函数值、各度量频率对应的函数值，计算与该初始频率对应的函数值。
电子设备可以采用式(5)计算初始频率对应的函数值：
Losstotal＝Lossp->m/(N)+ρLossm->p/(K) (5)
其中，Losstotal表示初始频率对应的函数值，Lossp->m表示各预测频率对应的函数值，Lossm->p表示各度量频率对应的函数值，度量频率的权重为ρ，预测频率的权重为1。ρ为经验值，ρ可以取值为0.33。
本申请实施例对步骤602～步骤603，与步骤604～步骤605之间的执行顺序不作具体限定。
本申请实施例中，电子设备可以结合表示从预测频率到度量频率这一方向的第一预设损失函数、表示从度量频率到预测频率这一方向的第二预设损失函数，对初始频率的多个预测频率和多个度量频率进行数据拟合。由此，可以从两个方向计算基础频率，能够进一步提高基础频率的识别准确度和鲁棒性。
可选的，为了提高基础频率的计算准确度，电子设备还可以采用插值处理的方式确定音频数据的多个幅值峰值和每个幅值峰值对应的度量频率，具体处理过程包括：
步骤1、在频域中，确定音频数据包含的多个初始幅值峰值。
在实施中，电子设备可以在确定待分析的音频数据在频域中的频域信号，然后，电子设备可以在频域信号中，确定幅值大于预设幅值峰值阈值的坐标点，将确定出的坐标点的幅值峰值作为初始幅值峰值。其中，预设幅值峰值阈值可以为-80dB。
步骤2、对每个初始幅值峰值进行修正处理，得到修正后的幅值峰值。
在实施中，电子设备可以针对每个初始幅值峰值，根据该初始幅值峰值和预设的插值公式，计算修正后的幅值峰值。
本申请实施例提供了一种对初始幅值峰值进行修正处理，得到修正后的幅值峰值的实现方式：
由于音频频率信号的峰值位置组成的曲线可以近似为抛物线，每个抛物线的中心点对应于一个初始幅值峰值，电子设备可以确定抛物线的中心点，将中心点的幅值作为修正后的幅值峰值。
电子设备采用抛物线插值的方式对初始幅值峰值进行修正处理，抛物线的方程可以表示为X[n]＝a(n-p)2+b，其中，p表示抛物线的中心点，a表示抛物线的弯曲程度参数，b表示偏移量，n表示抛物线上坐标点n的横坐标，即，坐标点n的频率，X[n]表示抛物线上坐标点n的纵坐标，即，坐标点n的幅值。
电子设备可以针对频域信号中的每个抛物线，从该抛物线上取三个坐标点，这三个坐标点的横坐标分别为kp-1、kp和kp+1，这三个坐标点的纵坐标可以表示为X[kp]＝β、X[kp-1]＝α、X[kp+1]＝γ，其中，横坐标为kp的坐标点的纵坐标可以为初始幅值峰值，α表示坐标点kp-1的纵坐标，β表示kp的纵坐标，γ表示坐标点kp+1的纵坐标。
将三个坐标点的横坐标和纵坐标带入抛物线的方程可以得到式(6)：
Figure BDA0002414641520000191
通过解式(6)可以得到
Figure BDA0002414641520000192
中心点p的幅值为b，b的表达式即插值公式，为
Figure BDA0002414641520000193
然后，电子设备可以将b作为修正后的幅值峰值。
步骤3、将每个幅值峰值对应的频率作为度量频率。
本申请实施例中，电子设备可以在频域中，确定音频数据包含的多个初始幅值峰值，然后，电子设备可以对每个初始幅值峰值进行修正处理，得到修正后的幅值峰值，之后，电子设备可以将每个幅值峰值对应的频率作为度量频率。由于对音频数据包含的多个初始幅值峰值进行修正处理，因此，能够提高幅值峰值的确定精度，从而提高基础频率的识别准确度。
基于相同的技术构思，本申请实施例还提供了一种基于音频数据确定音符的装置，如图7所示，所述装置包括：
获取模块710，用于当接收到音符确定指令时，获取待分析的音频数据；
第一确定模块720，用于在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；
选取模块730，用于从预设频率范围中，选取多个初始频率；
生成模块740，用于针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，所述预设数目个预测频率与所述初始频率之间的倍数包括1至所述预测数目之间的整数；
计算模块750，用于根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；
第二确定模块760，用于将对应的函数值最小的初始频率作为所述音频数据的基础频率；
第三确定模块770，用于采用预设的频率转换音符方式，确定所述基础频率对应的音符。
可选的，所述计算模块包括：
第一计算子模块，用于将所述多个幅值峰值中的最大值，作为最大幅值峰值；
第一确定子模块，用于针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率；
第二计算子模块，用于根据第一预设损失函数、所述预测频率、所述最大幅值峰值、所述目标度量频率、所述目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；
第三计算子模块，用于基于所述各预测频率对应的函数值，计算该初始频率对应的函数值。
可选的，所述第三计算子模块，具体用于：
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各预测频率对应的函数值、所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述计算模块，包括：
第四计算子模块，用于将所述多个幅值峰值中的最大值，作为最大幅值峰值；
第二确定子模块，用于针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
第五计算子模块，用于根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
第六计算子模块，用于基于所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
可选的，所述第一确定模块包括：
第三确定子模块，用于在频域中，确定所述音频数据包含的多个初始幅值峰值；
修正处理子模块，用于对每个所述初始幅值峰值进行修正处理，得到修正后的幅值峰值；
第四确定子模块，用于将每个幅值峰值对应的频率作为度量频率。
本申请实施例中，利用声音在频域具有谐波属性这一特征，针对选取的每个初始频率，生成多个与初始频率成倍数关系的预测频率，然后，采用数据拟合的方式计算初始频率对应的函数值，即，根据多个预测频率、多个度量频率、每个度量频率对应的幅值峰值和预设损失函数，计算与该初始频率对应的函数值。利用初始频率对应的函数值衡量拟合程度，函数值越小表明拟合程度越高，之后，将函数值最小的初始频率作为音频数据的基础频率。
由于采用成倍数关系的多个预测频率拟合多个度量频率，能够减少在噪声影响下单个度量频率的提取失真对基础频率确定的影响，因此，能够提高基础频率的识别准确率。
本申请实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现上述一种基于音频数据确定音符的方法步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例中，利用声音在频域具有谐波属性这一特征，针对选取的每个初始频率，生成多个与初始频率成倍数关系的预测频率，然后，采用数据拟合的方式计算初始频率对应的函数值，即，根据多个预测频率、多个度量频率、每个度量频率对应的幅值峰值和预设损失函数，计算与该初始频率对应的函数值。利用初始频率对应的函数值衡量拟合程度，函数值越小表明拟合程度越高，之后，将函数值最小的初始频率作为音频数据的基础频率。
由于采用成倍数关系的多个预测频率拟合多个度量频率，能够减少在噪声影响下单个度量频率的提取失真对基础频率确定的影响，因此，能够提高基础频率的识别准确率。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的基于音频数据确定音符的方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的基于音频数据确定音符的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于音频数据确定音符的方法，其特征在于，所述方法包括：
当接收到音符确定指令时，获取待分析的音频数据；
在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；
从预设频率范围中，选取多个初始频率；
针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，所述预设数目个预测频率与所述初始频率之间的倍数包括1至所述预测数目之间的整数；
根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；
将对应的函数值最小的初始频率作为所述音频数据的基础频率；
采用预设的频率转换音符方式，确定所述基础频率对应的音符。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值，包括：
将所述多个幅值峰值中的最大值，作为最大幅值峰值；
针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率；
根据第一预设损失函数、所述预测频率、所述最大幅值峰值、所述目标度量频率、所述目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；
基于所述各预测频率对应的函数值，计算该初始频率对应的函数值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各预测频率对应的函数值，计算该初始频率对应的函数值，包括：
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各预测频率对应的函数值、所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值，包括：
将所述多个幅值峰值中的最大值，作为最大幅值峰值；
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
5.根据权利要求1所述的方法，其特征在于，所述在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率，包括：
在频域中，确定所述音频数据包含的多个初始幅值峰值；
对每个所述初始幅值峰值进行修正处理，得到修正后的幅值峰值；
将每个幅值峰值对应的频率作为度量频率。
6.一种基于音频数据确定音符的装置，其特征在于，所述装置包括：
获取模块，用于当接收到音符确定指令时，获取待分析的音频数据；
第一确定模块，用于在频域中，确定所述音频数据包含的多个幅值峰值和每个幅值峰值对应的度量频率；
选取模块，用于从预设频率范围中，选取多个初始频率；
生成模块，用于针对每个初始频率，生成预设数目个与初始频率成倍数关系的预测频率，所述预设数目个预测频率与所述初始频率之间的倍数包括1至所述预测数目之间的整数；
计算模块，用于根据所述多个预测频率、所述多个幅值峰值、每个幅值峰值对应的度量频率和预设损失函数，计算与该初始频率对应的函数值；
第二确定模块，用于将对应的函数值最小的初始频率作为所述音频数据的基础频率；
第三确定模块，用于采用预设的频率转换音符方式，确定所述基础频率对应的音符。
7.根据权利要求6所述的装置，其特征在于，所述计算模块包括：
第一计算子模块，用于将所述多个幅值峰值中的最大值，作为最大幅值峰值；
第一确定子模块，用于针对每个预测频率，从多个度量频率中确定与该预测频率最接近的度量频率，得到目标度量频率；
第二计算子模块，用于根据第一预设损失函数、所述预测频率、所述最大幅值峰值、所述目标度量频率、所述目标度量频率对应的幅值峰值，计算与该预测频率对应的函数值；
第三计算子模块，用于基于所述各预测频率对应的函数值，计算该初始频率对应的函数值。
8.根据权利要求7所述的装置，其特征在于，所述第三计算子模块，具体用于：
针对每个度量频率，从所述多个预测频率中确定与该度量频率最接近的目标预测频率；
根据第二预设损失函数、所述目标预测频率、所述最大幅值峰值、该度量频率、该度量频率对应的幅值峰值，计算与该度量频率对应的函数值；
基于所述各预测频率对应的函数值、所述各度量频率对应的函数值，计算与该初始频率对应的函数值。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的方法步骤。
CN202010187328.4A 2020-03-17 2020-03-17 一种基于音频数据确定音符的方法及装置 Active CN111415681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187328.4A CN111415681B (zh) 2020-03-17 2020-03-17 一种基于音频数据确定音符的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010187328.4A CN111415681B (zh) 2020-03-17 2020-03-17 一种基于音频数据确定音符的方法及装置

Publications (2)

Publication Number Publication Date
CN111415681A true CN111415681A (zh) 2020-07-14
CN111415681B CN111415681B (zh) 2023-09-01

Family

ID=71494372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010187328.4A Active CN111415681B (zh) 2020-03-17 2020-03-17 一种基于音频数据确定音符的方法及装置

Country Status (1)

Country Link
CN (1) CN111415681B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299937A (zh) * 2021-12-31 2022-04-08 镁佳(北京)科技有限公司 一种dnn模型训练方法及语音识别方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095254A1 (en) * 2004-10-29 2006-05-04 Walker John Q Ii Methods, systems and computer program products for detecting musical notes in an audio signal
CN101421778A (zh) * 2006-04-14 2009-04-29 皇家飞利浦电子股份有限公司 在用于谐波和基调分析的音频频谱中选择音调分量
US20110247480A1 (en) * 2010-04-12 2011-10-13 Apple Inc. Polyphonic note detection
CN103854644A (zh) * 2012-12-05 2014-06-11 中国传媒大学 单声道多音音乐信号的自动转录方法及装置
CN104143324A (zh) * 2014-07-14 2014-11-12 电子科技大学 一种乐音音符识别方法
CN104200818A (zh) * 2014-08-06 2014-12-10 重庆邮电大学 一种音高检测方法
CN110111773A (zh) * 2019-04-01 2019-08-09 华南理工大学 基于卷积神经网络的音乐信号多乐器识别方法
CN110599987A (zh) * 2019-08-25 2019-12-20 南京理工大学 基于卷积神经网络的钢琴音符识别算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095254A1 (en) * 2004-10-29 2006-05-04 Walker John Q Ii Methods, systems and computer program products for detecting musical notes in an audio signal
CN101421778A (zh) * 2006-04-14 2009-04-29 皇家飞利浦电子股份有限公司 在用于谐波和基调分析的音频频谱中选择音调分量
US20110247480A1 (en) * 2010-04-12 2011-10-13 Apple Inc. Polyphonic note detection
CN103854644A (zh) * 2012-12-05 2014-06-11 中国传媒大学 单声道多音音乐信号的自动转录方法及装置
CN104143324A (zh) * 2014-07-14 2014-11-12 电子科技大学 一种乐音音符识别方法
CN104200818A (zh) * 2014-08-06 2014-12-10 重庆邮电大学 一种音高检测方法
CN110111773A (zh) * 2019-04-01 2019-08-09 华南理工大学 基于卷积神经网络的音乐信号多乐器识别方法
CN110599987A (zh) * 2019-08-25 2019-12-20 南京理工大学 基于卷积神经网络的钢琴音符识别算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299937A (zh) * 2021-12-31 2022-04-08 镁佳(北京)科技有限公司 一种dnn模型训练方法及语音识别方法、装置
CN114299937B (zh) * 2021-12-31 2022-07-01 镁佳(北京)科技有限公司 一种dnn模型训练方法及语音识别方法、装置

Also Published As

Publication number Publication date
CN111415681B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US8853516B2 (en) Audio analysis apparatus
US8694314B2 (en) Voice authentication apparatus
WO2020037555A1 (zh) 评估麦克风阵列一致性的方法、设备、装置和系统
JP2012226080A (ja) 楽曲検索装置および方法、プログラム、並びに記録媒体
JP6272433B2 (ja) ピッチ周期の正確性を検出するための方法および装置
CN108200526B (zh) 一种基于可信度曲线的音响调试方法及装置
WO2013142652A2 (en) Harmonicity estimation, audio classification, pitch determination and noise estimation
CN111223491B (zh) 一种提取音乐信号主旋律的方法、装置及终端设备
CN113452855B (zh) 啸叫处理方法、装置、电子设备及存储介质
US10068558B2 (en) Method and installation for processing a sequence of signals for polyphonic note recognition
US20240062738A1 (en) Methods and Apparatus for Harmonic Source Enhancement
US10242697B2 (en) Pitch information generation device, pitch information generation method, and computer-readable recording medium therefor
CN111415681A (zh) 一种基于音频数据确定音符的方法及装置
US20180075140A1 (en) Audio identification based on data structure
CN111785294A (zh) 音频检测方法及装置、终端、存储介质
US9420375B2 (en) Method, apparatus, and computer program product for categorical spatial analysis-synthesis on spectrum of multichannel audio signals
JP2015200685A (ja) アタック位置検出プログラムおよびアタック位置検出装置
JP2018032931A (ja) 音響信号処理装置、プログラム及び方法
CN110136677B (zh) 乐音控制方法及相关产品
CN111782859A (zh) 一种音频可视化方法、装置和存储介质
CN111782868A (zh) 一种音频处理方法、装置、设备及介质
US8712018B2 (en) Testing apparatus and testing method for telephone apparatus
JP7023324B2 (ja) マルチメディア信号認識のための電子装置およびその動作方法
Abdulla et al. DUET using automatic peak detection and histogram thresholding
Yedla et al. Hybrid high noise resiliency pitch detection algoritm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant