CN108038146A - 音乐演奏人工智能分析方法、系统及设备 - Google Patents

Abstract

本发明揭示了音乐演奏人工智能分析方法、系统及设备，方法包括如下步骤：S1，读取演奏的乐谱对应的音频文件及标准MIDI文件；S2，通过端点检测将演奏乐谱的音频文件切分成一组单个音符的音乐段，并计算出每个音乐段的起始时间；S3，按时序将标准MIDI文件中的每个音符的起始时间与切分后对应时序的音乐段的起始时间进行比对和/或按时序将标准MIDI文件中的每个音符与切分后对应时序的音乐段所表示的音符进行匹配来进行分析。本方法不依附于乐器设备，不受乐器的类型、品牌和型号的限制，可移植性好，适用范围广泛，便于推广应用，同时，不需要在乐器的原始结构上增加零件，不会对原始的乐器生产产生影响，避免增加相应零件的成本。

Description

音乐演奏人工智能分析方法、系统及设备

技术领域

本发明涉及乐器演奏分析方法及设备领域，尤其是音乐演奏人工智能 分析方法、系统及设备。

背景技术

随着素质教育的大力发展，越来越多的孩子在学习课堂知识之余，增 加了乐器演奏的学习，由此带来了各种乐器需求量的大大增加，但是由于 初学者水平较低且在没有老师指导评价时，导致初学者自学时无法明确演 奏的好坏，不利于学习进步，同时，随着需要对乐器演奏进行评分的需求 越来越大，因此具有智能化评分功能的乐器也成为众企业的关注重点，且 具有相应功能的各种乐器产品也如雨后春笋般出现。

但是它们存在很多问题，首先是产品同质化严重，另外，可移植性差， 以钢琴演奏系统为例，现有的具有识别打分功能的钢琴演奏系统，它需要 一个电子的MIDI演奏钢琴，将演奏结果输出成数字MIDI信号，通过数据 传输设备与外设连接在一起，需要外设对数字信号进行处理。

其只能对电子钢琴输出的数字MIDI信号进行识别并打分，这种打分系 统只能与固定的钢琴演奏设备进行绑定，如果演奏的钢琴换成三角琴，甚 至换成其它电子琴，整个钢琴识别系统都会无法工作，因此可移植性、通 用性差。

另外，也有一些其他的评分系统，如专利申请号为2017100792428的 中国专利申请，其公开了通过在琴键表面增加压力传感器来进行演奏评分 的钢琴，但是其增加压力传感器的方式需要对钢琴的原始结构进行改变， 必须依附于钢琴自身的结构，不利于在已有的钢琴上进行应用；同时，由 于增加压力传感器也会导致生产成本的增加。

发明内容

本发明的目的就是为了解决现有技术中存在的上述问题，提供音乐演奏 人工智能分析方法、系统以及包括该系统的设备。

本发明的目的通过以下技术方案来实现：

音乐演奏人工智能分析方法，包括如下步骤：

S1，读取演奏的乐谱对应的音频文件及标准MIDI文件；

S2，通过端点检测将演奏乐谱的音频文件切分成一组单个音符的音乐 段，并计算出每个音乐段的起始时间；

S3，按时序将标准MIDI文件中的每个音符的起始时间与切分后对应时 序的音乐段的起始时间进行比对和/或按时序将标准MIDI文件中的每个音 符与切分后对应时序的音乐段所表示的音符进行匹配来进行分析。

优选的，在S2步骤中，将音频文件切分成音乐段的过程如下：

S21，接收分帧预处理后的声音信号；

S22，判断一帧信号的平均帧能量差与平均帧能量差低门限、平均帧能 量差高门限的大小以及平均帧过零率与平均帧过零率低门限的大小；

S23，当判断第一帧信号的平均帧能量差＞平均帧能量差高门限，则该 帧信号进入音乐段，记录该帧信号的帧数，音乐长度加1，执行S24步骤；

当判断第一帧信号的平均帧能量差＜平均帧能量差低门限和/或平均 帧过零率＜平均帧过零率低门限，则该帧信号处于静音段，执行S27步骤；

当判断第一帧信号满足平均帧能量差低门限≤平均帧能量差≤平均帧 能量差高门限，且平均帧过零率≥平均帧过零率低门限，则该帧信号处于 过渡段，执行S28步骤；

S24，判断下一帧信号的平均帧能量差和平均帧过零率小于零是否成立； 若不成立，该帧信号还处于音乐段，音乐长度加1，执行S24步骤；若成立， 执行S25步骤；

S25，判断该帧信号前的音乐长度是否大于最小音乐长度，若小于，则 前面检测出的音乐段是噪音，音乐长度清零，按照S22步骤继续判断下一 帧信号的状态；若大于等于，则满足跳变条件，执行S26步骤；

S26，判断下一帧信号的平均帧能量差≥平均帧能量差低门限是否成立； 若否，该帧信号处于静音段，执行S27步骤，若是，该帧信号处于过渡段， 执行S28步骤；

S27，依照S22步骤判断下一帧信号的状态，并根据S23步骤的判断原 则确定该帧信号的状态；

S28，依照S22步骤判断下一帧信号的状态，当该帧信号不满足平均帧 能量差低门限≤平均帧能量差≤平均帧能量差高门限，且平均帧过零率≥ 平均帧过零率低门限，该帧信号维持在静音段，执行S27步骤；

当该帧信号满足平均帧能量差低门限≤平均帧能量差≤平均帧能量差 高门限，且平均帧过零率≥平均帧过零率低门限时，执行S29步骤；

S29，判断该帧信号与前一帧信号的平均帧能量差之和大于平均帧能量 差步长且该帧信号与前一帧信号的平均帧过零率的绝对值之和大于平均帧 过零率步长是否成立；若不成立，该帧信号维持在过渡段，执行S28步骤； 若成立，该帧信号进入音乐段，音乐长度加1，执行S24步骤。

优选的，在S21步骤中，按照帧长441，帧移441对声音信号进行分帧。

优选的，在S22步骤中，一帧信号的平均帧能量差经过归一化处理。

优选的，在S22步骤中，所述平均帧能量差低门限在0.030-0.055之间， 所述平均帧能量差高门限在0.040-0.085之间，所述平均帧过零率低门限在0-0.005之间。

优选的，在S29步骤中，所述平均帧能量差步长在0.070-0.100之间， 所述平均帧过零率步长在0.300-2.000之间。

优选的，在S2步骤中，通过如下公式计算出每个音乐段的起始时间

t＝(f*ins+FrameLen-ins)/采样频率

其中，t为每个音乐段的起始时间，f为进入每个音乐段的起始帧信号 的帧数，FrameLen为帧长，ins为帧移。

优选的，所述S3步骤包括如下过程，

S31，第一轮匹配，判断标准MIDI文件中的一个音符的频率属性与对 应时序音乐段所表示的音符的频率属性是否匹配及判断标准MIDI文件中的 该音符与对应时序音乐段的起始时间差是否在阈值内；

S32，若上述两个判断条件不都成立，第一轮匹配失败，执行S33步骤； 反之，第一轮匹配成功，在数组中记录信息为标准MIDI文件中的一个音符 和/或对应时序音乐段所表示的音符，并执行S34；

S33，第二轮匹配，判断标准MIDI文件中的该音符与对应时序音乐段的 起始时间差是否在阈值内，若判断结果为是，第二轮匹配成功，在数组中 记录信息为标准MIDI文件中的一个音符和/或对应时序音乐段所表示的音 符，并执行S34步骤；反之，第二轮匹配失败，在数组中记录信息为null值， 执行S34步骤；

S34，判断数组中记录的信息是否为null值，如是，未匹配音符数加1； 反之，执行S35步骤；

S35,判断标准MIDI文件中的该音符与对应时序音乐段所表示的音符是 否相同，若判断结果为相同，则认定音符演奏正确，正确音符数加1；反之， 认定音符演奏错误，错误音符数加1；

S36，重复S31-S35步骤至所有MIDI文件的音符都匹配结束，计算未匹 配音符数、正确音符数、错误音符数、起始时间差的平均值、起始时间差 的方差及起始时间差的标准差；

S37，计算演奏分数并输出。

优选的，判断标准MIDI文件中的一个音符与对应时序音乐段所表示的 音符是否相同的过程如下：

S41，通过基于短时傅里叶变换的谐波峰值法求出一个音乐段的最大峰 值频率；

S42，根据乐器中每个音符的频率阈值确认一个音乐段的最大峰值频率 是否在乐器的频率阈值内；

S43，根据频率与可能是该频率的所有的音符的匹配关系确认所述最大 峰值频率可能是哪些音符；

S44，将所述最大峰值频率可能是的音符中最接近标准MIDI文件相应时 序的音符的一个输出并确认两者是否相同。

音乐演奏人工智能分析系统，包括

数据读取模块，用于读取演奏乐谱的音频文件及演奏乐谱对应的标准 MIDI文件；

音乐段切分模块，用于通过端点检测将演奏乐谱的音频文件切分成一 组单个音符的音乐段，并计算出每个音乐段的起始时间；

比对分析模块，用于按时序将标准MIDI文件中的每个音符的起始时间 与切分后对应时序的音乐段的起始时间进行比对以及按时序判断标准MIDI 文件中的每个音符与切分后对应时序的音乐段所表示的音符是否相同来进 行分析。

具有音乐演奏人工智能分析功能的设备，至少包括录音设备及所述的 音乐演奏人工智能分析系统。

优选的，所述录音设备为硅麦克风。

优选的，所述设备包括用于存储标准数据的存储模块和/或通过外部存 储设备获取标准数据和/或通过云端获取标准数据和/或通过互联网获取标 准数据。

优选的，所述设备是智能终端或至少包括指令输入设备、信号输出设 备以及具有联网模块的控制设备的乐器。

本发明技术方案的优点主要体现在：

本发明设计精巧，过程简单，通过端点检测将录音设备录取的演奏音 频切分成若干单个音符的片段，能够确定每个音符片段的起始时间并通过 频率分析确认每个音符片段对应的音符，从而可以将标准Midi文件中每个 音符的标准要求与演奏的每个音乐段的相应参数进行比对，以判断演奏的 准确性并在此基础上进行分析，不依附于乐器本体，不受乐器的类型、结 构的限制，可以应用于各种已知的乐器演奏的评分，只需在设备上安装相 应的软件即可实现分析的功能，可移植性好，便于推广应用，适用范围广 泛，同时，不需要在乐器的原始结构上增加零件，不会对原始的乐器生产 产生影响，避免增加相应零件的成本。

本发明采用五门限的端点检测方法，在短时平均能量的基础引入短时 平均能量差来作为判别的条件，同时通过增加了平均帧能量差步长、平均 帧过零率步长两个用于在过渡段之后判断是否进入音乐段的条件，提高了 对进入音乐段的要求，有利于提高检测的精度，并且通过对各门限参信息 的设定，从而有利于进一步提高端点检测的准确性，另外，通过对音乐段 结束后跳变到的状态进行判断，也有利于保证后续音乐段检测的精确性，从而为精确分析提供了保证。

通过对门限的设置，避免了噪音影响和漏检情况的发生，有效的保证 了端点识别的准确性。

在端点检测过程中，通过对进入音乐段的帧数的记录，从而能够有效 的将音乐段的切分成各单个音符片段，并计算出每个音符片段的时间，为 后续的分析及频率分析奠定了数据基础。

本发明采用两轮匹配结合音符再匹配的过程，能够对多种演奏情况进 行识别，有利于保证分析的准确性和精度。

本发明的乐器具有联网模块，用户可以通过手机、PAD等与乐器中的系 统进行通信，从而使得控制更加智能化，便捷性提高。

附图说明

图1是本发明的过程示意图；

图2是本发明的音频文件切分过程示意图；

图3是本发明在第一条件下检测《摘棉花的老人》的结果图；

图4是本发明在第二条件下检测《摘棉花的老人》的结果图；

图5是本发明在第三条件下检测《摘棉花的老人》的结果图；

图6是本发明的评分过程示意图；

图7是本发明的评分过程中，确认音符与对应音乐段所表示的音符的 匹配过程图；

图8是本发明的设备为智能终端的结构框图；

图9是本发明的设备为乐器的结构框图。

具体实施方式

本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明 进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采 取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范 围之内。本发明揭示了音乐演奏人工智能分析方法，以88键钢琴演奏为例， 如附图1所示，包括如下步骤：

S1，读取演奏的乐谱对应的音频文件及标准MIDI文件；此处，在进行 演奏前，用户先在钢琴上选择要演奏的曲目，从而获得该曲目对应的标准 MIDI文件，通过MIDI文件数字信号转换对应表将标准MIDI文件的16进制 数字编码转换为乐谱中每个音符的弹奏顺序、弹奏力度、时长和具体应当 按下的键位的信息，各演奏曲目的所述标准MIDI文件及MIDI文件数字信 号转换对应表均是标准数据的一种。

而所述音频文件是通过录音设备录取的演奏者实时演奏的音乐的录音 文件，其一般为WAV格式，当然也可以是其他可行的格式，在此不作限定。

在获得音频文件后，需要对其进行处理后才能与标准MIDI文件中相应 的数据进行比对，具体的处理方式如附图1所示：

S2，通过端点检测将演奏乐谱的音频文件切分成一组单个音符的音乐 段，并计算出每个音乐段的起始时间。

此处的端点检测的方法可以是各种已知的端点检测方法，如是常规的 双门限端点检测方法，即通过短时能量和短时过零率两方面来对音乐的起 点和终点进行检测，通过预先设定合理的短时能量门限和过零率门限进行 判别，用短时能量来判别音乐的响度特征，用短时过零率来判断音乐的频 率特征。

其在开始进行端点检测之前，首先为短时能量和过零率分别确定两个 门限，一个是比较低的门限，其数值比较小，对信号的变化比较敏感，很 容易就会被超过；另一个是比较高的门限，其数值比较大，信号必须达到 一定的强度，该门限才可能被超过。低门限被超过未必就是语音的开始有 可能是时间很短的噪声引起的，高门限被超过则可以基本确信是由于语音 信号引起的。

整个语音信号的端点检测通常可以分成四段，即静音段、过渡段、音 乐段、结束。在静音段，如果能量或过零率超越了低门限就开始标记起始 点，进入过渡段；在过渡段中，由于参数的数值比较小，不能确信是否处 于真正的音乐段，因此只要两个参数的数值回落到低门限以下，就将当前 状态恢复到静音状态；而如果在过渡段中两个参数中的任一个超过了高门 限，就可以确信进入音乐段了，当前状态处于音乐段时，如果两个参数的 数值降低到低门限以下，而且总的计时长度小于最短时间门限，则认为这 是一段噪音，继续扫描以后的语音数据，否则就标记好结束端点。

而在另一实施例中，优选采用五门限的方法进行检测，如附图2所示， 具体过程如下：

S21，接收分帧预处理后的声音信号；在实际分帧时，优选采样频率， 即一秒中采样点的数量为44100，帧长(FrameLen)为441，帧移(inc) 为441，这是由于发明人研究发现，相对其他分帧条件，上述参数设置具有 更高的检测精度；对于一段包含音乐的声音信号进行分帧后，分帧后的总 帧数f_n，音乐总采样点数L，每一帧音乐包含的采样点数、帧长FrameLen、 帧移ins满足如下公式：f_n＝(L-FrameLen+ins)/ins，其中音乐总采样点 数L等于声音信号的总时长乘以采样频率。

在接收到上述分帧后的声音信号进行端点检测时，需要从第一帧信号 开始判断每一帧信号对应的阶段，即判断一帧信号是处于静音段、过渡段 或是音乐段，并且，对于一段声音而言，在未检测前，均默认为处于静音 段。

S22，具体判断时，需要首先判断一帧信号的平均帧能量差ampdif与 平均帧能量差低门限ampdifmin、平均帧能量差高门限ampdifmax的大小以 及平均帧过零率zcrdif与平均帧过零率低门限zcrdifmin的大小；

其中，一帧信号的平均帧能量的计算公式如下：

因为一帧信号的平均帧能量amp为正直，所以平均帧能量的定义不受信 号正负的影响，能非常直观地对信号振幅的变化进行刻画；而本文在平均 帧能量amp的基础上进一步设定参数平均帧能量差ampdif，其表示从声音 信号的第一帧开始，每帧信号与前一帧信号的平均帧能量的差值，这样不 仅将每帧信号的能量考虑在内，同时引入能量差作为判别条件以保证检测 精度。

为了将平均帧能量差ampdif控制在一个可以预见的范围，在实际处理时， 对平均帧能量差ampdif进行了归一化处理，即ampdif＝ampdif/an，其中an 表示的是平均帧能量差的最小值的绝对值与平均帧能量差的最大值之和的 二分之一。

而对于平均帧过零率来说，它刻画的是一帧信号中的采样点由正变负 或由负变正的次数，而平均帧过零率即对音乐信号分帧后，每帧内的各采 样点经过零点的次数，平均帧过零率可以反应音乐信号的频率信息，其定 义为：

signs＝(tmp1·tmp2＜0)

diffs＝(|tmp1-tmp2|＞0.02)

其中，Zcr表示过零率；signs表示符号数组，用于确定相邻两个采样 点符号是否相同；diffs用于度量相邻两个采样点之间距离，如果大于门限， 则为1，否则为0，之所以取diffs为大于0.02是要求不仅tmp1与tmp2要异号， 而且不能为噪声，噪声能量显然是没有语音大的，所以将变化小于0.02的 视为噪声。

并且在S22的判断步骤之前，发明人通过大量实验研究和数据比对，预 先设定了相应的门限值，优选所述平均帧能量差低门限ampdifmin在 0.030-0.055之间，所述平均帧能量差高门限ampdifmax在0.040-0.085之间， 所述平均帧过零率低门限zcrdifmin在0-0.005之间，进一步优选，所述平 均帧能量差低门限ampdifmin在0.04±0.005的范围内，所述平均帧能量差 高门限ampdifmax在0.06±0.005的范围内，所述平均帧过零率低门限zcrdifmin为0。

S23，当判断第一帧信号的平均帧能量差ampdif＞平均帧能量差高门限ampdifmax，则该帧信号进入音乐段，音乐长度(count)加1，在进入音乐 段后，需要继续判断下一帧信号是否仍维持在音乐段，具体执行S24步骤。

当判断第一帧信号的平均帧能量差ampdif＜平均帧能量差低门限 ampdifmin和/或平均帧过零率zcrdif＜平均帧过零率低门限zcrdifmin，则 认为该帧信号处于静音段，且在静音段时，音乐长度始终为0，需要继续判 断下一帧信号是处于什么阶段，具体执行S27步骤。

当判断第一帧信号满足平均帧能量差低门限ampdifmin≤平均帧能量 差ampdif≤平均帧能量差高门限ampdifmax，且平均帧过零率zcrdif≥平均 帧过零率低门限zcrdifmin，则该帧信号处于过渡段，且在过渡段时，音乐 长度始终为0，进入过渡段后，还需要判断下一帧信号是维持在过渡段还是 跳变到静音段或音乐段，具体执行S28步骤。

S24，在进入音乐段后，在判断下一帧信号是否维持在音乐段时，需要 判断下一帧信号的平均帧能量差和平均帧过零率小于零是否成立；若不成 立，则说明该帧信号还处于音乐段，音乐长度加1，并再次执行S24步骤； 若上述判断成立，表明前面检测出的音乐段结束，在音乐段结束时，还要 对音乐段的时长进行判断，因为只有到达一定长度的音乐信号才可被视为 是真正的音乐段，以将前面判定为音乐段但实际是噪音的“漏网之鱼”剔 除，避免由噪音引发的错误判断，具体执行S25步骤。

S25，判断该帧信号前的音乐长度是否大于最小音乐长度，若小于，则 表明前面检测出的音乐段的长度还不够，认定前面检测出的音乐段是噪音， 同时将音乐长度清零，继续检测后面的信号，即按照S22步骤继续判断下一 帧信号的状态；若大于等于，则表明前面检测出的音乐段的长度满足要求， 且前面的音乐段结束，需要跳出音乐段，此时满足跳变条件，即满足从音 乐段跳变到静音段或过渡段的条件，此处需要说明的是，在进入音乐段后， 需要通过Stayflag来标示是否要跳变至静音段或过渡段，当音乐第一次循 环至音乐段时，Stayflag为1，即不需跳变，并且在静音段和过渡段 时,Stayflag同样保持为1，而当满足S25步骤中的跳变条件时，将会给 Stayflag赋值为0，并执行S26步骤。

之所以要进行S26步骤，是由于静音段和过渡段标志着音乐等级的高低， 当从过渡段到达音乐段时，一帧信号只需满足平均帧能量差ampdif≥ ampdifmin、zcrdif≥zcrdifmin、该帧信号与前一帧信号的平均帧能量差 之和大于平均帧能量差步长ampdifgap且该帧信号与前一帧信号的平均帧 过零率的绝对值之和大于平均帧过零率步长zcrdifgap，就能进入音乐段， 此条件虽然数目较多，但是相对而言较为宽松。

但是当从静音段到达音乐段时，必须满足一帧信号的ampdif≥ ampdifmax，即大于平均帧能量差高门限，虽然条件数目有所减少，但高门 限不易满足，所以条件较为严格，因此当不满足音乐段需要跳出音乐段时， 需要确定下一段应处的位置，并且在从前一音乐段跳出后，下一帧信号可 能直接跳变到下一音乐段，但是程序需要一个判读过程，该判读过程需要2-3帧的数据，故在此种情形下引入过渡段，以保证检测精度更为精准。

S26，判断下一帧信号的平均帧能量差≥平均帧能量差低门限是否成立； 若否，该帧信号处于静音段，执行S27步骤，若是，该帧信号处于过渡段， 执行S28步骤。

S27，依照S22步骤判断下一帧信号的状态，并根据S23步骤的判断原 则确定该帧信号的状态。

S28，依照S22步骤判断下一帧信号的状态，当该帧信号不满足平均帧 能量差低门限≤平均帧能量差≤平均帧能量差高门限，且平均帧过零率≥ 平均帧过零率低门限，该帧信号维持在静音段，执行S27步骤。

当该帧信号满足平均帧能量差低门限≤平均帧能量差≤平均帧能量差 高门限，且平均帧过零率≥平均帧过零率低门限时，执行S29步骤。

S29，判断该帧信号与前一帧信号的平均帧能量差之和大于平均帧能量 差步长ampdifgap且该帧信号与前一帧信号的平均帧过零率的绝对值之和 大于平均帧过零率步长zcrdifgap是否成立，此处所述平均帧能量差步长 ampdifgap为前后两帧信号的能量差的下限，优选ampdifgap在 0.070-0.100之间，所述平均帧过零率步长zcrdifgap为前后两帧信号的过 零率差的下限，优选zcrdifgap在0.300-2.000之间，进一步优选ampdifgap 在0.08±0.005的范围内；zcrdifgap在1±0.05的范围内；若S29判断 结果为不成立，该帧信号维持在过渡段，执行S28步骤；若成立，该帧信 号进入音乐段，音乐长度加1，执行S24步骤。

即在过渡阶段，不仅对单个的平均帧能量差ampdif进行检测，而是对 相邻的两个帧的平均帧能量差ampdif进行考察，防止因噪声引起的某一个 帧的平均帧能量差突然变得很大的引起的误判，平均帧过零率步长 zcrdifgap的设定也是相同的道理。

在端点检测过程中，每当声音信号从静音段或过渡段跳变到音乐段时， 将记录下此刻所对应的帧数f，但当声音信号在音乐段循环时，即下一帧信 号维持在音乐段时，并不会记录对应帧数，直到下一次从静音段或过渡段 跳变到音乐段时，再次记录对应的帧数，因此在本发明中实际上只是对一 段包含音乐的声音中不同音符的起点进行了记录，并没有记录音符结束点， 下一个音乐段的起点视为上一个音乐段的结束点，而每一个音乐段即对应 一个音符片段，从而实现将一段音乐切分成多个单独音符的片段。

并且，根据上文公式：f_n＝(L-FrameLen+ins)/ins，可以计算出所记 录的帧数f对应的采样点数L_f＝f*ins+FrameLen-ins，根据所设定的采样频 率，即可算出每个音乐段，即每个音符的起始时间t＝L_f/采样频率，从而可 以为后续的分析应用奠定数据基础。

并且，上文中介绍的五门限所选的值是发明人经过大量的实验从而获得 的，其每个值的准确性将直接影响最后判断音符所在阶段的结果，若低门 限设置过高，则导致本应为音乐阶段或过渡阶段的帧被误判为静音阶段， 若低门限设置过低，则导致将噪音误判为音乐。同理，对于高门限和步长 的选取也是一样的，所设定值越高，本应为语音段而被忽略的概率就越大， 设定值越低，本应为噪声而被判定为语音段的概率越大。

附图3显示了以ampdifmin＝0.04、ampdifgap＝0.08、ampdifmax＝0.06、zcrdifmin＝0、zcrdifgap＝1为条件，对音乐《摘棉花的老人》进行端点检 测的结果，其能够准确的识别出每个音符。

附图4显示了以ampdifmin＝0.04、ampdifgap＝0.08、ampdifmax＝0.15、zcrdifmin＝0、zcrdifgap＝3，为条件，对音乐《摘棉花的老人》进行端点 检测的结果，其出现了音符漏检的情况。

附图5显示了以ampdifmin＝0.02、ampdifgap＝0.20、ampdifmax＝0.20、zcrdifmin＝0、zcrdifgap＝3，为条件，对音乐《摘棉花的老人》进行端点 检测时，其出现了将噪音认为是处于音乐段的情况。

将音频文件切分成单音符的音乐段后，即可以进行分析比对，具体如 下：

S3，如附图1、附图6所示，从第一个音符开始，按时序将标准MIDI 文件中的每个音符的起始时间与切分后对应时序的音乐段的起始时间进行 比对以及按时序判断标准MIDI文件中的每个音符与切分后对应时序的音乐 段所表示的音符是否相同来进行分析。

详细过程如下：

S31，第一轮匹配，判断标准MIDI文件中的一个音符的频率属性与对 应时序音乐段所表示的音符的频率属性是否匹配及判断标准MIDI文件中的 该音符与对应时序音乐段的起始时间差是否在阈值内，第一轮匹配的作用 相当于判断是否在正确的时间演奏正确的音符。

S32，若上述两个判断条件不都成立，第一轮匹配失败，执行S33步骤； 反之，第一轮匹配成功，在数组中记录信息为标准MIDI文件中的一个音符 和/或对应时序音乐段所表示的音符，并执行S34；

S33，第二轮匹配，判断标准MIDI文件中的该音符与对应时序音乐段的 起始时间差是否在阈值内，若判断结果为是，第二轮匹配成功，在数组中 记录信息为标准MIDI文件中的一个音符和/或对应时序音乐段所表示的音 符，并执行S34步骤；反之，第二轮匹配失败，在数组中记录信息为null值， 执行S34步骤；第二轮匹配的作用相当于确定出在对的时间演奏出了错误的 音符。

并且，如果在第一轮匹配和第二轮匹配成功时，优选将对应时序音乐 段所表示的音符记录在数组nrr中，从而可以在下述的S35步骤中直接进行 比对，提高分析速度，避免重复进行频率分析的过程。

S34，判断数组中记录的信息是否为null值，如是，未匹配音符数加1； 反之，执行S35步骤；并且，由于在第一轮匹配和第二轮匹配过程中，位于 数组中的数据有可能是错误的音符，因此在两轮匹配后还需要执行S35步骤。

S35,判断标准MIDI文件中的该音符与对应时序音乐段所表示的音符是 否相同，若判断结果为相同，则认定音符演奏正确，正确音符数加1；反之， 认定音符演奏错误，错误音符数加1；

S36，重复S31-S35步骤至所有MIDI文件的音符都匹配结束，计算未匹 配音符数、正确音符数、错误音符数、起始时间差的平均值、起始时间差 的方差及起始时间差的标准差。

其中，正确音符数越多，分数越高，而未匹配音符数、音符数越多， 分数越低，起始时间差C的平均值、起始时间差C的方差是用于考察演奏音 乐的wav文件和标准MIDI文件起始时刻差异的标准，在C方差一定的情况下， C的平均值越大，证明演奏音乐的wav文件偏离标准MIDI文件越多，相应的 分数越低。

但是为了避免演奏是出现提前演奏或滞后演奏的可能性，还需设定C的 方差这一参数，例如当演奏者因为习惯，将整首乐曲全部提前演奏0.5秒， 但每个音符演奏的效果与MIDI中规定的均一致，那么此时应将此演奏视为 合乎演奏标准的演奏，因此若只从C的平均值来判断演奏结果是不符合演奏 评分的实际情况的，采用C平均值与C方差总和判断较为精确。S37，根据计 算公式，计算演奏分数并输出。而对于不同精度要求的软件，其最终计算 得分的公式是不同的，具体计算公式需要根据所给样本的分值对上述不同 参数计算相关系数，根据相关系数列出Score所需的计算公式，这样做的优 点是可以根据要求来改变Score所需的计算公式，提高软件的鲁棒性。

其中，在判断标准MIDI文件中的音符与对应时序的音乐段的所表示的 音符是否相同时，首先要通过频率分析来确认每个音乐段可能是什么音符， 如附图7所示，过程如下：

S41，通过基于短时傅里叶变换的谐波峰值法求出一个音乐段的最大峰 值频率；常规的基于快速傅里叶变换(FFT)的识别算法均将信号进行FFT， 然后根据谐波和基音的关系来确定基音。一般地，这种识别对音乐信号进 行FFT得到频域数据，提取出其中局部最大值(峰值)序列，原则上把序列频 率的最大的公因子作为音高，但是，由于音乐信号的频宽较大，对于音高 跨度较大的乐曲，如果乐器的谐波比较丰富，就可能使识别出现错误，因此发明人研究发现，使用短时傅里叶变换(SFFT)作为频域识别的手段， 对于切分好的音频来说更加准确。

短时傅里叶变换是通过时间窗内的一段信号来表示某一时刻的信号特 征的方法，简单来说，短时傅里叶变换就是先把一个函数和窗函数进行相 乘，然后再进行一维的傅里叶变换，并通过窗函数的滑动得到一系列的傅 里叶变化结果，将这些结果排开便得到一个二维的表象。

短时傅里叶变换的公式为

其中Z(t)为源信号，g(t)为窗函数。为方便计算机处理，一般把信号 进行离散化处理，具体公式为

S42，根据钢琴中每个琴键对应的音符的频率阈值确认一个音乐段的最 大峰值频率是否在乐器的频率阈值内，其中钢琴中每个琴键对应的音符的 频率阈值是通过对于标准录音棚中钢琴的每个按键的单音录音进行测试以 后，首先确定每个单音的基频的值，由于钢琴键盘音存在的倍频关系，然 后确定该单音的二倍频阈值，三倍频阈值，四倍频阈值直接取基频的整数 倍，从而得到钢琴的所有按键对应的音符的频率阈值表，其是标准数据的 一种，只有演奏者演奏的音乐段的最大峰值频率落在这个频率阈值表内， 我们才认为该音乐段是钢琴的一个音。

在确定演奏的音乐段是钢琴的一个音后，需要进一步确认其具体是哪 个音符，即

S43，根据频率与可能是该频率的所有的音符的匹配关系确认所述最大 峰值频率可能是哪些音符；所述频率与可能是该频率的所有的音符的匹配 关系同样是标准数据的一种。之所以这样判断是由于，以大字组C举例来说， 用基于短时傅里叶变换的谐波峰值法来获取其演奏的音乐段的最大峰值频 率为196HZ，通过与S332步骤中的频率阈值表进行判断后，最后认定的结果 为音符g，而实际大字组C的频率为65HZ，这样就出现了误判。

为了解决这一误判问题，发明人经过大量的测试并研究钢琴每个音阶 之间的关系得到了频率与可能是该频率的所有的音符的匹配关系，例如： 根据钢琴键弹奏的录音确定当了频率为195.998HZ时，其可能对应的音符 包括g、C、G1或C1，这个匹配关系反应了琴键音中的倍频规律关系，因此 根据上述关系可以确定提取的最大峰值频率可能是哪些音符。

S44，将所述最大峰值频率可能是的音符中最接近标准MIDI文件相应时 序的音符的一个输出并确认两者是否相同，此处的最接近可以理解为：最 大峰值频率可能是的音符所对应的琴键号中与标准MIDI文件的音符所对应 的琴键号最接近的那个，之所以选择最接近标准MIDI文件的音符的一个音 符进行输出，是因为在S43过程中，演奏者在演奏时，其所按下的按键理论 上不会偏离标准MIDI文件的音符所对应的按键太远，因为从钢琴的琴键分 布来看，演奏者需要至少偏离标准MIDI文件的音符所对应的按键十二个黑 白键才会导致误判。

本发明还揭示了音乐演奏人工智能分析系统，用于实现上述方法，如 附图8、附图9所示，其包括

数据读取模块，用于读取演奏乐谱的音频文件及演奏乐谱对应的标准 MIDI文件；

音乐段切分模块，用于通过端点检测将演奏乐谱的音频文件切分成一 组单个音符的音乐段，并计算出每个音乐段的起始时间；

比对分析模块，用于通过将每个音乐段的起始时间与标准MIDI文件中 对应时序的音符的起始时间进行比对以及按时序将每个音乐段对应的音符 与标准MIDI文件中对应时序的音符进行匹配来进行分析。

并且，上述实施例中，虽然以钢琴为例，但是所述人工智能分析方法 及系统还可以应用于其他的键盘乐器演奏的评分，并且除了应用于常规的 88键钢琴演奏，其也可以用于电子琴、三角琴等演奏的评分，当然该系统 也可以用于管弦乐器、打击乐器等其他乐器的演奏。

本发明还揭示了具有音乐演奏人工智能分析功能的设备，如附图8、附 图9所示，至少包括录音设备及所述的音乐演奏人工智能分析系统，其中所 述录音设备优选为硅麦克风，并且，所述具有音乐演奏人工智能分析功能 的智能终端包括至少用于存储上述标准数据的存储模块和/或通过外部存 储设备获取上述的标准数据和/或通过云端获取上述的标准数据和/或通过 互联网获取上述的标准数据。

在一优选的实施例中，如附图8所示，所述设备是具有录音功能的智能 终端，所述智能终端是智能手机、PAD或计算机等，通过在智能手机、PAD 或计算机上安装相应的软件即可实现录制和自动分析。

在另一优选的实施例中，所述设备是一种乐器，如附图9所示，所述乐 器包括录音设备、指令输入设备信号输出设备以及与它们连接的控制设备， 所述控制设备包括所述音乐演奏人工智能分析系统。

所述录音设备可以是已知各种类型的具有录音功能的设备，优选为硅 麦克风；所述指令输入设备用于输入各种控制指令，如选择曲目、选择难 易程度、选择评分模式等，其可以是各种可行的指令输入形式，如在钢琴 上设置各种指令输入按钮，或在钢琴上设置触控屏或者语音识别设备等。

所述信号输出设备至少用于将最终的评分结果进行输出，其可以采用 各种形式的声光电信号进行显示，如其可以通过钢琴上设置的触控屏上显 示分数的方式进行显示，也可以通过代表不同分值的指示灯进行显示，或 者通过语音进行结果输出等，在此不做限定，并且除了输出评分结果，其 也可以输出错位的音符位置以及输出相应的改进建议等，从而便于演奏者 明确错误点以进行改进。

所述乐器还包括存储设备，其用于存储标准MIDI文件、各种程序文件、 改进策略数据等各种标准数据，以及存储分析过程数据、结果数据等结果 信息，其可以是已知的各种具有存储电子数据功能的设备，如RAM、ROM等， 在此不再赘述。

进一步，所述乐器还具有联网模块，从而能够通过网络与用户端、互 联网、云端数据库等进行连接通信，以便获取如标准MIDI文件、改进策略 等信息，所述用户端可以是各种具有联网功能的终端，如智能手机、PAD、 电脑等，从而用户可以通过终端输入控制指令及接收最终的评分结果等。

本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所 有技术方案，均落在本发明的保护范围之内。

Claims (14)

1.音乐演奏人工智能分析方法，其特征在于：包括如下步骤：

S1，读取演奏的乐谱对应的音频文件及标准MIDI文件；

S2，通过端点检测将演奏乐谱的音频文件切分成一组单个音符的音乐段，并计算出每个音乐段的起始时间；

S3，按时序将标准MIDI文件中的每个音符的起始时间与切分后对应时序的音乐段的起始时间进行比对和/或按时序判断标准MIDI文件中的每个音符与切分后对应时序的音乐段所表示的音符是否相同来进行分析。

2.根据权利要1所述的音乐演奏人工智能分析方法，其特征在于：在S2步骤中，将音频文件切分成音乐段的过程如下：

S21，接收分帧预处理后的声音信号；

S22，判断一帧信号的平均帧能量差与平均帧能量差低门限、平均帧能量差高门限的大小以及平均帧过零率与平均帧过零率低门限的大小；

S23，当判断第一帧信号的平均帧能量差＞平均帧能量差高门限，则该帧信号进入音乐段，音乐长度加1，执行S24步骤；

当判断第一帧信号的平均帧能量差＜平均帧能量差低门限和/或平均帧过零率＜平均帧过零率低门限，则该帧信号处于静音段，执行S27步骤；

当判断第一帧信号满足平均帧能量差低门限≤平均帧能量差≤平均帧能量差高门限，且平均帧过零率≥平均帧过零率低门限，则该帧信号处于过渡段，执行S28步骤；

S24，判断下一帧信号的平均帧能量差和平均帧过零率小于零是否成立；若不成立，该帧信号还处于音乐段，记录该帧信号的帧数，音乐长度加1，执行S24步骤；若成立，执行S25步骤；

S25，判断该帧信号前的音乐长度是否大于最小音乐长度，若小于，则

前面检测出的音乐段是噪音，音乐长度清零，按照S22步骤继续判断下一帧信号的状态；若大于等于，则满足跳变条件，执行S26步骤；

S26，判断下一帧信号的平均帧能量差≥平均帧能量差低门限是否成立；若否，该帧信号处于静音段，执行S27步骤，若是，该帧信号处于过渡段，执行S28步骤；

S27，依照S22步骤判断下一帧信号的状态，并根据S23步骤的判断原则确定该帧信号的状态；

S28，依照S22步骤判断下一帧信号的状态，当该帧信号不满足平均帧能量差低门限≤平均帧能量差≤平均帧能量差高门限，且平均帧过零率≥平均帧过零率低门限，该帧信号维持在静音段，执行S27步骤；

当该帧信号满足平均帧能量差低门限≤平均帧能量差≤平均帧能量差高门限，且平均帧过零率≥平均帧过零率低门限时，执行S29步骤；

S29，判断该帧信号与前一帧信号的平均帧能量差之和大于平均帧能量差步长且该帧信号与前一帧信号的平均帧过零率的绝对值之和大于平均帧过零率步长是否成立；若不成立，该帧信号维持在过渡段，执行S28步骤；若成立，该帧信号进入音乐段，音乐长度加1，执行S24步骤。

3.根据权利要2所述的音乐演奏人工智能分析方法，其特征在于：在S21步骤中，按照帧长441，帧移441对声音信号进行分帧。

4.根据权利要2所述的音乐演奏人工智能分析方法，其特征在于：在S22步骤中，一帧信号的平均帧能量差经过归一化处理。

5.根据权利要2所述的音乐演奏人工智能分析方法，其特征在于：在S22步骤中，所述平均帧能量差低门限在0.030-0.055之间，所述平均帧

能量差高门限在0.040-0.085之间，所述平均帧过零率低门限在0-0.005之间。

6.根据权利要5所述的音乐演奏人工智能分析方法，其特征在于：在S29

步骤中，所述平均帧能量差步长在0.070-0.100之间，所述平均帧过零率步长在0.300-2.000之间。

7.根据权利要1所述的音乐演奏人工智能分析方法，其特征在于：在S2步骤中，通过如下公式计算出每个音乐段的起始时间

t=（f*ins+ FrameLen -ins）/采样频率

其中，t为每个音乐段的起始时间，f为进入每个音乐段的起始帧信号的帧数，FrameLen为帧长，ins为帧移。

8.根据权利要1-7任一所述的音乐演奏人工智能分析方法，其特征在于：所述S3步骤包括如下过程，

S31，第一轮匹配，判断标准MIDI文件中的一个音符的频率属性与对应时序音乐段所表示的音符的频率属性是否匹配及判断标准MIDI文件中的该音符与对应时序音乐段的起始时间差是否在阈值内；

S32，若上述两个判断条件不都成立，第一轮匹配失败，执行S33步骤；反之，第一轮匹配成功，在数组中记录信息为标准MIDI文件中的一个音符和/或对应时序音乐段所表示的音符，并执行S34；

S33，第二轮匹配，判断标准MIDI文件中的该音符与对应时序音乐段的起始时间差是否在阈值内，若判断结果为是，第二轮匹配成功，在数组中记录信息为标准MIDI文件中的一个音符和/或对应时序音乐段所表示的音符，并执行S34步骤；反之，第二轮匹配失败，在数组中记录信息为null值，执行S34步骤；

S34，判断数组中记录的信息是否为null值，如是，未匹配音符数加1；

反之，执行S35步骤；

S35,判断标准MIDI文件中的该音符与对应时序音乐段所表示的音符是否相同，若判断结果为相同，则认定音符演奏正确，正确音符数加1；反之，认定音符演奏错误，错误音符数加1；

S36，重复S31-S35步骤至所有MIDI文件的音符都匹配结束，计算未匹配音符数、正确音符数、错误音符数、起始时间差的平均值、起始时间差的方差及起始时间差的标准差；

S37，计算演奏分数并输出。

9.根据权利要1所述的音乐演奏人工智能分析方法，其特征在于：判断标准MIDI文件中的一个音符与对应时序音乐段所表示的音符是否相同的过程如下：

S41，通过基于短时傅里叶变换的谐波峰值法求出一个音乐段的最大峰值频率；

S42，根据乐器中每个音符的频率阈值确认一个音乐段的最大峰值频率是否在乐器的频率阈值内；

S43，根据频率与可能是该频率的所有的音符的匹配关系确认所述最大峰值频率可能是哪些音符；

S44，将所述最大峰值频率可能是的音符中最接近标准MIDI文件相应时序的音符的一个输出并确认两者是否相同。

10.音乐演奏人工智能分析系统，其特征在于：包括

数据读取模块，用于读取演奏乐谱的音频文件及演奏乐谱对应的标准MIDI文件；

音乐段切分模块，用于通过端点检测将演奏乐谱的音频文件切分成一组单个音符的音乐段，并计算出每个音乐段的起始时间；

比对分析模块，用于按时序将标准MIDI文件中的每个音符的起始时间与切分后对应时序的音乐段的起始时间进行比对以及按时序判断标准MIDI文件中的每个音符与切分后对应时序的音乐段所表示的音符是否相同来进行分析。

11.具有音乐演奏人工智能分析功能的设备，其特征在于：至少包括录音设备及权利要求10所述的音乐演奏人工智能分析系统。

12.根据权利要求12所述的具有音乐演奏人工智能分析功能的设备其特征在于：所述录音设备为硅麦克风。

13.根据权利要求11所述的具有音乐演奏人工智能分析功能的设备：包括用于存储标准数据的存储模块和/或通过外部存储设备获取标准数据和/或通过云端获取标准数据和/或通过互联网获取标准数据。

14.根据权利要求11-13任一所述的具有演奏自动分析功能的设备，其特征在于：所述设备是智能终端或至少包括指令输入设备、信号输出设备以及具有联网模块的控制设备的乐器。