CN111414841A - 一种基于眼动仪的自动视奏评测方法和计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种基于眼动仪的自动视奏评测方法和计算机可读存储介质。本发明的方法包括素材处理，所述素材处理包括将乐谱扫描为若干页的电子件，所述乐谱包括若干曲段，所述曲段包括若干乐句；眼动测试，所述眼动测试包括音名唱读测试和实际演奏测试；能力评估，所述能力评估包括基于专家方法和测试数据进行分析，对评测者具体能力进行评估。相比于教师评测，本发明的自动视奏评测不仅更为精准、客观的评价，而且具有辅助训练的有益技术效果。

Description

一种基于眼动仪的自动视奏评测方法和计算机可读存储介质

技术领域

本发明涉及教育辅助领域，尤其是涉及一种基于眼动仪的自动视奏评测方法 和计算机可读存储介质。

背景技术

视奏，即是把符号(乐谱)转化为动作(演奏)的中介行为；其是音乐学习 中最为困难的一个部分，也恰恰是在乐器学习中相关资料最少的一个部分。其困 难性甚至导致在很多乐器领域中，一些专业演奏家在面对相对复杂的乐谱时也很 难完全掌握视奏的技巧。与线性的阅读文字不同，乐谱(五线谱)的编码方式是 利用二维空间的堆叠结构进行呈现。除此之外，除了将谱子编码为具体音符之外， 演奏者还需要再进行第二次解码过程从而演奏出实际的音乐。在现代的视奏分析 中，往往采用眼动技术进行研究。

眼球运动简称眼动，具有着特殊的时空特征，属于视觉信息提取过程中的生 理行为表现。由于其与人的心理活动有着直接或间接的关系，其研究价值一直在 相关领域中发挥着巨大的实验性作用。目前眼动现象的观测往往基于眼动仪。眼 动仪是一种可以跟踪、测量眼动信息的设备。现代眼动仪包括四个方法：光学方 法、瞳孔中心坐标提取方法、视景与瞳孔坐标叠加方法和图像与数据分析方法。 其主要分析三种眼动模式：注视、眼跳和追随运动。眼动的研究领域非常多元， 其常见的应用场景有用户体验与交互研究、市场研究与消费者调研、心理学与神 经科学、人体效能、临床研究与教育研究。在过去的教育研究中，眼动往往被用 来研究演奏者的学习过程，比如演奏者在课堂上的注意力情况。

现代基于眼动仪的眼动分析往往着眼于解释音乐阅读的过程，并探究其感知 过程与文本阅读的差异，进而更深刻的去解析大脑的活动。(EYE MOVEMENTS AND MUSICREADING:WHERE DO WE LOOK NEXT？)比如Kinsler和Carpenter(1995) 提出含有三个计算单元的音乐解码过程，其三个单元分别是用来提取视觉刺激的 通用编码器，从信号中提取音乐含义的音乐专用处理器以及将信息发送给运动方 法的执行单元。类似的也有研究去分析音乐阅读与文本阅读的独立性。他们发现 失去了阅读音乐能力的专业音乐家大多都失去了阅读文本的能力，但是也存在少 数案例中二者选择性丢失。进而，他们证明了音乐和语言实际上具有相邻但是截 然不同的神经网络。除此之外，人解码过程的影响因素也是一个研究重点,之前 这方面的研究者主要着眼于眼手跨度的分析与影响因素。眼手跨度是指在实际演 奏过程中，演奏产生的音符和眼睛所关注的音符之间的差距。目前较为流行的理 论眼手跨度由演奏者的经验和演奏的乐谱结构共同决定。

除了大量心理学的研究外，也有少量研究着眼于分析依据眼动现象去分析视 奏能力强弱的问题。比如Goolsby(1994)使用斯坦福研究所的精确设备研究了24 位视奏者的眼动数据，他发现单纯的演奏经验并不能更好的分析复杂的音乐符号。 换而言之，就算是专业的音乐家也有可能存在视奏障碍。

总的来讲，之前基于视奏的研究主要分析了视奏中的高层特征以及一些可能 的影响因素探究，但是受限于处理能力，之前的研究结论只能作为一个视奏练习 中的参考理论，很难直接指导学习者。除此之外，其对实验的要求较高，导致这 种分析只能应用在实验室中，很难有效的为更多的学习者服务。最后，受限于实 验采集难度，之前研究的样本点非常少，而且实验也相对较短，难以保证数据的 稳定性，很难有效的定制视奏能力评估，并有效的提供解决建议。

发明内容

本发明的目的在于提供一种评价更加客户、操作更加方便的基于眼动仪的自 动视奏评测方法和计算机可读存储介质。为实现本发明的目的，本发明的技术方 案如下。

一种基于眼动仪的自动视奏评测方法，包括：

素材处理，所述素材处理包括将乐谱扫描为若干页的电子件，其中，所述乐 谱包括若干曲段，所述曲段包括若干乐句；

眼动测试，所述眼动测试包括音名唱读测试和实际演奏测试，基于音名唱读 测试和实际演奏测试得到测试数据；其中，所述音名唱读测试包括针对对应的级 别选定曲目，打开节拍器开始唱音名，在收集眼动数据的同时，同步录音获取音 频数据；所述实际演奏测试包括保持对应的曲目，打开节拍器开始演奏，所述演 奏包括左手，右手和左右手组合三组演奏；

能力评估，所述能力评估包括基于专家方法和测试数据进行分析，对演奏者 演奏能力进行评估。

优选的，在音名唱读测试过程中，每一个曲段设置一个节拍器，以进行节奏 提示。

优选的，所述电子件包括图片或PDF。

优选的，在唱音名过程不唱出音准和升降号，仅将单手的音名和节奏在节拍 器的辅助下有节奏的唱出。

优选的，所述眼动测试针对2拍节奏、3拍节奏、4拍节奏三个不同节奏型 的曲目，其中2拍对应2/4拍，3拍对应3/4拍和6/8拍，4拍对应4/4拍。

优选的，所述能力评估包括乐谱掌控能力评估，所述乐谱掌控能力评估包括 计算演奏者在乐谱的每一小节的眼动数据时间，取时间的平均数作为演奏者阅读 的基准时间，由基准时间乘小节数得到建议总时间，根据乐谱每一小节的难度对 总演奏长度进行切分，之后与演奏者的实际结果序列计算皮尔森系数。

优选的，所述能力评估包括匀速视奏能力评估，所述匀速视奏能力评估包括 由建议总时间与实际时间的差除以建议总时间。

优选的，所述能力评估包括左右手统合能力评估，所述左右手统合能力评估 包括计算每一个小节的演奏过程中左右手声部中视线切换的次数。

优选的，所述能力评估包括谱面分析能力评估，所述谱面分析能力评估包括 记录演奏者在分析左手小节和分析右手小节的时间差异除以基准时间。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被 处理器执行时实现上述的方法。

相对于现有技术，本发明的有益技术效果在于：本实施例主要解决的技术问 题是建立一个有应用价值的视奏评测方法，从而量化视奏学习中学习者存在的问 题。简而言之，我们提出了一个自动进行视奏过程的方法来更准确和高效的帮助 演奏者更好的学习。通过和传统教学相结合，这个计算机辅助方法可以基于更为 精准、客观的评价；相比于教师，本方法可以持续进行辅助训练，适应能力较强。 简要来讲，本方法的特色可以概括为三点：

1、通过眼动仪的数据可以给出演奏者在视奏过程中对乐谱的浏览情况，演 奏者也能更加清晰的看到自己在视奏方面出现的问题。立足于高质量的眼动捕捉 和基于计算机视觉的图像处理方法，我们可以捕捉乐谱与演奏者之间的互动有机 结合。

2、在传统的音乐教学中，老师需要关注的地方有很多，比如演奏者弹奏时 手指的移动是否符合规范、音乐节奏是否准确、按键的力度和长短是否符合音乐 要表达的情感……即使对于经验丰富的老教师来说，同时关注到每一个方面是不 现实的。而我们开发的方法基于人工智能技术能够替老师关注演奏者在视奏过程 中的表现，通过和老师陪练的有机结合，更全面的提升用户的体验。

3、如果没有具体数据的支持，那么对于演奏者的评价只能来自老师主观的 判断，而到底演奏者哪里好、有多好的问题也不能得到直观的答案。在我们的评 价报告中，对于眼动分析有详细的指标供演奏者和老师查看，力求更加全面的展 现演奏者的演奏水平，报告给出的量化数据也更加客观准确，让演奏者能够看得 见自己的“进步”所在，增加了学习的信心和兴趣，也有利于活跃用户的维持。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实 施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅 是本申请一部分实施例，而不是全部的实施例。以下对在本申请的实施例的详细 描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。 基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的 所有其他实施例，都属于本申请保护的范围。

实施例一

本实施例的一种基于眼动仪的自动视奏评测方法，包括：

素材处理，所述素材处理包括将乐谱扫描为若干页的电子件，其中，所述乐 谱包括若干曲段，所述曲段包括若干乐句；

眼动测试，所述眼动测试包括音名唱读测试和实际演奏测试，基于音名唱读 测试和实际演奏测试得到测试数据；其中，所述音名唱读测试包括针对对应的级 别选定曲目，打开节拍器开始唱音名，在收集眼动数据的同时，同步录音获取音 频数据；所述实际演奏测试包括保持对应的曲目，打开节拍器开始演奏，所述演 奏包括左手，右手和左右手组合三组演奏；

能力评估，所述能力评估包括基于专家方法和测试数据进行分析，对演奏者 演奏能力进行评估。

具体地，在素材预处理阶段，基于眼动仪的自动视奏评测方法会接受对应乐 谱的扫描件(图片、PDF文档等)进行初步的测试处理。考虑到眼动仪的精确度， 为了保证测试的准确性，我们对现有图片资源进行截取，放大，优化，以一个合 理的大小适配屏幕显示。关于实验内容的截取，由于每一个曲子很难整体呈现， 同时为了保证实验准确度，采取每页2行为主，每一个测试曲段保证至少四个乐 句。与此同时，为了保证实验的统一性，每一个测试曲段都会有一个节拍器对应 速度，具体的实验流程中都需要对应的节拍器进行节奏提示和规范。之后方法会 利用投影分析的方式进行五线谱切割，从而解析五线谱中的小节、声部结构以及 复杂度。

在眼动测试过程中，测试者需要跟随方法的指示进行操作，整个流程包括五 个具体的测试阶段，每个测试阶段分别采用3个不同节奏型的曲目(2拍节奏， 3拍节奏，4拍节奏；其中2拍主要对应2/4拍，3拍主要对应3/4拍和6/8拍， 4拍主要对应4/4拍)。具体的测试我们结合Kinsler和Carpenter(1995)的三单 元结构，设定了两个主要的测试过程：音名唱读和实际演奏。两个测试过程分别 对应脑处理阶段和运动方法处理阶段。在音名唱读部分主要有以下规定和要求， 首先针对对应的级别选定曲目，之后打开节拍器开始准备唱音名，本过程不要求 唱出音准和升降号，仅要求单手的音名和节奏在节拍器的辅助下有节奏的唱出。 本次实验每个手的音符各一次，在收集眼动数据和头部数据的同时还进行录音获取音频数据。第二个过程是实际演奏主要有以下流程。首先保持对应的曲目，打 开节拍器开始演奏，分为三个阶段分别是左手，右手和左右手组合演奏，每一组 实验进行一次，故一共三次实验。总的来说一共5轮实验，每组实验根据曲目不 同波动，一人约在20-25分钟左右结束。

最后的结果基于专家方法以及我们的基本数据库进行分析，通过分析其相应 能力在整体中的百分位数来对评测者具体能力进行评估。本实施例所涉方法共含 有一个难度指标和六个评测指标，具体为：

评测指标一：谱面难度(每一个小节的难度系数)

基于眼动仪的自动视奏评测方法基于每一个小节的黑色像素比例实现谱面 难度评测。通过分析谱子和实际一些经验发现谱子越复杂，谱面黑色像素的比例 会提高。这个指标和演奏者没有关系，是用来在后面分析演奏者能力的一个环境 参数。

评测指标二：乐谱阅读完成度(衡量演奏者整体的乐谱完成情况)

基于眼动仪的自动视奏评测方法基于所有含有眼睛焦点的小节数除以所有 小节数。如果一个演奏者根本没有看这个小节的相关内容，那么大概率是错误或 者有问题的演奏了这个曲子(当然不否认一些人通过乐理知识自动补全左手的和 声，故而本指标定义为乐谱阅读的完成度而不是视奏的完成度)。

评测指标三：低音声部阅读完成度(衡量演奏者低音声部乐谱的完成情况)

基于眼动仪的自动视奏评测方法基于所有低音声部含有眼睛焦点的小节数 除以所有低音声部小节数评测低音声部阅读完成度。

评测指标四：视奏稳定性(乐谱掌控能力)

基于眼动仪的自动视奏评测方法基于计算演奏者在每一小节的眼动数据时 间，取时间的平均数作为演奏者阅读的基准时间，基准时间乘小节数就是总的建 议时间，根据乐谱每一小节的难度对总演奏长度进行切分，之后与演奏者的实际 结果序列计算皮尔森系数视奏稳定性。演奏者从学习目标上来说，应该能够根据 乐谱的难易分布，合理高效的分配自己有限的时间。

评测指标五：节奏稳定性(匀速视奏能力)

基于眼动仪的自动视奏评测方法基于建议总时间与实际时间的差除以建议 总时间(最后应该会设定一个阈值把整体分数拉高一点，因为很难直做到恰好完 成建议时间，一定的误差是可以容忍的)来评测节奏稳定性。理论上如果演奏者 可以稳定的在上面的难度控制下匀速演奏，最后的时间应该和总时间相差不多。

评测指标六：左右手统合能力

基于眼动仪的自动视奏评测方法基于计算每一个小节平均下来左右手声部 中视线切换的次数进行左右手统合能力的评测。因为右手的旋律性等原因的影响， 演奏者对右手的关注程度远大于左手的，同时在注视单一性(也就是一个时间演 奏者只能关注某一个地方，而不能同时关注两个不同的点)的保证下，演奏者必 须要在左右手之间切换视线。但由于时间的紧张和人的懒惰性，人们会倾向于减 少左手的关注，同时左右手之前视线切换的次数也会相应的减少。故而，如果切 换次数越多，那么左右手的配合，统合能力就越强。

评测指标七：谱面分析能力(高音、低音谱号的差异)

基于眼动仪的自动视奏评测方法基于记录演奏者在分析左手小节和分析右 手小节时的差异除以基准时间(这个指标需要和低音声部阅读完成度做一个乘法， 完成度越低，这个指标就越不准确，因为左手很多都没有看的情况下，这个指标 就无法计算了)来进行谱面分析能力。低音谱号的关注程度往往有点问题，所以 识别的准确程度就相对低一些。

实施例二

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被 处理器执行时实现实施例一所述的方法。

本申请实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功 能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合 或者可以集成到另一个方法，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置 或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单 元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可 以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来 实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案 本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产 品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用 以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本 申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移 动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明 本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照 前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何 熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施 例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行 等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请 实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申 请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于眼动仪的自动视奏评测方法，其特征在于，包括：

素材处理，所述素材处理包括将乐谱扫描为若干页的电子件，其中，所述乐谱包括若干曲段，所述曲段包括若干乐句；

眼动测试，所述眼动测试包括音名唱读测试和实际演奏测试，基于音名唱读测试和实际演奏测试得到测试数据；其中，所述音名唱读测试包括针对对应的级别选定曲目，打开节拍器开始唱音名，在收集眼动数据的同时，同步录音获取音频数据；所述实际演奏测试包括保持对应的曲目，打开节拍器开始演奏，所述演奏包括左手，右手和左右手组合三组演奏；

能力评估，所述能力评估包括基于专家方法和测试数据进行分析，对演奏者演奏能力进行评估。

2.根据权利要求1所述自动视奏评测方法，其特征在于，在音名唱读测试过程中，每一个曲段设置一个节拍器，以进行节奏提示。

3.根据权利要求2所述自动视奏评测方法，其特征在于，所述电子件包括图片或PDF。

4.根据权利要求3所述自动视奏评测方法，其特征在于，在唱音名过程不唱出音准和升降号，仅将单手的音名和节奏在节拍器的辅助下有节奏的唱出。

5.根据权利要求4所述自动视奏评测方法，其特征在于，所述眼动测试针对2拍节奏、3拍节奏、4拍节奏三个不同节奏型的曲目，其中2拍对应2/4拍，3拍对应3/4拍和6/8拍，4拍对应4/4拍。

6.根据权利要求5所述自动视奏评测方法，其特征在于，所述能力评估包括乐谱掌控能力评估，所述乐谱掌控能力评估包括计算演奏者在乐谱的每一小节的眼动数据时间，取时间的平均数作为演奏者阅读的基准时间，由基准时间乘小节数得到建议总时间，根据乐谱每一小节的难度对总演奏长度进行切分，之后与演奏者的实际结果序列计算皮尔森系数。

7.根据权利要求6所述自动视奏评测方法，其特征在于，所述能力评估包括匀速视奏能力评估，所述匀速视奏能力评估包括由建议总时间与实际时间的差除以建议总时间。

8.根据权利要求1-7任一所述自动视奏评测方法，其特征在于，所述能力评估包括左右手统合能力评估，所述左右手统合能力评估包括计算每一个小节的演奏过程中左右手声部中视线切换的次数。

9.根据权利要求1-8任一所述自动视奏评测方法，其特征在于，所述能力评估包括谱面分析能力评估，所述谱面分析能力评估包括记录演奏者在分析左手小节和分析右手小节的时间差异除以基准时间。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一所述的自动视奏评测方法。