CN115293937A - 一种基于眼动仪的自动测评视奏系统 - Google Patents

一种基于眼动仪的自动测评视奏系统 Download PDF

Info

Publication number
CN115293937A
CN115293937A CN202210864368.7A CN202210864368A CN115293937A CN 115293937 A CN115293937 A CN 115293937A CN 202210864368 A CN202210864368 A CN 202210864368A CN 115293937 A CN115293937 A CN 115293937A
Authority
CN
China
Prior art keywords
signal connection
module
test
receiving end
transmitting end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210864368.7A
Other languages
English (en)
Inventor
史嘉彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210864368.7A priority Critical patent/CN115293937A/zh
Publication of CN115293937A publication Critical patent/CN115293937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及教育辅助系统技术领域,且公开了一种基于眼动仪的自动测评视奏系统,包括中央处理器,中央处理器接收端与总数据库发射端信号连接,中央处理器接收端与素材预处理单元发射端信号连接。该基于眼动仪的自动测评视奏系统,通过眼动仪的数据可以给出学生在视奏过程中对乐谱的浏览情况,学生也能更加清晰的看到自己在视奏方面出现的问题,立足于高质量的眼动捕捉和基于计算机视觉的图像处理方法,可以捕捉乐谱与学生之间的互动有机结合;利用测试记录单元中的测试人员多次测试数据整合显示模块展现测试学生近一段的视奏测评数据,报告给出的量化数据也更加客观准确,让学生能够看得见自己的进步所在,有利于活跃用户的维持。

Description

一种基于眼动仪的自动测评视奏系统
技术领域
本发明涉及教育辅助系统技术领域,具体为一种基于眼动仪的自动测评视奏系统。
背景技术
视奏,即是把符号(乐谱)转化为动作(演奏)的中介行为;其是音乐学习中最为困难的一个部分,也恰恰是在乐器学习中相关资料最少的一个部分。其困难性甚至导致在很多乐器领域中,一些专业演奏家在面对相对复杂的乐谱时也很难完全掌握视奏的技巧。与线性的阅读文字不同,乐谱(五线谱)的编码方式是利用二维空间的堆叠结构进行呈现。除此之外,除了将谱子编码为具体音符之外,演奏者还需要再进行第二次解码过程从而演奏出实际的音乐。在现代的视奏分析中,往往采用眼动技术进行研究;
主要着眼于眼手跨度的分析与影响因素。眼手跨度是指在实际演奏过程中,演奏产生的音符和眼睛所关注的音符之间的差距。目前较为流行的理论眼手跨度由演奏者的经验和演奏的乐谱结构共同决定。
总的来讲,之前基于视奏的研究主要分析了视奏中的高层特征以及一些可能的影响因素探究,但是受限于处理能力,之前的研究结论只能作为一个视奏练习中的参考理论,很难直接指导学习者。除此之外,其对实验的要求较高,导致这种分析只能应用在实验室中,很难有效的为更多的学习者服务。最后,受限于实验采集难度,之前研究的样本点非常少,而且实验也相对较短,难以保证数据的稳定性,很难有效的定制视奏能力评估,并有效的提供解决建议,因此,提出一种基于眼动仪的自动测评视奏系统。
发明内容
本发明的目的在于提供一种基于眼动仪的自动测评视奏系统,是建立一个有应用价值的视奏评测系统,从而量化视奏学习中学习者存在的问题。因此提出了一个自动进行视奏过程的系统来更准确和高效的帮助学生更好的学习。通过和传统教学相结合,利用计算机辅助系统可以基于更为精准、客观的评价;相比于教师,本系统可以持续进行辅助训练,适应能力较强;以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于眼动仪的自动测评视奏系统,包括中央处理器,所述中央处理器接收端与总数据库发射端信号连接,所述中央处理器接收端与素材预处理单元发射端信号连接,所述中央处理器接收端与眼动测试单元发射端信号连接,所述中央处理器接收端与测试数据传输单元发射端信号连接,所述中央处理器接收端与测试结果评估单元发射端信号连接,所述中央处理器接收端与测试记录单元发射端信号连接;
所述素材预处理单元发射端与测试数据传输单元接收端信号连接,所述测试数据传输单元发射端与眼动测试单元接收端信号连接,所述眼动测试单元发射端与测试结果评估单元接收端信号连接,所述测试结果评估单元发射端与总数据库接收端信号连接,所述测试结果评估单元发射端与测试记录单元接收端信号连接,所述总数据库发射端与测试记录单元接收端信号连接。
优选的,所述素材预处理单元接收端与乐谱素材扫描模块发射端信号连接,所述素材预处理单元接收端与测试曲段节选模块发射端信号连接,所述素材预处理单元接收端与测试曲段图像投影模块发射端信号连接,乐谱素材扫描模块发射端与测试曲段节选模块接收端信号连接,测试曲段节选模块发射端与测试曲段图像投影模块接收端信号连接。
优选的,所述眼动测试单元接收端与眼动测试校准模块发射端信号连接,所述眼动测试单元接收端与眼动测试实验模块发射端信号连接,所述眼动测试单元发射端与检测终端接收端信号连接,所述眼动测试单元发射端与测试终端接收端信号连接。
优选的,所述眼动测试校准模块发射端与眼动测试实验模块接收端信号连接,检测终端为眼动仪,测试终端为显示屏。
优选的,所述测试数据传输单元接收端与测试数据采集模块发射端信号连接,所述测试数据传输单元接收端与非对称数据加密模块发射端信号连接,所述测试数据传输单元接收端与测试数据回传模块发射端信号连接,所述测试数据传输单元接收端与测试数据接收模块发射端信号连接,所述测试数据传输单元接收端与非对称数据解密模块发射端信号连接,测试数据采集模块发射端与非对称数据加密模块接收端信号连接,非对称数据加密模块发射端与测试数据回传模块接收端信号连接,测试数据回传模块发射端与测试数据接收模块接收端信号连接,测试数据接收模块发射端与接收端信号连接,发射端与非对称数据解密模块接收端信号连接。
优选的,所述测试结果评估单元接收端与能力标准确立模块发射端信号连接,所述测试结果评估单元接收端与测试能力评估模块发射端信号连接,所述测试结果评估单元接收端与测试能力数据显示模块发射端信号连接,测试能力数据显示模块发射端与测试数据模型建立模块接收端信号连接,测试能力数据显示模块发射端与专家文字建议和点评模块接收端信号连接,测试数据模型建立模块发射端与显示终端接收端信号连接,专家文字建议和点评模块发射端与显示终端接收端信号连接,显示终端为PC端或移动端。
优选的,所述测试能力评估模块接收端与谱面难度评估模块发射端信号连接,测试能力评估模块接收端与乐谱阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与低音声部阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与视奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与节奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与左右手统合能力评估模块发射端信号连接,测试能力评估模块接收端与谱面分析能力评估模块发射端信号连接。
优选的,所述测试记录单元接收端与测试人员信息登录模块发射端信号连接,所述测试记录单元接收端与测试人员测试数据记录日志模块发射端信号连接,所述测试记录单元接收端与测试人员多次测试数据整合显示模块发射端信号连接。
与现有技术相比,本发明的有益效果是:该基于眼动仪的自动测评视奏系统,通过眼动仪的数据可以给出学生在视奏过程中对乐谱的浏览情况,学生也能更加清晰的看到自己在视奏方面出现的问题,立足于高质量的眼动捕捉和基于计算机视觉的图像处理方法,可以捕捉乐谱与学生之间的互动有机结合;利用测试记录单元中的测试人员多次测试数据整合显示模块展现测试学生的近一段的演奏进步水平,报告给出的量化数据也更加客观准确,让学生能够看得见自己的进步所在,增加了学习的信心和兴趣,也有利于活跃用户的维持。
附图说明
图1为本发明整体结构连接示意图;
图2为本发明素材预处理单元结构连接示意图;
图3为本发明眼动测试单元结构连接示意图;
图4为本发明测试数据传输单元结构连接示意图;
图5为本发明测试结果评估单元结构连接示意图;
图6为本发明测试记录单元结构连接示意图。
图中:中央处理器1、总数据库2、素材预处理单元3、眼动测试单元4、测试数据传输单元5、测试结果评估单元6、测试记录单元7。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-6,本发明提供一种技术方案:一种基于眼动仪的自动测评视奏系统,包括中央处理器1,中央处理器1接收端与总数据库2发射端信号连接,中央处理器1接收端与素材预处理单元3发射端信号连接,中央处理器1 接收端与眼动测试单元4发射端信号连接,中央处理器1接收端与测试数据传输单元5发射端信号连接,中央处理器1接收端与测试结果评估单元6发射端信号连接,中央处理器1接收端与测试记录单元7发射端信号连接;
素材预处理单元3发射端与测试数据传输单元5接收端信号连接,测试数据传输单元5发射端与眼动测试单元4接收端信号连接,眼动测试单元4 发射端与测试结果评估单元6接收端信号连接,测试结果评估单元6发射端与总数据库2接收端信号连接,测试结果评估单元6发射端与测试记录单元7 接收端信号连接,总数据库2发射端与测试记录单元7接收端信号连接;
素材预处理单元3接收端与乐谱素材扫描模块发射端信号连接,素材预处理单元3接收端与测试曲段节选模块发射端信号连接,素材预处理单元3 接收端与测试曲段图像投影模块发射端信号连接,乐谱素材扫描模块发射端与测试曲段节选模块接收端信号连接,测试曲段节选模块发射端与测试曲段图像投影模块接收端信号连接,眼动测试单元4接收端与眼动测试校准模块发射端信号连接,眼动测试单元4接收端与眼动测试实验模块发射端信号连接,眼动测试单元4发射端与检测终端接收端信号连接,眼动测试单元4发射端与测试终端接收端信号连接,眼动测试校准模块发射端与眼动测试实验模块接收端信号连接,检测终端为眼动仪,测试终端为显示屏;
测试数据传输单元5接收端与测试数据采集模块发射端信号连接,测试数据传输单元5接收端与非对称数据加密模块发射端信号连接,测试数据传输单元5接收端与测试数据回传模块发射端信号连接,测试数据传输单元5 接收端与测试数据接收模块发射端信号连接,测试数据传输单元5接收端与非对称数据解密模块发射端信号连接,测试数据采集模块发射端与非对称数据加密模块接收端信号连接,非对称数据加密模块发射端与测试数据回传模块接收端信号连接,测试数据回传模块发射端与测试数据接收模块接收端信号连接,测试数据接收模块发射端与接收端信号连接,发射端与非对称数据解密模块接收端信号连接;
测试结果评估单元6接收端与能力标准确立模块发射端信号连接,测试结果评估单元6接收端与测试能力评估模块发射端信号连接,测试结果评估单元6接收端与测试能力数据显示模块发射端信号连接,测试能力数据显示模块发射端与测试数据模型建立模块接收端信号连接,测试能力数据显示模块发射端与专家文字建议和点评模块接收端信号连接,测试数据模型建立模块发射端与显示终端接收端信号连接,专家文字建议和点评模块发射端与显示终端接收端信号连接,显示终端为PC端或移动端,测试能力评估模块接收端与谱面难度评估模块发射端信号连接,测试能力评估模块接收端与乐谱阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与低音声部阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与视奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与节奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与左右手统合能力评估模块发射端信号连接,测试能力评估模块接收端与谱面分析能力评估模块发射端信号连接;
测试记录单元7接收端与测试人员信息登录模块发射端信号连接,测试记录单元7接收端与测试人员测试数据记录日志模块发射端信号连接,测试记录单元7接收端与测试人员多次测试数据整合显示模块发射端信号连接,利用测试记录单元7中的测试人员多次测试数据整合显示模块展现测试学生的近一段的演奏进步水平,报告给出的量化数据也更加客观准确,让学生能够看得见自己的进步所在,增加了学习的信心和兴趣,也有利于活跃用户的维持。
素材预处理结果,我们会处理相应的乐谱数据,提取具体乐谱特征的同时加工为测试所需的乐谱片段,最后基于专家系统以及我们的标准能力数据库进行分析,从而给测试者提供丰富多维度的评测报告,利用测试记录单元7 对测试学生的多次评测进行整合并展现其数据图像。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于眼动仪的自动测评视奏系统,包括中央处理器(1),其特征在于:所述中央处理器(1)接收端与总数据库(2)发射端信号连接,所述中央处理器(1)接收端与素材预处理单元(3)发射端信号连接,所述中央处理器(1)接收端与眼动测试单元(4)发射端信号连接,所述中央处理器(1)接收端与测试数据传输单元(5)发射端信号连接,所述中央处理器(1)接收端与测试结果评估单元(6)发射端信号连接,所述中央处理器(1)接收端与测试记录单元(7)发射端信号连接;
所述素材预处理单元(3)发射端与测试数据传输单元(5)接收端信号连接,所述测试数据传输单元(5)发射端与眼动测试单元(4)接收端信号连接,所述眼动测试单元(4)发射端与测试结果评估单元(6)接收端信号连接,所述测试结果评估单元(6)发射端与总数据库(2)接收端信号连接,所述测试结果评估单元(6)发射端与测试记录单元(7)接收端信号连接,所述总数据库(2)发射端与测试记录单元(7)接收端信号连接。
2.根据权利要求1所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述素材预处理单元(3)接收端与乐谱素材扫描模块发射端信号连接,所述素材预处理单元(3)接收端与测试曲段节选模块发射端信号连接,所述素材预处理单元(3)接收端与测试曲段图像投影模块发射端信号连接,乐谱素材扫描模块发射端与测试曲段节选模块接收端信号连接,测试曲段节选模块发射端与测试曲段图像投影模块接收端信号连接。
3.根据权利要求1所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述眼动测试单元(4)接收端与眼动测试校准模块发射端信号连接,所述眼动测试单元(4)接收端与眼动测试实验模块发射端信号连接,所述眼动测试单元(4)发射端与检测终端接收端信号连接,所述眼动测试单元(4)发射端与测试终端接收端信号连接。
4.根据权利要求3所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述眼动测试校准模块发射端与眼动测试实验模块接收端信号连接,检测终端为眼动仪,测试终端为显示屏。
5.根据权利要求1所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述测试数据传输单元(5)接收端与测试数据采集模块发射端信号连接,所述测试数据传输单元(5)接收端与非对称数据加密模块发射端信号连接,所述测试数据传输单元(5)接收端与测试数据回传模块发射端信号连接,所述测试数据传输单元(5)接收端与测试数据接收模块发射端信号连接,所述测试数据传输单元(5)接收端与非对称数据解密模块发射端信号连接,测试数据采集模块发射端与非对称数据加密模块接收端信号连接,非对称数据加密模块发射端与测试数据回传模块接收端信号连接,测试数据回传模块发射端与测试数据接收模块接收端信号连接,测试数据接收模块发射端与接收端信号连接,发射端与非对称数据解密模块接收端信号连接。
6.根据权利要求1所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述测试结果评估单元(6)接收端与能力标准确立模块发射端信号连接,所述测试结果评估单元(6)接收端与测试能力评估模块发射端信号连接,所述测试结果评估单元(6)接收端与测试能力数据显示模块发射端信号连接,测试能力数据显示模块发射端与测试数据模型建立模块接收端信号连接,测试能力数据显示模块发射端与专家文字建议和点评模块接收端信号连接,测试数据模型建立模块发射端与显示终端接收端信号连接,专家文字建议和点评模块发射端与显示终端接收端信号连接,显示终端为PC端或移动端。
7.根据权利要求6所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述测试能力评估模块接收端与谱面难度评估模块发射端信号连接,测试能力评估模块接收端与乐谱阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与低音声部阅读完成度评估模块发射端信号连接,测试能力评估模块接收端与视奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与节奏稳定性评估模块发射端信号连接,测试能力评估模块接收端与左右手统合能力评估模块发射端信号连接,测试能力评估模块接收端与谱面分析能力评估模块发射端信号连接。
8.根据权利要求1所述的一种基于眼动仪的自动测评视奏系统,其特征在于:所述测试记录单元(7)接收端与测试人员信息登录模块发射端信号连接,所述测试记录单元(7)接收端与测试人员测试数据记录日志模块发射端信号连接,所述测试记录单元(7)接收端与测试人员多次测试数据整合显示模块发射端信号连接。
CN202210864368.7A 2022-07-21 2022-07-21 一种基于眼动仪的自动测评视奏系统 Pending CN115293937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210864368.7A CN115293937A (zh) 2022-07-21 2022-07-21 一种基于眼动仪的自动测评视奏系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210864368.7A CN115293937A (zh) 2022-07-21 2022-07-21 一种基于眼动仪的自动测评视奏系统

Publications (1)

Publication Number Publication Date
CN115293937A true CN115293937A (zh) 2022-11-04

Family

ID=83823406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210864368.7A Pending CN115293937A (zh) 2022-07-21 2022-07-21 一种基于眼动仪的自动测评视奏系统

Country Status (1)

Country Link
CN (1) CN115293937A (zh)

Similar Documents

Publication Publication Date Title
Lesgold et al. Learning to read words efficiently
Yin et al. Digital violin tutor: an integrated system for beginning violin learners
Debevc et al. Solfeggio learning and the influence of a mobile application based on visual, auditory and tactile modalities
Kylie et al. The Nirvana effect: Tapping video games to mediate music learning and interest
Fredrickson et al. The effect of pre-conducting and conducting behaviors on the evaluation of conductor competence
Richardson et al. Beyond fun and games: A framework for quantifying music skill developments from video game play
Weiss et al. Motion types of ancillary gestures in clarinet playing and their influence on the perception of musical performance
KR100995847B1 (ko) 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템
Hewitt et al. The influence of teaching-career level and primary performance instrument on the assessment of music performance
Bergner et al. Leveraging interest-driven embodied practices to build quantitative literacies: A case study using motion and audio capture from dance
US9092992B2 (en) System and method for music education
Kimura et al. SonoSpace: Visual feedback of timbre with unsupervised learning
Edwards et al. Development of a standard test of musical ability for participants in auditory interface testing
CN115293937A (zh) 一种基于眼动仪的自动测评视奏系统
Geringer et al. A descriptive analysis of performance models’ intonation in a recorded excerpt from Suzuki Violin School Volume I
Asahi et al. Toward a high performance piano practice support system for beginners
Keller The effects of video tape feedback on the acquisition of selected basic conducting skills
Ng Interactive multimedia for technology-enhanced learning with multimodal feedback
CN115081941A (zh) 一种基于眼动追踪自动评测音乐视奏能力评测系统
Kato et al. Computational Analysis of Audio Recordings of Piano Performance for Automatic Evaluation
Fan Scalable teaching and learning via intelligent user interfaces
Juntunen Music technology promoting violin and string instrument instruction
CN111414841A (zh) 一种基于眼动仪的自动视奏评测方法和计算机可读存储介质
Sappok Oral reading proficiency and prosody–a perceptual pilot study on especially fluent German students (grade 3 to 7)
Muhammad et al. INVESTIGATING THE RELATIONSHIP BETWEEN RECEPTIVE VOCABULARY SIZE AND LISTENING SKILL: A STUDY OF IELTS TEST-TAKERS IN PAKISTAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination