CN109344794B - 一种钢琴演奏评分方法、装置及计算机存储介质 - Google Patents
一种钢琴演奏评分方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN109344794B CN109344794B CN201811223601.3A CN201811223601A CN109344794B CN 109344794 B CN109344794 B CN 109344794B CN 201811223601 A CN201811223601 A CN 201811223601A CN 109344794 B CN109344794 B CN 109344794B
- Authority
- CN
- China
- Prior art keywords
- data
- performance
- note
- playing
- midi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/005—Data structures for use in electrophonic musical devices; Data structures including musical parameters derived from musical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种钢琴演奏评分方法、装置及计算机存储介质,其方法步骤为,获取演奏MIDI数据、演奏视频数据、演奏MIDI数据时间信号、演奏视频数据时间信号,对上述四种数据进行数据加工,并与标准乐谱转换成的标准音符数据进行数据对比、数据分析,最终对考生整个演奏过程的音符正确性和指法正确性进行判断,并结合考生的演奏难易程度,对考生的整个演奏过程进行钢琴演奏评分;应用上述方法的装置包括,用于产生演奏MIDI数据的演奏单元,用于拍摄演奏视频数据的拍摄单元,接收、保存、发送演奏MIDI数据和演奏视频数据的评分客户端单元、用于判断考生音符正确性和指法正确性并反馈评分结果的服务器单元。
Description
技术领域
本发明涉及计算机考试评分领域,主要涉及一种钢琴演奏评分方法、装置及计算机存储介质。
背景技术
钢琴演奏评分方法,是对考生钢琴演奏整个过程进行评分,主要是对考生考试过程中演奏音符是否正确以及演奏指法是否正确进行判断。
在计算机考试评分领域中,常规学科的计算机考试评分需要对客观题答案,即ABCD选项与判断题的对错进行判断,以及对主观题的计算结果或者文字结果进行判断,因此常规学科的计算机考试评分过程相对简单。计算机识别技术可以对文字、字数、字母进行判断。钢琴考试区别于常规学科的考试,钢琴考试通常需要考官对每一位考生的演奏过程进行全程跟踪,然后对考生演奏音符、演奏指法进行评分;一名考官无法同时对考生的演奏音符和演奏指法进行判断,因此钢琴考试过程中多名考官参与分别对考生的演奏音符准确性,演奏指法准确性进行判断。
但是,由于不同考官的演奏水平与评分标准存在差别,因此当前的钢琴考试评分存在一定的主观因素,并且钢琴考试评分过程造成了大量的人力资源浪费。
发明内容
本发明的发明人发现,现有技术中钢琴演奏评分方法依赖考官对考生的演奏过程的全程跟踪,钢琴考试的考试评分存在一定的主观因素,并且钢琴考试需要多位考官参与,造成了大量人力资源的浪费。
本发明的主要目的是解决现有技术中,钢琴演奏评分方法需要多位考官全程跟踪,钢琴考试的评分结果存在一定的主观因素的问题。
为了解决以上技术问题,第一方面,本发明提供了一种钢琴演奏评分方法,其特征在于,所述方法包括:
获取若干演奏MIDI数据、演奏视频数据、若干演奏MIDI数据时间信号、若干演奏视频数据时间信号;
根据所述若干演奏MIDI数据时间信号与所述若干演奏视频数据时间信号截取所述演奏视频数据中的若干演奏图像数据;
将所述若干演奏MIDI数据与所述若干MIDI数据时间信号合并为演奏音符数据,将标准乐谱转换为标准音符数据;
将所述演奏音符数据与所述标准音符数据进行数据差异化计算,得到演奏音符数据中的正确音符数据;
解析所述正确音符数据得到正确音符MIDI数据时间信号,根据所述正确音符MIDI数据时间信号从所述若干演奏图像数据中调取演奏图像对比数据;
将演奏图像对比数据进行视觉识别分析得到所述演奏图像对比数据中的正确指法数据;
根据所述正确音符数据、所述正确执法数据、所述标准音符数据,计算得到所述钢琴演奏评分。
在本发明的一个实施例中,所述若干演奏MIDI数据组成考生演奏过程完整的MIDI数据,演奏MIDI数据的数量与演奏MIDI数据时间信号的数量相同。
在本发明的一个实施例中,任一所述演奏MIDI数据时间信号记录对应的任一所述演奏MIDI数据产生的时间,演奏MIDI数据时间信号的时间精度为1ms。
在本发明的一个实施例中,所述音符对比数据的数据类型为字符串数据,所述音符对比数据包含音符信息和对应所述音符信息的时间信息。
在本发明的一个实施例中,所述音符对比数据的数据类型为字符串数据,所述音符对比数据包含音符信息和对应所述音符信息的时间信息。
在本发明的一个实施例中,两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据为一组和弦演奏MIDI数据。
在本发明的一个实施例中,一组和弦演奏MIDI数据时间信号为任一所述两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据对应的演奏MIDI数据时间信号。
在本发明的一个实施例中,所述视觉识别分析过程为:
识别所述演奏图像对比数据中的琴键图像信息;
识别所述演奏图像对比数据中的手指图像信息;
判断所述正确音符数据对应的手指图像信息与所述演奏图像对比数据识别的手指图像信息的对应关系。
第二方面,本发明提供了钢琴演奏评分装置,其特征在于,其包括:
演奏单元,用于获取考生演奏MIDI数据、以及演奏MIDI数据时间信号并向评分客户端单元发送所述考生演奏MIDI数据与所述演奏MIDI数据时间信号;
拍摄单元,用于获取考生演奏视频数据、以及演奏视频数据时间信号并向评分客户端单元发送所述考生演奏视频数据与所述演奏视频数据时间信号;
评分客户端单元,用于存储以及显示所述演奏MIDI数据、所述考生演奏视频数据、所述演奏MIDI数据时间信号、所述演奏视频数据时间信号,并接收服务器单元发送的钢琴演奏评分并显示所述钢琴演奏评分;
服务器单元,用于判断考生的正确指法数据以及正确音符数据,并计算形成钢琴演奏评分,发送至评分客户端单元。
第三方面,本发明提供了一种计算机存储介质,其特征在于,其包括:所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面及其任意一种实施例所述的方法。
本发明提供的钢琴教学方法的有益效果为:第一,本发明提供的钢琴演奏评分减少了评分过程对考官的依赖,钢琴考试过程中的评分标准统一,最大程度减少了钢琴考试的主观因素;第二,本发明提供的钢琴演奏评分方法可对考生演奏的音符正确性以及指法正确性进行判断,因此本发明提供的钢琴演奏评分方法的评分机制完整,评分快速准确;第三,应用本钢琴演奏评分方法的装置,装置由演奏单元、拍摄单元、评分客户端单元、服务器单元组成,其装置简单,易于在钢琴考试中推广,并且考生可以在评分客户端单元查看演奏评分结果以及评分标准,更进一步的,其方便考生对钢琴考试过程进行回溯,保证了钢琴考试评分过程的公平公开公正。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不应构成本发明的限制,在附图中:
图1为本发明一种钢琴演奏评分方法的示意流程图;
图2为本发明一种钢琴演奏评分装置连接图;以及
图3为本发明提供的一种钢琴教学方法中演奏图像对比数据视觉识别分析过程的示意流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本发明所描述的实施例可以与其它实施例相结合。
基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了能够更好地理解本发明的实施例,下面将对应用本发明实施例的方法进行介绍。
请参见图1以及图3,本发明提供的一种钢琴教学方法,其特征在于,所述方法的步骤为:
S101、获取若干演奏MIDI数据、演奏视频数据、若干演奏MIDI数据时间信号、演奏视频数据时间信号;
需要说明的是,MIDI(Musical Instrument Digital Interface)是一种电子乐器之间以及电子乐器与计算机之间的统一交流协议。可以理解的是,当考生在电子钢琴上进行演奏时,电子钢琴会输出代表演奏某一音符的MIDI数据,此演奏MIDI数据是一种可以被计算机识别和处理的二进制数据,因此,电子乐器产生的数据可以被计算机识别、处理、加工。本发明任意实施例中的若干演奏MIDI数据记录考生整个演奏过程中摁压电子钢琴琴键的音符信息。
在本发明的一个实施例中,在考生的整个演奏过程中,获取考生的演奏视频数据。视频泛指一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术,当连续的图像变化每秒超过24帧图像以上时,根据视觉暂留原理,人眼无法辨别单幅的静态图像,看上去是平滑连续的视觉效果,这样连续的图像叫做视频。在本发明的一个实施例中,演奏视频数据为记录考生整个演奏过程的视频数据,因此,演奏视频数据是考生整个演奏过程中所有时刻演奏图像数据的集合。可以理解的是,本发明对演奏视频的格式不做限定,其可以采用本领域技术人员常规的技术手段演奏视频数据的格式可以是下任一一种,如:RM、RMVB、MPEG1-4、MOV、MTV、DAT、WMV、AVI、3GP、AMV、DMV、FLV。
这里,演奏MIDI数据时间信号指的是,电子钢琴输出代表演奏某一音符的MIDI数据对应时间信号。
这里,演奏视频数据时间信号指的是,任一演奏图像数据产生时对应时间信号。
在本发明的一个实施例中,演奏MIDI数据的数量与演奏MIDI数据时间信号的数量相同。可以理解的是,任一演奏MIDI数据对应所述任一演奏MIDI数据产生时的演奏MIDI数据时间信号。
相同的,任一演奏图像数据对应所述任一演奏图像数据产生时的演奏视频数据时间信号。
在本发明的一个实施例中,演奏MIDI数据时间信号的时间精度为1ms。可以理解的是,以1s摁压钢琴琴键20次的次数为例,摁压一次钢琴琴键的时间为50ms,并且当前世界吉尼斯记录最快钢琴手记录为1s摁压钢琴琴键14次,因此,设置演奏MIDI数据时间信号的时间精度为1ms在满足钢琴演奏过程中对于时间信息记录要求的基础上,最大程度的降低了演奏MIDI数据时间信号形成的文件容量,便于演奏MIDI数据时间信号的传输和处理。
S102、根据所述若干演奏MIDI数据时间信号与所述若干演奏视频数据时间信号截取所述演奏视频数据中的若干演奏图像数据;
在本发明的一个实施例中,保存考生演奏整个演奏过程中的演奏MIDI数据、演奏视频数据、MIDI数据时间信号、演奏视频数据时间信号,利用与MIDI数据时间信号相同的演奏视频数据时间信号,截取电子钢琴输出演奏MIDI数据时刻的演奏图像数据,即考生演奏某一音符而摁压电子钢琴琴键形成的演奏图像数据。
S103、将若干演奏MIDI数据与若干MIDI数据时间信号合并为演奏音符数据,将标准乐谱转换为标准音符数据。
可以理解的是,任一演奏MIDI数据与任一演奏MIDI数据时间信号存在按时间顺序一一对应的映射关系,因此通过按时间顺序一一对应的映射关系将任一演奏MIDI数据与任一演奏MIDI数据时间信号合并为演奏音符数据。以2019年9月18日16:53:00:100,任意考生演奏第一个音符“L1A”产生演奏MIDI数据与演奏MIDI数据时间信号合并为例,合并首先产生,“0 2019/09/18 16:53:00:100L1A”,其中第一位数字“0”代表按照演奏MIDI数据出现的时间升序排列的序号,“2019/09/18 16:53:00:100”代表演奏MIDI数据产生的时间即演奏MIDI数据时间信号,“L1A”代表音符信息;合并隐藏演奏MIDI数据时间信号,合并产生字符串格式的演奏音符数据“0L1A”;因此演奏音符数据的数据结构简单,大大简化数据判断过程。
可以理解的是,标准乐谱中包含乐谱的若干音符信息以及与若干音符信息对应的时间顺序信息,因此将若干音符信息以及与若干音符信息对应的时间顺序信息转换为标准音符数据。例如,将曲库的musicxml格式的标准乐谱转换为字符串格式的标准音符数据。需要说明的是,musicxml是一个开放的基于XML的音乐符号文件格式,本发明对乐谱的数据格式类型不做限制,其可以采用本领域技术人员常规的技术手段。
在本发明的一个实施例中,演奏音符数据、标准音符数据均为字符串数据。由于演奏MIDI数据为二进制数据,不便于考生查看演奏过程中演奏的音符信息,因此为向考生直观传递演奏过程中演奏的音符信息,演奏音符数据的数据类型为字符串数据;便于对演奏音符数据以及标准音符数据进行对比,标准音符数据的数据类型为字符串数据。
在本发明的一个实施例中,两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据为一组和弦演奏MIDI数据。
需要说明的是,在钢琴演奏过程中,不可避免的出现多个音符结合同时演奏的情况,即和弦演奏。因此,若干演奏MIDI数据与若干MIDI数据时间信号合并为演奏音符数据的过程,还包括多个演奏演奏MIDI数据转换为一组和弦演奏MIDI数据,一组和弦演奏MIDI数据与其对应的演奏MIDI数据时间信号合并的过程。
在本发明的一个实施例中,两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据为一组和弦演奏MIDI数据;通过将多个演奏MIDI数据转换为一组和弦演奏MIDI数据,简化了钢琴复杂演奏过程中若干演奏MIDI数据与若干MIDI数据时间信号合并为演奏音符数据的过程。
在本发明的一个实施例中,一组和弦演奏MIDI数据时间信号为任一所述两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据对应的演奏MIDI数据时间信号。可以理解的是,确定和弦演奏MIDI数据时间信号并将此和弦演奏MIDI数据时间信号合并入演奏音符数据,便于判断演奏音符数据中考生和弦演奏的正确性,保证了演奏音符数据的数据类型的统一。
S104、将演奏音符数据与标准音符数据进行数据差异化计算,得到演奏音符数据中的正确音符数据;
可以理解的是,演奏音符数据与标准音符数据进行数据差异化计算,首先对演奏音符数据与标准音符数据的音符个数进行差异化计算,音符个数的差异化计算结果为:1、演奏音符数据比标准音符数据音符个数多;2、演奏音符数据比标准音符数据音符个数少;3、演奏音符数据与标准音符数据音符个数相同。
当音符个数的差异化计算结果为演奏音符数据比标准音符数据音符个数多或演奏音符数据比标准音符数据音符个数少时,去除演奏音符数据或标准音符数据中的多余音符,保持演奏音符数据与标准音符数据的音符个数相等。
经过音符个数的差异化计算以及数据处理后,演奏音符数据与标准音符数据音符个数相同。进一步的,对演奏音符数据与标准音符数据音符按照数据中每个音符对应的时间顺序进行音符正确的差异化计算,计算得到演奏音符数据中的正确音符数据。
可以理解的是,首先对音符个数的差异化计算,再对音符正确的差异化计算,通过此差异化计算逻辑可最大程度的提高差异化计算的运算速度。
可以理解的是,正确音符数据是指包含按时间顺序正确演奏的若干演奏MIDI数据。
S105、解析所述正确音符数据得到若干正确音符MIDI数据时间信号,根据所述正确音符MIDI数据时间信号调取演奏图像对比数据。
可以理解的是,正确音符数据包含正确音符的音符信息以及正确音符的时间信息,对正确音符数据进行数据解析,得到若干正确音符MIDI数据时间信号。通过若干正确音符MIDI数据时间信号与若干演奏视频数据时间信号进行判断,当正确音符MIDI数据时间信号与演奏视频数据时间信号相同,调取正确音符MIDI数据时间信号与演奏视频数据时间信号相同的若干演奏图像数据,并将若干演奏图像数据形成演奏图像对比数据。
S106,将演奏图像对比数据进行视觉识别分析得到所述演奏图像对比数据中的正确指法数据。
在本发明的一个实施例中,请参见图3,对演奏图像对比数据进行识别的过程为:
S301、识别所述演奏图像对比数据中的琴键图像信息;
S302、识别所述演奏图像对比数据中的手指图像信息;
S303、判断所述琴键图像信息中正确音符数据对应的手指信息与所述手指图像信息的手指信息的对应关系。
可以理解的是,正确指法数据为包含正确音符数据对应的手指信息的若干演奏图像数据。
可以理解的是,首先,通过将演奏图像对比数据中的任一演奏图像数据获得琴键图像信息,即获得86个钢琴琴键的相对位置信息,琴键图像信息是为获得手指图像信息提供判断基础;进而,对演奏图像对比数据中的手指进行识别,其方法为手指轮廓识别和/或手指指尖识别,形成手指图像信息,手指图像信息包含手指与琴键位置的手指信息;最后,判断正确音符数据对应的手指图像信息与演奏图像对比数据识别的手指信息图像的重合程度,从而在判断考生演奏音符正确的基础上进一步判断考生演奏正确音符的指法是否正确。
S107,根据所述正确音符数据、所述正确执法数据、所述标准音符数据,计算得到所述钢琴演奏评分。
在本发明的一个实施例中,计算正确指法数据的数量与正确音符数据的数量占比、正确音符数据中音符的数量与标准音符数据中音符的数量占比,并以演奏难易程度作为权重,形成钢琴演奏评分。演奏难易程度指的是:不同等级钢琴考试的考察侧重点。可以理解的是,初级钢琴考试,主要考察考生演奏正确音符准确性,对考生弹奏正确音符的执法要求较低,因此演奏难易程度为易;即在形成钢琴演奏评分的过程中,正确指法数据的数量与正确音符数据的数量占比计算结果的权重因子小。同理可得,中级钢琴考试、高级钢琴考试的演奏困难程度逐渐升高,正确指法数据的数量与正确音符数据的数量占比计算结果的权重因子逐渐变大。例如,演奏难易程度为易,正确指法数据的数量与正确音符数据的数量占比计算结果的权重因子为20%,即在演奏难易程度为易的考试过程中,主要对考生的演奏音符的正确性进行考察,对考生的演奏指法的正确性考察程度小。
作为本发明实施例的第二方面,请参见图2,本发明提供了一种钢琴教学装置200,其包括:
演奏单元201,用于获取考生演奏MIDI数据、以及演奏MIDI数据时间信号并向评分客户端单元发送所述考生演奏MIDI数据与所述演奏MIDI数据时间信号;
拍摄单元202,,用于获取考生演奏视频数据、以及演奏视频数据时间信号并向评分客户端单元发送所述考生演奏视频数据与所述演奏视频数据时间信号;
评分客户端单元203,用于存储以及显示所述演奏MIDI数据、所述考生演奏视频数据、所述演奏MIDI数据时间信号、所述演奏视频数据时间信号,并接收服务器单元发送的钢琴演奏评分并显示所述钢琴演奏评分;
服务器单元204,用于判断考生的正确指法数据以及正确音符数据,并计算形成钢琴演奏评分,发送至评分客户端单元。
所述钢琴教学装置200用于执行如上述任意实施例所述方法。
在本发明的一些实施例中,演奏单元201为可以产生MIDI数据的任意钢琴演奏设备,本发明对此不做限制,其可以采用本领域技术人员常规的技术手段。
可以理解的是,拍摄单元202可以采用本领域技术人员常规的技术手段,本发明对此不做限制,其可以是具有视频录制功能的照相机,录影录像机,具有视频录制功能的手机、平板电脑、电脑,以及具有视频录制功能钢琴的摄像头。
评分客户端单元203接收演奏单元201、拍摄单元202产生的数字信号的数据通讯方式可以采用本领域技术人员常用的技术手段,本发明对此不做限制,其数据通讯方式可以采用以下一种或几种方法实现,如蓝牙数据通讯、Wi-Fi数据通信、光纤数据通信。可以理解的是,考生可以通过评分客户端单元203查看考生钢琴考试过程、以及钢琴演奏评分过程以及钢琴演奏评分标准,因此保证了钢琴考试的公平公正公开,同时方便了考生在钢琴考试结束后对钢琴考试过程呢进行回溯。
可以理解的是,服务器单元204用于判断考生钢琴演奏的音符正确性以及指法正确性,并对考生的钢琴演奏过程进行评分,服务器单元204对所有考生的评分标准统一,降低了人为评分的主观因素对评分的影响。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
作为本发明实施例的第三方面,本发明还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种接口测试方法的部分或全部步骤。
本发明是参照根据本发明所述实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。
Claims (9)
1.一种钢琴演奏评分方法,其特征在于,所述方法包括:获取若干演奏MIDI数据、演奏视频数据、与所述若干演奏MIDI数据对应的若干演奏MIDI数据时间信号、若干演奏视频数据时间信号;根据所述若干演奏MIDI数据时间信号与所述若干演奏视频数据时间信号截取所述演奏视频数据中的若干演奏图像数据;将所述若干演奏MIDI数据与所述演奏MIDI数据时间信号合并为演奏音符数据,将标准乐谱转换为标准音符数据;将所述演奏音符数据与所述标准音符数据进行数据差异化计算,得到演奏音符数据中的正确音符数据;解析所述正确音符数据得到正确音符MIDI数据时间信号,根据所述正确音符MIDI数据时间信号从所述若干演奏图像数据中调取演奏图像对比数据;将演奏图像对比数据进行视觉识别分析得到所述演奏图像对比数据中的正确指法数据;根据所述正确音符数据、所述正确指法数据、所述标准音符数据,计算得到所述钢琴演奏评分。
2.根据权利要求1所述的钢琴演奏评分方法,其特征在于,所述演奏MIDI数据为考生演奏过程完整的MIDI数据,所述若干演奏MIDI数据的数量与所述若干演奏MIDI数据时间信号的数量相同。
3.根据权利要求1所述的钢琴演奏评分方法,其特征在于,任一所述演奏MIDI数据时间信号记录对应任一所述演奏MIDI数据产生的 时间,演奏MIDI数据时间信号的时间精度为1ms。
4.根据权利要求1所述的钢琴演奏评分方法,其特征在于,所述演奏音符数据的数据类型为字符串数据,所述演奏音符数据包含音符信息和对应所述音符信息的时间信息。
5.根据权利要求1所述的钢琴演奏评分方法,其特征在于,两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据为一组和弦演奏MIDI数据。
6.根据权利要求5所述的钢琴演奏评分方法,其特征在于,一组和弦演奏MIDI数据时间信号为任一所述两个演奏MIDI数据产生的时间间隔小于0.1s的任意两个演奏MIDI数据对应的演奏MIDI数据时间信号。
7.根据权利要求1所述的钢琴演奏评分方法,其特征在于,所述视觉识别分析过程为:第一步,识别所述演奏图像对比数据中的琴键图像信息;第二步,识别所述演奏图像对比数据中的手指图像信息;第三步,判断所述琴键图像信息中所述正确音符数据对应的手指信息与所述手指图像信息的手指信息的对应关系。
8.一种钢琴演奏评分装置,其特征在于,其包括:演奏单元,用于获取考生演奏MIDI数据、以及演奏MIDI数据时间信号并向评分客户端单元发送所述考生演奏MIDI数据与所述演奏MIDI数据时间信号;拍摄单元,用于获取考生演奏视频数据、以及演奏视频数据时间信号并向评分客户端单元发送所述考生演奏视频数据与所述演奏视频数据时间信号;评分客户端单元,用于存储以及显示所述演奏MIDI数据、所述考生演奏视频数据、所述演奏MIDI数据时间信号、所述演奏视频数据时间信号,并接收服务器单元发送的钢琴演奏评分并显示所述钢琴演奏评分;服务器单元,根据演奏MIDI数据与标准乐普的对比判断正确音符,根据MIDI时间信号提取对应指法图像以判断正确指法,并计算形成钢琴演奏评分;发送至评分客户端单元。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811223601.3A CN109344794B (zh) | 2018-10-19 | 2018-10-19 | 一种钢琴演奏评分方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811223601.3A CN109344794B (zh) | 2018-10-19 | 2018-10-19 | 一种钢琴演奏评分方法、装置及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344794A CN109344794A (zh) | 2019-02-15 |
CN109344794B true CN109344794B (zh) | 2022-04-19 |
Family
ID=65310504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811223601.3A Active CN109344794B (zh) | 2018-10-19 | 2018-10-19 | 一种钢琴演奏评分方法、装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344794B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111968674B (zh) * | 2020-07-06 | 2021-08-10 | 南京邮电大学 | 基于音频信号转录的线上乐器对战平台和排行榜系统 |
CN114170868A (zh) * | 2020-09-09 | 2022-03-11 | 桂林智神信息技术股份有限公司 | 智能钢琴训练的方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103531189A (zh) * | 2013-09-25 | 2014-01-22 | 熊世林 | 一种用于智能电钢琴的演奏评价器 |
KR101524279B1 (ko) * | 2014-03-21 | 2015-06-01 | 국민대학교산학협력단 | Rgb-d 카메라를 이용한 피아노 교육 시스템 및 그 방법 |
WO2015192674A1 (zh) * | 2014-06-20 | 2015-12-23 | 北京趣乐科技有限公司 | 一种智能钢琴及系统 |
CN107146497A (zh) * | 2016-08-02 | 2017-09-08 | 浙江大学 | 一种钢琴考级评分系统 |
CN108074439A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴陪练设备及钢琴 |
CN108074556A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的评价方法及系统 |
CN108648520A (zh) * | 2018-03-27 | 2018-10-12 | 小叶子(北京)科技有限公司 | 一种钢琴演奏学习方法及装置 |
-
2018
- 2018-10-19 CN CN201811223601.3A patent/CN109344794B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103531189A (zh) * | 2013-09-25 | 2014-01-22 | 熊世林 | 一种用于智能电钢琴的演奏评价器 |
KR101524279B1 (ko) * | 2014-03-21 | 2015-06-01 | 국민대학교산학협력단 | Rgb-d 카메라를 이용한 피아노 교육 시스템 및 그 방법 |
WO2015192674A1 (zh) * | 2014-06-20 | 2015-12-23 | 北京趣乐科技有限公司 | 一种智能钢琴及系统 |
CN107146497A (zh) * | 2016-08-02 | 2017-09-08 | 浙江大学 | 一种钢琴考级评分系统 |
CN108074439A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴陪练设备及钢琴 |
CN108074556A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的评价方法及系统 |
CN108648520A (zh) * | 2018-03-27 | 2018-10-12 | 小叶子(北京)科技有限公司 | 一种钢琴演奏学习方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于BP算法的钢琴演奏自动评价系统设计与实现;吴蔚;《万方学位论文数据库》;20160831;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109344794A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473525B (zh) | 获取语音训练样本的方法和装置 | |
CN106649694A (zh) | 语音交互中确定用户意图的方法及装置 | |
US11620252B2 (en) | System for recorded e-book digital content playout | |
CN107086040A (zh) | 语音识别能力测试方法和装置 | |
WO2024000867A1 (zh) | 情绪识别方法、装置、设备及存储介质 | |
CN109344794B (zh) | 一种钢琴演奏评分方法、装置及计算机存储介质 | |
CN111526405B (zh) | 媒体素材处理方法、装置、设备、服务器及存储介质 | |
CN112232276B (zh) | 一种基于语音识别和图像识别的情绪检测方法和装置 | |
CN113674565B (zh) | 一种用于钢琴教学的教学系统及方法 | |
CN109286848B (zh) | 一种终端视频信息的交互方法、装置及存储介质 | |
CN110418204A (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
JP2022534345A (ja) | データ処理方法及び装置、電子機器並びに記憶媒体 | |
CN111353439A (zh) | 一种教学行为的分析方法、装置、系统及设备 | |
CN111427990A (zh) | 一种智慧校园教学辅助的智能考试控制系统及方法 | |
CN110874554B (zh) | 动作识别方法、终端设备、服务器、系统及存储介质 | |
CN108880815A (zh) | 身份验证方法、装置和系统 | |
CN109688430A (zh) | 一种法院庭审文件回放方法、系统及存储介质 | |
CN112861784B (zh) | 答题方法及装置 | |
CN112000256B (zh) | 一种内容互动方法及装置 | |
CN111358428A (zh) | 一种观察能力测试评定方法和装置 | |
CN111931510A (zh) | 一种基于神经网络的意图识别方法及装置、终端设备 | |
Schramm et al. | Audiovisual tool for solfège assessment | |
US11747914B2 (en) | System and method for providing electric book based on reading type | |
CN114625302B (zh) | 电子做题方法、装置、系统及存储介质 | |
CN108744498A (zh) | 一种基于双vr设备的虚拟游戏快速启动方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |