CN111976329A - 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 - Google Patents
一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 Download PDFInfo
- Publication number
- CN111976329A CN111976329A CN202010893269.2A CN202010893269A CN111976329A CN 111976329 A CN111976329 A CN 111976329A CN 202010893269 A CN202010893269 A CN 202010893269A CN 111976329 A CN111976329 A CN 111976329A
- Authority
- CN
- China
- Prior art keywords
- staff
- segment
- musical instrument
- user
- played
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 11
- 239000012634 fragment Substances 0.000 description 10
- 230000001755 vocal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
- B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
- B42D9/00—Bookmarkers; Spot indicators; Devices for holding books open; Leaf turners
- B42D9/04—Leaf turners
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明提供一种乐器弹奏中的数字化五线谱自动跟随方法及自动跟踪系统,该自动跟踪方法借助乐器弹奏按键采集装置,结合数字化五线谱,实现显示的五线谱自动跟随乐器弹奏的方法;包括乐器弹奏中借助乐器弹奏按键采集装置获取弹奏的一个片段的按键序列信息;在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置;在数字化五线谱中定位该位置。该自动跟踪系统提供包括运行数字化五线谱计算机系统和乐器弹奏按键采集装置。利用该方法及系统能够匹配每个音符的正确与否,使得用户体验更佳。
Description
技术领域
本发明涉及人工智能领域,特别是利用信息采集及分析方法的一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统。
背景技术
当前市面上有一种翻谱APP,把谱子图片显示到屏幕上,允许用户设定滚动屏幕速度,用户按开始键后,APP会按用户设定的速度以“固定”的速度滚屏,达到翻阅谱子的效果,但这种方法的缺点是明显的,有的谱子不是固定速度的或用户弹奏不是匀速的,“固定”速率翻屏不能适应需求;有的谱子有“重复”弹奏区域,弹奏过程中可能要求反向翻谱,也做不到;用户可能不严格按谱子音符段落顺序弹奏,可能根据练习的需要,跳跃练习自己认为最需要练习的段落,也不能实现;这种方式也不能实现音符级别的精确定位。
另外,当前市面还有一种弹奏纠错APP,该APP能够把谱子当前时刻需要弹奏的音符与用户弹奏的按键进行对比,如果弹奏正确,就向前进,弹奏错误就停留在当前位置。这在一定程度上有翻谱的效果,但体验也非常受限,仍然不能满足用户“随意”弹谱子中的任意位置的需求,本质上是设备来“规定”弹奏位置,让用户来根据指定位置进行弹奏,是人适应设备,而非设备来适应人,并且人弹奏时有时难免有局部弹奏错误,比如漏按或多按了个别键,从自动定位的角度年看,应当不影响定位,要具备容错的能力,才更符合用户体验。
中国发明专利申请公布号 CN 109036352A公开了一种翻谱方法、翻谱器、移动终端及存储介质,该方法采取音频分析的方法,将用户弹奏的“音频”信号与谱子对应的“音频文件”进行音频信号对比分析,而谱子不是数字化的,仍然是传统图片形式,但谱子中人工标注有翻页标签,当两种音频匹配上时,利用谱子中的翻页标签进行翻页。该方法实现了一种翻页方法,但突出问题是,音频分析方法容易受环境噪音的影响准确性低,钢琴延音踏板的应用也会让前后时间的声音混合在一起,造成音符对比困难,实用性并不高,并且预先要录制每个谱子的弹奏音频,以备与用户弹奏音符进行对比,这个录制工作量极其巨大,音频文件也非常消耗存储空间,成本高昂,对比计算量非常大,如果计算平台运算性能不高,会响应迟钝,也会快速消耗电池,进行网络传输时存在较大传输时延,体验不佳。特别是用户可能并不完全按谱子弹奏,比如用户选择性练习谱子中多个声部中的部分声部(比如又声部谱子中的单声部,或者忽略个别音符不弹),则音频分析将无法按该专利声明的方法匹配进而定位;用户弹奏可能存在瑕疵,比如漏弹或多弹音符,需要对比方法更加容错和智能,这个对于用户体验至关重要,而该专利对于这个方面没有描述,从技术用可用性的角度看存在较大不足。
发明内容
本发明针对目前智能翻谱方法的上述不足,提供一种乐器弹奏中的五线谱自动跟随方法及系统。该方法借助乐器弹奏按键采集装置,结合数字化五线谱,实现数字化五线谱实时地自动跟随乐器弹奏,借助该方法可以实现随着弹奏智能翻谱。
本发明实现其技术目的技术方案是:一种乐器弹奏中的数字化五线谱自动跟随方法,该方法借助乐器弹奏按键采集装置,结合数字化五线谱,实现显示的五线谱自动跟随乐器弹奏的方法;包括以下步骤:
步骤1、乐器弹奏中借助乐器弹奏按键采集装置获取弹奏的一个片段的按键序列信息;
步骤2、在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置;
步骤3、在数字化五线谱中定位该位置。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:包括以下状态:
初始状态,刚刚打开数字化五线谱,或者用户弹奏与谱子存在差异,不能匹配时,则处于初始状态 ;
首次定位状态:用户弹奏一个片段后,借助乐器弹奏按键采集装置获取弹奏的一个片段的按键序列信息,该片段的按键序列信息在数字化五线谱中进行搜索,若找到最佳匹配位置,即处于首次定位状态;
跟踪状态:用户继续弹奏,在前次定位的位置基础上,分析后续按键的正确性;当用户按键匹配可信度低于门限值时,分析器重新进入初始状态。当然,也可以不设置跟踪状态,让设备仅工作于初始状态或(首次)定位状态,即设备总是把过去弹奏的片段在数字化五线谱中进行搜索,试图找到最佳匹配位置,这样做也能够工作,但搜索效率会比较低。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:所述的片段为音符片段,是用户弹奏的音符或数字化五线谱中记录的音符组成的序列,由“时隙”串行而成,每个时隙里有至少一个音符。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:还包括片段提取步骤,该步骤中,将数字化曲谱分解成多个片段,长度与用于初始定位的用户弹奏的时隙数一致,片段起始位置覆盖谱子中的每个音符对应的位置。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:步骤2中,弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时:将用户弹奏片段与数字化五线谱中提取的片段进行匹配,匹配方法是,用户弹奏片段和数字化五线谱中的片段进行逐个时隙对比。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时包括时隙聚合处理:用户按键中,时间间隔相对比较接近的按键归并到同一时隙;对于数字化五线谱中时间相对较接近的按键也进行时间聚合。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时包括模糊匹配,对于每一个时隙,用户弹奏的按键存在不能与谱子完全匹配的情况,当用户弹奏的按键存在于数字化五线谱的片段中时,为本时隙设置一个较高的基础可信度分值,若不存在则属于用户多弹情形,则减少可信度分值,漏弹音符降低可信度分值,但扣分权值要小于上述“基础可信度”分值,即,只要用户弹奏的音符与谱子时隙存在的音符在交集,则本时隙算作匹配,即由于权值大小的差异,使存在交集以外的音符时,即使要扣可信度分值,也大概率不会导致分值为负数,达到对漏弹和多弹容错的效果。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:还包括片段计分步骤,该步骤中:片段中的多个时隙的可信度进行求和记分,若分值达到门限值,即认为满足匹配基本条件。
进一步的,上述的乐器弹奏中的数字化五线谱自动跟随方法中:还包括全局定位步骤:该步骤中,选所有片段的匹配结果最大值对应的片段为最优匹配结果,指示曲谱显示到指定位置,实现自动定位。
本发明提供还提供一种乐器弹奏中的数字化五线谱自动跟随系统,包括:
运行数字化五线谱程序的计算机系统,在其显示屏上显示五线谱;
乐器弹奏按键采集装置,实时采集乐器弹奏中弹奏的一个片段的按键序列信息;并将弹奏的一个个片段的按键序列信息实时传送到所述的计算机系统;
所述的计算机系统,在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置,并在显示屏上显示该位置及其前后的部分五线谱。
本发明提供一种设备和方法,琴手弹奏过程中,设备能够分析琴手弹奏的按键自动发现弹奏位置进面“自动”跳转到弹奏位置,并且能够跟踪用户的弹奏,持续翻动谱子,即使用户弹奏过程中根据自己练习需要沿谱子向前或向后随心跳跃弹奏段落位置,也能够快速跟踪到用户当前弹奏的位置。用户是人,弹奏过程中难免出现部分错误,多按或少按按键,要能够通过算法“容错”,少量的局部的弹奏错误也能够判断出用户的弹奏位置,有的谱子又是双声部的或多声部的,用户弹奏时可能只弹奏谱子中的一个声部,甚至随意进行声部切换,也要能够判断出位置,这样更加人性化,用户体验更佳,总之就是要满足让用户“随意”弹奏,让设备来寻找弹奏位置进而跳转到相应位置;进一步,在匹配弹奏位置的基础上,由于检查了每个时隙用户弹奏的音符和谱子记录的音符的匹配情况,所以能够输出每个弹奏的音符的正确与否信息,使得用户体验更佳。
具体实施方式
本实施例是一种在弹奏钢琴等乐器时,根据弹奏的音乐片段,在一个显示器上,自动跟随弹奏的节奏显示弹奏的乐谱的乐器弹奏中的数字化五线谱自动跟随系统,该系统包括:运行数字化五线谱程序的计算机系统,在其显示屏上显示五线谱;乐器弹奏按键采集装置,实时采集乐器弹奏中弹奏的一个个片段的按键序列信息;并将弹奏的一个个片段的按键序列信息实时传送到所述的计算机系统;计算机系统,在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置,并在显示屏上显示该位置及其前后的部分五线谱。
本实施例中,数字化五线谱是相对于传统的图片形式记录的五线谱,当前已经存在数字化五线谱,数字化谱相对于传统图片形式的谱子的根据区别在于,前者记录了每个音符的位置和音高等属性信息,给软件处理带来了方便,比如根据五线谱合成声音,或与用户弹奏进行精确对比。数字化五线谱软件可以从市场上购入。
乐器弹奏采集,以钢琴为例,现已存在钢琴按键采集设备,如中国发明专利授权公告号CN108731791 B公告的由本申请人申请的一种采集钢琴按键动作的方法及装置,就公开了一种这样的钢琴弹奏采集装置,在弹奏钢琴时它可以实时采集是否有钢琴按键按下,按下的是钢琴中的哪个键,并且还对按下钢琴键的力度进行采集。利用这些乐器弹奏采集装置能够将用户弹奏的按键序列采集下来,供软件进行处理,吉他等乐器也可以进行采集。
实践中,除钢琴以外弹奏其它按键式乐器也可以利用本实施例的乐器弹奏按键采集装置实时采集弹奏的片段后,在运行数字化五线谱的计算机系统中进行比较,找到数字化五线谱中相应的片段,并定位弹奏音乐当时在五线谱上具体位置,并在显示器上显示该五线谱中该片段前后的五线谱内容,供弹奏者参考。
具体使用过程如下:
S1、在计算机系统中,用户打开将要演奏的乐谱的数字化五线谱,在显示器中显示五线谱,运行乐器弹奏按键采集装置,打开弹奏自动位置跟踪功能。
S2、用户开始弹奏谱子,计算机系统中乐器弹奏按键采集装置获取用户弹奏按键信息,获取按键序列信息后,计算机系统将按键序列与谱子进行对比分析,找到最佳匹配位置,进而控制分析器控制将谱子设定到该位置。
S3、跟踪状态:在首次定位状态下,用户继续弹奏,计算机系统中,在首次定位的位置基础上,分析后续按键的正确性,避免在整个谱子中进行“全局”搜索,提升搜索效率;当用户按键匹配可信度低于门限值时,分析器重新进入初始状态。一种简化的方法是去除跟踪状态,仅工作在初始状态和定位状态。
定位的时候该对比方法是:
首先设定存在3个状态:
初始状态:用户刚刚打开数字化谱子,或者用户弹奏与谱子存在差异,不能匹配,则本乐器弹奏中的数字化五线谱自动跟随系统(计算机中跟随器)处于初始状态。
首次定位状态:用户弹奏一个片段后,分析器利用该片段在谱子中进行搜索,若找到最佳匹配位置,即处于首次定位状态。
全局定位状态:选所有片段的匹配结果最大值对应的片段为最优匹配结果,指示曲谱显示到指定位置,实现自动定位。
然后进行如下定义:
音符片段定义:用户弹奏的音符或数字化谱子中记录的音符组成的序列,由“时隙”串行而成,每个时隙里有至少一个音符,比如一个时隙数(或称为片段长度)为3的片段,1号时隙有do这个音符,2号时隙有re和mi音符,3号时隙有fa这个字符,当用于表示用户弹奏时,表示第一时刻用户弹奏了do这个音符,第二时刻弹奏了re和mi这个音符,第三时刻弹奏了fa这个音符,为了下文描述方便,该片段记为[do] [re mi] [fa],中括号表示时隙。
片段提取,将数字化曲谱分解成多个片段,长度与用于初始定位的用户按键长度(时隙数)一致,片段起始位置覆盖谱子中的每个音符时隙对应的位置,便于进行谱子全局搜索,也即是片段间存在迭代的情况,不同片段间可能有音符交集,比如一个谱子唱[do][re] [mi] [fa] [so] [la] [xi],则有7个时隙,设片段长度为3,则片段提取方法为第一个片段是[do] [re] [mi],第二个片段是[re] [mi] [fa],第三个片段是[mi] [fa] [so],以此类推,当然如上所述,一个时隙可以有多于一个音符。
片段内匹配:将用户弹奏片段与上述谱子中提取的片段进行匹配,匹配方法是,用户弹奏片段和谱子片段进行逐个时隙对比,当然基础的对比是比较用户弹的和谱子记录的是否完全一致,但这样比较缺乏人性化,不具备对人为弹奏“错误”的容错能力。所以,本实施例另外还有片段内匹配过程包括:
时隙聚合处理:用户按键中,时间间隔相对比较接近的按键归并到同一时隙,便于与谱子进行对比。对于谱子中时间太近的按键也可以进行时间聚合,这样做可以降低匹配的“严格”程度,使得用户弹奏的先后顺序有瑕疵(先后关系变成同时关系,或先后关系颠倒)也能够正确匹配,或者采集设备时间灵敏度不够高,把先后弹奏的音符当作了同时弹的音符,另外弹奏过程中用户常不小心碰到了不该弹的音符,通常时间上非常接近,聚合后,不会形成一个独立时隙,对片段的整体匹配度判断影响更小。比如片段为[do] [re] [mi] [fa], 共4个时隙,但[re]和[mi]的时间间隙非常小,可以将[re]和[mi]聚合成为一个时隙[re mi]。用户会感觉到这种方式“聪明”,能够容忍小的弹奏瑕疵,提升用户体验。
模糊匹配,对于每一个时隙,用户弹奏的按键可能不能与谱子完全匹配,当用户弹奏的按键存在于谱子片段中时,分析器以较大权值提升匹配可信度分值,反之以较小权值降低可信度分值,漏弹音符也以较小权值降低可信度分值,即只要用户弹奏的和谱子记录的音符在该时隙有交集,即使有交集以外的音符,该时隙的可信度都会较大概率是正值。所以,用户若只弹奏多声部中的单个声部也能够识别,或有个别弹奏错误也可以容忍。该处理也会让用户会感觉能够容忍小的弹奏瑕疵,提升用户体验。同时,这种对比过程中也能够对每个音符弹奏对误的情况进行标记,在谱子中显示给用户观看,提示弹奏的正误。
节奏匹配,将用户弹奏片段内的时隙间隔与谱子对应片段的时隙间隔进行对比,具体方法是:以用户弹奏的每对时隙间隔时长为标尺,与其它时隙间隔相除得到一个比值串,比如用户弹奏了3个时隙,第1和第2时隙时间间隔为t1,第2和第3时隙间隔为t2, 当取t1为标尺时,则所述比值串为(命名为s1):t1/t1,t2/t1,同理,从谱子中时隙也能得到比值串(s1’):t1’/t1’,t2’/t1’;当取t2为标尺时,会得到比值串(s2):t1/t2,t2/t2和(s2’)t1’/t2’,t2’/t2’。那么对比s1和s1’的相似度以及s2与s2’的相似度,取最相似的来代表该用记片段与对应谱子片段的节奏匹配得分,该得分可实现如下效果:当片段在谱子中得分相近的片段多余一个时,节奏匹配得分高的谱子片段要视为更加匹配。
片段计分:片段中的多个时隙的可信度进行求和记分,若分值达到门限值,即认为满足匹配基本条件,该门限值设置得超低,则容易匹配,但匹配精度可能越低,取决于用户偏好,可作为一个灵敏度参数供用户选择。
全局定位:选所有片段的匹配结果最大值对应的片段为最优匹配结果,指示曲谱显示到指定位置,实现自动定位,windows系统,安卓系统等可视化操作系统一般都有滚动窗口的现有接口,只要向系统传递上述位置参数即可。
另外,状态还有:
重新定位:当处于初始定位状态或跟踪状态后,若用户弹奏不符合后续匹配要求,重新回到初始状态,开始新的匹配过程,使得当用户随意跳跃弹奏谱子中的某个位置时能够重新定位,当然,重新定位过程选取的用户弹奏片段不必是回到初始状态后才开始采集的按键,可以取数个进入该状态前的按键作为前导按键,加快匹配过程。
预设搜索范围:若用户希望练习谱子里的某个范围而非全部,可以设置搜索范围,则跟踪系统只会生成谱子范围内的搜索片段,使得搜索和跟踪仅在范围内进行。
用户可设定搜索方向:从头搜索,从当前位置向谱子尾部搜索,在当前位置附近搜索。
下面是具体弹奏过程中跟踪系统中搜索比较(比对)情形:
1,完全匹配情形:谱子是[do] [re] [mi] [fa] [so] [la] [xi],用户弹奏是[mi][fa] [so]。将谱子分解为片段集合:[do] [re] [mi],[re] [mi] [fa],[mi] [fa] [so],[fa] [so] [la],[so] [la] [xi],当然也可以按其它长度分段,当用户弹奏了[mi] [fa][so]后,在片段集合中搜索,每匹配一个时隙记1分,最高3分,搜索发现第三组完全匹配,分值最高,则定位到第3组。
2,用户漏弹情形:谱子是[do] [re] [mi] [fa xi] [so] [la] [xi],用户弹奏是[mi] [fa] [so]。将谱子分解为片段集合:[do] [re] [mi],[re] [mi] [fa xi],[mi fa][fa] [so],[fa] [so] [la],[so] [la] [xi],当用户弹奏了[mi] [fa] [so]后,在片段集合中搜索,虽然发现第三组内虽然第二时隙多了一个xi音符,不完全匹配,但时隙内匹配一个音符记1份(有交集则加分权重相对较高),多余一个音符扣0.2分(在有匹配的条件下扣0.2,否则该时隙计0分,扣分权重较低),则该组记分为2.8分,仍然是最高分,当然具体的分值分配策略可以作为参数调整。
3,用户多弹情形:谱子是[do] [re] [mi] [fa] [so] [la] [xi],用户弹奏是[mi] [fa la] [so]。将谱子分解为片段集合:[do] [re] [mi],[re] [mi] [fa],[mi][fa] [so],[fa] [so] [la],[so] [la] [xi],当用户弹奏了[mi] [fa] [so]后,在片段集合中搜索,每匹配一个时隙记1分,发现第三组不完全匹配,匹配音符记1分,多弹一个谱子中并不存在的音符扣0.2分(在有匹配的条件下口0.2,否则该时隙计0分),总分2.8分,分值最高,则定位到第3组。
4,跟踪情形:在上述实施例一基础上,用户又弹了[la]这个时隙,分析器不必从头搜索各个片段,优先从第4片段或第3片段进行搜索,快速匹配到第4片段。
5,时隙聚合情形1:谱子是[do] [re] [mi] [fa] [so] [la] [xi],用户弹奏是[mi] [fa] [so]。将谱子分解为片段集合:[do] [re] [mi],[re] [mi] [fa],[mi] [fa][so],[fa] [so] [la],[so] [la] [xi],用户弹奏了[mi] [fa] [la] [so],实际上[la]是在弹[fa]时不小心多弹的音符,因此时间上与[la]非常接近,分析器发现[fa] [la]两个时隙的时间间隔明显小于其它时隙,聚合为[fa la]一个时隙,在计分上的优势是:聚合前,第三片段只有第一个时隙[mi]有匹配音符,记1分,太低,视作未匹配,而聚合后,第1和第3时隙匹配记2分,第2时隙部分匹配,记0.8分,总分2.8分,接近满分3分,明显高于上述不进行时隙聚合方式下的得分1分,对匹配结果有大幅度的提升,因此分析器可以容错。
6,时隙聚合情形2:谱子是[do] [re] [mi] [fa] [so] [la] [xi],但[mi] [ma]的时间间隔相对低,则可以聚合为[mi ma]一个时隙,用于对比时提升匹配度。
7,设定搜索范围和搜索方向,分析器按搜索范围和方向进行初始定位和跟踪。
本实施例的跟踪方法及跟踪系统具有如下特点:
1、音符时隙级别的自动定位,精度高。
2、容错,用户少量错弹或和漏弹不影响定位。
3、高效,初始定位后,持续跟踪搜索效率高。
4、定位同时可以标记每个音符的对误。
Claims (10)
1.一种乐器弹奏中的数字化五线谱自动跟随方法,该方法借助乐器弹奏按键采集装置,结合数字化五线谱,实现显示的五线谱自动跟随乐器弹奏的方法;其特征在于:包括以下步骤:
步骤1、乐器弹奏中借助乐器弹奏按键采集装置获取弹奏的一个片段的按键序列信息;
步骤2、在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置;
步骤3、在数字化五线谱中定位该位置。
2.根据权利要求1所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:包括以下状态:
初始状态,刚刚打开数字化五线谱,或者用户弹奏与谱子存在差异,不能匹配时,则处于初始状态 ;
首次定位状态:用户弹奏一个片段后,借助乐器弹奏按键采集装置获取弹奏的一个片段的按键序列信息,该片段的按键序列信息在数字化五线谱中进行搜索,若找到最佳匹配位置,即处于首次定位状态;
跟踪状态:用户继续弹奏,在前次定位的位置基础上,分析后续按键的正确性;当用户按键匹配可信度低于门限值时,分析器重新进入初始状态,该状态可选。
3.根据权利要求2所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:所述的片段为音符片段,是用户弹奏的音符或数字化五线谱中记录的音符组成的序列,由“时隙”串行而成,每个时隙里有至少一个音符。
4.根据权利要求2所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:还包括片段提取步骤,该步骤中,将数字化曲谱分解成多个片段,长度与用于初始定位的用户弹奏的时隙数一致,片段起始位置覆盖谱子中的每个音符对应的位置。
5.根据权利要求2所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:步骤2中,弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时:将用户弹奏片段与数字化五线谱中提取的片段进行匹配,匹配方法是,用户弹奏片段和数字化五线谱中的片段进行逐个时隙对比。
6.根据权利要求5所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时包括时隙聚合处理:用户按键中,时间间隔相对比较接近的按键归并到同一时隙;对于数字化五线谱中时间近的按键也进行时间聚合。
7.根据权利要求5所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:弹奏的一个片段的按键序列信息与数字化五线谱中片段内匹配时包括模糊匹配,对于每一个时隙,用户弹奏的按键存在不能与谱子完全匹配,当用户弹奏的按键存在于数字化五线谱的片段中时,提升匹配可信度分值,反之降低可信度分值,漏弹音符降低可信度分值。
8.根据权利要求7所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:还包括片段计分步骤,该步骤中:片段中的多个时隙的可信度进行求和记分,若分值达到门限值,即认为满足匹配基本条件。
9.根据权利要求7所述的乐器弹奏中的数字化五线谱自动跟随方法,其特征在于:还包括全局定位步骤:该步骤中,选所有片段的匹配结果最大值对应的片段为最优匹配结果,指示曲谱显示到指定位置,实现自动定位。
10.一种乐器弹奏中的数字化五线谱自动跟随系统,其特征在于:包括:
运行数字化五线谱程序的计算机系统,在其显示屏上显示五线谱;
乐器弹奏按键采集装置,实时采集乐器弹奏中弹奏的一个个片段的按键序列信息;并将弹奏的一个个片段的按键序列信息实时传送到所述的计算机系统;
所述的计算机系统,在数字化五线谱中查找到与所述片段的按键序列信息相同的五线谱按键序列的位置,并在显示屏上显示该位置及其前后的部分五线谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893269.2A CN111976329B (zh) | 2020-08-31 | 2020-08-31 | 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893269.2A CN111976329B (zh) | 2020-08-31 | 2020-08-31 | 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111976329A true CN111976329A (zh) | 2020-11-24 |
CN111976329B CN111976329B (zh) | 2022-06-21 |
Family
ID=73439903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010893269.2A Active CN111976329B (zh) | 2020-08-31 | 2020-08-31 | 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111976329B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114417915A (zh) * | 2021-12-29 | 2022-04-29 | 星花怒放(苏州)科技有限公司 | 一种用于翻谱的二维序列相似度评估系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101443639A (zh) * | 2006-03-15 | 2009-05-27 | 赛多利斯股份有限公司 | 电子秤及用于操作电子秤的方法 |
CN102298922A (zh) * | 2011-07-28 | 2011-12-28 | 顾昕昀 | 一种数字乐谱仪及其自动翻谱方法 |
CN105205047A (zh) * | 2015-09-30 | 2015-12-30 | 北京金山安全软件有限公司 | 乐器乐谱文件的播放方法、转换方法、装置及电子设备 |
CN106133824A (zh) * | 2014-03-12 | 2016-11-16 | 现代新音乐有限公司 | 用于滚动乐谱的方法、设备以及计算机程序产品 |
CN106340286A (zh) * | 2016-09-27 | 2017-01-18 | 华中科技大学 | 一种通用的实时乐器演奏评价系统 |
CN106527718A (zh) * | 2016-11-09 | 2017-03-22 | 大连文森特软件科技有限公司 | 基于ar增强现实的乐器辅助演奏和协奏体验系统 |
CN108074438A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的纠错方法及系统 |
CN108073867A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的视频特征提取方法及系统 |
CN108731791A (zh) * | 2018-03-22 | 2018-11-02 | 深圳市月白电子科技有限公司 | 一种采集钢琴按键动作的方法及装置 |
CN109036352A (zh) * | 2018-06-29 | 2018-12-18 | 广州视源电子科技股份有限公司 | 翻谱方法、翻谱器、移动终端及存储介质 |
CN109215441A (zh) * | 2018-10-19 | 2019-01-15 | 深圳市微蓝智能科技有限公司 | 一种钢琴教学方法、装置及计算机存储介质 |
CN109300457A (zh) * | 2018-10-29 | 2019-02-01 | 陈月娇 | 一种钢琴乐谱智能翻页系统 |
CN111553260A (zh) * | 2020-04-26 | 2020-08-18 | 苏州缪斯谈谈科技有限公司 | 一种交互式教学方法和系统 |
-
2020
- 2020-08-31 CN CN202010893269.2A patent/CN111976329B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101443639A (zh) * | 2006-03-15 | 2009-05-27 | 赛多利斯股份有限公司 | 电子秤及用于操作电子秤的方法 |
CN102298922A (zh) * | 2011-07-28 | 2011-12-28 | 顾昕昀 | 一种数字乐谱仪及其自动翻谱方法 |
CN106133824A (zh) * | 2014-03-12 | 2016-11-16 | 现代新音乐有限公司 | 用于滚动乐谱的方法、设备以及计算机程序产品 |
CN105205047A (zh) * | 2015-09-30 | 2015-12-30 | 北京金山安全软件有限公司 | 乐器乐谱文件的播放方法、转换方法、装置及电子设备 |
CN106340286A (zh) * | 2016-09-27 | 2017-01-18 | 华中科技大学 | 一种通用的实时乐器演奏评价系统 |
CN106527718A (zh) * | 2016-11-09 | 2017-03-22 | 大连文森特软件科技有限公司 | 基于ar增强现实的乐器辅助演奏和协奏体验系统 |
CN108074438A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的纠错方法及系统 |
CN108073867A (zh) * | 2016-11-18 | 2018-05-25 | 北京酷我科技有限公司 | 一种钢琴演奏的视频特征提取方法及系统 |
CN108731791A (zh) * | 2018-03-22 | 2018-11-02 | 深圳市月白电子科技有限公司 | 一种采集钢琴按键动作的方法及装置 |
CN109036352A (zh) * | 2018-06-29 | 2018-12-18 | 广州视源电子科技股份有限公司 | 翻谱方法、翻谱器、移动终端及存储介质 |
CN109215441A (zh) * | 2018-10-19 | 2019-01-15 | 深圳市微蓝智能科技有限公司 | 一种钢琴教学方法、装置及计算机存储介质 |
CN109300457A (zh) * | 2018-10-29 | 2019-02-01 | 陈月娇 | 一种钢琴乐谱智能翻页系统 |
CN111553260A (zh) * | 2020-04-26 | 2020-08-18 | 苏州缪斯谈谈科技有限公司 | 一种交互式教学方法和系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114417915A (zh) * | 2021-12-29 | 2022-04-29 | 星花怒放(苏州)科技有限公司 | 一种用于翻谱的二维序列相似度评估系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111976329B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3843083A1 (en) | Method, system, and computer-readable medium for creating song mashups | |
CN107767847B (zh) | 一种智能钢琴演奏测评方法及系统 | |
US7179982B2 (en) | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data | |
CN103354092B (zh) | 一种带检错功能的音频乐谱比对方法 | |
US20150340021A1 (en) | Method for extracting representative segments from music | |
Goto | SmartMusicKIOSK: Music listening station with chorus-search function | |
Collins | Using a Pitch Detector for Onset Detection. | |
US20100313739A1 (en) | Rhythm recognition from an audio signal | |
Dittmar et al. | A swingogram representation for tracking micro-rhythmic variation in jazz performances | |
CN111976329B (zh) | 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统 | |
Wang et al. | Automatic generation of personalized music sports video | |
CN108630243A (zh) | 一种辅助演唱的方法及终端 | |
CN109841203B (zh) | 一种电子乐器音乐和声确定方法及系统 | |
CN113689836B (zh) | 一种将音频转换成音符并显示的方法及终端 | |
JP4399958B2 (ja) | 演奏支援装置および演奏支援方法 | |
US7680654B2 (en) | Apparatus and method for segmentation of audio data into meta patterns | |
CN110299049B (zh) | 一种电子乐谱的智能展现方法 | |
CN106971750B (zh) | 歌词文件和音调文件对齐方法及装置 | |
Dixon | MIREX 2006 audio beat tracking evaluation: Beatroot | |
Montecchio et al. | A Discrete Filter Bank Approach to Audio to Score Matching for Polyphonic Music. | |
MA et al. | Structural segmentation of dhrupad vocal bandish audio based on tempo | |
Davies et al. | Comparing mid-level representations for audio based beat tracking | |
Rohit et al. | Structure and automatic segmentation of Dhrupad vocal bandish audio | |
Gillet et al. | Indexing and querying drum loops databases | |
CA2001923A1 (en) | Automatic music transcription |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |