CN111176544A - 一种基于图像处理的多功能琴谱显示设备及图像处理方法 - Google Patents

一种基于图像处理的多功能琴谱显示设备及图像处理方法 Download PDF

Info

Publication number
CN111176544A
CN111176544A CN201911391428.2A CN201911391428A CN111176544A CN 111176544 A CN111176544 A CN 111176544A CN 201911391428 A CN201911391428 A CN 201911391428A CN 111176544 A CN111176544 A CN 111176544A
Authority
CN
China
Prior art keywords
music score
image
music
score
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391428.2A
Other languages
English (en)
Other versions
CN111176544B (zh
Inventor
谢迎娟
陈俊风
许海燕
张卓
范新南
张学武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201911391428.2A priority Critical patent/CN111176544B/zh
Publication of CN111176544A publication Critical patent/CN111176544A/zh
Application granted granted Critical
Publication of CN111176544B publication Critical patent/CN111176544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种基于图像处理的多功能琴谱显示设备及图像处理方法,所述设备包括琴谱扫描装置和触摸显示器,所述琴谱扫描装置包括终端控制器、可调节摄像头、LED灯条;将琴谱放置于琴谱扫描装置中,由终端控制器控制可调节摄像头的姿态,LED灯条的亮度,拍照读取琴谱图像,然后由终端控制器通过图像处理模块对读取的琴谱图像序列进行分析,在触摸屏显示器上显示琴谱,并根据节奏自动跟踪当前乐谱弹奏的位置以提示演奏者,并实现自动翻页的功能。本发明提供的发明是基于图像识别技术,实现乐谱显示、乐谱跟踪及自动翻页功能。

Description

一种基于图像处理的多功能琴谱显示设备及图像处理方法
技术领域
本发明涉及图像识别,琴谱显示领域,具体涉及一种基于图像处理的多功能琴谱显示设备及图像处理方法。
背景技术
乐器演奏者在跟着乐谱演奏乐器时常常需要在演奏的间歇腾出手来翻页以演奏接下来的乐谱。对于新学者,往往还要停顿下来才能翻页,给演奏者带来了不便,甚至演奏的中断,从而影响演奏效果。
对于新学者,在乐器和乐谱学习的初期,往往把握不住乐谱的节奏,演奏时容易与乐谱脱节,找不到当前应该弹奏的乐谱位置或者出现视谱上跳行等现象。
目前市面上现有的大多数琴谱翻页设备为机械式结构,需要在演奏的过程中用手或身体的其他部位触碰装置,实现乐谱的翻页。如专利201610939479.4提供了一种钢琴琴谱翻页装置及翻页方法提供了一种由演奏者使用手指或脚施加压力与按键上实现页面切换。
随着计算机技术及图像识别技术的发展,基于图像识别的琴谱分析方法(OMR),能够对乐谱图像进行分析识别,甚至转换成声音信息以实现播放。但这些方法大多集中在对音符的识别上,对于乐谱节奏鲜有分析。乐谱节奏在音乐演奏中具有重要的地位,一段音乐需要有准确的节奏和正确的演奏顺序包括节拍及节拍的变化、乐句、反复、延长音等。乐谱的翻页不仅仅是从前向后顺序翻页,有时也会从后向前或跳过某些乐句或前后翻一页(或几页)等等,前述的一些方法对这种情况没有予以讨论。对于新学者,有时不能正确跟从音乐节奏进行练习,如果能够正确地指示乐谱节奏对新学者来说也是提供非常重要的学习帮助。
发明内容
为了解决上述问题,本发明提供了一种基于图像处理的多功能琴谱显示设备及图像处理方法。基于图像识别技术,实现乐谱显示、乐谱跟踪及自动翻页功能。
本发明的技术方案如下:
一种基于图像处理的多功能琴谱显示设备,所述设备包括琴谱扫描装置和触摸显示器,所述琴谱扫描装置包括终端控制器、可调节摄像头、LED灯条;将琴谱放置于琴谱扫描装置中,由终端控制器控制可调节摄像头的姿态,LED灯条的亮度,拍照读取琴谱图像,然后由终端控制器通过图像处理模块对读取的琴谱图像序列进行分析,在触摸屏显示器上显示琴谱,并根据节奏自动跟踪当前乐谱弹奏的位置以提示演奏者,并实现自动翻页的功能。
琴谱的图像处理模块包括图像预处理、乐谱图像版面分析、演奏速度符号识别、乐谱节奏符号识别、乐谱演奏节奏确定、乐谱图像及演奏指示符显示等模块。
所述图像预处理模块用于对乐谱序列图像进行去噪、增强、二值化及序号标记;
所述乐谱图像版面分析模块用于将乐谱图像划分为乐谱描述区和五线谱区,在乐谱描述区获取乐谱的标题、演奏速度符号并识别;在五线谱区识别获取乐谱中各类与演奏节奏相关的符号信息并识别;
所述演奏速度符号识别模块用于在乐谱描述区,分别识别乐谱的标题和乐谱本身指定的演奏速度,并将此速度作为乐谱演奏的默认速度;如果乐谱没有指定演奏速度,则将行板速度作为乐谱的默认演奏速度;如果演奏者通过触控屏输入指定速度,则将指定速度作为乐谱演奏速度;
所述乐谱节奏符号识别模块用于在五线谱区识别乐谱的行号、小节线、节拍符号、起始、休止、反复、延长音等与演奏节奏相关的符号;
所述乐谱演奏节奏确定模块用于根据乐谱图像序号以及识别的乐谱速度(或者演奏者输入的指定速度)、节拍、小节、起始、休止、反复、延长音等符号,确定乐谱各小节的演奏时间和顺序;
所述乐谱图像及演奏指示符显示模块用于根据乐谱序号、各小节演奏顺序,在触控屏上显示乐谱图像和演奏指示符。
一种基于图像处理的多功能琴谱显示设备的图像处理方法,包括如下步骤:
S1,图像预处理:读入的乐谱序列图像序号标记并进行去噪、增强、二值化处理;
S11,标记乐谱序列图像序号;
S12,对序列图像进行去噪和增强处理;
S13,对序列图像进行二值化处理。
S2,乐谱图像版面分析:将乐谱图像划分为乐谱描述区(包括乐谱标题和乐谱演奏速度文本)和五线谱区。首先根据水平投影确定乐谱的五线谱区。然后根据水平投影判断乐谱图像的第一行与第一组五线谱之间是否存在文字符号和空白间隔,若存在,则将图像第一行与第一组五线谱之间区域划分为乐谱描述区。根据乐谱描述区的水平投影和垂直投影位置确定乐谱标题区和乐谱演奏速度文本区;
S21,利用统计法对乐谱图像做水平投影,然后搜索投影峰值。对于五线谱区,有时第一组谱线和最后一组谱线通常比其他组谱线短。以水平投影峰值最大值的70%为阈值,确定五线谱线位置;
计算图像水平投影:
Figure BDA0002345084020000031
Shmax=max(Sh(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sh(x,y)为图像水平投影,h为图像行数,w为图像列数;
设定阈值εh=0.7Shmax,寻找及标记Sh≥εh对应的行数,如果水平投影满足条件的行数值连续则标记为一个谱线并记录为谱线宽度pwidth,每5个谱线构成一组,两根谱线之间的距离为谱线高度phigh,最终获得各组五线谱的行位置;
S22,计算乐谱图像第一行与第一组五线谱之间的水平投影Sh(x,y),分割出对位于两段空白间隔之间的文本符号,空白间隔与第一组谱线之间的文本符号。若不能分割出文本符号,则认为没有乐谱描述区。分别对分割出的文本符号区域计算垂直投影。若分割出的文本符号起始位置对称于图像的中间位置,则划分为乐谱标题区。若文本符号起始位置不对称于图像的中间位置,则划分为乐谱演奏速度文本区。
S3,获取乐谱图像中指定的演奏速度作为乐谱默认速度。如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S31,对乐谱演奏速度文本区中的速度文本,进行8连通域分割出每个独立的速度文本符号,归一化处理,通过神经网络识别字符,确定乐谱速度;
S32,将图像识别获取乐谱图像中指定的演奏速度作为乐谱默认速度;
S33,如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S34,如果演奏者通过触控屏设置指定速度,则乐谱速度为演奏者指定速度;如果演奏者没有设置指定速度,则乐谱速度为乐谱默认速度。
S4,乐谱单声部和双声部识别:根据乐谱特性,自动识别判断乐谱为单声部乐谱或双声部乐谱。如果乐谱为单声部乐谱,则标记每组五线谱为一行乐谱;如果乐谱为双声部乐谱,则标记每2组五线谱为一行乐谱;
对五线谱区图像做垂直投影,
Figure BDA0002345084020000041
Svmax=max(Sv(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sv(x,y)为垂直水平投影,h为图像行数,w为图像列数。设定阈值εv=0.7Svmax,寻找及标记第一个Sv≥ε对应的列数,如果在该列之前存在垂直投影,则认为是双声部乐谱,标记每2组五线谱为一行乐谱;如果在该列之前不存在垂直投影,则认为乐谱为单声部乐谱,标记每组五线谱为一行乐谱。标记乐谱行号。对每行乐谱进行分割。
S5,在五线谱区获取乐谱中各类与演奏节奏相关的符号信息;
S51,对于双声部乐谱,根据垂直投影,标记满足Sv≥0.9Svmax的列作为乐谱小节线,标记小节序号;
S52,去除谱线的方法;
S53,在一小节线附近搜索节拍符号;
S54,在小节线上方附近搜索反复起始、反复终止、反复跳过、延长音等符号;
S55,对节拍,反复等符号通过神经网络进行识别;
S56,标记节拍,反复等符号的对应的小节序号。
S6,根据乐谱速度、节拍、小节序号和反复符号,计算乐谱中各每小节的演奏持续时间和次序。
S7,在触控屏上显示乐谱图像和演奏位置指示符;
S71,在触控屏上显示乐谱图像;
S72,在小节线下方显示演奏位置指示符。根据乐谱各每小节演奏持续时间和次序,从第一小节线开始,在小节线下方显示演奏位置指示符,本小节演奏时间到后自动移位到下一小节线下方;当乐谱中有需要反复的乐谱时,同样根据时间将演奏位置指示符移动到相应的反复起始线或小节线下方,以此类推。
S8,当本页乐谱演奏时间到时,触控屏模块上显示下一幅乐谱图像以及演奏位置指示符,过程如S7所述,直到到达乐谱终止符。
本发明提供的发明是基于图像识别技术,实现乐谱显示、乐谱跟踪及自动翻页功能。可以实现显示乐谱,根据节奏自动跟踪当前乐谱弹奏的位置以提示演奏者,并实现自动翻页等功能。在演奏过程中不需要停顿或者腾出手(或身体的其他部位)对乐谱进行任何操作,从而让演奏者专注于演奏,也可以帮助新学者更好的跟踪乐谱进行学习和练习。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明装置的结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1所示,一种基于图像处理的多功能琴谱显示设备,所述设备包括琴谱扫描装置1和触摸显示器2,所述琴谱扫描装置1包括终端控制器1-3、可调节摄像头1-1、LED灯条1-2;将琴谱放置于琴谱扫描装置1中,由终端控制器1-3控制可调节摄像头1-1的姿态,LED灯条1-2的亮度,拍照读取琴谱图像,然后由终端控制器1-3通过图像处理模块对读取的琴谱图像序列进行分析,在触摸屏显示器2上显示琴谱,并根据节奏自动跟踪当前乐谱弹奏的位置以提示演奏者,并实现自动翻页的功能。
琴谱的图像处理模块包括图像预处理、乐谱图像版面分析、演奏速度符号识别、乐谱节奏符号识别、乐谱演奏节奏确定、乐谱图像及演奏指示符显示等模块。
所述图像预处理模块用于对乐谱序列图像进行去噪、增强、二值化及序号标记;
所述乐谱图像版面分析模块用于将乐谱图像划分为乐谱描述区和五线谱区,在乐谱描述区获取乐谱的标题、演奏速度符号并识别;在五线谱区识别获取乐谱中各类与演奏节奏相关的符号信息并识别;
所述演奏速度符号识别模块用于在乐谱描述区,分别识别乐谱的标题和乐谱本身指定的演奏速度,并将此速度作为乐谱演奏的默认速度;如果乐谱没有指定演奏速度,则将行板速度作为乐谱的默认演奏速度;如果演奏者通过触控屏输入指定速度,则将指定速度作为乐谱演奏速度;
所述乐谱节奏符号识别模块用于在五线谱区识别乐谱的行号、小节线、节拍符号、起始、休止、反复、延长音等与演奏节奏相关的符号;
所述乐谱演奏节奏确定模块用于根据乐谱图像序号以及识别的乐谱速度(或者演奏者输入的指定速度)、节拍、小节、起始、休止、反复、延长音等符号,确定乐谱各小节的演奏时间和顺序;
所述乐谱图像及演奏指示符显示模块用于根据乐谱序号、各小节演奏顺序,在触控屏上显示乐谱图像和演奏指示符。
一种基于图像处理的多功能琴谱显示设备的图像处理方法,包括如下步骤:
S1,图像预处理:读入的乐谱序列图像序号标记并进行去噪、增强、二值化处理;
S11,标记乐谱序列图像序号;
S12,对序列图像进行去噪和增强处理;
S13,对序列图像进行二值化处理。
S2,乐谱图像版面分析:将乐谱图像划分为乐谱描述区(包括乐谱标题和乐谱演奏速度文本)和五线谱区。首先根据水平投影确定乐谱的五线谱区。然后根据水平投影判断乐谱图像的第一行与第一组五线谱之间是否存在文字符号和空白间隔,若存在,则将图像第一行与第一组五线谱之间区域划分为乐谱描述区。根据乐谱描述区的水平投影和垂直投影位置确定乐谱标题区和乐谱演奏速度文本区;
S21,利用统计法对乐谱图像做水平投影,然后搜索投影峰值。对于五线谱区,有时第一组谱线和最后一组谱线通常比其他组谱线短。以水平投影峰值最大值的70%为阈值,确定五线谱线位置;
计算图像水平投影:
Figure BDA0002345084020000061
Shmax=max(Sh(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sh(x,y)为图像水平投影,h为图像行数,w为图像列数;
设定阈值εh=0.7Shmax,寻找及标记Sh≥εh对应的行数,如果水平投影满足条件的行数值连续则标记为一个谱线并记录为谱线宽度pwidth,每5个谱线构成一组,两根谱线之间的距离为谱线高度phigh,最终获得各组五线谱的行位置;
S22,计算乐谱图像第一行与第一组五线谱之间的水平投影Sh(x,y),分割出对位于两段空白间隔之间的文本符号,空白间隔与第一组谱线之间的文本符号。若不能分割出文本符号,则认为没有乐谱描述区。分别对分割出的文本符号区域计算垂直投影。若分割出的文本符号起始位置对称于图像的中间位置,则划分为乐谱标题区。若文本符号起始位置不对称于图像的中间位置,则划分为乐谱演奏速度文本区。
S3,获取乐谱图像中指定的演奏速度作为乐谱默认速度。如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S31,对乐谱演奏速度文本区中的速度文本,进行8连通域分割出每个独立的速度文本符号,归一化处理,通过神经网络识别字符,确定乐谱速度;
S32,将图像识别获取乐谱图像中指定的演奏速度作为乐谱默认速度;
S33,如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S34,如果演奏者通过触控屏设置指定速度,则乐谱速度为演奏者指定速度;如果演奏者没有设置指定速度,则乐谱速度为乐谱默认速度。
S4,乐谱单声部和双声部识别:根据乐谱特性,自动识别判断乐谱为单声部乐谱或双声部乐谱。如果乐谱为单声部乐谱,则标记每组五线谱为一行乐谱;如果乐谱为双声部乐谱,则标记每2组五线谱为一行乐谱;
对五线谱区图像做垂直投影,
Figure BDA0002345084020000071
Svmax=max(Sv(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sv(x,y)为图像垂直投影,h为图像行数,w为图像列数。设定阈值εv=0.7Svmax,寻找及标记第一个Sv≥ε对应的列数,如果在该列之前存在垂直投影,则认为是双声部乐谱,标记每2组五线谱为一行乐谱;如果在该列之前不存在垂直投影,则认为乐谱为单声部乐谱,标记每组五线谱为一行乐谱。标记乐谱行号。对每行乐谱进行分割。
S5,在五线谱区获取乐谱中各类与演奏节奏相关的符号信息;
S51,对于双声部乐谱,根据垂直投影,标记满足Sv≥0.9Svmax的列作为乐谱小节线,标记小节序号;
S52,去除谱线的方法
S53,在一小节线附近搜索节拍符号;
S54,在小节线上方附近搜索反复起始、反复终止、反复跳过、延长音等符号;
S55,对节拍,反复等符号通过神经网络进行识别;
S56,标记节拍,反复等符号的对应的小节序号。
S6,根据乐谱速度、节拍、小节序号和反复符号,计算乐谱中各每小节的演奏持续时间和次序;
根据乐谱速度、节拍、小节序号和反复符号,计算乐谱各每小节的演奏持续时间和次序。
S7,在触控屏上显示乐谱图像和演奏位置指示符:
S71,在触控屏上显示乐谱图像;
S72,在小节线下方显示演奏位置指示符。根据乐谱各每小节演奏持续时间和次序,从第一小节线开始,在小节线下方显示演奏位置指示符,本小节演奏时间到后自动移位到下一小节线下方;当乐谱中有需要反复的乐谱时,同样根据时间将演奏位置指示符移动到相应的反复起始线或小节线下方,以此类推。
S8,当本页乐谱演奏时间到时,触控屏模块上显示下一幅乐谱图像以及演奏位置指示符,过程如S7所述,直到到达乐谱终止符。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于图像处理的多功能琴谱显示设备,其特征在于所述设备包括琴谱扫描装置和触摸显示器,所述琴谱扫描装置包括终端控制器、可调节摄像头、LED灯条;将琴谱放置于琴谱扫描装置中,由终端控制器控制可调节摄像头的姿态,LED灯条的亮度,拍照读取琴谱图像,然后由终端控制器通过图像处理模块对读取的琴谱图像序列进行分析,在触摸屏显示器上显示琴谱,并根据节奏自动跟踪当前乐谱弹奏的位置以提示演奏者,并实现自动翻页的功能。
2.根据权利要求1所述的一种基于图像处理的多功能琴谱显示设备,其特征在于所述图像处理模块包括图像预处理模块、乐谱图像版面分析模块、演奏速度符号识别模块、乐谱节奏符号识别模块、乐谱演奏节奏确定模块、乐谱图像模块及演奏指示符显示模块;
所述图像预处理模块用于对乐谱序列图像进行去噪、增强、二值化及序号标记;
所述乐谱图像版面分析模块用于将乐谱图像划分为乐谱描述区和五线谱区,在乐谱描述区获取乐谱的标题、演奏速度符号并识别;在五线谱区识别获取乐谱中各类与演奏节奏相关的符号信息并识别;
所述演奏速度符号识别模块用于在乐谱描述区,分别识别乐谱的标题和乐谱本身指定的演奏速度,并将此速度作为乐谱演奏的默认速度;如果乐谱没有指定演奏速度,则将行板速度作为乐谱的默认演奏速度;如果演奏者通过触控屏输入指定速度,则将指定速度作为乐谱演奏速度;
所述乐谱节奏符号识别模块用于在五线谱区识别乐谱的行号、小节线、节拍符号、起始、休止、反复、延长音等与演奏节奏相关的符号;
所述乐谱演奏节奏确定模块用于根据乐谱图像序号以及识别的乐谱速度、节拍、小节、起始、休止、反复、延长音的符号,确定乐谱各小节的演奏时间和顺序;
所述乐谱图像及演奏指示符显示模块用于根据乐谱序号、各小节演奏顺序,在触控屏上显示乐谱图像和演奏指示符。
3.一种基于图像处理的多功能琴谱显示设备的图像处理方法,其特征在于,包括如下步骤:
S1,图像预处理:读入的乐谱序列图像序号标记并进行去噪、增强、二值化处理;
S11,标记乐谱序列图像序号;
S12,对序列图像进行去噪和增强处理;
S13,对序列图像进行二值化处理;
S2,乐谱图像版面分析:将乐谱图像划分为乐谱描述区和五线谱区,乐谱描述区包括乐谱标题和乐谱演奏速度文本;首先根据水平投影确定乐谱的五线谱区,然后根据水平投影判断乐谱图像的第一行与第一组五线谱之间是否存在文字符号和空白间隔,若存在,则将图像第一行与第一组五线谱之间区域划分为乐谱描述区,根据乐谱描述区的水平投影和垂直投影位置确定乐谱标题区和乐谱演奏速度文本区;
S21,利用统计法对乐谱图像做水平投影,然后搜索投影峰值;
对于五线谱区,以水平投影峰值最大值的70%为阈值,确定五线谱线位置;
计算图像水平投影:
Figure FDA0002345084010000021
Shmax=max(Sh(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sh(x,y)为图像水平投影,h为图像行数,w为图像列数;设定阈值εh=0.7Shmax,寻找及标记Sh≥εh对应的行数,如果水平投影满足条件的行数值连续则标记为一个谱线并记录为谱线宽度pwidth,每5个谱线构成一组,两根谱线之间的距离为谱线高度phigh,最终获得各组五线谱的行位置;
S22,计算乐谱图像第一行与第一组五线谱之间的水平投影Sh(x,y),分割出对位于两段空白间隔之间的文本符号,空白间隔与第一组谱线之间的文本符号;若不能分割出文本符号,则认为没有乐谱描述区,分别对分割出的文本符号区域计算垂直投影,若分割出的文本符号起始位置对称于图像的中间位置,则划分为乐谱标题区,若文本符号起始位置不对称于图像的中间位置,则划分为乐谱演奏速度文本区;
S3,获取乐谱图像中指定的演奏速度作为乐谱默认速度,如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S31,对乐谱演奏速度文本区中的速度文本,进行8连通域分割出每个独立的速度文本符号,归一化处理,通过神经网络识别字符,确定乐谱速度;
S32,将图像识别获取乐谱图像中指定的演奏速度作为乐谱默认速度;
S33,如果乐谱中没有演奏速度文本,则将行板设置为乐谱默认速度;
S34,如果演奏者通过触控屏设置指定速度,则乐谱速度为演奏者指定速度;如果演奏者没有设置指定速度,则乐谱速度为乐谱默认速度;
S4,乐谱单声部和双声部识别:根据乐谱特性,自动识别判断乐谱为单声部乐谱或双声部乐谱,如果乐谱为单声部乐谱,则标记每组五线谱为一行乐谱;如果乐谱为双声部乐谱,则标记每2组五线谱为一行乐谱;
对五线谱区图像做垂直投影,
Figure FDA0002345084010000031
Svmax=max(Sv(x,y)),其中f(x,y)为二值化的乐谱图像像素,Sv(x,y)为图像垂直投影,h为图像行数,w为图像列数,设定阈值εv=0.7Svmax,寻找及标记第一个Sv≥ε对应的列数,如果在该列之前存在垂直投影,则认为是双声部乐谱,标记每2组五线谱为一行乐谱;如果在该列之前不存在垂直投影,则认为乐谱为单声部乐谱,标记每组五线谱为一行乐谱,标记乐谱行号,对每行乐谱进行分割;
S5,在五线谱区获取乐谱中各类与演奏节奏相关的符号信息;
S51,对于双声部乐谱,根据垂直投影,标记满足Sv≥0.9Svmax的列作为乐谱小节线,标记小节序号;
S52,去除谱线的方法;
S53,在一小节线附近搜索节拍符号;
S54,在小节线上方附近搜索反复起始、反复终止、反复跳过、延长音等符号;
S55,对节拍,反复等符号通过神经网络进行识别;
S56,标记节拍,反复等符号的对应的小节序号;
S6,根据乐谱速度、节拍、小节序号和反复符号,计算乐谱中各每小节的演奏持续时间和次序;
S7,在触控屏上显示乐谱图像和演奏位置指示符:
S71,在触控屏上显示乐谱图像;
S72,在小节线下方显示演奏位置指示符,根据乐谱各每小节演奏持续时间和次序,从第一小节线开始,在小节线下方显示演奏位置指示符,本小节演奏时间到后自动移位到下一小节线下方;当乐谱中有需要反复的乐谱时,同样根据时间将演奏位置指示符移动到相应的反复起始线或小节线下方,以此类推;
S8,当本页乐谱演奏时间到时,触控屏模块上显示下一幅乐谱图像以及演奏位置指示符,过程如S7所述,直到到达乐谱终止符。
CN201911391428.2A 2019-12-30 2019-12-30 一种基于图像处理的多功能琴谱显示设备及图像处理方法 Active CN111176544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391428.2A CN111176544B (zh) 2019-12-30 2019-12-30 一种基于图像处理的多功能琴谱显示设备及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391428.2A CN111176544B (zh) 2019-12-30 2019-12-30 一种基于图像处理的多功能琴谱显示设备及图像处理方法

Publications (2)

Publication Number Publication Date
CN111176544A true CN111176544A (zh) 2020-05-19
CN111176544B CN111176544B (zh) 2023-07-18

Family

ID=70655923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391428.2A Active CN111176544B (zh) 2019-12-30 2019-12-30 一种基于图像处理的多功能琴谱显示设备及图像处理方法

Country Status (1)

Country Link
CN (1) CN111176544B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076967A (zh) * 2020-12-08 2021-07-06 无锡乐骐科技有限公司 一种基于图像和音频的乐谱双重识别系统
CN113076044A (zh) * 2020-11-25 2021-07-06 无锡乐骐科技有限公司 基于图像的自动翻页方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120090447A1 (en) * 2010-10-15 2012-04-19 Yamaha Corporation Information processing terminal and system
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
JP2017181651A (ja) * 2016-03-29 2017-10-05 株式会社河合楽器製作所 電子鍵盤楽器
CN109300457A (zh) * 2018-10-29 2019-02-01 陈月娇 一种钢琴乐谱智能翻页系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120090447A1 (en) * 2010-10-15 2012-04-19 Yamaha Corporation Information processing terminal and system
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
JP2017181651A (ja) * 2016-03-29 2017-10-05 株式会社河合楽器製作所 電子鍵盤楽器
CN109300457A (zh) * 2018-10-29 2019-02-01 陈月娇 一种钢琴乐谱智能翻页系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓翔: "光学乐谱识别技术研究与实现", pages 2 - 7 *
赵观宇: "乐谱扫描系统中图像处理方法的研究", pages 2 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076044A (zh) * 2020-11-25 2021-07-06 无锡乐骐科技有限公司 基于图像的自动翻页方法、装置及计算机可读存储介质
CN113076967A (zh) * 2020-12-08 2021-07-06 无锡乐骐科技有限公司 一种基于图像和音频的乐谱双重识别系统

Also Published As

Publication number Publication date
CN111176544B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN106205280B (zh) 一种交互式动态彩色形意释谱方法与乐器弹奏教练装置
CN102663423B (zh) 一种简谱图像的自动识别和演奏的方法
CN110956138B (zh) 一种基于家教设备的辅助学习方法及家教设备
KR101524279B1 (ko) Rgb-d 카메라를 이용한 피아노 교육 시스템 및 그 방법
CN111176544B (zh) 一种基于图像处理的多功能琴谱显示设备及图像处理方法
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
CN108235115B (zh) 一种歌曲视频中人声区域定位的方法及终端
CN103632169A (zh) 一种文字书写自动纠错方法和设备
CN113537801B (zh) 板书处理方法、装置、终端和存储介质
CN105022993B (zh) 一种基于图像识别技术的五线谱播放方法
CN106952510B (zh) 音高校准器
CN108038146A (zh) 音乐演奏人工智能分析方法、系统及设备
CN110796185A (zh) 一种图像标注结果的检测方法和装置
CN112488047A (zh) 一种钢琴指法智能识别方法
Lee et al. Observing pianist accuracy and form with computer vision
CN106097830A (zh) 一种乐谱识别方法及装置
JPWO2019049294A1 (ja) コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム
JP2001014100A (ja) 手書入力装置及び書き方学習装置
CN111274891B (zh) 一种面向简谱图像的音高及对应歌词提取方法及系统
JPWO2019049293A1 (ja) コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム
CN111079413A (zh) 一种听写检测方法及电子设备
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质
CN113255470B (zh) 基于手部姿态估计的多模态钢琴陪练系统及方法
CN114332877A (zh) 一种基于深度学习的印刷体古筝简谱识别方法及系统
JPH06332443A (ja) 楽譜認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant