CN112133264B - 一种乐谱识别方法及装置 - Google Patents

一种乐谱识别方法及装置 Download PDF

Info

Publication number
CN112133264B
CN112133264B CN202010899308.XA CN202010899308A CN112133264B CN 112133264 B CN112133264 B CN 112133264B CN 202010899308 A CN202010899308 A CN 202010899308A CN 112133264 B CN112133264 B CN 112133264B
Authority
CN
China
Prior art keywords
image
time value
note
music score
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010899308.XA
Other languages
English (en)
Other versions
CN112133264A (zh
Inventor
陈超艺
陈新度
吴磊
李泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010899308.XA priority Critical patent/CN112133264B/zh
Publication of CN112133264A publication Critical patent/CN112133264A/zh
Application granted granted Critical
Publication of CN112133264B publication Critical patent/CN112133264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种乐谱识别方法及装置，所述方法包括：将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；根据乐谱特征图像，获取乐谱图像中的时值序列；根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。所述装置使用了所述方法。本发明实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时保障了乐谱图像识别的准确率，提高了识别可靠性。

Description

一种乐谱识别方法及装置
技术领域
本发明涉及自动化领域，尤其涉及一种乐谱识别方法及装置。
背景技术
现有的弦乐器如吉他或琵琶等通常通过拨动和按压琴弦实现演奏，随着机器智能化和自动化的发展，近年来机器人技术也逐渐开始应用于上述弦乐器中。
然而，现有的自动演奏机器人需要人工对乐谱数据进行录入，操作较为复杂，自动化程度低，耗费时间和人力。
发明内容
为克服现有技术中人工录入乐谱自动化程度低，耗费时间和人力的问题，本发明实施例一方面提供了一种乐谱识别方法，包括：
将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
根据乐谱特征图像，获取乐谱图像中的时值序列；
根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
进一步，上述在所述将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像的步骤之后，还包括：
确定所述乐谱特征图像中的第一特征线性图像；
根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
进一步，上述所述根据乐谱特征图像，获取乐谱图像中的时值序列的步骤，包括：
将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
将各单时值图像向y轴投影，确定第三特征线性图像；
根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
进一步，上述所述根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值的步骤，包括：
根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
确定各音符数值对应的x向和y向坐标。
进一步，上述所述根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像的步骤，包括：
生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
在所述时值区域顺序填入所述时值序列；
以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例另一方面提供了一种乐谱识别装置，包括：
第一生成模块，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
第一获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列；
第二获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
第二生成模块，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
进一步，上述乐谱识别装置还包括：
第一确定模块，用于确定所述乐谱特征图像中的第一特征线性图像；
第二确定模块，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
进一步，上述所述第一获取模块，包括：
第一确定单元，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
进一步，上述所述第二获取模块，包括：
第二获取单元，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元，用于确定各音符数值对应的x向和y向坐标。
进一步，上述所述第二生成模块，包括：
第一生成单元，用于生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元，用于在所述时值区域顺序填入所述时值序列；
第二生成单元，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例通过提供一种乐谱识别方法及装置，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例的乐谱识别方法的流程图;
图2是S14的详细流程图；
图3是S15的详细流程图；
图4是S16的详细流程图；
图5是本发明第一实施例S11对应的乐谱二值化后的图像示例；
图6是S11由图5向y轴投影堆叠后的乐谱特征图像，图中横向线段为S12对应的第一特征线性图像；
图7是S13对应的图5的乐谱图像中的音符图像区域；
图8是S13对应的图5的乐谱图像中的时值图像区域；
图9是S141对应的图8的x轴投影堆叠后的第二特征线性图像；
图10是S142对应的图9的单个时值图像区域进行x向分割的示意图；
图11是S143对应的以图10为基础进行向y轴投影得到的第三特征线性图像；
图12是S151对应的以图7为基础进行y向分割得到的单谱线的音符图像；
图13是本发明第一实施例的机器可视化乐谱图像与乐谱二值化后的图像示例的对比图；
图14本发明第二实施例的乐谱识别装置的结构图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
当本发明实施例提及“第一”、“第二”（若存在）等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅是起区分之用。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”（若存在）应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
第一实施例：
请参照图1至图13所示，本发明实施例提供了一种乐谱识别方法，具体的为一种吉他乐谱的识别方法，包括：
S11,将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像。
S12,确定所述乐谱特征图像中的第一特征线性图像。
S13,根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
示例性的，在本步骤中，可以首先通过图6中各横向线段的y轴方向间隔，确定谱线区域，而后根据线段的粗细和x轴长度确定减时线/增时线（本实施例为减时线）。通常情况下，谱线区域被划分为音符图像区域；减时线/增时线被划分为时值图像区域。
S14,根据乐谱特征图像，获取乐谱图像中的时值序列。
具体的，本步骤S14还包括S141-S144:
S141,将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
请参照图9所示，进行x轴投影堆叠后得到的第二特征线性图像具有多个竖向线段；该多个竖向线段可用于辅助S142步骤中对时值图像区域的x向分割。
S142,请参照图10所示，根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
S143, 请参照图11所示，将各单时值图像向y轴投影，确定第三特征线性图像；
S144,根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
在本实施例中，第三特征线性图像中的横线（减时线）数量可用于判断音符时值，减时线数目为0的音符为四分音符，时值为1拍；减时线数目为1的音符为八分音符，时值为1/2拍；减时线数目为2的音符为十六分音符，时值为1/4拍，以此类推。
S15,根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值。
具体的，本步骤S15还包括S151-S154:
S151,请参照图12所示，根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
S152,根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
S153,采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
S154,确定各音符数值对应的x向和y向坐标。
S16,根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
具体的，本步骤S16还包括S161-S163:
S161，生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
S162，在所述时值区域顺序填入所述时值序列；
S163，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例通过提供一种乐谱识别方法，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
第二实施例：
请参照图14所示，本发明实施例提供了一种乐谱识别装置100，包括：
第一生成模块110，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像。
第一确定模块120，与第一生成模块110连接，用于确定所述乐谱特征图像中的第一特征线性图像。
第二确定模块130，与第一确定模块120连接，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
第一获取模块140，与第二确定模块130连接，用于根据乐谱特征图像，获取乐谱图像中的时值序列。
在本实施例中，所述第一获取模块140，包括：
第一确定单元141，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元142，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元143，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元144，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
第二获取模块150，与第二确定模块130连接，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值。
在本实施例中所述第二获取模块150，包括：
第二获取单元151，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元152，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元153，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元154，用于确定各音符数值对应的x向和y向坐标。
第二生成模块160，与第一获取模块140和第二获取模块150连接，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
具体的，所述第二生成模块160，包括：
第一生成单元161，用于生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元162，用于在所述时值区域顺序填入所述时值序列；
第二生成单元163，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本实施例的各模块和单元与第一实施例的各步骤对应，其功能不再赘述说明。
本发明实施例通过提供一种乐谱识别装置，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
在本申请所提供的几个实施例中，应该理解到，在本发明各个实施例中各步骤可以通过对应的虚拟功能单元实现。各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种乐谱识别方法，其特征在于，包括：
将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
根据乐谱特征图像，获取乐谱图像中的时值序列；
根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像；
在所述将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像的步骤之后，还包括：
确定所述乐谱特征图像中的第一特征线性图像；
根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域；
所述根据乐谱特征图像，获取乐谱图像中的时值序列的步骤，包括：
将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
将各单时值图像向y轴投影，确定第三特征线性图像；
根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
2.如权利要求1所述的乐谱识别方法，其特征在于，所述根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值的步骤，包括：
根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
确定各音符数值对应的x向和y向坐标。
3.如权利要求2所述的乐谱识别方法，其特征在于，所述根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像的步骤，包括：
生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
在所述时值区域顺序填入所述时值序列；
以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
4.一种乐谱识别装置，其特征在于，包括：
第一生成模块，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
第一获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列；
第二获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
第二生成模块，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像；
乐谱识别装置还包括：
第一确定模块，用于确定所述乐谱特征图像中的第一特征线性图像；
第二确定模块，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域；
所述第一获取模块，包括：
第一确定单元，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
5.根据权利要求4所述的乐谱识别装置，其特征在于，所述第二获取模块，包括：
第二获取单元，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元，用于确定各音符数值对应的x向和y向坐标。
6.根据权利要求5所述的乐谱识别装置，其特征在于，所述第二生成模块，包括：
第一生成单元，用于生成机器可视化乐谱图像模板，所述机器可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元，用于在所述时值区域顺序填入所述时值序列；
第二生成单元，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
CN202010899308.XA 2020-08-31 2020-08-31 一种乐谱识别方法及装置 Active CN112133264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899308.XA CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899308.XA CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Publications (2)

Publication Number Publication Date
CN112133264A CN112133264A (zh) 2020-12-25
CN112133264B true CN112133264B (zh) 2023-09-22

Family

ID=73848428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899308.XA Active CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Country Status (1)

Country Link
CN (1) CN112133264B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620310B (zh) * 2022-11-30 2023-05-09 杭州网易云音乐科技有限公司 图像识别方法、模型训练方法、介质、装置及计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102869A (ja) * 1992-08-03 1994-04-15 Yamaha Corp 楽譜認識装置
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法
CN106297755A (zh) * 2016-09-28 2017-01-04 北京邮电大学 一种用于乐谱图像识别的电子设备及识别方法
CN110264987A (zh) * 2019-06-18 2019-09-20 王子豪 基于深度学习的和弦进行生成方法
CN110942758A (zh) * 2019-09-23 2020-03-31 广东互动电子网络媒体有限公司 一种基于机器视觉识别乐谱的识别方法及装置
CN111275043A (zh) * 2020-01-22 2020-06-12 西北师范大学 一种基于pcnn处理的纸质简谱电子化播放装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197631B2 (ja) * 2013-12-19 2017-09-20 ヤマハ株式会社 楽譜解析装置および楽譜解析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102869A (ja) * 1992-08-03 1994-04-15 Yamaha Corp 楽譜認識装置
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法
CN106297755A (zh) * 2016-09-28 2017-01-04 北京邮电大学 一种用于乐谱图像识别的电子设备及识别方法
CN110264987A (zh) * 2019-06-18 2019-09-20 王子豪 基于深度学习的和弦进行生成方法
CN110942758A (zh) * 2019-09-23 2020-03-31 广东互动电子网络媒体有限公司 一种基于机器视觉识别乐谱的识别方法及装置
CN111275043A (zh) * 2020-01-22 2020-06-12 西北师范大学 一种基于pcnn处理的纸质简谱电子化播放装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《乐谱图像中的音符识别方法》;刘晓翔;《计算机工程》;第36卷(第9期);第163-167页 *
《基于改进特征提取方法的五线谱识别》;陈琢等;《软件导刊》;第18卷(第6期);第125-134页 *

Also Published As

Publication number Publication date
CN112133264A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN109829155B (zh) 关键词的确定方法、自动评分方法、装置、设备及介质
CN113656547B (zh) 文本匹配方法、装置、设备及存储介质
CN113689436B (zh) 图像语义分割方法、装置、设备及存储介质
Calvo-Zaragoza et al. Avoiding staff removal stage in optical music recognition: application to scores written in white mensural notation
CN109189892A (zh) 一种基于文章评论的推荐方法及装置
CN112133264B (zh) 一种乐谱识别方法及装置
GB2587513A (en) Computer-implemented system for image processing of documents associated with elections and methods thereof
CN114881698A (zh) 广告合规审核方法、装置、电子设备及存储介质
Ramirez et al. Automatic recognition of square notation symbols in western plainchant manuscripts
CN110490056A (zh) 对包含算式的图像进行处理的方法和装置
CN112560855B (zh) 图像信息提取方法、装置、电子设备及存储介质
CN115859128B (zh) 一种基于档案数据交互相似度的分析方法和系统
CN112508000A (zh) 一种用于ocr图像识别模型训练数据生成的方法及设备
CN115620310B (zh) 图像识别方法、模型训练方法、介质、装置及计算设备
CN115578736A (zh) 证件信息提取方法、装置、存储介质及设备
US20220075456A1 (en) System and method for providing electric book based on reading type
Ríos-Vila et al. End-to-End Full-Page Optical Music Recognition for Mensural Notation.
CN115731561A (zh) 使用视觉箭头关系检测的手绘示图识别
CN112926603A (zh) 乐谱识别方法、装置、设备及存储介质
CN112434965A (zh) 一种基于词频的专家标签产生方法、装置、终端
CN113268562B (zh) 文本情感识别方法、装置、设备及存储介质
CN113421575B (zh) 声纹识别方法、装置、设备及存储介质
CN115909372B (zh) 行为检测方法、系统、终端及存储介质
Kristian et al. Advancing Guitar Chord Recognition: A Visual Method Based on Deep Convolutional Neural Networks and Deep Transfer Learning
CN116467419A (zh) 基于人工智能的对话生成方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant