CN112133264A - 一种乐谱识别方法及装置 - Google Patents

一种乐谱识别方法及装置 Download PDF

Info

Publication number
CN112133264A
CN112133264A CN202010899308.XA CN202010899308A CN112133264A CN 112133264 A CN112133264 A CN 112133264A CN 202010899308 A CN202010899308 A CN 202010899308A CN 112133264 A CN112133264 A CN 112133264A
Authority
CN
China
Prior art keywords
image
note
score
music score
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010899308.XA
Other languages
English (en)
Other versions
CN112133264B (zh
Inventor
陈超艺
陈新度
吴磊
李泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010899308.XA priority Critical patent/CN112133264B/zh
Publication of CN112133264A publication Critical patent/CN112133264A/zh
Application granted granted Critical
Publication of CN112133264B publication Critical patent/CN112133264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种乐谱识别方法及装置，所述方法包括：将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；根据乐谱特征图像，获取乐谱图像中的时值序列；根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。所述装置使用了所述方法。本发明实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时保障了乐谱图像识别的准确率，提高了识别可靠性。

Description

一种乐谱识别方法及装置
技术领域
本发明涉及自动化领域，尤其涉及一种乐谱识别方法及装置。
背景技术
现有的弦乐器如吉他或琵琶等通常通过拨动和按压琴弦实现演奏，随着机器智能化和自动化的发展，近年来机器人技术也逐渐开始应用于上述弦乐器中。
然而，现有的自动演奏机器人需要人工对乐谱数据进行录入，操作较为复杂，自动化程度低，耗费时间和人力。
发明内容
为克服现有技术中人工录入乐谱自动化程度低，耗费时间和人力的问题，本发明实施例一方面提供了一种乐谱识别方法，包括：
将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
根据乐谱特征图像，获取乐谱图像中的时值序列；
根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
进一步，上述在所述对乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像的步骤之后，还包括：
确定所述乐谱特征图像中的第一特征线性图像；
根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
进一步，上述所述根据乐谱特征图像，获取乐谱图像中的时值序列的步骤，包括：
将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
将各单时值图像向y轴投影，确定第三特征线性图像；
根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
进一步，上述所述根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值的步骤，包括：
根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
确定各音符数值对应的x向和y向坐标。
进一步，上述所述根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像的步骤，包括：
生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
在所述时值区域顺序填入所述时值序列；
以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例另一方面提供了一种乐谱识别装置，包括：
第一生成模块，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
第一获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列；
第二获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
第二生成模块，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
进一步，上述乐谱识别装置还包括：
第一确定模块，用于确定所述乐谱特征图像中的第一特征线性图像；
第二确定模块，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
进一步，上述所述第一获取模块，包括：
第一确定单元，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
进一步，上述所述第二获取模块，包括：
第二获取单元，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元，用于确定各音符数值对应的x向和y向坐标。
进一步，上述所述第二生成模块，包括：
第一生成单元，用于生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元，用于在所述时值区域顺序填入所述时值序列；
第二生成单元，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例通过提供一种乐谱识别方法及装置，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例的乐谱识别方法的流程图;
图2是S14的详细流程图；
图3是S15的详细流程图；
图4是S16的详细流程图；
图5是本发明第一实施例S11对应的乐谱二值化后的图像示例；
图6是S11由图5向y轴投影堆叠后的乐谱特征图像，图中横向线段为S12对应的第一特征线性图像；
图7是S13对应的图5的乐谱图像中的音符图像区域；
图8是S13对应的图5的乐谱图像中的时值图像区域；
图9是S141对应的图8的x轴投影堆叠后的第二特征线性图像；
图10是S142对应的图9的单个时值图像区域进行x向分割的示意图；
图11是S143对应的以图10为基础进行向y轴投影得到的第三特征线性图像；
图12是S151对应的以图7为基础进行y向分割得到的单谱线的音符图像；
图13是本发明第一实施例的机器可视化乐谱图像与乐谱二值化后的图像示例的对比图；
图14本发明第二实施例的乐谱识别装置的结构图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
当本发明实施例提及“第一”、“第二”（若存在）等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅是起区分之用。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”（若存在）应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
第一实施例：
请参照图1至图13所示，本发明实施例提供了一种乐谱识别方法，具体的为一种吉他乐谱的识别方法，包括：
S11,将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像。
S12,确定所述乐谱特征图像中的第一特征线性图像。
S13,根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
示例性的，在本步骤中，可以首先通过图6中各横向线段的y轴方向间隔，确定谱线区域，而后根据线段的粗细和x轴长度确定减时线/增时线（本实施例为减时线）。通常情况下，谱线区域被划分为音符图像区域；减时线/增时线被划分为时值图像区域。
S14,根据乐谱特征图像，获取乐谱图像中的时值序列。
具体的，本步骤S14还包括S141-S144:
S141,将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
请参照图9所示，进行x轴投影堆叠后得到的第二特征线性图像具有多个竖向线段；该多个竖向线段可用于辅助S142步骤中对时值图像区域的x向分割。
S142,请参照图10所示，根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
S143, 请参照图11所示，将各单时值图像向y轴投影，确定第三特征线性图像；
S144,根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
在本实施例中，第三特征线性图像中的横线（减时线）数量可用于判断音符时值，减时线数目为0的音符为四分音符，时值为1拍；减时线数目为1的音符为八分音符，时值为1/2拍；减时线数目为2的音符为十六分音符，时值为1/4拍，以此类推。
S15,根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值。
具体的，本步骤S15还包括S151-S154:
S151,请参照图12所示，根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
S152,根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
S153,采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
S154,确定各音符数值对应的x向和y向坐标。
S16,根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
具体的，本步骤S16还包括S161-S163:
S161，生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
S162，在所述时值区域顺序填入所述时值序列；
S163，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本发明实施例通过提供一种乐谱识别方法，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
第二实施例：
请参照图14所示，本发明实施例提供了一种乐谱识别装置100，包括：
第一生成模块110，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像。
第一确定模块120，与第一生成模块110连接，用于确定所述乐谱特征图像中的第一特征线性图像。
第二确定模块130，与第一确定模块120连接，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
第一获取模块140，与第二确定模块130连接，用于根据乐谱特征图像，获取乐谱图像中的时值序列。
在本实施例中，所述第一获取模块140，包括：
第一确定单元141，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元142，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元143，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元144，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
第二获取模块150，与第二确定模块130连接，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值。
在本实施例中所述第二获取模块150，包括：
第二获取单元151，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元152，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元153，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元154，用于确定各音符数值对应的x向和y向坐标。
第二生成模块160，与第一获取模块140和第二获取模块150连接，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
具体的，所述第二生成模块160，包括：
第一生成单元161，用于生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元162，用于在所述时值区域顺序填入所述时值序列；
第二生成单元163，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
本实施例的各模块和单元与第一实施例的各步骤对应，其功能不再赘述说明。
本发明实施例通过提供一种乐谱识别装置，对乐谱图像进行二值化后向y轴投影堆叠生成乐谱特征图像，并根据乐谱特征图像获取乐谱图像中的时值序列以及各时值对应的音符数值，最终根据时值序列及各时值对应音符数值，生成机器可视化乐谱图像，实现了机器对乐谱的自动识别，免除了人为录入乐谱数据的复杂操作，节省了时间和人力；同时，本实施例通过先将乐谱图像二值化后再向y轴投影堆叠的方式生成乐谱特征图像，一方面提高了乐谱图像识别的准确率，提高了识别可靠性，另一方面由投影堆叠方式生成的乐谱特征图像使得乐谱图像的谱线和减时线/增时线等特征可以从乐谱中更加凸显出来，其y轴方向特征也更加明显，利于对谱线和减时线/增时线等定位，便于后续辅助获取乐谱图像的时值序列和各时值对应的音符数值，进一步保障了乐谱图像识别的准确率，提高了识别可靠性。
在本申请所提供的几个实施例中，应该理解到，在本发明各个实施例中各步骤可以通过对应的虚拟功能单元实现。各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种乐谱识别方法，其特征在于，包括：
将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
根据乐谱特征图像，获取乐谱图像中的时值序列；
根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
2.如权利要求1所述的乐谱识别方法，其特征在于，在所述对乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像的步骤之后，还包括：
确定所述乐谱特征图像中的第一特征线性图像；
根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
3.如权利要求2所述的乐谱识别方法，其特征在于，所述根据乐谱特征图像，获取乐谱图像中的时值序列的步骤，包括：
将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
将各单时值图像向y轴投影，确定第三特征线性图像；
根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
4.如权利要求3所述的乐谱识别方法，其特征在于，所述根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值的步骤，包括：
根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
确定各音符数值对应的x向和y向坐标。
5.如权利要求4所述的乐谱识别方法，其特征在于，所述根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像的步骤，包括：
生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
在所述时值区域顺序填入所述时值序列；
以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
6.一种乐谱识别装置，其特征在于，包括：
第一生成模块，用于将乐谱图像二值化后向y轴投影堆叠，生成乐谱特征图像；
第一获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列；
第二获取模块，用于根据乐谱特征图像，获取乐谱图像中的时值序列中各时值对应的音符数值；
第二生成模块，用于根据所述时值序列及各时值对应音符数值，生成机器可视化乐谱图像。
7.根据权利要求6所述的乐谱识别装置，其特征在于，乐谱识别装置还包括：
第一确定模块，用于确定所述乐谱特征图像中的第一特征线性图像；
第二确定模块，用于根据所述第一特征线性图像中各线段的粗细、x轴长度和y轴间隔，确定所述乐谱图像中的时值图像区域和音符图像区域。
8.根据权利要求7所述的乐谱识别装置，其特征在于，所述第一获取模块，包括：
第一确定单元，用于将所述时值图像区域向x轴投影堆叠，确定第二特征线性图像；
第一获取单元，用于根据第二特征线性图像的x轴坐标，对时值图像区域进行x向分割，获取单时值图像；
第二确定单元，用于将各单时值图像向y轴投影，确定第三特征线性图像；
第三确定单元，用于根据第三特征线性图像，确定各单时值图像对应的音符时值，并根据x向顺序生成时值序列。
9.根据权利要求8所述的乐谱识别装置，其特征在于，所述第二获取模块，包括：
第二获取单元，用于根据第一特征线性图像，将音符图像区域进行y向分割，获取单谱线的音符图像；
第三获取单元，用于根据第二特征线性图像，将所述各单谱线的音符图像进行x向分割，获取各单谱线的音符数字图像；
第四确定单元，用于采用卷积神经网络对各音符数字图像进行识别，确定音符数值；
第五确定单元，用于确定各音符数值对应的x向和y向坐标。
10.根据权利要求9所述的乐谱识别装置，其特征在于，所述第二生成模块，包括：
第一生成单元，用于生成可视化乐谱图像模板，所述可视化乐谱图像模板包括时值区域和音符矩阵区域，音符矩阵区域的各行与待演奏乐器的各弦对应；
处理单元，用于在所述时值区域顺序填入所述时值序列；
第二生成单元，以所述时值序列的各音符时值为x坐标，以音符矩阵区域的各行为y坐标，填入对应的音符数值，生成机器可视化乐谱图像。
CN202010899308.XA 2020-08-31 2020-08-31 一种乐谱识别方法及装置 Active CN112133264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899308.XA CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899308.XA CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Publications (2)

Publication Number Publication Date
CN112133264A true CN112133264A (zh) 2020-12-25
CN112133264B CN112133264B (zh) 2023-09-22

Family

ID=73848428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899308.XA Active CN112133264B (zh) 2020-08-31 2020-08-31 一种乐谱识别方法及装置

Country Status (1)

Country Link
CN (1) CN112133264B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620310A (zh) * 2022-11-30 2023-01-17 杭州网易云音乐科技有限公司 图像识别方法、模型训练方法、介质、装置及计算设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102869A (ja) * 1992-08-03 1994-04-15 Yamaha Corp 楽譜認識装置
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法
US20150179156A1 (en) * 2013-12-19 2015-06-25 Yamaha Corporation Associating musical score image data and logical musical score data
CN106297755A (zh) * 2016-09-28 2017-01-04 北京邮电大学 一种用于乐谱图像识别的电子设备及识别方法
CN110264987A (zh) * 2019-06-18 2019-09-20 王子豪 基于深度学习的和弦进行生成方法
CN110942758A (zh) * 2019-09-23 2020-03-31 广东互动电子网络媒体有限公司 一种基于机器视觉识别乐谱的识别方法及装置
CN111275043A (zh) * 2020-01-22 2020-06-12 西北师范大学 一种基于pcnn处理的纸质简谱电子化播放装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102869A (ja) * 1992-08-03 1994-04-15 Yamaha Corp 楽譜認識装置
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
CN103646247A (zh) * 2013-09-26 2014-03-19 惠州学院 一种乐谱识别方法
US20150179156A1 (en) * 2013-12-19 2015-06-25 Yamaha Corporation Associating musical score image data and logical musical score data
CN106297755A (zh) * 2016-09-28 2017-01-04 北京邮电大学 一种用于乐谱图像识别的电子设备及识别方法
CN110264987A (zh) * 2019-06-18 2019-09-20 王子豪 基于深度学习的和弦进行生成方法
CN110942758A (zh) * 2019-09-23 2020-03-31 广东互动电子网络媒体有限公司 一种基于机器视觉识别乐谱的识别方法及装置
CN111275043A (zh) * 2020-01-22 2020-06-12 西北师范大学 一种基于pcnn处理的纸质简谱电子化播放装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓翔: "《乐谱图像中的音符识别方法》", 《计算机工程》 *
陈琢等: "《基于改进特征提取方法的五线谱识别》", 《软件导刊》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620310A (zh) * 2022-11-30 2023-01-17 杭州网易云音乐科技有限公司 图像识别方法、模型训练方法、介质、装置及计算设备
CN115620310B (zh) * 2022-11-30 2023-05-09 杭州网易云音乐科技有限公司 图像识别方法、模型训练方法、介质、装置及计算设备

Also Published As

Publication number Publication date
CN112133264B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN108734089B (zh) 识别图片文件中表格内容的方法、装置、设备及存储介质
JP2020533654A (ja) ホログラフィック偽造防止コードの検査方法及び装置
CN112447189A (zh) 语音事件检测方法、装置、电子设备及计算机存储介质
CN109616101B (zh) 声学模型训练方法、装置、计算机设备和可读存储介质
JP2017507346A (ja) 光学的音楽認識のためのシステムおよび方法
WO2019196301A1 (zh) 电子装置、基于深度学习的乐谱识别方法、系统及存储介质
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN112133264A (zh) 一种乐谱识别方法及装置
CN111477200A (zh) 乐谱文件生成方法、装置、计算机设备和存储介质
CN112560855B (zh) 图像信息提取方法、装置、电子设备及存储介质
CN110969141A (zh) 一种基于音频文件识别的曲谱生成方法、装置及终端设备
CN111052221A (zh) 和弦信息提取装置、和弦信息提取方法及和弦信息提取程序
Krause et al. Soft dynamic time warping for multi-pitch estimation and beyond
JP2010198308A (ja) 文字認識プログラム、文字認識方法および文字認識装置
JP5227120B2 (ja) 文字列認識装置及び方法、並びにプログラム
CN114943674A (zh) 瑕疵检测方法、电子装置及存储介质
CN109426674A (zh) 一种印刷电路板检测方法和系统
CN112801222A (zh) 基于二分类模型的多分类方法、装置、电子设备及介质
CN111863135A (zh) 一种假阳性结构变异过滤方法、存储介质及计算设备
CN110188073A (zh) 活体检测日志解析的方法、装置、存储介质及计算机设备
CN112927667B (zh) 和弦识别方法、装置、设备及存储介质
CN115578736A (zh) 证件信息提取方法、装置、存储介质及设备
CN115373982A (zh) 基于人工智能的测试报告分析方法、装置、设备及介质
JP5330720B2 (ja) 和音同定方法、和音同定装置、及び学習装置
Kristian et al. Advancing Guitar Chord Recognition: A Visual Method Based on Deep Convolutional Neural Networks and Deep Transfer Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant