CN113869209A - 一种乐谱序列提取方法、音乐搜索方法、装置及设备 - Google Patents
一种乐谱序列提取方法、音乐搜索方法、装置及设备 Download PDFInfo
- Publication number
- CN113869209A CN113869209A CN202111143673.9A CN202111143673A CN113869209A CN 113869209 A CN113869209 A CN 113869209A CN 202111143673 A CN202111143673 A CN 202111143673A CN 113869209 A CN113869209 A CN 113869209A
- Authority
- CN
- China
- Prior art keywords
- music
- notes
- score sequence
- score
- music score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的实施例公开一种乐谱序列提取方法、音乐搜索方法、装置及设备,涉及人工智能技术领域,能够在不同图像质量下提升乐谱序列提取的准确性,进而提高后续基于乐谱序列搜索的精准度及搜索效率。所述乐谱序列提取方法包括通过获取待识别的乐谱图像,检测所述待识别的乐谱图像中的所有音符,提取所有音符的符头,将符头输入分类模型以获取符头在五线谱中的位置,根据音符及音符对应符头在五线谱中的位置生成乐谱序列。本发明适用于乐谱序列提取的电子设备和/或音乐搜索电子设备。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种乐谱序列提取方法、音乐搜索方法、装置及设备。
背景技术
一直以来,音乐大多一直通过手写乐谱进行传播。随着时间的推移,为了保护和传播优美音乐遗产,将乐谱进行数字化并进行保存至关重要。而由于人工将手写乐谱录制至电子形式费时费力又容易出差错,无疑对音乐制作者和传播者带来了极大的困难,相关技术中,将乐谱图像转换为机器可读格式,通过识别工具实现对乐谱图片自动识别。但由于人们的手写样式数不胜数,笔迹也参差不齐、识别工具或智能终端拍照时存在环境干扰等因素而无法有效提取乐谱中的音符序列,影响音乐搜索效率。
发明内容
有鉴于此,本发明实施例提供一种乐谱序列提取方法、音乐搜索方法、装置及设备,以解决现有的乐谱序列提取方法准确性低、影响音乐搜索效率的问题。
第一方面,本发明实施例提供一种乐谱序列提取方法,应用于乐谱序列提取电子设备,包括:
获取待识别的乐谱图像;
检测所述待识别的乐谱图像中的所有音符;
提取所有音符的符头;
将所述符头输入分类模型以获取所述符头在五线谱中的位置;
根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
根据本发明实施例的一种具体实现方式,所述检测所述待识别的乐谱图像中的所有音符,包括:
将所述待识别的乐谱图像输入检测模型得到五线谱区域;
将所述五线谱区域以小节为切割点切割成多个小节区域;
将每个小节区域分别输入所述检测模型得到待识别的乐谱图像中的所有音符。
根据本发明实施例的一种具体实现方式,所述提取所有音符的符头,包括:
将所述待识别的乐谱图像中的所有音符按照所述检测模型对应的输入图像大小进行拼接;
将拼接后音符输入所述检测模型得到每个音符的符头。
根据本发明实施例的一种具体实现方式,还包括:
判断每个音符是否为和弦音符;
若是,确定所述和弦音符中的每个符头的位置;
逐一提取每个位置对应的符头,且在提取一个位置对应的符头时为其他位置对应的符头添加噪声。
根据本发明实施例的一种具体实现方式,所述检测模型为yolov5检测模型。
根据本发明实施例的一种具体实现方式,所述分类模型为resnet优化分类模型,所述将所述符头输入分类模型以获取所述符头在五线谱中的位置,包括:
获取resnet优化分类模型的训练数据;
对所述训练数据进行数据增强处理;
将所述数据增强处理后的训练数据输入所述resnet优化分类模型,所述resnet优化分类模型包括mish激活函数和AMSgrad优化器;
根据所述resnet优化分类模型输出的分类结果确定所述符头在五线谱中的位置。
根据本发明实施例的一种具体实现方式,所述数据增强处理,包括:
变色、挖空、添加噪声、锐化、钝化、和消除残影中的一种或多种。
根据本发明实施例的一种具体实现方式,所述根据音符及音符对应符头在五线谱中的位置生成乐谱序列,包括:
按照小节区域对所有音符进行分组;
将每个符头在五线谱中的位置按照预设排序方式保存至每个音符组中;
将每个音符组按照对应小节区域在五线谱区域中的位置排序排成乐谱序列。
根据本发明实施例的一种具体实现方式,所述排序方式包括:从左至右排序;
和/或,
将和弦音符中每个符头按照由下而上排序。
第二方面,本发明实施例提供一种音乐搜索方法,应用于音乐搜索电子设备,包括:
获取待搜索的音乐对应的乐谱图像;
基于如前述任一实现方式所述的乐谱序列提取方法提取所述乐谱图像中的乐谱序列;
将所述乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
根据本发明实施例的一种具体实现方式,所述乐谱序列数据库中包括:
乐谱序列及乐谱序列对应的音乐信息,所述音乐信息包括名称、作曲者、演唱者、作词者、音乐和歌词中的至少一种。
第三方面,本发明实施例提供一种乐谱序列提取装置,应用于乐谱序列提取电子设备,包括:
第一获取模块,用于获取待识别的乐谱图像;
检测模块,用于检测所述待识别的乐谱图像中的所有音符;
提取模块,用于提取所有音符的符头;
位置识别模块,用于将所述符头输入分类模型以获取所述符头在五线谱中的位置;
序列生成模块,用于根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
第四方面,本发明实施例提供一种音乐搜索装置,应用于音乐搜索电子设备,包括:
第二获取模块,用于获取待搜索的音乐对应的乐谱图像;
提取模块,用于基于如前述任一实现方式所述的乐谱序列提取方法提取所述乐谱图像中的乐谱序列;
检索模块,用于将所述乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
第五方面,本发明实施例提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一实现方式所述的乐谱序列提取方法,和/或,用于执行前述任一实现方式所述的音乐搜索方法。
第六方面,本发明的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述任一实现方式所述的乐谱序列提取方法,和/或,用于执行前述任一实现方式所述的音乐搜索方法。
本发明实施例提供的一种乐谱序列提取方法、音乐搜索方法、装置及设备,通过获取待识别的乐谱图像,检测所述待识别的乐谱图像中的所有音符,提取所有音符的符头,将符头输入分类模型以获取符头在五线谱中的位置,根据音符及音符对应符头在五线谱中的位置生成乐谱序列,能够在不同图像质量下提升乐谱序列提取的准确性,进而提高后续基于乐谱序列搜索的精准度及搜索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明的实施例一乐谱序列提取方法的流程图;
图2为本发明的实施例二乐谱序列提取方法的流程图;
图3为本发明的实施例二乐谱序列提取方法的中间结果示意图;
图4为本发明的实施例二乐谱序列提取方法的中间结果示意图;
图5为本发明的实施例三乐谱序列提取方法的流程图;
图6为本发明的实施例三乐谱序列提取方法的中间结果示意图;
图7为本发明的实施例四乐谱序列提取方法的流程图;
图8为本发明的实施例五乐谱序列提取方法的流程图;
图9为本发明的实施例五乐谱序列提取方法的中间结果示意图;
图10为本发明的实施例一音乐搜索方法的流程图;
图11为本发明的一个实施例提供的一种乐谱序列提取装置的功能结构图;
图12为本发明的一个实施例提供的一种音乐搜索装置的功能结构图;
图13为本发明的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本实施例提供一种乐谱序列提取方法,以精确识别各类文件格式。
图1为本发明实施例一的乐谱序列提取方法的流程图,如图1所示,本实施例的识别方法应用于乐谱序列提取电子设备。本实施例的方法可以包括:
步骤101、获取待识别的乐谱图像;
本实施例中,获取待识别的乐谱图像可以通过相机或智能终端拍照获取。
步骤102、检测待识别的乐谱图像中的所有音符;
步骤103、提取所有音符的符头;
步骤104、将符头输入分类模型以获取符头在五线谱中的位置;
步骤105、根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
传统乐谱序列提取方法中,将乐谱图像转换为机器可读格式,通过识别工具实现对乐谱图片自动识别。但由于人们的手写样式数不胜数,笔迹也参差不齐、识别工具或智能终端拍照时存在环境干扰等因素而无法有效提取乐谱中的音符序列,影响音乐搜索效率。
本实施例,通过获取待识别的乐谱图像,检测待识别的乐谱图像中的所有音符,提取所有音符的符头,将符头输入分类模型以获取符头在五线谱中的位置,根据音符及音符对应符头在五线谱中的位置生成乐谱序列,能够在不同乐谱图像质量下提升乐谱序列提取的准确性,进而提高后续基于乐谱序列搜索的精准度及搜索效率。
图2为本发明实施例二的乐谱序列提取方法的流程图,如图2所示,本实施例的方法可以包括:
步骤201、获取待识别的乐谱图像;
本实施例中,提取获取待识别的乐谱图像的过程和上述方法实施例的步骤101类似,此处不再赘述。
步骤202、将待识别的乐谱图像输入检测模型得到五线谱区域;
本实施例中,检测模型例如为yolov5检测模型。
步骤203、将五线谱区域以小节为切割点切割成多个小节区域;
小节为最基本有规律的节奏单位,在乐谱图像中通常为乐谱的其中一行。
步骤204、将每个小节区域分别输入检测模型得到待识别的乐谱图像中的所有音符。
识别出的五线谱区域和音符如图3所示;
步骤205、将待识别的乐谱图像中的所有音符按照检测模型对应的输入图像大小进行拼接;
拼接后音符图像如图4所示。
步骤206、将拼接后音符输入检测模型得到每个音符的符头。
步骤207、将每个音符的符头输入resnet优化分类模型以获取每个音符的符头在五线谱中的位置;
步骤208、根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
本实施例中,利用yolov5检测模型与resnet优化分类模型结合以提取乐谱图像中的乐谱序列,将待识别的乐谱图像中的所有音符按照检测模型对应的输入图像大小进行拼接可以减少yolov5检测模型前处理所带来的时间浪费并且省去后续图像resize时所需要消耗的资源,提升提取效率。
图5为本发明实施例三的乐谱序列提取方法的流程图,如图5所示,本实施例在图2所示方法实施例的基础上,所述步骤206可进一步包括:
步骤501、判断每个音符是否为和弦音符;
和弦是指有一定音程关系的一组声音,即将三个或以上的音,按照三度或非三度的叠置关系,在纵向上加以结合,就称为和弦音符。
步骤502、若是,确定和弦音符中的每个符头的位置;
步骤503、逐一提取每个位置对应的符头,且在提取一个位置对应的符头时为其他位置对应的符头添加噪声。
添加噪声示意图如图6所示。
本实施例中,利用添加噪声使分类模型可以专注于未被添加噪声的符头进行分类检测,进一步的提高符头识别的准确性及识别效率。
图7为本发明实施例四的乐谱序列提取方法的流程图,如图7所示,本实施例在图2所示方法实施例的基础上,所述步骤207可进一步包括:
步骤701、获取resnet优化分类模型的训练数据;
步骤702、对训练数据进行数据增强处理;
本实施例中,数据增强处理,包括但不限于:
变色、挖空、添加噪声、锐化、钝化、和消除残影中的一种或多种。
步骤703、将数据增强处理后的训练数据输入resnet优化分类模型,resnet优化分类模型包括mish激活函数和AMSgrad优化器;
步骤704、根据resnet优化分类模型输出的分类结果确定符头在五线谱中的位置。
本实施例中,在resnet传统分类模型上将激活函数relu改成mish,将优化器SGD改成AMSgrad,并且在训练时添加了变色、图片挖空、添加噪声、锐化、钝化、消除残影等数据增强方法以提高分类模型的范化能力。
图8为本发明实施例五的乐谱序列提取方法的流程图,如图8所示,本实施例在图2所示方法实施例的基础上,所述步骤208可进一步包括:
步骤801、按照小节区域对所有音符进行分组;
步骤802、将每个符头在五线谱中的位置按照预设排序方式保存至每个音符组中;
步骤803、将每个音符组按照对应小节区域在五线谱区域中的位置排序排成乐谱序列。
本实施例中,排序方式包括:从左至右排序;
若为和弦音符,则将和弦音符中每个符头按照由下而上排序。
音符及音符对应符头在五线谱中的位置如图9所示,生成乐谱序列为[m1,m3,m5]。
本实施例,在使用者通过手机拍照出来的图像质量情况下仍然可以有效提取乐谱中音符序列。
下面采用一个具体的实施例,对图1、图2、图5、图7、图8中任一个所示方法实施例的技术方案进行详细说明。本实施例的方法可以包括:
(1)利用yolov5检测模型检测高低音五线谱区域并以小节为切割点将五线谱区域分割成小节区域,且检测出每个小节区域所有音符;
(2)将检测出来的音符拼装成分类模型所需图片尺寸的音符图片,从而减少模型计算的时间;
(3)将拼装好的音符图片再经过一次yolov5检测模型进行符头检测,将一个多符头的和弦划分成多个单独的符头并将其他符头加上噪声使算法可专注于未添加噪声的符头位置。
(4)将划分好的单符头经过resnet分类模型得到音符符头相对于五线谱位置;
(5)将音符以小节将分组,并且由左至右排序遇到和弦则由下而上排序得到可用于搜索的乐谱序列。
本实施例,利用检测模型与分类检测模型结合以获取乐谱序列,利用添加噪声使分类模型可以专注于未被添加噪声的符头进行分类检测。在yolov5上采用图像拼接的方法减少前处理所带来的时间浪费并且省去后续图像resize时所需要消耗的资源;在resnet上将激活函数和优化器进行优化,并且在训练时添加了数据增强方法进行训练用于提高模型的范化能力,最终提升乐谱序列提取效率和准确性。
图10为本发明音乐搜索方法实施例一的流程图,本实施例的适用场景可以是在进行音乐搜索时,如图10所示,具体的音乐搜索方法包括:
步骤1001、获取待搜索的音乐对应的乐谱图像;
获取待搜索的音乐对应的乐谱图像与获取的待识别的乐谱图像的的过程和上述方法实施例的步骤101类似,此处不再赘述。
步骤1002、提取乐谱图像中的乐谱序列;
提取方法可以参见上述实施例。
步骤1003、将乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
本实施例中,乐谱序列数据库中包括:
乐谱序列及乐谱序列对应的音乐信息,音乐信息包括名称、作曲者、演唱者、作词者、音乐和歌词。
传统的音乐搜索方法通常以音乐主题名称或者演唱者为关键词进行搜索,但搜索结果会输出很多,干扰用户搜索效率
本实施例中,根据乐谱序列进行检索,搜索效率会大大提高,另外,通过乐谱图片可直接搜索到音乐信息,提升用户体验。
图11为本发明乐谱序列提取装置实施例一的功能结构图,如图11所示,本实施例的装置可以包括:
第一获取模块111,用于获取待识别的乐谱图像;
检测模块112,用于检测待识别的乐谱图像中的所有音符;
提取模块113,用于提取所有音符的符头;
位置识别模块114,用于将每个音符的符头输入分类模型以获取每个音符的符头在五线谱中的位置;
序列生成模块115,用于根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
检测模块112被配置为:
将待识别的乐谱图像输入检测模型得到五线谱区域;
将五线谱区域以小节为切割点切割成多个小节区域;
将每个小节区域分别输入检测模型得到待识别的乐谱图像中的所有音符。
进一步的,判断每个音符是否为和弦音符;
若是,确定和弦音符中的每个符头的位置;
逐一提取每个位置对应的符头,且在提取一个位置对应的符头时为其他位置对应的符头添加噪声。
提取模块113被配置为:
将待识别的乐谱图像中的所有音符按照检测模型对应的输入图像大小进行拼接;
将拼接后音符输入检测模型得到每个音符的符头。
位置识别模块114被配置为:
获取resnet优化分类模型的训练数据;
对训练数据进行数据增强处理;
将数据增强处理后的训练数据输入resnet优化分类模型,resnet优化分类模型包括mish激活函数和AMSgrad优化器;
根据resnet优化分类模型获取符头在五线谱中的位置。
进一步的,数据增强处理,包括:
变色、挖空、添加噪声、锐化、钝化、和消除残影中的一种或多种。
序列生成模块115被配置为:
按照小节区域对所有音符进行分组;
将每个符头在五线谱中的位置按照预设排序方式保存至每个音符组中;
将每个音符组按照对应小节区域在五线谱区域中的位置排序排成乐谱序列。
进一步的,排序方式包括:从左至右排序;
和/或,
将和弦音符中每个符头按照由下而上排序。
本实施例的装置,可以用于执行图1~9所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图12为本发明音乐搜索装置实施例一的功能结构图,如图12所示,本实施例的装置可以包括:
第二获取模块121,用于获取待搜索的音乐对应的乐谱图像;
提取模块122,用于基于上述实施例所述的乐谱序列提取方法提取乐谱图像中的乐谱序列;
检索模块123,用于将乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
本实施例的装置,可以用于执行图10所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图13为本发明电子设备一个实施例的结构示意图,可以实现本发明图1-9所示实施例的流程,和/或,可以实现本发明图10所示实施例的流程,如图13所示,上述电子设备可以包括:壳体131、处理器132、存储器133、电路板134和电源电路135,其中,电路板134安置在壳体131围成的空间内部,处理器132和存储器133设置在电路板134上;电源电路135,用于为上述电子设备的各个电路或器件供电;存储器133用于存储可执行程序代码;处理器132通过读取存储器133中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一实施例所述的乐谱序列提取方法。
处理器132对上述步骤的具体执行过程以及处理器132通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1-9所示实施例的描述,或可以参见本发明图10所示实施例的描述,在此不再赘述。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
第四方面,本发明的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述任一实施例所述的乐谱序列提取方法,和/或,前述任一实施例所述的音乐搜索方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种乐谱序列提取方法,其特征在于,应用于乐谱序列提取电子设备;所述方法包括:
获取待识别的乐谱图像;
检测所述待识别的乐谱图像中的所有音符;
提取所有音符的符头;
将所述符头输入分类模型以获取所述符头在五线谱中的位置;
根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
2.根据权利要求1所述的乐谱序列提取方法,其特征在于,所述检测所述待识别的乐谱图像中的所有音符,包括:
将所述待识别的乐谱图像输入检测模型得到五线谱区域;
将所述五线谱区域以小节为切割点切割成多个小节区域;
将每个小节区域分别输入所述检测模型得到待识别的乐谱图像中的所有音符。
3.根据权利要求2所述的乐谱序列提取方法,其特征在于,所述提取所有音符的符头,包括:
将所述待识别的乐谱图像中的所有音符按照所述检测模型对应的输入图像大小进行拼接;
将拼接后音符输入所述检测模型得到每个音符的符头。
4.根据权利要求2所述的乐谱序列提取方法,其特征在于,还包括:
判断每个音符是否为和弦音符;
若是,确定所述和弦音符中的每个符头的位置;
逐一提取每个位置对应的符头,且在提取一个位置对应的符头时为其他位置对应的符头添加噪声。
5.根据权利要求2或3所述的乐谱序列提取方法,其特征在于,所述检测模型为yolov5检测模型。
6.根据权利要求1所述的乐谱序列提取方法,其特征在于,所述分类模型为resnet优化分类模型,所述将所述符头输入分类模型以获取所述符头在五线谱中的位置,包括:
获取所述resnet优化分类模型的训练数据;
对所述训练数据进行数据增强处理;
将所述数据增强处理后的训练数据输入所述resnet优化分类模型,所述resnet优化分类模型包括mish激活函数和AMSgrad优化器;
根据所述resnet优化分类模型输出的分类结果确定所述符头在五线谱中的位置。
7.根据权利要求6所述的乐谱序列提取方法,其特征在于,所述数据增强处理,包括:
变色、挖空、添加噪声、锐化、钝化、和消除残影中的一种或多种。
8.根据权利要求2所述的乐谱序列提取方法,其特征在于,所述根据音符及音符对应符头在五线谱中的位置生成乐谱序列,包括:
按照小节区域对所有音符进行分组;
将每个符头在五线谱中的位置按照预设排序方式保存至每个音符组中;
将每个音符组按照对应小节区域在五线谱区域中的位置排序排成乐谱序列。
9.根据权利要求8所述的乐谱序列提取方法,其特征在于,所述排序方式包括:从左至右排序;
和/或,
将和弦音符中每个符头按照由下而上排序。
10.一种音乐搜索方法,其特征在于,应用于音乐搜索电子设备;所述方法包括:
获取待搜索的音乐对应的乐谱图像;
基于如权利要求1~9任一项所述的乐谱序列提取方法提取所述乐谱图像中的乐谱序列;
将所述乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
11.根据权利要求10所述的音乐搜索方法,其特征在于,所述乐谱序列数据库中包括:
乐谱序列及乐谱序列对应的音乐信息,所述音乐信息包括名称、作曲者、演唱者、作词者、音乐和歌词中的至少一种。
12.一种乐谱序列提取装置,其特征在于,应用于乐谱序列提取电子设备,所述装置包括:
第一获取模块,用于获取待识别的乐谱图像;
检测模块,用于检测所述待识别的乐谱图像中的所有音符;
提取模块,用于提取所有音符的符头;
位置识别模块,用于将所述符头输入分类模型以获取所述符头在五线谱中的位置;
序列生成模块,用于根据音符及音符对应符头在五线谱中的位置生成乐谱序列。
13.一种音乐搜索装置,其特征在于,应用于音乐搜索电子设备,所述装置包括:
第二获取模块,用于获取待搜索的音乐对应的乐谱图像;
提取模块,用于基于如权利要求1~9任一项所述的乐谱序列提取方法提取所述乐谱图像中的乐谱序列;
检索模块,用于将所述乐谱序列在乐谱序列数据库中进行检索得到搜索结果。
14.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述权利要求1~9任一项所述的乐谱序列提取方法,和/或,用于执行前述权利要求10或11所述的音乐搜索方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述权利要求1~9任一项所述的乐谱序列提取方法,和/或,用于执行前述权利要求10或11所述的音乐搜索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111143673.9A CN113869209A (zh) | 2021-09-28 | 2021-09-28 | 一种乐谱序列提取方法、音乐搜索方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111143673.9A CN113869209A (zh) | 2021-09-28 | 2021-09-28 | 一种乐谱序列提取方法、音乐搜索方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113869209A true CN113869209A (zh) | 2021-12-31 |
Family
ID=78991871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111143673.9A Pending CN113869209A (zh) | 2021-09-28 | 2021-09-28 | 一种乐谱序列提取方法、音乐搜索方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113869209A (zh) |
-
2021
- 2021-09-28 CN CN202111143673.9A patent/CN113869209A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11461388B2 (en) | Generating a playlist | |
CN110209844B (zh) | 多媒体数据匹配方法、装置和存储介质 | |
CN109657213B (zh) | 文本相似度检测方法、装置和电子设备 | |
US9576050B1 (en) | Generating a playlist based on input acoustic information | |
CN107016994A (zh) | 语音识别的方法及装置 | |
CN109508391B (zh) | 基于知识图谱的输入预测方法、装置和电子设备 | |
CN112183658A (zh) | 一种曲谱识别方法、装置、电子设备及存储介质 | |
US9646585B2 (en) | Information processing apparatus, information processing method, and program | |
CN115830649A (zh) | 一种网络资产指纹特征的识别方法、装置及电子设备 | |
CN105575400A (zh) | 一种获取歌曲信息的方法、终端、服务器和系统 | |
CN109508390B (zh) | 基于知识图谱的输入预测方法、装置和电子设备 | |
CN113869209A (zh) | 一种乐谱序列提取方法、音乐搜索方法、装置及设备 | |
CN115329125A (zh) | 一种歌曲串烧拼接方法和装置 | |
CN111552778B (zh) | 音频资源管理方法、装置、计算机可读存储介质及设备 | |
CN109710798B (zh) | 曲目演奏考评方法和装置 | |
CN113628637A (zh) | 一种音频识别方法、装置、设备及存储介质 | |
EP3477505B1 (en) | Fingerprint clustering for content-based audio recogntion | |
CN113516963A (zh) | 音频数据的生成方法、装置、服务器和智能音箱 | |
CN106547753B (zh) | 一种信息分析方法及电子设备 | |
CN115103225B (zh) | 视频片段提取方法、装置、电子设备和存储介质 | |
KR102255961B1 (ko) | 오류 단어 수정을 통한 특허문서의 단어 세트 획득 방법 및 시스템 | |
KR102255962B1 (ko) | 템플릿 정보를 이용한 특허문서의 단어 세트 획득 방법 및 시스템 | |
CN113946709A (zh) | 歌曲识别方法及电子设备和计算机可读存储介质 | |
KR102307410B1 (ko) | 리메이크곡 검색 방법, 시스템 및 컴퓨터 프로그램 | |
CN116821413A (zh) | 视频检索方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |