CN115329124A - 曲谱数据展示方法、设备及可读存储介质 - Google Patents
曲谱数据展示方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115329124A CN115329124A CN202210914920.9A CN202210914920A CN115329124A CN 115329124 A CN115329124 A CN 115329124A CN 202210914920 A CN202210914920 A CN 202210914920A CN 115329124 A CN115329124 A CN 115329124A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- spectrogram
- segment
- music score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/64—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本申请实施例公开了一种曲谱数据展示方法、设备及可读存储介质,涉及人工智能领域,其中,方法包括:获取目标音频数据的曲谱数据,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据;将目标音频数据划分为至少一个音频片段,基于目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、节奏数据、调性数据、拍号数据以及和弦数据;基于每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图;在目标界面展示曲谱图。采用本申请实施例,可以绘制曲谱图并进行展示,提高曲谱图绘制效率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种曲谱数据展示方法、设备及可读存储介质。
背景技术
目前的吉他曲谱图往往需要通过人工绘制的方式得到,然而人工绘制曲谱图的方式工作量大,歌曲覆盖率较低,对于某些歌曲可能存在曲谱图绘制不及时的问题,导致曲谱图绘制效率较低。
发明内容
本申请实施例提供一种曲谱数据展示方法、设备及可读存储介质,可以绘制曲谱图并进行展示,提高曲谱图绘制效率。
第一方面,本申请提供一种曲谱数据展示方法,包括:
获取目标音频数据的曲谱数据,该曲谱数据包括该目标音频数据的和弦数据、该目标音频数据的调性数据、该目标音频数据的节奏数据以及该目标音频数据的拍号数据;
将该目标音频数据划分为至少一个音频片段,基于该目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,该子曲谱数据包括音频片段的出现时间、音频片段的节奏数据、音频片段的调性数据、音频片段的拍号数据以及音频片段的和弦数据;
基于该每个音频片段的子曲谱数据绘制该每个音频片段对应的曲谱图;
由该至少一个音频片段的曲谱图组合得到该目标音频数据的曲谱图。
第二方面,本申请提供一种曲谱数据展示装置,包括:
数据获取单元,用于获取目标音频数据的曲谱数据,该曲谱数据包括该目标音频数据的和弦数据、该目标音频数据的调性数据、该目标音频数据的节奏数据以及该目标音频数据的拍号数据;
片段划分单元,用于将该目标音频数据划分为至少一个音频片段,基于该目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,该子曲谱数据包括音频片段的出现时间、音频片段的节奏数据、音频片段的调性数据、音频片段的拍号数据以及音频片段的和弦数据;
片段绘制单元,用于基于该每个音频片段的子曲谱数据绘制该每个音频片段对应的曲谱图;
图像绘制单元,用于由该至少一个音频片段的曲谱图组合得到该目标音频数据的曲谱图。
结合第二方面,在一种可能的实现方式中,该片段划分单元,具体用于:
基于该目标音频数据的拍号数据确定该目标音频数据的音频类型;
基于该目标音频数据的音频类型确定目标节拍数量;
基于该目标节拍数量和该目标音频数据的节奏数据,将该目标音频数据划分为至少一个小节,其中每个小节作为一个音频片段。
结合第二方面,在一种可能的实现方式中,该片段划分单元,具体用于:
获取该目标音频数据的音频时长;
基于目标划分规则和该音频时长将该目标音频数据划分为至少一帧音频数据,其中一帧音频数据作为一个音频片段。
结合第二方面,在一种可能的实现方式中,该曲谱展示装置还包括:图像展示单元,用于:
获取目标界面的显示尺寸,从该目标音频数据的曲谱图中选择与该显示尺寸匹配的曲谱图片段;
在该目标界面展示与该显示尺寸匹配的曲谱图片段。
结合第二方面,在一种可能的实现方式中,该曲谱展示装置还包括:图像调整单元,用于:
当检测到针对曲谱图的操作指令时,在该目标音频数据的曲谱图中确定该操作指令对应的曲谱图片段;
将该目标界面展示的与该显示尺寸匹配的曲谱图片段切换为该操作指令对应的曲谱图片段。
结合第二方面,在一种可能的实现方式中,该图像调整单元,具体用于:
当检测到针对曲谱图的调至开头指令时,将该曲谱图中的初始曲谱图片段确定为所述操作指令对应的曲谱图片段,初始曲谱图片段为曲谱图中起始的预设时长的曲谱图片段。
结合第二方面,在一种可能的实现方式中,该图像调整单元,具体用于:
当检测到针对曲谱图的跳过前奏指令时,将目标音频数据中的初始歌词对应的曲谱图片段确定为该操作指令对应的曲谱图片段,初始歌词为曲谱图中起始的长度范围内的歌词。
结合第二方面,在一种可能的实现方式中,该图像调整单元,具体用于:
当检测到针对曲谱图的片段反复指令时,获取第一选择操作和第二选择操作,基于该第一选择操作和该第二选择操作确定目标曲谱图片段,该第一选择操作用于指示该目标曲谱图片段的起始位置,该第二选择操作用于指示该目标曲谱图片段的结束位置;
将该目标曲谱图片段确定为该操作指令对应的曲谱图片段;
当检测到播放指令时,将该目标界面展示的与该显示尺寸匹配的曲谱图片段切换为该目标曲谱图片段,并在该目标界面重复展示该目标曲谱图片段。
结合第二方面,在一种可能的实现方式中,该图像调整单元,具体用于:
当检测到针对曲谱图的背景音展示指令时,展示包含多种背景音的背景音列表;
当检测到针对背景音列表中的目标背景音的选择指令时,基于该目标背景音输出该目标音频数据,将该目标背景音对应的曲谱图片段确定为该操作指令对应的曲谱图片段。
结合第二方面,在一种可能的实现方式中,该曲谱图中包括该调性数据和该节奏数据,该针对曲谱图的操作指令包括针对该调性数据的调性修改指令和/或针对该节奏数据的节奏修改指令;
该数据展示装置还包括:图像修改单元,用于:
基于该调性修改指令对该曲谱图中的调性数据进行调整,将该目标界面展示的与该显示尺寸匹配的曲谱图片段中的调性数据调整为该调性修改指令携带的目标调性数据;
基于该节奏修改指令对该曲谱图中的节奏数据进行调整,将该目标界面展示的与该显示尺寸匹配的曲谱图片段中的节奏数据调整为该节奏修改指令携带的目标节奏数据。
结合第二方面,在一种可能的实现方式中,该数据获取单元,具体用于:
计算该目标音频数据的幅度谱数据;
对该幅度谱数据进行和弦特征提取,以得到该目标音频数据的和弦数据,该和弦数据是基于N个概率对应的音级确定的,该N个概率是指该目标音频数据属于M个音级的概率中大于目标概率的N个概率,M为大于N的正整数;
对该幅度谱数据进行调性特征提取,以得到该目标音频数据的调性数据,该调性数据是基于该目标音频数据属于K个大小调的概率确定的,K为正整数;
对该幅度谱数据进行节拍特征提取,以得到该目标音频数据的节奏数据和该目标音频数据的拍号数据,该节奏数据和该拍号数据是基于该目标音频数据属于第一类节拍的概率和第二类节拍的概率确定的。
第三方面,本申请提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使包含该处理器的计算机设备执行上述曲谱数据展示方法。
第四方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行上述曲谱数据展示方法。
第五方面,本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请第一方面中的各种可选方式中提供的曲谱数据展示方法。
本申请实施例中,当获取到目标音频数据的曲谱数据时,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据;将目标音频数据划分为至少一个音频片段,从而可以分别基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据;进而实现绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合目标音频数据的曲谱图。通过对目标音频数据进行解析得到目标音频数据的曲谱数据如和弦数据、调性数据、节奏数据以及拍号数据,从而可以基于解析得到的曲谱数据绘制曲谱图,无需人工绘制曲谱图,可以提高曲谱图绘制效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种曲谱数据展示系统的架构示意图;
图2是本申请实施例提供的一种曲谱数据展示方法的应用场景示意图;
图3是本申请实施例提供的一种曲谱数据展示方法的流程示意图;
图4是本申请实施例提供的一种计算幅度谱的方法流程示意图;
图5是本申请实施例提供的一种和弦特征提取网络的结构示意图;
图6是本申请实施例提供的一种音级的概率示意图;
图7是本申请实施例提供的一种大小调的概率示意图;
图8是本申请实施例提供的一种节拍特征提取网络的结构示意图;
图9a为本申请实施例提供的一种节拍的概率示意图;
图9b为本申请实施例提供的一种界面显示示意图;
图10a是本申请实施例提供的一种曲谱图的示意图;
图10b是本申请实施例提供的一种针对曲谱图的调至开头指令的界面变化指令的示意图;
图10c是本申请实施例提供的一种针对曲谱图的跳过前奏指令的界面变化示意图;
图10d是本申请实施例提供的一种针对曲谱图的片段反复指令的界面变化示意图;
图10e是本申请实施例提供的一种针对曲谱图的背景音展示指令的界面变化示意图;
图10f是本申请实施例提供的一种调性修改对应的界面变化示意图;
图10g是本申请实施例提供的一种节奏修改对应的界面变化示意图;
图11是本申请实施例提供的另一种曲谱数据展示方法的流程示意图;
图12是本申请实施例提供的一种曲谱数据应用方法的流程示意图;
图13是本申请实施例提供的一种曲谱数据展示装置的组成结构示意图;
图14是本申请实施例提供的一种计算机设备的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
本申请涉及人工智能中的语音处理技术,可选地,例如可以利用语音处理技术获取目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据,从而实现绘制曲谱图。本申请实施例中涉及到用户信息相关的数据(例如目标音频数据)均为用户授权后的数据。本申请技术方案适用于绘制目标音频数据对应的曲谱图,从而在目标界面中展示曲谱图的场景中。例如,当获取到任意一个目标音频数据时,通过对该目标音频数据进行解析,获取目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据,从而绘制目标音频数据对应的曲谱图,通过在目标界面展示曲谱图,便于初学者进行曲谱学习以及弹唱,提升用户体验。进一步地,还可以对目标界面展示的曲谱图进行多种操作,例如“回到开头”、“跳过前奏”、“AB反复”、“节奏调整”、“调性调整”,等等,可以实现对曲谱图的便捷操作,提高数据处理效率。
请参见图1,图1是本申请实施例提供的一种曲谱数据展示系统的网络架构图,如图1所示,计算机设备101可以与终端设备进行数据交互,终端设备的数量可以为一个或者多个,例如,当终端设备的数量为多个时,终端设备可以包括图1中的终端设备102a、终端设备102b及终端设备102c等。其中,以终端设备102a为例,可选地,终端设备102a可以向计算机设备101发送目标音频数据,或者终端设备102a还可以向计算机设备101发送用于获取曲谱图的请求。进一步地,计算机设备101可以响应终端设备102a的请求,获取目标音频数据的曲谱数据,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据;将目标音频数据划分为至少一个音频片段,基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据;基于每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图。进一步地,计算机设备101还可以在关联的显示屏的目标界面展示曲谱图。可选地,计算机设备101还可以向终端设备102a发送曲谱图,以使终端设备102a展示曲谱图,便于用户根据曲谱图进行吉他弹奏。
通过对目标音频数据进行解析得到目标音频数据的曲谱数据如和弦数据、调性数据、节奏数据以及拍号数据,从而可以基于解析得到的曲谱数据绘制曲谱图,无需人工绘制曲谱图,可以提高曲谱图绘制效率。通过在目标界面展示曲谱图,便于用户基于曲谱图进行演奏学习,提升用户体验。
可以理解的是,本申请实施例中所提及的计算机设备包括但不限于终端设备或服务器。换句话说,计算机设备或终端设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载终端、智能语音交互设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、可穿戴设备、智能音箱、智能家电、飞行器、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID)等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
进一步地,请参见图2,图2是本申请实施例提供的一种曲谱数据展示方法的应用场景示意图。如图2所示,计算机设备21可以获取目标音频数据,对目标音频数据进行解析得到曲谱数据,曲谱数据包括和弦数据、调性数据、节奏数据以及拍号数据;基于曲谱数据绘制得到目标音频数据对应的曲谱图如图2中22所示。例如,计算机设备21可以将目标音频数据划分为至少一个音频片段,基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据;从而每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图如图2中22所示。进一步地,计算机设备21可以在目标界面展示曲谱图如图2中22所示。可选地,当计算机设备21检测到针对目标界面的操作指令时,基于操作指令在目标界面展示曲谱图中的曲谱数据。例如,当计算机设备21检测到针对曲谱图的调性修改指令时,可以基于调性修改指令对曲谱图中的调性数据进行调整,在目标界面中展示调整后的曲谱图。
进一步地,请参见图3,图3是本申请实施例提供的一种曲谱数据展示方法的流程示意图;如图3所示,该曲谱数据展示方法可以应用于计算机设备,该曲谱数据展示方法包括但不限于以下步骤:
S101,获取目标音频数据的曲谱数据。
本申请实施例中,目标音频数据可以是指对吉他弹奏的声音进行录制得到的一段音频,或者,目标音频数据也可以是指从吉他弹奏的视频数据中提取出的吉他弹奏的声音得到的音频。曲谱数据是指目标音频数据中包含的可以用于绘制曲谱图的数据,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据。计算机设备可以从本地获取待识别的目标音频数据,或者也可以从终端设备获取待识别的目标音频数据,通过对目标音频数据进行解析,得到目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据。可选地,计算机设备可以在获取到待识别的目标音频数据时,对目标音频数据进行解析,得到和弦数据、调性数据、节奏数据以及拍号数据。或者,计算机设备可以在接收到终端设备发送的目标音频数据时,对目标音频数据进行解析,得到和弦数据、调性数据、节奏数据以及拍号数据。又或者,计算机设备可以在接收到终端设备发送的曲谱获取请求时,对目标音频数据进行解析,得到和弦数据、调性数据、节奏数据以及拍号数据。
其中,和弦数据可以用于指示目标音频数据包括哪些和弦。和弦可以是指吉他上弹奏的和弦,和弦可以是由三个或三个以上的音,按照一定的音程关系叠置起来(即同时奏响)的组合。调性数据可以用于指示目标音频数据包括哪些调式。调式(即调性)可以包括C大调、a小调、G大调、e小调等24个大小调。节奏数据(beat per minute,BPM)可以用于指示目标音频数据的节奏。节奏数据可以是指每分钟节拍数,BPM一般以一个四分音符为一拍,60BPM为一分钟演奏均匀60个四分音符(或等效的音符组合)。拍号数据可以用于指示目标音频数据的拍号。乐理中的拍号采用分数式表示,分母表示全音符的等分数,即全音符所代表的拍数,分子表示每小节中的拍数。拍号可以包括4/2拍、4/3拍、4/4拍、6/8拍,等等。
可选地,计算机设备可以基于神经网络对目标音频数据进行解析,例如基于神经网络对目标音频数据进行特征提取,得到和弦数据、调性数据、节奏数据以及拍号数据。具体地,计算机设备可以计算目标音频数据的幅度谱数据;对幅度谱数据进行和弦特征提取,以得到目标音频数据的和弦数据、调性数据、节奏数据和拍号数据。其中,目标音频数据的幅度谱数据是指对目标音频数据进行时域信号转频域信号,并且对频域信号进行滤波处理后得到的数据进行对数谱计算(即计算其对数)得到的。由于对数频域刻度的对数压缩幅度谱更接近于人耳实际听音的感觉,因此后续针对对数频域刻度的对数压缩幅度谱进行特征提取时,可以使得提取到的特征更准确。因此通过对目标音频数据进行处理得到目标音频数据的幅度谱数据,可以提高后续提取和弦数据、调性数据、拍号数据以及节奏数据的准确性。
下面对提取目标音频数据的幅度谱的方法进行说明,如图4所示,图4是本申请实施例提供的一种计算幅度谱的方法流程示意图,计算机设备可以设置频率范围,对目标音频数据的频域计算对数幅度,以生成三角滤波器。进一步地,计算机设备可以对目标音频数据(如原始音频信号)进行处理,将时域信号通过短时傅里叶变换(short-time Fouriertransform,STFT)转换为频域信号。进一步地,经过生成的三角滤波器对转换得到的频域信号进行滤波处理得到滤波后的幅度谱S,通过对滤波后的幅度谱取对数得到对数频域刻度的对数压缩幅度谱Slog,该对数频域刻度的对数压缩幅度谱即目标音频数据的幅度谱数据,即通过对滤波处理后得到的数据进行对数运算,得到目标音频数据的幅度谱数据,从而可以基于神经网络对对数频域刻度的对数压缩幅度谱进行特征提取,得到和弦数据、调性数据、节奏数据以及拍号数据。其中,滤波处理可以包括加权求和计算。通过计算目标音频数据的幅度谱数据,相当于对目标音频数据进行预处理,可以降低噪音数据,进而提高后续曲谱数据提取的准确性。
S102,将目标音频数据划分为至少一个音频片段,基于目标音频数据的曲谱数据确定每个音频片段的子曲谱数据。
本申请实施例中,由于目标音频数据一般为一首曲子对应的音频数据,因此该目标音频数据的总时长可能较长,而目标音频数据中的每段音频数据对应的曲谱图不一定相同,因此计算机设备可以将目标音频数据划分为至少一个音频片段,针对每个音频片段进行处理,从而得到每个音频片段对应的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据。具体地,计算机设备将目标音频数据划分为至少一个音频片段之后,可以从目标音频数据的曲谱数据中分别确定每个音频片段的子曲谱数据,进而可以基于每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图。其中,每个音频片段的出现时间是指音频片段在目标音频数据中的出现时间,例如目标音频数据是指时长为4分钟的歌曲,第一个音频片段对应于该4分钟的第1秒~第4秒,第二个音频片段对应于该4分钟的第5秒~第8秒,则第一个音频片段的出现时间可以是指目标音频数据中的第1秒~第4秒,第二个音频片段的出现时间可以是指目标音频数据中的第5秒~第8秒。
在对目标音频数据进行划分时,计算机设备可以基于以下方式进行划分:
第一种方式,计算机设备可以通过对目标音频数据划分小节的方式得到至少一个音频片段。具体地,计算机设备可以基于目标音频数据的拍号数据确定目标音频数据的音频类型;基于目标音频数据的音频类型确定目标节拍数量;基于目标节拍数量和目标音频数据的节奏数据,将目标音频数据划分为至少一个小节。其中,每个小节作为一个音频片段。目标音频数据的音频类型用于指示目标音频数据为哪种拍号的音频类型。例如可以包括4/2拍、4/3拍、4/4拍、6/8拍,等等。目标节拍数量用于指示一个小节包括的节拍数量。
举例来说,例如目标音频数据的拍号数据为4/4拍,表示目标音频数据为4/4拍的音乐,则该种音频类型的目标音频数据中的一个小节包含4个节拍。进一步地,通过节奏数据可以确定目标音频数据中的第一类节拍(弱拍,beat)和第二类节拍(强拍,downbeat),并且可以从目标音频数据中确定第一类节拍的出现时间(该时间可以根据目标音频数据的时长确定,例如目标音频数据为时长为4分钟的歌曲,强拍的出现时间可以是第15秒,即在这首歌曲中的第15秒对应的节拍为强拍)和第二类节拍的出现时间。由于在4/4拍的音乐中,强拍的出现时间表示一个小节在目标音频数据中的起始时间,由于一般来说一个小节包括一个强拍和三个弱拍,因此结合强拍的出现时间可以确定出每个小节的起始时间,从而可以基于多个小节中相邻两个小节的起始时间对目标音频数据进行划分,得到多个小节,并且可以基于小节的起始时间对目标音频数据包含的多个小节进行排序,便于后续按照时间先后顺序绘制每个小节对应的曲谱图。例如,通过节奏数据确定目标音频数据中的第3秒为强拍、第7秒为与第3秒相邻的另一个强拍,则可以确定小节的时长为4秒,从而将该4秒划分为一个小节,按照该种方式可以实现将目标音频数据划分为多个小节。
第二种方式,计算机设备可以通过对目标音频数据划分音频帧的方式得到至少一个音频片段。具体地,计算机设备可以获取目标音频数据的音频时长;基于目标划分规则和音频时长将目标音频数据划分为至少一帧音频数据。其中,一帧音频数据作为一个音频片段。目标音频数据的音频时长可以是指播放该目标音频数据需要耗费的时长,例如目标音频数据的音频时长为4分钟,则播放该目标音频数据所需要耗费的时长为4分钟。目标划分规则可以包括但不限于等时长划分、歌词划分、歌词类型划分或者自定义划分。等时长划分可以是指基于目标音频数据的音频时长等长度划分为多个音频片段。例如目标音频数据的音频时长为4分钟,可以将目标音频数据划分为48个时长为5秒的音频片段。歌词划分可以是指按照一句或者一段歌词对应的时长划分。例如目标音频数据中的第一句歌词包括3秒,则划分得到第一个音频片段的时长为5秒,目标音频数据中的第二句歌词包括8秒,则划分得到第二个音频片段的时长为8秒,等等。歌词类型可以包括主歌、副歌,等等。自定义划分可以是指根据用户的选择指令划分,例如用户可以自定义按照多少秒划分目标音频数据。
通过将目标音频数据划分为至少一个音频片段,可以基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据。其中,以按照划分小节的方式划分目标音频数据为例,则每个音频片段的出现时间可以是指每个小节的起始时间。通过确定每个音频片段的出现时间,后续可以基于出现时间按顺序绘制每个音频片段对应的曲谱图。
在一种实现方式中,可以对幅度谱数据进行和弦特征提取,以得到目标音频数据的和弦数据,和弦数据是基于N个概率对应的音级确定的,N个概率是指目标音频数据属于M个音级的概率中大于目标概率的N个概率,M为大于N的正整数。可选地,神经网络中可以包括和弦特征提取网络,和弦特征提取网络用于对目标音频数据的幅度谱数据进行和弦特征提取,以得到目标音频数据的和弦数据,由于将目标音频数据划分为多个音频片段,则可以分别基于和弦特征提取网络提取每个音频片段的和弦数据,则可以基于目标音频数据的幅度谱数据确定每个音频片段的幅度谱数据,基于和弦特征提取网络对每个音频片段的幅度谱数据进行和弦特征提取,得到每个音频片段的和弦数据。下面针对基于神经网络提取任意一个音频片段的和弦数据的过程进行说明,如图5所示,图5是本申请实施例提供的一种和弦特征提取网络的结构示意图,通过将音频片段的幅度谱数据输入和弦特征提取网络,通过和弦特征提取网络中的隐藏层对输入特征(即音频片段的幅度谱数据)进行一步步的特征提取,可以基于和弦特征提取网络中的分类器输出高维的色谱图。其中,色谱图也叫做音级画像(pitch class profile),色谱图展示了在一系列音级上的能量分布,这一系列音级可以包括N个音级如12个音级(C、C#、D、D#、E、E#、F、G、G#、A、A#、B),其中,通过色谱图可以反映音频片段分别为12个音级的概率。
进一步地,通过计算目标音频数据属于M个音级的概率,可以基于M个音级的概率确定音频片段的和弦数据。如图6所示,图6是本申请实施例提供的一种音级的概率示意图,其中,横坐标表示音级,纵坐标表示音频片段属于该音级的概率。图6中示出了音频片段为12个音级(pitchclass)的概率,例如目标概率为0.6,从图6中可以看出12个音级的概率中大于目标概率的音级数量为3个包括F#、D、A,因此可以初步确定音频片段为D大三和弦:D(D,F#,A)。可选地,计算机设备也可以从M个音级的概率中获取概率最大的N个概率,基于N个概率对应的音级确定音频片段的和弦数据。通过输出12个pitchclass的概率,从中找概率最大的三个pitch解码和弦,可以实现确定音频片段对应的和弦,例如确定和弦为D大三和弦。可选地,还可以采用条件随机对整个和弦序列进行解码,从而确定和弦数据。
在使用和弦特征提取网络之前,可以预先对和弦特征提取网络进行训练,使得在后续的使用过程中,将音频片段的幅度谱数据输入和弦特征提取网络,可以基于和弦特征提取网络输出音频片段分别为12个音级的概率。具体实现中,计算机设备可以获取第一样本数据,第一样本数据为样本音频片段的幅度谱数据,将第一样本数据输入和弦特征提取网络,输出第一样本数据分别为12个音级的概率,从中选择大于目标概率的N个概率,得到样本和弦数据;获取第一样本数据的标记和弦数据,基于标记和弦数据和样本和弦数据训练和弦特征提取网络。其中,标记和弦数据是指预先获取到的第一样本数据的和弦,即在训练和弦特征提取网络之前,可以预先获取到第一样本数据的实际和弦数据,从而基于和弦特征提取网络的输出结果和样本实际结果训练和弦特征提取网络。训练和弦特征提取网络的目的在于使得和弦特征提取网络的输出结果和样本实际结果尽可能一致,当和弦特征提取网络的输出结果和样本实际结果一致时,则保存此时的和弦特征提取网络,便于后续使用。具体实现中,可以使用大量的第一样本数据对和弦特征提取网络进行训练,从而提高网络的准确率。
在一种实现方式中,可以对幅度谱数据进行调性特征提取,以得到目标音频数据的调性数据;其中,调性数据是基于目标音频数据属于K个大小调的概率确定的,K为正整数。可选地,神经网络中还可以包括调性特征提取网络,调性特征提取网络用于对目标音频数据的幅度谱数据进行调性特征提取,以得到目标音频数据的调性数据,由于一般来说一首歌曲中只有一个调性,因此目标音频数据包含的每个音频片段的调性特征相同,因此计算机设备可以直接将目标音频数据的幅度谱数据输入调性特征提取网络确定目标音频数据的调性数据,或者也可以直接输入任意一个音频片段的幅度谱数据至调性特征提取网络确定目标音频数据的调性数据。可选地,调性特征提取网络可以是指卷积神经网络(Convolutional Neural Networks,CNN),即可以通过卷积神经网络对音频片段的幅度谱数据进行调性特征提取,确定音频片段包含的调性为每个大小调的概率,从而确定目标音频数据的调性数据。下面针对基于神经网络提取任意一个音频片段的调性数据的过程进行说明,调性特征提取网络可以包括卷积层、池化层和分类器,通过将音频片段的幅度谱数据输入调性特征提取网络;通过调性特征提取网络中的卷积层对输入特征(即音频片段的幅度谱数据)进行特征提取,基于池化层对提取的特征进行降维处理,将最后一层的特征图进行整张图的均值池化,形成一个特征点,将这些特征点组成最后的特征向量,从而基于分类器对特征向量进行分类计算,得到网络输出结果,即音频片段属于K个大小调的概率。例如,网络输出可以为24个大小调的概率,计算机设备可以将概率最大的大小调作为音频片段的调性。如图7所示,图7是本申请实施例提供的一种大小调的概率示意图,图7中包括音频片段属于24个大小调的概率,横坐标为调性的标识,例如调性的ID或者调性的标号,一个标号对应一个大小调,纵坐标用于表示音频片段属于每个大小调的概率。可以看出,音频片段属于5的概率远大于其他概率,调性的ID为5可以对应D大调,因此将D大调确定为音频片段的调性,从而将D大调确定为目标音频数据的调性。
在使用调性特征提取网络之前,可以预先对调性特征提取网络进行训练,使得在后续的使用过程中,将音频片段的幅度谱数据输入调性特征提取网络,可以基于调性特征提取网络输出音频片段分别为24个大小调的概率。具体实现中,计算机设备可以获取第二样本数据,第二样本数据为样本音频片段的幅度谱数据,将第二样本数据输入调性特征提取网络,输出第二样本数据分别为24个大小调的概率,从中选择最大概率对应的大小调作为样本调性数据。进一步地,获取第二样本数据的标记调性数据,基于标记调性数据和样本调性数据训练调性特征提取网络。其中,标记调性数据是指预先获取到的第二样本数据的调性,即在训练调性特征提取网络之前,可以预先获取到第二样本数据的实际调性数据,从而基于调性特征提取网络的输出结果和样本实际结果训练调性特征提取网络。训练调性特征提取网络的目的在于使得调性特征提取网络的输出结果和样本实际结果尽可能一致,当调性特征提取网络的输出结果和样本实际结果一致时,则保存此时的调性特征提取网络,便于后续使用。具体实现中,可以使用大量的第二样本数据对调性特征提取网络进行训练,从而提高网络的准确率。第一样本数据和第二样本数据可以相同,也可以不相同,本申请实施例对此不作限定。
在一种实现方式中,可以对幅度谱数据进行节拍特征提取,以得到目标音频数据的节奏数据和该拍号数据;其中,节奏数据和拍号数据是基于目标音频数据属于第一类节拍的概率和第二类节拍的概率确定的。下面针对基于神经网络提取任意一个音频片段的节奏数据和拍号数据的过程进行说明,可选地,神经网络中还可以包括节拍特征提取网络,节拍特征提取网络用于对目标音频数据的幅度谱数据进行节拍特征提取,以得到目标音频数据的节奏数据和拍号数据,由于一般来说一首歌曲中包括一个拍号数据和节奏数据,即每个音频片段的节奏数据和目标音频数据的节奏数据相同,每个音频片段的拍号数据和目标音频数据的拍号数据相同,因此可以针对任意一个音频片段进行处理,确定该音频片段的拍号数据和节奏数据,从而得到目标音频数据的节奏数据和拍号数据。如图8所示,图8是本申请实施例提供的一种节拍特征提取网络的结构示意图,通过节拍特征提取网络中多个记忆网络依次对输入特征进行特征提取,可以使得提取到的特征具有前后相关性,因此在后续基于提取到的特征进行分类时,可以提高分类的准确性。其中,多个记忆网络可以是指BLSTM(双向长短时记忆网络),记忆网络可以包括第一记忆网络、第二记忆网络、第三记忆网络,等等。具体地,通过将音频片段的幅度谱数据输入节拍特征提取网络,通过节拍特征提取网络中的第一记忆网络提取音频片段的音频特征,通过第二记忆网络对第一记忆网络的输出结果进行压缩处理,降低特征的数量;进一步地,通过第三记忆网络进行进一步特征处理,避免特征遗漏,使得提取到的特征更完整。通过全连接层(fully connected layers,FC)对由第三记忆网络输出的特征进行分类,得到分类结果(如N*3),该分类结果为音频片段属于第一类节拍的概率、第二类节拍的概率和第三类节拍的概率,即通过节拍特征提取网络可以输出音频片段属于三种类型节拍的概率,从而确定音频片段的节奏和拍号,进而确定目标音频数据的节奏和拍号。其中,第一类节拍可以是指beat,第二类节拍可以是指downbeat,第三类节拍可以是指(无节拍,nonebeat)。
进一步地,如图9a所示,图9a为本申请实施例提供的一种节拍的概率示意图,其中,横坐标表示时序,纵坐标表示属于每类节拍的概率,图9a中901中的虚线表示第一类节拍(beat),实线表示第二类节拍(downbeat),第三类节拍(nonebeat)在图中未示出。可以看出,两个downbeat之间的间隔为4拍,因此确定该音频片段为4/4拍。图9a中902是指第一类节拍和第二类节拍的概率之和,横坐标表示时序,纵坐标表示概率,从图中可以确定400-1000帧包括10拍,每拍60帧,0.6秒,因此BPM等于100,即每分钟的节拍数为100拍,从而将BPM确定为该音频片段的节奏。可选地,计算机设备可以采用自相关计算音频数据的BPM。
在使用节拍特征提取网络之前,可以预先对节拍特征提取网络进行训练,使得在后续的使用过程中,将音频片段的幅度谱数据输入节拍特征提取网络,可以基于节拍特征提取网络输出音频片段分别为三类节拍的概率。具体实现中,计算机设备可以获取第三样本数据,第三样本数据为样本音频片段的幅度谱数据,将第三样本数据输入节拍特征提取网络,输出第三样本数据分别为第一类节拍、第二类节拍和第三类节拍的概率,基于第一类节拍、第二类节拍和第三类节拍的概率确定样本节拍数据。进一步地,获取第三样本数据的标记节拍数据,基于标记节拍数据和样本节拍数据训练节拍特征提取网络。其中,标记节拍数据是指预先获取到的第三样本数据的节奏和拍号,即在训练节拍特征提取网络之前,可以预先获取到第三样本数据的实际节奏和拍号,从而基于节拍特征提取网络的输出结果和样本实际结果训练节拍特征提取网络,使得节拍特征提取网络的输出结果和样本实际结果尽可能一致,当节拍特征提取网络的输出结果和样本实际结果一致时,则保存此时的节拍特征提取网络,便于后续使用。第二样本数据和第三样本数据可以相同,也可以不相同,本申请实施例对此不作限定。
由于将目标音频数据划分为多个音频片段,对于每个音频片段都可以参考上述处理方式,从而得到每个音频片段的子曲谱数据如每个音频片段的出现时间、节奏数据、调性数据、拍号数据以及和弦数据。
S103,基于每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图。
S104,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图。
本申请实施例中,由于计算机设备获取到每个音频片段的出现时间、节奏数据、调性数据、拍号数据以及和弦数据,因此可以基于每个音频片段的出现时间、节奏数据、调性数据、拍号数据以及和弦数据绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图。
一般来说,在展示目标音频数据的曲谱图时,遵循按照时间顺序展示的原则,即先展示时间顺序在前的音频片段对应的曲谱图,再展示时间顺序在后的音频片段对应的曲谱图,由于获取到每个音频片段的出现时间,即每个音频片段在目标音频数据中的出现时间,因此可以基于每个音频片段的出现时间的先后顺序依次绘制每个音频片段的曲谱图,由至少一个音频片段的曲谱图组合得到目标音频数据的曲谱图。
在绘制每个音频片段(如每个小节)对应的曲谱图的过程中,针对于任意一个小节来说,由于通过节奏数据可以确定小节包含的每个节拍(强拍或弱拍)的出现时间,通过绘制出六线谱,将六线谱中的每个位置和目标音频数据的时长相关联,例如确定目标音频数据中的第一秒音符对应六线谱中的哪个位置,第二秒音符对应六线谱中的哪个位置,从而可以将六线谱每个位置对应的时间与每个节拍的出现时间进行匹配,在相匹配的时间对应的六线谱的位置上绘制对应的节拍(如图2的曲谱图中六线谱上的“×”表示节拍)。进一步地,由于获取到每个小节的和弦,因此可以在每个小节对应的位置,例如小节上方绘制该小节的和弦(如图2的曲谱图中的“#G”表示和弦,小正方形中的小黑点表示弹奏哪根和弦),通过对每个小节的子曲谱数据进行绘制,可以实现绘制每个小节对应的曲谱图,从而由至少一个音频片段的曲谱图组合可以得到目标音频数据对应的曲谱图。进一步地,还可以将目标音频数据的拍号数据(如4/4)、调性数据(如Eb)和节奏数据(如BPM 88)展示在曲谱图中的目标位置如曲谱图首页位置,便于演奏者查看。
针对于没有歌词的目标音频数据,如纯音乐,由于目标音频数据中不包含歌词,因此可以基于上述方式绘制该目标音频数据的曲谱图。针对于有歌词的目标音频数据,计算机设备还可以获取目标音频数据中包含的歌词数据,将目标音频数据划分为至少一个音频片段,基于每个音频片段的出现时间、歌词数据、和弦数据、调性数据、节奏数据以及拍号数据,绘制每个音频片段对应的曲谱图,从而得到目标音频数据对应的曲谱图,曲谱图中包含歌词。由于目标音频数据中的每句歌词都对应于目标音频数据中的时间,例如目标音频数据的时长为4分钟,第一句歌词的第一个字对应于目标音频数据的第10秒,第一句歌词的第二个字对应于目标音频数据的第11秒,从而可以确定每句歌词中的每个字对应的时间,进而可以将歌词对应的时间与小节中每个节拍出现的时间进行匹配,从而可以确定在六线谱中的哪个位置绘制哪句歌词,进而实现绘制包含歌词数据的曲谱图。
在进行曲谱图绘制时,由于已经知道在六线谱中的哪些位置绘制和弦、哪些位置绘制调性、哪些位置绘制节拍、哪些位置绘制节奏,因此可以基于图像绘制工具对这些数据进行绘制,在前端展示界面中以图像的方式展示这些数据。具体地,可以使用图像绘制工具基于每个音频片段的子曲谱数据绘制每个音频片段对应的曲谱图,以得到目标音频数据对应的曲谱图。图像绘制工具可以用于将后端数据绘制成图像,并在计算机设备的前端显示界面中进行展示,通过在前端展示界面中展示图像,用户可以查看到绘制后的曲谱图,进而可以基于曲谱图进行演奏,等等。可选地,图像绘制工具例如可以包括但不限于SVG(Scalable Vector Graphics,可缩放的矢量图形)和canvas(一种绘图工具)。例如可以基于SVG通过线条(如六线谱)和圆点(用于指示左手应该弹奏的哪根弦)进行绘制得到曲谱图。具体实现中,通过将获取到的目标音频数据如音频信号解析成web(World Wide Web,全球广域网)的数据,web的数据例如可以包括目标音频数据的曲谱数据如调性数据、和弦数据、拍号数据、节奏数据、歌词数据,等等。在进行绘制时,由于确定每个音频片段的节奏数据,结合六线谱的位置可以确定节奏数据在画布上的位置,进一步地,由于确定每个音频片段的出现时间、调性数据和拍号数据,因此在渲染时能够准确知道目标音频数据中每个音符在画布上的位置,进而可以实现绘制音符,由于六线谱中的每根弦都不同,因此针对于每根弦绘制对应的音符,即某一根弦需要弹奏,则在此弦上绘制对应的音符。
在一个实施例中,由于在对目标音频数据进行解析时,是对整个目标音频数据解析,得到整个音频数据对应的和弦数据、调性数据、节奏数据以及拍号数据,从而绘制得到整个目标音频数据的曲谱图,即一次性解析出整个曲谱图。但是在目标界面中展示曲谱图时,由于目标界面的显示尺寸一般来说小于曲谱图的尺寸,而将整个曲谱图的尺寸调整为目标界面的显示尺寸会导致目标界面中展示的曲谱图尺寸较小,不便于查看,如图9b所示,图9b为本申请实施例提供的一种界面显示示意图,通过图9b中的903可以看出(图9b仅示出部分曲谱图),通过目标界面展示整个曲谱图的方式不便于查看,并且一次性显示整个曲谱图会导致页面滚动出现卡顿,因此可以对曲谱图进行处理后展示在目标界面上。例如,当绘制得到目标音频数据的曲谱图时,可以结合目标界面的显示尺寸显示曲谱图。具体地,计算机设备可以获取目标界面的显示尺寸,从目标音频数据的曲谱图中选择与显示尺寸匹配的曲谱图片段;在目标界面展示与显示尺寸匹配的曲谱图片段。其中,曲谱图片段可以是曲谱图中的部分片段或者整个曲谱图,若目标界面的显示尺寸与整个曲谱图的尺寸相匹配时,则曲谱图片段可以是指整个曲谱图。若目标界面的显示尺寸与整个曲谱图的尺寸不匹配时,例如目标界面的显示尺寸小于整个曲谱图的尺寸,则曲谱图片段为曲谱图中的部分片段。
举例来说,例如目标音频数据的曲谱图中与目标界面的显示尺寸匹配的曲谱图片段包括两个音频片段对应的和弦和节奏所组成的曲谱图片段,即目标界面一次性可以展示两个音频片段对应的和弦和节奏所组成的曲谱图片段,通过从目标音频数据的曲谱图中获取任意两个音频片段对应的和弦和节奏组成的曲谱图片段,从而在目标界面中展示该曲谱图片段。
如图9b中的904可以看出目标界面的显示尺寸可以是指虚线框中部分,曲谱图中与目标界面的显示尺寸匹配的曲谱数据包括任意两个音频片段组成的曲谱图片段,通过依次获取目标音频数据中的两个音频片段对应的和弦和节奏所组成的曲谱图片段进行展示,可以实现滚动展示目标音频数据的曲谱图。例如任意一个曲谱图片段中包括歌词“镜中的自己那”对应的音频片段的和弦和节奏,以及歌词“脸孔令我感到恐”对应的音频片段的和弦和节奏,歌词“镜中的自己那”对应的和弦包括“#G”部分(即图中小正方形部分)和节奏部分(即图中六线谱中的节奏部分、歌词部分),由这两个音频片段的和弦和节奏所组成的曲谱图片段如905所示,在目标界面中展示匹配的曲谱图片段(即两个音频片段的和弦和节奏组成的曲谱图片段)后的界面如906所示,由于一次性只需要在目标界面中展示曲谱图片段,即只需要一次性展示部分曲谱图,无需展示完整的曲谱图,因此可以减少页面滚动卡顿,提升用户体验。并且通过依次获取曲谱图中的每个与目标界面的显示尺寸匹配的曲谱图片段,可以实现对整个曲谱图的展示。本申请实施例中,通过前述步骤可以实现绘制目标音频数据对应的曲谱图,因此可以在目标界面中展示绘制的曲谱图。用户可以通过查看曲谱图,基于曲谱图进行吉他弹奏,从而提升用户体验。通过自动对目标音频数据进行解析生成曲谱图,可以提高曲谱图生成效率。可选地,曲谱图可以如图10a所示,图10a是本申请实施例提供的一种曲谱图的示意图,其中,曲谱图中可以包括和弦部分和节奏部分,用户可以基于曲谱图中的和弦部分确定左手指法,基于曲谱图中的节奏部分确定吉他右手指法,从而实现吉他弹奏。
可选地,在目标界面展示曲谱图,如在目标界面展示曲谱图中的曲谱图片段之后,当计算机设备检测到针对曲谱图的操作指令时,可以在目标音频数据的曲谱图中确定操作指令对应的曲谱图片段;将目标界面展示的与显示尺寸匹配的曲谱图片段切换为操作指令对应的曲谱图片段,即实现根据操作指令的不同进行目标界面中的曲谱图片段的切换,从而实现针对性展示曲谱图。可选地,当检测到针对曲谱图的全局展示指令(如预览指令)时,可以展示整个曲谱图,当检测到针对曲谱图的其他操作指令时,可以针对性展示曲谱图中的曲谱图片段。由于可以基于检测到的操作指令对曲谱图进行调整,例如针对性展示曲谱图或者对曲谱图中不准确的地方进行修改,无需通过手工修改曲谱图,因此可以提高曲谱图修改效率。
可选地,曲谱图的操作指令包括针对曲谱图的调至开头指令,当计算机设备检测到针对曲谱图的调至开头指令时,可以将曲谱图中的初始曲谱图片段确定为操作指令对应的曲谱图片段,即将目标界面展示的与显示尺寸匹配的曲谱图片段切换为初始曲谱图片段,从而实现在目标界面中展示初始曲谱图片段。其中,初始曲谱图片段为曲谱图中起始的预设时长的曲谱图片段,即曲谱图中从初始时刻开始的预设时长的曲谱图片段。例如初始曲谱图片段可以为曲谱图中从初始时刻(第一秒)开始的预设时长(5秒)的曲谱图片段,即初始曲谱图片段为曲谱图中的前5秒的曲谱图片段。针对曲谱图的调至开头指令可以包括针对目标界面中第一区域的选择指令如点击操作、手势操作、语音唤醒操作,等等。其中,第一区域的点击操作可以包括单击、双击、多击、长按,等等。手势操作可以基于目标界面中的任意区域的手势确定,例如手势可以包括手势绘制特定字母,例如绘制字母B,则当确定到针对目标界面的手势(即目标界面中的任意区域的手势)为“B”时,则确定检测到针对曲谱图的调至开头指令。可选地,计算机设备也可以预先设置其他字母,当获取到针对目标界面中的手势为预先设置的字母时,则确定检测到针对曲谱图的调至开头指令。语音唤醒可以是指当检测到第一预设语音时,确定检测到针对曲谱图的调至开头指令。例如第一预设语音可以包括“回到开头”、“回到起始”,等等。
可选地,如图10b所示,图10b是本申请实施例提供的一种针对曲谱图的调至开头指令的界面变化示意图,当获取到针对曲谱图的调至开头指令时,例如获取到针对目标界面中第一区域如“回到开头”对应的图标区域的选择指令时),将曲谱图中的初始曲谱图片段确定为操作指令对应的曲谱图片段,从而在当前显示界面(即目标界面)显示初始曲谱图片段。
可选地,目标界面的操作指令包括针对曲谱图的跳过前奏指令,当计算机设备检测到针对曲谱图的跳过前奏指令时,可以将目标音频数据中的初始歌词对应的曲谱图片段确定为操作指令对应的曲谱图片段,即将目标界面展示的与显示尺寸匹配的曲谱图片段切换为初始歌词对应的曲谱图片段,从而实现在目标界面展示目标音频数据中的初始歌词对应的曲谱图片段。其中,初始歌词为曲谱图中起始的长度范围内的歌词,即曲谱图中从初始时刻开始的长度范围内的歌词。例如曲谱图中从起始时刻开始的第一句歌词包括8个字,初始歌词可以是指8个字中的前t个字,t为小于或等于8的正整数。针对曲谱图的跳过前奏指令可以包括针对目标界面中第二区域的选择指令如点击操作、手势操作、语音唤醒操作,等等。手势操作可以基于目标界面中的任意区域的手势确定,例如当确定针对目标界面的手势为“S”时,则确定检测到针对曲谱图的跳过前奏指令。可选地,计算机设备也可以预先设置其他字母,当获取到针对目标界面的手势为预先设置的字母时,则确定检测到针对曲谱图的跳过前奏指令,第二区域的选择指令与第一区域的选择指令不同。语音唤醒可以是指当检测到第二预设语音时,确定检测到针对曲谱图的跳过前奏指令例如第二预设语音可以包括“跳过前奏”,等等。第二区域也可以是指目标界面中除第一区域以外的任意区域。
可选地,如图10c所示,图10c是本申请实施例提供的一种针对曲谱图的跳过前奏指令的界面变化示意图,当获取到针对曲谱图中跳过前奏指令时,例如获取到针对目标界面中第二区域如“跳过前奏”对应的图标区域的选择指令时,将目标音频数据中的初始歌词对应的曲谱图片段确定为操作指令对应的曲谱图片段,即将目标界面展示的与显示尺寸匹配的曲谱图片段切换初始歌词对应的曲谱图片段,从而实现在当前显示界面显示初始歌词对应的曲谱图片段。
可选地,目标界面的操作指令包括针对曲谱图的片段反复指令,当计算机设备检测到针对曲谱图的片段反复指令时,可以获取第一选择操作和第二选择操作,基于第一选择操作和第二选择操作确定目标曲谱图片段。其中,第一选择操作用于指示目标曲谱图片段的起始位置,第二选择操作用于指示目标曲谱图片段的结束位置;将目标曲谱图片段确定为操作指令对应的曲谱图片段,当检测到播放指令时,将目标界面展示的与显示尺寸匹配的曲谱图片段切换为目标曲谱图片段,并在目标界面重复展示目标曲谱图片段。其中,目标曲谱图片段可以包括曲谱图中的整个曲谱图或者部分曲谱图片段,若第一选择操作对应初始曲谱图片段,第二选择操作对应结束曲谱图片段,则目标曲谱图片段包括整个曲谱图。结束曲谱图片段为曲谱图中结束的预设时长的曲谱图片段,例如预设时长等于5,则结束曲谱图片段为曲谱图中的最后5秒的曲谱图片段。若第一选择操作不对应初始曲谱图片段,或者第二选择操作不对应结束曲谱图片段,则目标曲谱片段包括曲谱图中的部分曲谱图片段。通过选择目标曲谱图片段,可以实现重复展示目标曲谱图片段。例如,通过选择较复杂部分的曲谱图片段进行重复展示,用户可以反复练习目标片段,无需手动每次对当前播放的曲谱图片段进行调整,可以提高数据处理效率。
其中,针对曲谱图的片段反复指令也可以包括针对目标界面中第三区域的选择指令如点击操作、手势操作、语音唤醒操作,等等。手势操作可以基于目标界面中的任意区域的手势确定,例如当确定针对目标界面的手势为“F”时,则确定检测到针对曲谱图的片段反复指令。可选地,计算机设备也可以预先设置其他字母,当获取到针对目标界面的手势为预先设置的字母时,则确定检测到针对曲谱图的片段反复指令,第三区域的选择指令与第一区域和第二区域的选择指令均不同。语音唤醒可以是指当检测到第三预设语音时,确定检测到针对曲谱图的片段反复指令例如第三预设语音可以包括“AB反复”,等等。第三区域可以是指目标界面中不同于第一区域和第二区域的任意区域,本申请实施例对此不作限定。
可选地,当确定目标曲谱图片段之后,若计算机设备在目标时间内检测到针对目标曲谱图片段的播放指令,则在目标界面中重复展示目标曲谱图片段。若在目标时间段内未检测到针对目标曲谱图片段的播放指令,则取消针对目标曲谱图片段的选择指令。由于在目标时间段内未检测到针对目标曲谱图片段的播放指令,通过取消针对目标曲谱图片段的播放指令,无需手动取消针对目标曲谱图片段的播放指令,可以提升数据处理效率。
可选地,如图10d所示,图10d是本申请实施例提供的一种针对曲谱图的片段反复指令的界面变化示意图,当获取到针对曲谱图的片段反复指令时,例如获取到针对目标界面中第三区域如“AB反复”对应的图标区域的选择指令时,获取第一选择操作和第二选择操作,例如第一选择操作用于选择A片段(镜中的自己那),第二选择操作用于选择B片段(脸孔令我感到恐),从而将AB片段确定为目标曲谱图片段。当检测到播放指令时,可以实现在目标界面重复展示目标曲谱图片段,以及输出该目标曲谱图片段对应的音频。
可选地,操作指令包括针对曲谱图的背景音展示指令,当计算机设备检测到针对曲谱图的背景音展示指令时,可以在目标界面中展示包含多种背景音的背景音列表;当检测到针对背景音列表中的目标背景音的选择指令时,基于目标背景音输出目标音频数据,将目标背景音对应的曲谱图片段确定为操作指令对应的曲谱图片段,从而可以实现在目标界面中展示目标背景音对应的曲谱图片段。其中,目标背景音对应的曲谱图片段可以包括整个曲谱图中的任意曲谱片段,即计算机设备可以基于目标背景音依次输出整个目标音频数据,因此与目标背景音对应的曲谱图片段是指当前播放的音频数据关联的曲谱图片段,例如当前播放的音频数据为歌词“镜中的自己那”对应的音频数据,则当前目标背景音对应的曲谱图片段是指与歌词“镜中的自己那”对应的曲谱图片段。背景音可以包括原声、乐器声(如吉他声)、静音,等等。原声是指歌手演唱歌曲中的歌词的声音,乐器声可以是指除歌词以外的声音,例如吉他声或者其他乐器声,静音是指不播放歌曲中的任何声音。通过选择背景音列表的目标背景音,例如目标背景音为原声时,即在展示曲谱图片段的同时通过输出歌曲原声,可以便于用户找到歌曲中的调,由于一首歌曲中的多句歌词对应的旋律可能较相似,即弹奏的乐器发出的声音相似,因此通过播放乐器声可能不便于找到具体为歌曲中的哪个部分,因此通过选择原声,可以听出当前具体为歌曲中的哪个部分,便于用户找到歌词对应的调,当用户找到调之后,可以选择乐器声,从而可以确定自己弹奏的乐器声和播放的乐器声是否相同,从而便于更好地吉他弹奏,提升用户体验。针对曲谱图的背景音展示指令可以包括针对目标界面中第四区域的选择指令如点击操作、手势操作、语音唤醒操作,等等。手势操作可以基于目标界面中任意区域的手势确定,例如当确定针对目标界面的手势为“J”时,则确定检测到针对曲谱图的背景音展示指令。可选地,计算机设备也可以预先设置其他字母,当获取到针对目标界面的手势为预先设置的字母时,则确定检测到针对曲谱图的背景音展示指令,第四区域的选择指令与第一区域、第二区域、第三区域的选择指令均不同。语音唤醒可以是指当检测到第四预设语音时,确定检测到针对曲谱图的背景音展示指令,例如第四预设语音可以包括“选择背景音”,等等。第四区域可以是指目标界面中不同于第一区域、第二区域和第三区域的任意区域,本申请实施例对此不作限定。
可选地,如图10e所示,图10e是本申请实施例提供的一种针对曲谱图的背景音展示指令的界面变化示意图,当获取到针对曲谱图的背景音展示指令时,例如获取到针对目标界面中第四区域如“乐器声”对应的图标区域的选择指令时,在目标界面中的预设位置展示背景音列表,背景音列表可以包括原声、乐器声、静音,等等。当检测到针对背景音列表中的目标背景音(如原声)的选择指令时,将目标背景音对应的曲谱图片段确定为操作指令对应的曲谱图片段,从而可以实现在基于目标背景音输出目标音频数据时,在目标界面中展示与目标音频数据对应的曲谱图片段。
可选地,目标界面的操作指令还可以包括针对曲谱图的节拍器选择指令;当检测到针对曲谱图的节拍器选择指令时,在展示曲谱图时播放节拍音。通过节拍器播放节拍音,例如通过“哒哒”的声音提醒用户,可以培养用户的速度概念,使演奏更完整平稳,节奏更均匀,并且使用户的注意力集中,提高吉他学习效率。其中,针对曲谱图的节拍器选择指令可以包括针对目标界面中第五区域的选择指令如点击操作、手势操作、语音唤醒操作,等等。手势操作可以基于目标界面中任意区域的手势确定,例如当确定针对目标界面的手势为“P”时,则确定检测到针对曲谱图的节拍器选择指令。可选地,计算机设备也可以预先设置其他字母,当获取到针对目标界面的手势为预先设置的字母时,则确定检测到针对曲谱图的节拍器选择指令,第五区域的选择指令与第一区域、第二区域、第三区域、第四区域的选择指令均不同。语音唤醒可以是指当检测到第五预设语音时,确定检测到针对曲谱图的节拍器选择指令。例如第五预设语音可以包括“节拍器”,等等。第五区域可以是指目标界面中不同于第一区域、第二区域、第三区域和第四区域的任意区域,本申请实施例对此不作限定。
也就是说,当检测到针对曲谱图的不同指令时,或者针对目标界面中的同一区域,当检测到不同手势时,可以触发不同的选择指令,从而实现针对性展示曲谱数据。通过判断手势操作确定选择指令,可以丰富数据展示的多样性,提高数据展示的效率,从而提升用户体验。
可选地,曲谱图中包括调性数据,也就是说,目标界面中显示的曲谱图中可以包括调性数据。进一步地,操作指令包括针对曲谱图的调性修改指令;在目标界面中展示与目标界面的显示尺寸相匹配的曲谱片段之后,计算机设备可以检测针对曲谱图的调性修改指令,基于调性修改指令对曲谱图中的调性数据进行调整,例如将目标界面展示的与显示尺寸匹配的曲谱图片段中的调性数据调整为调性修改指令携带的目标调性数据。
可选地,如图10f所示,图10f是本申请实施例提供的一种调性修改对应的界面变化示意图,当获取到针对曲谱图的调性修改指令时,展示调式列表,调式列表中可以包括多个调式,用户可以从多个调式中选择目标调式,目标调式即目标调性数据,通过获取针对调式列表的选择指令,例如针对调式列表的选择指令包括目标调式,可以将目标界面展示的与显示尺寸匹配的曲谱图片段中的调性数据(如C调)调整为调性修改指令携带的目标调性数据(如D调)。例如,目标界面中展示的曲谱图片段中的原调式为C调,调性修改指令携带的目标调式为D调,则可以使用D调替换C调,即在曲谱图片段中展示目标调式如D调。
可选地,计算机设备在进行调性转换时,可以根据和弦转换关系表进行转换,和弦关系表中可以包括调性与和弦的对应关系,即第一调性对应哪些和弦,第二调性对应哪些和弦,等等。由于不同的调式对应的和弦不同,因此在进行调性转换时,例如目标音频数据原调性为C调,需要将其转换为D调时,将C调转换为D调,并且基于和弦关系表将原调性C调对应的和弦转换为D调对应的和弦,具体将原和弦转换为哪些类型的和弦可以通过查询和弦转换关系表,从而得到转换后的调性以及转换后的调性对应的和弦。举例来说,例如目标音频数据为C大调,在C调中C和弦的构成是C、E、G,将C大调转换为G调时,G调中C和弦的构成变成了C、F、A,因此转换后的调式为G调,G调对应的和弦包括C、F、A。
可选地,曲谱图中包括节奏数据,也就是说,目标界面中显示的曲谱图中可以包括节奏数据。进一步地,操作指令包括针对曲谱图的节奏修改指令;在目标界面中展示与目标界面的显示尺寸相匹配的曲谱片段之后,计算机设备可以检测针对曲谱图的节奏修改指令,基于节奏修改指令对曲谱图片段中的节奏数据进行调整,例如将目标界面展示的与显示尺寸匹配的曲谱图片段中的节奏数据调整为节奏修改指令携带的目标节奏数据。例如,用户可以对曲谱图中的节奏数据进行修改,使得歌曲的节奏加快或者减慢,如目标音频数据的原BPM为88,修改后的BPM为70,则表示目标音频数据为原本的每分钟88拍变为现在的每分钟70拍,在播放调整后的节奏数据时,实现减慢音频数据的节奏,便于用户根据自身学习情况进行弹奏,提升用户体验。
可选地,如图10g所示,图10g是本申请实施例提供的一种节奏修改对应的界面变化示意图,当获取到针对曲谱图的节奏修改指令时,展示节奏调整表,节奏调整表中可以包括当前BPM数值,常用BPM数值,等等。当获取到针对节奏调整表的节奏修改指令时,节奏修改指令中可以包括目标节奏数据,如70,则可以基于节奏修改指令调整曲谱图片段,从而实现将目标界面展示的与显示尺寸匹配的曲谱图片段中的节奏数据调整为节奏修改指令携带的目标节奏数据。具体地,例如修改原曲谱图中的BPM为88,当检测到针对曲谱图的节奏修改指令时(例如节奏修改指令可以基于用户操作触发,用户可以输入目标节奏数据),获取到修改指令中包括的目标节奏数据为70,则使用70替换原BPM,在曲谱图片段中展示修改之后的节奏数据即BPM为70。
可选的,请参见图11,图11是本申请实施例提供的另一种曲谱数据展示方法的流程示意图。该曲谱数据展示方法可以应用于计算机设备;如图11所示,该曲谱数据展示方法包括但不限于以下步骤:
S201,获取待识别的目标音频数据。
S202,对目标音频数据进行解析,得到目标音频数据对应的和弦数据、调性数据、节奏数据以及拍号数据。
S203,对目标音频数据划分小节。
S204,绘制每个小节音频数据对应的曲谱和歌词,以得到目标音频数据的曲谱和歌词。
由于将目标音频数据划分为多个小节,可以针对每个小节音频数据对应的曲谱和歌词,得到每个小节对应的曲谱图,目标音频数据包含的多个小节对应的曲谱图即为目标音频数据的曲谱图,通过绘制每个小节对应的曲谱图,由至少一个小节对应的曲谱图组合得到整个目标音频数据的曲谱图。
由于本申请的技术方案中,针对任意一首歌曲均可以通过扒谱得到歌曲对应的和弦数据、调性数据、节奏数据以及拍号数据,从而绘制歌曲对应的曲谱图,可以避免吉他初学者遇到一首歌曲想弹而找不到曲谱,或者找到曲谱却找不到对应能弹的曲调的窘境,本申请技术方案可以快速生成相应的吉他曲谱,可以有效满足吉他初学者找谱弹奏的需求,解决找谱难的痛点,提升用户体验。并且,相比于人工制作曲谱的繁琐和高成本,本申请技术方案可以快速为大量现存歌曲生成吉他曲谱,也可以为增量歌曲(例如新歌曲)快速生成吉他曲谱,能做到更加全面、快速和高效。进一步地,为了帮助吉他初学者更快速掌握吉他基础技能,掌握弹奏节奏、和弦转换速度、常用节奏型、吉他弹唱结合等关键能力,本申请技术方案针对弹奏的需要还可以提供包括曲谱转调、BPM选择、节拍器、常用节奏型选择、AB反复、跟随原唱等一系列能力。同时,针对曲谱的改编需求,也可以提供一定的编辑能力,可以提升用户体验。可选地,还可以增加调音、曲谱编辑的功能,进一步增加用户体验。可选地,本申请技术方案还可以通过该种方法生成尤克里里曲谱,从而便于用户弹唱。
本申请实施例中,当获取到目标音频数据的曲谱数据时,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据;将目标音频数据划分为至少一个音频片段,从而可以分别基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据;进而实现绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合目标音频数据的曲谱图。通过对目标音频数据进行解析得到目标音频数据的曲谱数据如和弦数据、调性数据、节奏数据以及拍号数据,从而可以基于解析得到的曲谱数据绘制曲谱图,无需人工绘制曲谱图,可以提高曲谱图绘制效率。通过在目标界面展示曲谱图,便于用户基于曲谱图进行演奏学习,提升用户体验。进一步地,由于可以基于操作指令对曲谱图进行针对性展示或者调整等操作,可以丰富曲谱图展示方式,进一步提升用户体验。
可选的,请参见图12,图12是本申请实施例提供的一种曲谱数据应用方法的流程示意图。该曲谱数据应用方法可以应用于计算机设备;如图12所示,该曲谱数据应用方法包括但不限于以下步骤:
S301,获取针对曲谱图的演奏数据。
本申请实施例中,计算机设备通过对目标音频数据进行解析绘制曲谱图,可以在目标界面中展示目标音频数据对应的曲谱图。进一步地,可以将该曲谱图绘制方法应用到对应的吉他演奏场景中,从而实现对任意音频数据进行解析得到音频数据对应的曲谱图,进而基于曲谱图进行吉他演奏,或者,吉他弹唱者也可以根据该曲谱图进行吉他弹唱学习。因此,计算机设备可以获取用户(吉他弹唱者)针对曲谱图的演奏数据,例如可以对用户的吉他弹唱声音进行录制得到音频数据,将该音频数据确定为演奏数据。或者,计算机设备还可以对用户的吉他弹唱对应的手指动作以及声音进行录制得到视频数据,将该视频数据确定为演奏数据。或者,计算机设备也可以从视频数据中分离出声音数据,作为吉他演奏数据。
S302,基于曲谱图的演奏数据进行评分,生成评分数据,向终端设备发送评分数据和演奏数据。
本申请实施例中,计算机设备可以基于曲谱图的演奏数据进行评分,生成评分数据,向终端设备发送评分数据和演奏数据。终端设备可以是指用户如吉他弹唱者使用的终端,计算机设备可以向终端设备发送曲谱图,以在终端设备的显示界面中显示曲谱图,便于用户进行吉他弹唱学习。
可选地,终端设备可以采用声音录制装置针对用户基于曲谱图进行吉他演奏的声音进行录制,得到包含吉他演奏的声音的演奏数据,向计算机设备发送演奏数据。进一步地,计算机设备可以计算演奏数据(即声音数据)与参考音频数据之间的相似度,基于相似度确定评分数据。例如,相似度大于或等于相似度阈值,则确定为第一分数;相似度小于相似度阈值,则确定为第二分数;第二分数低于第一分数。可选地,还可以设置更多的相似度值与分数之间的对应关系,从而确定更详细的分数。通过对用户进行吉他弹奏的声音进行录制得到演奏数据并对演奏数据进行评分,可以使得用户更清楚知道自己的吉他演奏情况,便于进行学习和反复练习。
可选地,终端设备可以采用视频录制装置对用户基于曲谱图进行吉他演奏的视频数据进行录制,得到包含吉他演奏的视频的演奏数据,该演奏数据包括用户进行吉他演奏的声音和用户的演奏动作对应的视频数据,演奏动作例如包括吉他弹唱时的手指动作,向计算机设备发送演奏数据。进一步地,计算机设备可以分别计算演奏数据中的声音数据与参考音频数据之间的第一相似度,以及计算演奏数据中的视频数据与参考视频数据之间的第二相似度,基于第一相似度和第二相似度确定评分数据。其中,第一相似度用于反映声音之间的相似度,第二相似度用于反映视频之间的相似度。在计算演奏数据中的视频数据与参考视频数据之间的第二相似度时,例如可以从视频数据中截取包含用户弹奏吉他时手指的动作图像,基于截取的动作图像和参考视频数据中的参考动作图像之间的相似度确定第二相似度。参考动作图像是指预先准备的用于评分的参考用户演奏吉他时手指的动作图像。通过对用户进行吉他弹奏的视频进行录制,用户可以查看到指法情况以及吉他弹奏的声音情况,可以更清楚地反映用户的吉他演奏情况,从而可以快速确定易错片段,便于进行针对性练习,提升用户体验。
S303,当接收到数据上传指令时,将曲谱图的演奏数据、评分数据发送至目标应用。
本申请实施例中,当计算机设备接收到数据上传指令时,将曲谱图的演奏数据、评分数据发送至目标应用。其中,数据上传指令用于将曲谱图的演奏数据、评分数据上传至目标应用,目标应用可以包括社交类应用、学习类应用或者教学类应用,等等。通过将曲谱图的演奏数据、评分数据发送至目标应用,其他用户可以进行查看,其他用户可以进行学习或者评价等,从而实现建立用户生成内容(User-Generated Content,UGC)生态。UGC生态可以是指由多个用户来一起贡献和创造内容,例如社交应用里面的绝大部分内容都可以由用户上传,从而实现用户之间的信息交互,便于提升用户体验。
本申请实施例中,通过绘制曲谱图并应用在如吉他演奏场景中,可以实现对用户的弹奏数据进行评分,通过将弹奏数据上传至目标应用,可以实现多个用户之间的信息交互,建立UGC生态,提升用户体验。
上面介绍了本申请实施例的方法,下面介绍本申请实施例的装置。
参见图13,图13是本申请实施例提供的一种曲谱数据展示装置的组成结构示意图,上述曲谱数据展示装置可以是运行于终端设备中的一个计算机程序(包括程序代码);该曲谱数据展示装置可以用于执行本申请实施例提供的曲谱数据展示方法中的相应步骤。例如,该曲谱数据展示装置130包括:
数据获取单元1301,用于获取目标音频数据的曲谱数据,该曲谱数据包括该目标音频数据的和弦数据、该目标音频数据的调性数据、该目标音频数据的节奏数据以及该目标音频数据的拍号数据;
片段划分单元1302,用于将该目标音频数据划分为至少一个音频片段,基于该目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,该子曲谱数据包括音频片段的出现时间、音频片段的节奏数据、音频片段的调性数据、音频片段的拍号数据以及音频片段的和弦数据;
片段绘制单元1303,用于基于该每个音频片段的子曲谱数据绘制该每个音频片段对应的曲谱图;
图像绘制单元1304,用于由该至少一个音频片段的曲谱图组合得到该目标音频数据的曲谱图。
可选地,该片段划分单元1302,具体用于:
基于该目标音频数据的拍号数据确定该目标音频数据的音频类型;
基于该目标音频数据的音频类型确定目标节拍数量;
基于该目标节拍数量和该目标音频数据的节奏数据,将该目标音频数据划分为至少一个小节,其中每个小节作为一个音频片段。
可选地,该至少一个音频片段包括至少一帧音频数据,一个音频片段对应一帧音频数据;该片段划分单元1302,具体用于:
获取该目标音频数据的音频时长;
基于目标划分规则和该音频时长将该目标音频数据划分为至少一帧音频数据,其中一帧音频数据作为一个音频片段。
可选地,该曲谱展示装置130还包括:图像展示单元1305,用于:
获取目标界面的显示尺寸,从该目标音频数据的曲谱图中选择与该显示尺寸匹配的曲谱图片段;
在该目标界面展示与该显示尺寸匹配的曲谱图片段。
可选地,曲谱展示装置130还包括:图像调整单元1306,用于:
当检测到针对曲谱图的操作指令时,在该目标音频数据的曲谱图中确定该操作指令对应的曲谱图片段;
将该目标界面展示的与该显示尺寸匹配的曲谱图片段切换为该操作指令对应的曲谱图片段。
可选地,该图像调整单元1306,具体用于:
当检测到针对曲谱图的调至开头指令时,将该曲谱图中的初始曲谱图片段确定为所述操作指令对应的曲谱图片段,初始曲谱图片段为曲谱图中起始的预设时长的曲谱图片段。
可选地,该图像调整单元1306,具体用于:
当检测到针对曲谱图的跳过前奏指令时,将目标音频数据中的初始歌词对应的曲谱图片段确定为该操作指令对应的曲谱图片段,初始歌词为曲谱图中起始的长度范围内的歌词。
可选地,该图像调整单元1306,具体用于:
当检测到针对曲谱图的片段反复指令时,获取第一选择操作和第二选择操作,基于该第一选择操作和该第二选择操作确定目标曲谱图片段,该第一选择操作用于指示该目标曲谱图片段的起始位置,该第二选择操作用于指示该目标曲谱图片段的结束位置;
将该目标曲谱图片段确定为该操作指令对应的曲谱图片段;
当检测到播放指令时,将该目标界面展示的与该显示尺寸匹配的曲谱图片段切换为该目标曲谱图片段,并在该目标界面重复展示该目标曲谱图片段。
可选地,该图像调整单元1306,具体用于:
当检测到针对曲谱图的背景音展示指令时,展示包含多种背景音的背景音列表;
当检测到针对背景音列表中的目标背景音的选择指令时,基于该目标背景音输出该目标音频数据,将该目标背景音对应的曲谱图片段确定为该操作指令对应的曲谱图片段。
可选地,该曲谱图中包括该调性数据和该节奏数据,该针对曲谱图的操作指令包括针对该曲谱图的调性修改指令和/或针对该曲谱图的节奏修改指令;
该曲谱数据展示装置130还包括图像修改单元1307,用于:
基于该调性修改指令对该曲谱图中的调性数据进行调整,将该目标界面展示的与该显示尺寸匹配的曲谱图片段中的调性数据调整为该调性修改指令携带的目标调性数据;
基于该节奏修改指令对该曲谱图中的节奏数据进行调整,将该目标界面展示的与该显示尺寸匹配的曲谱图片段中的节奏数据调整为该节奏修改指令携带的目标节奏数据。
可选地,该数据获取单元1301,具体用于:
计算该目标音频数据的幅度谱数据;
对该幅度谱数据进行和弦特征提取,以得到该目标音频数据的和弦数据,该和弦数据是基于N个概率对应的音级确定的,该N个概率是指该目标音频数据属于M个音级的概率中大于目标概率的N个概率,M为大于N的正整数;
对该幅度谱数据进行调性特征提取,以得到该目标音频数据的调性数据,该调性数据是基于该目标音频数据属于K个大小调的概率确定的,K为正整数;
对该幅度谱数据进行节拍特征提取,以得到该目标音频数据的节奏数据和该目标音频数据的拍号数据,该节奏数据和该拍号数据是基于该目标音频数据属于第一类节拍的概率和第二类节拍的概率确定的。
需要说明的是,图13对应的实施例中未提及的内容可参见方法实施例的描述,这里不再赘述。
本申请实施例中,当获取到目标音频数据的曲谱数据时,曲谱数据包括目标音频数据的和弦数据、调性数据、节奏数据以及拍号数据;将目标音频数据划分为至少一个音频片段,从而可以分别基于目标音频数据的曲谱数据和至少一个音频片段确定每个音频片段的子曲谱数据,子曲谱数据包括每个音频片段的出现时间、每个音频片段的节奏数据、每个音频片段的调性数据、每个音频片段的拍号数据以及每个音频片段的和弦数据;进而实现绘制每个音频片段对应的曲谱图,由至少一个音频片段的曲谱图组合目标音频数据的曲谱图。通过对目标音频数据进行解析得到目标音频数据的曲谱数据如和弦数据、调性数据、节奏数据以及拍号数据,从而可以基于解析得到的曲谱数据绘制曲谱图,无需人工绘制曲谱图,可以提高曲谱图绘制效率。通过在目标界面展示曲谱图,便于用户基于曲谱图进行演奏学习,提升用户体验。
参见图14,图14是本申请实施例提供的一种计算机设备的组成结构示意图。如图14所示,上述计算机设备140可以包括:处理器1401、存储器1402以及网络接口1403。处理器1401连接到存储器1402和网络接口1403,例如处理器1401可以通过总线连接到存储器1402和网络接口1403。其中,计算机设备可以是终端设备,也可以是服务器。
处理器1401被配置为支持曲谱数据展示装置执行上述的曲谱数据展示方法中相应的功能。该处理器1401可以是中央处理器(Central Processing Unit,CPU),网络处理器(Network Processor,NP),硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(Application-Specific Integrated Circuit,ASIC),可编程逻辑器件(ProgrammableLogic Device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(ComplexProgrammable Logic Device,CPLD),现场可编程逻辑门阵列(Field-Programmable GateArray,FPGA),通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。
存储器1402存储器用于存储程序代码等。存储器1402可以包括易失性存储器(Volatile Memory,VM),例如随机存取存储器(Random Access Memory,RAM);存储器1402也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如只读存储器(Read-OnlyMemory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);存储器1402还可以包括上述种类的存储器的组合。
网络接口1403用于提供网络通讯功能。
处理器1401可以调用该程序代码以执行以下操作:
获取目标音频数据的曲谱数据,该曲谱数据包括该目标音频数据的和弦数据、该目标音频数据的调性数据、该目标音频数据的节奏数据以及该目标音频数据的拍号数据;
将该目标音频数据划分为至少一个音频片段,基于该目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,该子曲谱数据包括音频片段的出现时间、音频片段的节奏数据、音频片段的调性数据、音频片段的拍号数据以及音频片段的和弦数据;
基于该每个音频片段的子曲谱数据绘制该每个音频片段对应的曲谱图;
由该至少一个音频片段的曲谱图组合得到该目标音频数据的曲谱图。
应当理解,本申请实施例中所描述的计算机设备140可执行前文图3、图11和图12所对应实施例中对上述方法的描述,也可执行前文图13所对应实施例中对上述曲谱数据展示装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被计算机执行时使该计算机执行如前述实施例的方法,该计算机可以为上述提到的计算机设备的一部分。例如为上述的处理器1401。作为示例,程序指令可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时可实现上述方法中的部分或全部步骤。可选地,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可从计算机可读存储介质读取该计算机指令,处理器可执行该计算机指令,使得该计算机设备执行上述各方法的实施例中所执行的步骤。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (13)
1.一种曲谱数据展示方法,其特征在于,包括:
获取目标音频数据的曲谱数据,所述曲谱数据包括所述目标音频数据的和弦数据、所述目标音频数据的调性数据、所述目标音频数据的节奏数据以及所述目标音频数据的拍号数据;
将所述目标音频数据划分为至少一个音频片段,基于所述目标音频数据的曲谱数据确定每个音频片段的子曲谱数据,所述子曲谱数据包括音频片段的出现时间、音频片段的节奏数据、音频片段的调性数据、音频片段的拍号数据以及音频片段的和弦数据;
基于所述每个音频片段的子曲谱数据绘制所述每个音频片段对应的曲谱图;
由所述至少一个音频片段的曲谱图组合得到所述目标音频数据的曲谱图。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标音频数据划分为至少一个音频片段,包括:
基于所述目标音频数据的拍号数据确定所述目标音频数据的音频类型;
基于所述目标音频数据的音频类型确定目标节拍数量;
基于所述目标节拍数量和所述目标音频数据的节奏数据,将所述目标音频数据划分为至少一个小节,其中每个小节作为一个音频片段。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标音频数据划分为至少一个音频片段,包括:
获取所述目标音频数据的音频时长;
基于目标划分规则和所述音频时长将所述目标音频数据划分为至少一帧音频数据,其中一帧音频数据作为一个音频片段。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取目标界面的显示尺寸,从所述目标音频数据的曲谱图中选择与所述显示尺寸匹配的曲谱图片段;
在所述目标界面展示与所述显示尺寸匹配的曲谱图片段。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当检测到针对曲谱图的操作指令时,在所述目标音频数据的曲谱图中确定所述操作指令对应的曲谱图片段;
将所述目标界面展示的与所述显示尺寸匹配的曲谱图片段切换为所述操作指令对应的曲谱图片段。
6.根据权利要求5所述的方法,其特征在于,所述当检测到针对曲谱图的操作指令时,在所述目标音频数据的曲谱图中确定所述操作指令对应的曲谱图片段,包括:
当检测到针对曲谱图的调至开头指令时,将所述曲谱图中的初始曲谱图片段确定为所述操作指令对应的曲谱图片段,所述初始曲谱图片段为所述曲谱图中起始的预设时长的曲谱图片段。
7.根据权利要求5所述的方法,其特征在于,所述当检测到针对曲谱图的操作指令时,在所述目标音频数据的曲谱图中确定所述操作指令对应的曲谱图片段,包括:
当检测到针对曲谱图的跳过前奏指令时,将所述目标音频数据中的初始歌词对应的曲谱图片段确定为所述操作指令对应的曲谱图片段,所述初始歌词为所述曲谱图中起始的长度范围内的歌词。
8.根据权利要求5所述的方法,其特征在于,所述当检测到针对曲谱图的操作指令时,在所述目标音频数据的曲谱图中确定所述操作指令对应的曲谱图片段,包括:
当检测到针对曲谱图的片段反复指令时,获取第一选择操作和第二选择操作,基于所述第一选择操作和所述第二选择操作确定目标曲谱图片段,所述第一选择操作用于指示所述目标曲谱图片段的起始位置,所述第二选择操作用于指示所述目标曲谱图片段的结束位置;
将所述目标曲谱图片段确定为所述操作指令对应的曲谱图片段;
所述将所述目标界面展示的与所述显示尺寸匹配的曲谱图片段切换为所述操作指令对应的曲谱图片段,包括:
当检测到播放指令时,将所述目标界面展示的与所述显示尺寸匹配的曲谱图片段切换为所述目标曲谱图片段,并在所述目标界面重复展示所述目标曲谱图片段。
9.根据权利要求5所述的方法,其特征在于,所述当检测到针对曲谱图的操作指令时,在所述目标音频数据的曲谱图中确定所述操作指令对应的曲谱图片段,包括:
当检测到针对曲谱图的背景音展示指令时,展示包含多种背景音的背景音列表;
当检测到针对所述背景音列表中的目标背景音的选择指令时,基于所述目标背景音输出所述目标音频数据,将所述目标背景音对应的曲谱图片段确定为所述操作指令对应的曲谱图片段。
10.根据权利要求5所述的方法,其特征在于,所述曲谱图中包括所述调性数据和所述节奏数据,所述针对曲谱图的操作指令包括针对所述曲谱图的调性修改指令和/或针对所述曲谱图的节奏修改指令;
所述方法还包括:
基于所述调性修改指令对所述曲谱图中的调性数据进行调整,将所述目标界面展示的与所述显示尺寸匹配的曲谱图片段中的调性数据调整为所述调性修改指令携带的目标调性数据;
基于所述节奏修改指令对所述曲谱图中的节奏数据进行调整,将所述目标界面展示的与所述显示尺寸匹配的曲谱图片段中的节奏数据调整为所述节奏修改指令携带的目标节奏数据。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述获取目标音频数据的曲谱数据,包括:
计算所述目标音频数据的幅度谱数据;
对所述幅度谱数据进行和弦特征提取,以得到所述目标音频数据的和弦数据,所述和弦数据是基于N个概率对应的音级确定的,所述N个概率是指所述目标音频数据属于M个音级的概率中大于目标概率的N个概率,M为大于N的正整数;
对所述幅度谱数据进行调性特征提取,以得到所述目标音频数据的调性数据,所述调性数据是基于所述目标音频数据属于K个大小调的概率确定的,K为正整数;
对所述幅度谱数据进行节拍特征提取,以得到所述目标音频数据的节奏数据和所述目标音频数据的拍号数据,所述节奏数据和所述拍号数据是基于所述目标音频数据属于第一类节拍的概率和第二类节拍的概率确定的。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-11任一项所述的方法。
13.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以使得所述计算机设备执行权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210914920.9A CN115329124A (zh) | 2022-07-29 | 2022-07-29 | 曲谱数据展示方法、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210914920.9A CN115329124A (zh) | 2022-07-29 | 2022-07-29 | 曲谱数据展示方法、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115329124A true CN115329124A (zh) | 2022-11-11 |
Family
ID=83919716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210914920.9A Pending CN115329124A (zh) | 2022-07-29 | 2022-07-29 | 曲谱数据展示方法、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115329124A (zh) |
-
2022
- 2022-07-29 CN CN202210914920.9A patent/CN115329124A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105810190B (zh) | 音乐内容和实时音乐伴奏的自动转录 | |
CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
Kim et al. | Neural music synthesis for flexible timbre control | |
US20070289432A1 (en) | Creating music via concatenative synthesis | |
Mion et al. | Score-independent audio features for description of music expression | |
Lee et al. | Multipitch estimation of piano music by exemplar-based sparse representation | |
Oudre et al. | Chord recognition by fitting rescaled chroma vectors to chord templates | |
US20140128160A1 (en) | Method and system for generating a sound effect in a piece of game software | |
Su et al. | Sparse modeling of magnitude and phase-derived spectra for playing technique classification | |
CN113763913B (zh) | 一种曲谱生成方法、电子设备及可读存储介质 | |
Lemaitre et al. | Vocal imitations of basic auditory features | |
CN112309409A (zh) | 音频修正方法及相关装置 | |
Paulus | Signal processing methods for drum transcription and music structure analysis | |
CN111639226A (zh) | 一种歌词显示方法、装置及设备 | |
CN113781989B (zh) | 一种音频的动画播放、节奏卡点识别方法及相关装置 | |
Lerch | Software-based extraction of objective parameters from music performances | |
CN112669811B (zh) | 一种歌曲处理方法、装置、电子设备及可读存储介质 | |
CN111354325A (zh) | 自动词曲创作系统及其方法 | |
Jeong et al. | Note-intensity estimation of piano recordings using coarsely aligned midi score | |
Tavares et al. | Survey on automatic transcription of music | |
US20220044662A1 (en) | Audio Information Playback Method, Audio Information Playback Device, Audio Information Generation Method and Audio Information Generation Device | |
CN115329124A (zh) | 曲谱数据展示方法、设备及可读存储介质 | |
CN115273806A (zh) | 歌曲合成模型的训练方法和装置、歌曲合成方法和装置 | |
Jaime et al. | A new multiformat rhythm game for music tutoring | |
JP2000293188A (ja) | 和音リアルタイム認識方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |