CN109686376A - 一种歌曲演唱评价方法及系统 - Google Patents

一种歌曲演唱评价方法及系统 Download PDF

Info

Publication number
CN109686376A
CN109686376A CN201910015887.4A CN201910015887A CN109686376A CN 109686376 A CN109686376 A CN 109686376A CN 201910015887 A CN201910015887 A CN 201910015887A CN 109686376 A CN109686376 A CN 109686376A
Authority
CN
China
Prior art keywords
audio
frequency fingerprint
time point
song
singer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910015887.4A
Other languages
English (en)
Other versions
CN109686376B (zh
Inventor
马哲
高超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING THUNDERSTONE TECHNOLOGY Ltd
Original Assignee
BEIJING THUNDERSTONE TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING THUNDERSTONE TECHNOLOGY Ltd filed Critical BEIJING THUNDERSTONE TECHNOLOGY Ltd
Priority to CN201910015887.4A priority Critical patent/CN109686376B/zh
Publication of CN109686376A publication Critical patent/CN109686376A/zh
Application granted granted Critical
Publication of CN109686376B publication Critical patent/CN109686376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/81Detection of presence or absence of voice signals for discriminating voice from music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开一种歌曲演唱评价方法及系统,其中,该方法包括:S1.比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;S2.将所述第一差异区域的起点标记为第一时间点;S3.比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;S4.将所述第二差异区域的起点标记为第二时间点;S5.比较所述第一时间点与所述第二时间点,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。通过上述方法,可以判断出演唱者是否有抢拍或者漏拍的情况,对演唱者的评分会更加的客观准确。

Description

一种歌曲演唱评价方法及系统
技术领域
本发明涉及音频数据处理领域,尤其涉及一种歌曲演唱评价方法及系统。
背景技术
演唱打分是一种实时对用户的个人演唱进行即时反馈的技术,可以对演唱者的演唱准确度进行评估,利用演唱打分系统提供演唱打分功能,可以给用户带来很好的体验,具有很高的娱乐性。
由于声音具有相当的不稳定性,难以直接用单一声学模型进行精确评估,较为常见的K歌打分方法如下:1.从时域波形出发,对演唱者的音频信号和机器自带的原唱信号进行采样,然后比较各个采样点的大小,如果比较一致则得分高,否则得分低;2.从能量的角度出发,对演唱者的音频信号和伴奏音乐分别用A/D进行数字化,然后对两种数字信号的规格化能量进行比较和差异测量,最后根据两者差异情况给分;3.从频域分析的角度出发,首先将机器自带原唱信号与伴奏乐声进行小波变换,再将演唱者的音频信号与伴奏音乐进行小波变换。比较两次得到的频谱信号的分布情况,越是一致则得分越高。
节拍的掌握是歌曲演唱中非常重要的一个技巧,抢拍或漏拍的现象对歌曲演唱效果具有较大的影响,现有技术中,对歌曲演唱水平的评价是需要对原唱歌曲和演唱歌曲的整体进行比对评价,不能清楚的评价演唱者是否存在抢拍或漏拍的情况。对于有歌词文件的歌曲,可以通过歌词文件中标注的时间点来确定演唱者需要演唱的片段,从而确定演唱者是否存在抢拍或漏拍的现象;而对于没有歌词文件的歌曲,需要先确定演唱者需要演唱的片段,才能确定演唱者是否存在抢拍或漏拍的现象,现有技术是无法对演唱者演唱无歌词文件的歌曲时是否存在抢拍或漏拍的情况进行评价。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种歌曲演唱评价方法及系统,可以清楚准确的评价演唱者演唱歌曲时,是否存在抢拍或漏拍的现象。
为达到以上目的,一方面,本发明实施例提供了一种歌曲演唱评价方法,包括如下步骤:
S1.比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
S2.将所述第一差异区域的起点标记为第一时间点;
S3.比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
S4.将所述第二差异区域的起点标记为第二时间点;
S5.比较所述第一时间点与所述第二时间点,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
更进一步的,所述步骤S1中,包括:
S11.按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述原唱歌曲的所述第一音频指纹;
S12.按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
S13.比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
更进一步的,所述步骤S3中,包括:
S31.按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
S33.比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
更进一步的,所述步骤S31之前,包括:
S301.用收音设备对演唱者进行收音;
S302.将所述收音设备收取到的声音与所述伴奏音乐进行合成,得到所述演唱歌曲。
更进一步的,在所述步骤S5之后,包括:
S6.比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据所述第一音频指纹和所述第二音频指纹的相似度进行打分。
另一方面,本发明实施例提供了一种歌曲演唱评价系统,包括:
第一音频指纹比较模块,用于比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
第一记录模块,用于记录所述第一差异区域的起始的时间点,并将其标记为第一时间点;
第二音频指纹比较模块,用于比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
第二记录模块,用于记录所述第二差异区域的起始的时间点,并将其标记为第二时间点;
时间点比较模块,用以比较所述第一时间点和所述第二时间点的大小,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
更进一步的,所述第一音频指纹比较模块还包括:
第一音频指纹提取子模块,用于按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述演唱歌曲的所述第一音频指纹;
第二音频指纹提取子模块,用于按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
第一比较子模块,用于比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
更进一步的,所述第二音频指纹比较模块还包括:
第三音频指纹提取子模块,用于按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
第二比较子模块,用于比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
更进一步的,其特征在于,还包括:
收音模块,利用收音设备,对演唱者进行收音;
合成模块,用于将从所述收音模块得到的声音与伴奏音乐进行合成,得到所述演唱歌曲。
更进一步的,其特征在于,还包括:
打分模块,用于根据所述时间点比较模块得到的结果进行打分,以及比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据相似度进行打分。
本技术方案中,通过比较无歌词文件的原唱歌曲与伴奏音乐的音频指纹的差异区域,可以得到原唱歌曲中具有歌词的部分;通过比较演唱者演唱歌曲与伴奏音乐的音频指纹的差异区域,可以得到演唱歌曲中演唱者开始演唱的部分;比较两部分的起始时间点就可以清楚的判断出演唱者是否有抢拍或者漏拍的情况,对演唱者的评分会更加的客观准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一种歌曲演唱评价方法的流程图;
图2是本发明实施例步骤S1的流程图;
图3是本发明实施例步骤S3的流程图;
图4是本发明实施例步骤S31前的步骤的流程图;
图5是本发明实施例步骤S5与S6的流程图;
图6是本发明实施例一种歌曲演唱评价系统的结构框图;
图7是本发明实施例第一音频指纹比较模块的结构框图;
图8是本发明实施例第二音频指纹比较模块的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1所示,为本发明实施例一种歌曲演唱评价方法的流程图,包括如下步骤:
S1.比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
音频指纹技术是指通过特定的算法将一段音频中独一无二的数字特征以标识符的形式提取出来,用于识别海量的声音样本或跟踪定位样本在数据库中的位置。音频指纹技术通过提取声音中的数据特征将需要被识别的内容与建立的音频指纹数据库进行比对完成的,识别过程不受音频本身的储存格式,编码方式,码率和压缩技术影响。一首歌曲是由歌词和曲谱(即伴奏)组成的,由于歌词的存在,原唱歌曲的音频指纹会与伴奏音乐的音频指纹存在差异。在有歌词文件的歌曲中,可以通过歌词文件中标注的时间点来确定演唱者需要演唱的片段,而对于没有歌词文件的歌曲,需要确定演唱者需要演唱的片段。
本实施例将原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹进行比对,出现差异之处表示此处有歌词,需要演唱者进行演唱。所以,本实施例从所述第一音频指纹和所述第二音频指纹开始出现差别的时间点开始记录,从开始记录的时间点到结束记录的时间点之间称为第一差异区域。在一首有歌词的歌曲中,存在至少一个第一差异区域。
S2.将所述第一差异区域的起点标记为第一时间点;
在一首有歌词的歌曲中,存在至少一个第一差异区域,每一个第一差异区域均对应一个第一时间点。
S3.比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
本实施例将演唱歌曲的第三音频指纹和伴奏音乐的第二音频指纹进行比对,出现差异之处表示此处有演唱者进行演唱。所以,本实施例从所述第三音频指纹和所述第二音频指纹开始出现差别的时间点开始记录,从开始记录的时间点到结束记录的时间点之间称为第二差异区域。在一首演唱者进行了演唱的歌曲中,存在至少一个第二差异区域。
S4.将所述第二差异区域的起点标记为第二时间点;
在一首演唱者进行了演唱的歌曲中,存在至少一个第二差异区域,每一个第二差异区域均对应一个第二时间点。
S5.比较所述第一时间点与所述第二时间点,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
由于可能存在多个第一时间点和第二时间点,所以存在多种比对方式,在其中一种实施方式中,每个所述第一时间点均与每个所述第二时间点进行比较,若该第一时间点有对应的第二时间点,则表示演唱者在该部分的演唱时,并无抢拍或漏拍的现象,当演唱者存在抢拍或漏拍的现象时,减少演唱者演唱得分。在另一种实施方式中,当第一时间点的个数与第二时间点的个数相同时,可以将第一时间点和第二时间点一一进行比对,当第一时间点等于第二时间点时,表示演唱者在该部分的演唱时,并无抢拍或漏拍的现象,当演唱者存在抢拍或漏拍的现象时,减少演唱者演唱得分。
在本实施例中,步骤S1还包括如图2所示的下述步骤:
S11.按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述原唱歌曲的所述第一音频指纹;
在本实施例中,将所述原唱歌曲按照设定的时间间隔进行分割,得到多个第一音频片段,将每个第一音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第一音频片段模长的数组,即为每个第一音频片段的特征值,将每个第一音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第一音频片段的多元组作为元素组成多元组数组,即为所述原唱歌曲的所述第一音频指纹。
在本实施例中,将每个第一音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第一音频片段的四元组作为元素组成四元组数组,即为所述原唱歌曲的所述第一音频指纹。
S12.按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
在本实施例中,将所述伴奏音乐按照设定的时间间隔进行分割,得到多个第二音频片段,将每个第二音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第二音频片段模长的数组,即为每个第二音频片段的特征值,将每个第二音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第二音频片段的多元组作为元素组成多元组数组,即为所述伴奏音乐的所述第二音频指纹。
在本实施例中,将每个第二音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第二音频片段的四元组作为元素组成四元组数组,即为所述伴奏音乐的所述第二音频指纹。
S13.比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
在本实施例中,步骤S3还包括如图3所示的下述步骤:
S31.按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
在本实施例中,将所述演唱歌曲按照设定的时间间隔进行分割,得到多个第三音频片段,将每个第三音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第三音频片段模长的数组,即为每个第三音频片段的特征值,将每个第三音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第三音频片段的多元组作为元素组成多元组数组,即为所述演唱歌曲的所述第三音频指纹。
在本实施例中,将每个第三音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第三音频片段的四元组作为元素组成四元组数组,即为所述演唱歌曲的所述第三音频指纹。
S32.比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
在本实施例中,步骤S31还包括如图4所示的下述步骤:
S301.用收音设备对演唱者进行收音;
所述收音设备可以指麦克风、话筒、录音器等设备,也可以指包含上述麦克风、话筒、录音器等设备的其他电子设备,如手机、录音笔、具有话筒的耳机等。
S302.将所述收音设备收取到的声音与所述伴奏音乐进行合成,得到所述演唱歌曲。
在本实施例中,步骤S5之后还包括如图5所示下述步骤:
S6.比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据所述第一音频指纹和所述第二音频指纹的相似度进行打分。
对演唱者演唱进行评价的分数至少包括演唱者抢拍漏拍分数和演唱者演唱相似度分数。对演唱者演唱相似度进行判断,可以采用优先级队列的算法进行分析。
在本实施例中,通过比较无歌词文件的原唱歌曲与伴奏音乐的音频指纹的差异,可以得到原唱歌曲中具有歌词的部分。通过比较演唱者演唱歌曲与伴奏音乐的音频指纹的差异,可以得到演唱歌曲中演唱者开始演唱的部分。比较两个差异区域的起始时间点就可以清楚的判断出演唱者是否有抢拍或者漏拍的情况,对演唱者的评分会更加的客观准确。
实施例2:
如图6所示,本发明实施例一种歌曲演唱评价系统的结构框图,包括:
第一音频指纹比较模块711,用于比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
音频指纹技术是指通过特定的算法将一段音频中独一无二的数字特征以标识符的形式提取出来,用于识别海量的声音样本或跟踪定位样本在数据库中的位置。音频指纹技术通过提取声音中的数据特征将需要被识别的内容与建立的音频指纹数据库进行比对完成的,识别过程不受音频本身的储存格式,编码方式,码率和压缩技术影响。一首歌曲是由歌词和曲谱(即伴奏)组成的,由于歌词的存在,原唱歌曲的音频指纹会与伴奏音乐的音频指纹存在差异。在有歌词文件的歌曲中,可以通过歌词文件中标注的时间点来确定演唱者需要演唱的片段,而对于没有歌词文件的歌曲,需要确定演唱者需要演唱的片段。
本实施例中第一音频指纹比较模块711,用于比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,从所述第一音频指纹和所述第二音频指纹开始出现差别的时间点开始记录,从开始记录的时间点到结束记录的时间点之间称为第一差异区域。在一首有歌词的歌曲中,存在至少一个第一差异区域。
第一记录模块712,用于记录所述第一差异区域的起始的时间点,并将其标记为第一时间点;
在一首有歌词的歌曲中,存在至少一个第一差异区域,所以每一个第一差异区域均对应一个第一时间点。
第二音频指纹比较模块721,用于比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
在本实施例中,第二音频指纹比较模块721,用于比较演唱歌曲的第三音频指纹和伴奏音乐的第二音频指纹,从所述第三音频指纹和所述第二音频指纹开始出现差别的时间点开始记录,从开始记录的时间点到结束记录的时间点之间称为第二差异区域。在一首演唱者进行了演唱的歌曲中,存在至少一个第二差异区域。
第二记录模块722,用于记录所述第二差异区域的起始的时间点,并将其标记为第二时间点;
在一首演唱者进行了演唱的歌曲中,存在至少一个第二差异区域,所以每一个第二差异区域均对应一个第二时间点。
时间点比较模块73,用以比较所述第一时间点和所述第二时间点的大小,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
由于可能存在多个第一时间点和第二时间点,所以存在多种比对方式,在其中一种实施方式中,每个所述第一时间点均与每个所述第二时间点进行比较,若该第一时间点有对应的第二时间点,则表示演唱者在该部分的演唱时,并无抢拍或漏拍的现象。在另一种实施方式中,当第一时间点的个数与第二时间点的个数相同时,可以将第一时间点和第二时间点一一进行比对,当第一时间点等于第二时间点时,表示演唱者在该部分的演唱时,并无抢拍或漏拍的现象。当演唱者存在抢拍或漏拍的现象时,减少演唱者演唱得分。
在本实施例中,还包括:
收音模块74,利用收音设备,对演唱者进行收音;
所述收音模块74可以指麦克风、话筒、录音器等收音设备,也可以指包含上述麦克风、话筒、录音器等设备的其他电子设备,如手机、录音笔、具有话筒的耳机等。
合成模块75,用于将从所述收音模块74得到的声音与伴奏音乐进行合成,得到演唱歌曲。
打分模块76,用于根据所述时间点比较模块得到的结果进行打分,以及比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据相似度进行打分。
对演唱者演唱进行评价的分数至少包括演唱者抢拍漏拍分数和演唱者演唱相似度分数。对演唱者演唱相似度进行判断,可以采用优先级队列的算法进行分析。
在本实施例中,第一音频指纹比较模块711包括如图7所示的下述模块:
第一音频指纹提取子模块7111,用于按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述演唱歌曲的所述第一音频指纹;
在本实施例中,将所述原唱歌曲按照设定的时间间隔进行分割,得到多个第一音频片段,将每个第一音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第一音频片段模长的数组,即为每个第一音频片段的特征值,将每个第一音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第一音频片段的多元组作为元素组成多元组数组,即为所述原唱歌曲的所述第一音频指纹。
在本实施例中,将每个第一音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第一音频片段的四元组作为元素组成四元组数组,即为所述原唱歌曲的所述第一音频指纹。
第二音频指纹提取子模块7112,用于按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
在本实施例中,将所述伴奏音乐按照设定的时间间隔进行分割,得到多个第二音频片段,将每个第二音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第二音频片段模长的数组,即为每个第二音频片段的特征值,将每个第二音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第二音频片段的多元组作为元素组成多元组数组,即为所述伴奏音乐的所述第二音频指纹。
在本实施例中,将每个第二音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第二音频片段的四元组作为元素组成四元组数组,即为所述伴奏音乐的所述第二音频指纹。
第一比较子模块7113,用于比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
在本实施例中,第二音频指纹比较模块721包括如图8所示的下述模块:
第三音频指纹提取子模块7211,用于按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
在本实施例中,将所述演唱歌曲按照设定的时间间隔进行分割,得到多个第三音频片段,将每个第三音频片段通过傅里叶变换把时域信号变换成频域信号,并对其取模,可以得到每个第三音频片段模长的数组,即为每个第三音频片段的特征值,将每个第三音频片段模长的数组分割成多个区间,选取各区间中模长最大的元素的下标组成多元组,将每个第三音频片段的多元组作为元素组成多元组数组,即为所述演唱歌曲的所述第三音频指纹。
在本实施例中,将每个第三音频片段模长的数组分割为四个区间,即下标值为(0,40]、(40,80]、(80,120]、(120,180]四个区间,选取各区间中模长最大的元素的下标组成四元组,将每个第三音频片段的四元组作为元素组成四元组数组,即为所述演唱歌曲的所述第三音频指纹。
第二比较子模块7212,用于比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
在本实施例中,通过所述第一音频指纹比较模块711,比较无歌词文件的原唱歌曲与伴奏音乐的音频指纹的差异,可以得到原唱歌曲中具有歌词的部分。通过所述第二音频指纹比较模块721,比较演唱者演唱歌曲与伴奏音乐的音频指纹的差异,可以得到演唱歌曲中演唱者开始演唱的部分。利用时间点比较模块73,比较两个差异区域的起始时间点就可以清楚的判断出演唱者是否有抢拍或者漏拍的情况,对演唱者的评分会更加的客观准确。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种歌曲演唱评价方法,其特征在于,包括如下步骤:
S1.比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
S2.将所述第一差异区域的起点标记为第一时间点;
S3.比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
S4.将所述第二差异区域的起点标记为第二时间点;
S5.比较所述第一时间点与所述第二时间点,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
2.如权利要求1所述的一种歌曲演唱评价方法,其特征在于,所述步骤S1中,包括:
S11.按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述原唱歌曲的所述第一音频指纹;
S12.按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
S13.比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
3.如权利要求1所述的一种歌曲演唱评价方法,其特征在于,所述步骤S3中,包括:
S31.按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
S32.比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
4.如权利要求3所述的一种歌曲演唱评价方法,其特征在于,所述步骤S31之前,包括:
S301.用收音设备对演唱者进行收音;
S302.将所述收音设备收取到的声音与所述伴奏音乐进行合成,得到所述演唱歌曲。
5.如权利要求1所述的一种歌曲演唱评价方法,其特征在于,在所述步骤S5之后,包括:
S6.比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据所述第一音频指纹和所述第二音频指纹的相似度进行打分。
6.一种歌曲演唱评价系统,其特征在于,包括:
第一音频指纹比较模块,用于比较原唱歌曲的第一音频指纹和伴奏音乐的第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域;
第一记录模块,用于记录所述第一差异区域的起始的时间点,并将其标记为第一时间点;
第二音频指纹比较模块,用于比较演唱歌曲的第三音频指纹和所述伴奏音乐的第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域;
第二记录模块,用于记录所述第二差异区域的起始的时间点,并将其标记为第二时间点;
时间点比较模块,用以比较所述第一时间点和所述第二时间点的大小,若所述第一时间点不等于所述第二时间点,则减少演唱者演唱得分。
7.如权利要求6所述的一种歌曲演唱评价系统,其特征在于,所述第一音频指纹比较模块还包括:
第一音频指纹提取子模块,用于按照设定的时间间隔对所述原唱歌曲进行分割,得到多个第一音频片段,并提取每个所述第一音频片段的音频指纹,组成所述演唱歌曲的所述第一音频指纹;
第二音频指纹提取子模块,用于按照设定的时间间隔对所述伴奏音乐进行分割,得到多个第二音频片段,并提取每个所述第二音频片段的音频指纹,组成所述伴奏音乐的所述第二音频指纹;
第一比较子模块,用于比较所述原唱歌曲的所述第一音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第一音频指纹和所述第二音频指纹有区别的时间范围标记为第一差异区域。
8.如权利要求6所述的一种歌曲演唱评价系统,其特征在于,所述第二音频指纹比较模块还包括:
第三音频指纹提取子模块,用于按照设定的时间间隔对所述演唱歌曲进行分割,得到多个第三音频片段,并提取每个所述第三音频片段的音频指纹,组成所述演唱歌曲的所述第三音频指纹;
第二比较子模块,用于比较所述演唱歌曲的所述第三音频指纹和所述伴奏音乐的所述第二音频指纹,将所述第三音频指纹和所述第二音频指纹有区别的时间范围标记为第二差异区域。
9.如权利要求8所述的一种歌曲演唱评价系统,其特征在于,还包括:
收音模块,利用收音设备,对演唱者进行收音;
合成模块,用于将从所述收音模块得到的声音与伴奏音乐进行合成,得到所述演唱歌曲。
10.如权利要求6所述的一种歌曲演唱评价系统,其特征在于,还包括:
打分模块,用于根据所述时间点比较模块得到的结果进行打分,以及比较所述第一差异区域的和所述第二差异区域相同时间点的第一音频指纹和第三音频指纹,并根据相似度进行打分。
CN201910015887.4A 2019-01-08 2019-01-08 一种歌曲演唱评价方法及系统 Active CN109686376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910015887.4A CN109686376B (zh) 2019-01-08 2019-01-08 一种歌曲演唱评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910015887.4A CN109686376B (zh) 2019-01-08 2019-01-08 一种歌曲演唱评价方法及系统

Publications (2)

Publication Number Publication Date
CN109686376A true CN109686376A (zh) 2019-04-26
CN109686376B CN109686376B (zh) 2020-06-30

Family

ID=66192729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910015887.4A Active CN109686376B (zh) 2019-01-08 2019-01-08 一种歌曲演唱评价方法及系统

Country Status (1)

Country Link
CN (1) CN109686376B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758560A (zh) * 2022-03-30 2022-07-15 厦门大学 一种基于动态时间规整的哼唱音准评价方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565639A (en) * 1993-06-30 1996-10-15 Daewoo Electronics Co., Ltd. Apparatus for giving marks on user's singing ability in karaoke
CN1173008A (zh) * 1996-08-06 1998-02-11 雅马哈株式会社 分析相对于旋律数据的演唱声的卡拉ok评分装置
US6326536B1 (en) * 1999-08-30 2001-12-04 Winbond Electroncis Corp. Scoring device and method for a karaoke system
CN101859560A (zh) * 2009-04-07 2010-10-13 林文信 卡拉ok歌曲伴唱自动评分方法
CN105788581A (zh) * 2014-12-15 2016-07-20 深圳Tcl新技术有限公司 卡拉ok评分方法和装置
KR101682802B1 (ko) * 2015-04-10 2017-01-06 주식회사 엠에이사이트 스마트폰을 통한 시창 어플리케이션 처리방법
CN106340286A (zh) * 2016-09-27 2017-01-18 华中科技大学 一种通用的实时乐器演奏评价系统
CN107481582A (zh) * 2017-08-31 2017-12-15 许昌学院 一种声乐学习电子辅助发音系统
CN107666638A (zh) * 2016-07-29 2018-02-06 腾讯科技(深圳)有限公司 一种估计录音延迟的方法及终端设备
CN107680571A (zh) * 2017-10-19 2018-02-09 百度在线网络技术(北京)有限公司 一种歌曲伴奏方法、装置、设备和介质
KR20180043925A (ko) * 2016-10-21 2018-05-02 정문일 노래 평가 시스템, 노래 평가 서버 및 노래 평가 서비스 제공 방법
CN108492835A (zh) * 2018-02-06 2018-09-04 南京陶特思软件科技有限公司 一种唱歌的评分方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565639A (en) * 1993-06-30 1996-10-15 Daewoo Electronics Co., Ltd. Apparatus for giving marks on user's singing ability in karaoke
CN1173008A (zh) * 1996-08-06 1998-02-11 雅马哈株式会社 分析相对于旋律数据的演唱声的卡拉ok评分装置
US6326536B1 (en) * 1999-08-30 2001-12-04 Winbond Electroncis Corp. Scoring device and method for a karaoke system
CN101859560A (zh) * 2009-04-07 2010-10-13 林文信 卡拉ok歌曲伴唱自动评分方法
CN105788581A (zh) * 2014-12-15 2016-07-20 深圳Tcl新技术有限公司 卡拉ok评分方法和装置
KR101682802B1 (ko) * 2015-04-10 2017-01-06 주식회사 엠에이사이트 스마트폰을 통한 시창 어플리케이션 처리방법
CN107666638A (zh) * 2016-07-29 2018-02-06 腾讯科技(深圳)有限公司 一种估计录音延迟的方法及终端设备
CN106340286A (zh) * 2016-09-27 2017-01-18 华中科技大学 一种通用的实时乐器演奏评价系统
KR20180043925A (ko) * 2016-10-21 2018-05-02 정문일 노래 평가 시스템, 노래 평가 서버 및 노래 평가 서비스 제공 방법
CN107481582A (zh) * 2017-08-31 2017-12-15 许昌学院 一种声乐学习电子辅助发音系统
CN107680571A (zh) * 2017-10-19 2018-02-09 百度在线网络技术(北京)有限公司 一种歌曲伴奏方法、装置、设备和介质
CN108492835A (zh) * 2018-02-06 2018-09-04 南京陶特思软件科技有限公司 一种唱歌的评分方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M.A.BARTSCH ET AL.: "《Singing voice identification using spectral envelope estimation》", 《 IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING ( VOLUME: 12 , ISSUE: 2 , MARCH 2004 )》 *
沈迤淳: "《歌曲中相似片段的检测及其应用》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758560A (zh) * 2022-03-30 2022-07-15 厦门大学 一种基于动态时间规整的哼唱音准评价方法

Also Published As

Publication number Publication date
CN109686376B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
KR101292698B1 (ko) 메타데이터 부여 방법 및 장치
CN103823867B (zh) 一种基于音符建模的哼唱式音乐检索方法及系统
Zhang Automatic singer identification
WO2017157142A1 (zh) 歌曲旋律信息处理方法、服务器和存储介质
CN104992712B (zh) 能识别音乐自动成谱的方法
KR20030059085A (ko) 오디오 데이터베이스에서의 검색 방법
CN102110435A (zh) 卡拉ok评分方法及系统
CN104143324B (zh) 一种乐音音符识别方法
US7915511B2 (en) Method and electronic device for aligning a song with its lyrics
WO2017028704A1 (zh) 伴奏音乐的提供方法和装置
CN107103915A (zh) 一种音频数据处理方法以及装置
CN104200818A (zh) 一种音高检测方法
CN108665903A (zh) 一种音频信号相似程度的自动检测方法及其系统
CN108492835A (zh) 一种唱歌的评分方法
CN102723079A (zh) 基于稀疏表示的音乐和弦自动识别方法
CN102063904A (zh) 一种音频文件的旋律提取方法及旋律识别系统
CN105280196A (zh) 副歌检测方法及系统
CN110377782A (zh) 音频检索方法、装置和存储介质
CN109686376A (zh) 一种歌曲演唱评价方法及系统
CN102664018B (zh) 基于径向基函数统计模型的演唱评分方法
CN105244021B (zh) 哼唱旋律到midi旋律的转换方法
Van Balen Automatic recognition of samples in musical audio
CN109903779A (zh) 一种歌曲演唱评价方法及系统
Waghmare et al. Analyzing acoustics of indian music audio signal using timbre and pitch features for raga identification
KR102165940B1 (ko) Cbmr 기반 음을 이용한 음악 검색 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant