CN105788609B - 多路音源的关联方法和装置及评定方法和系统 - Google Patents
多路音源的关联方法和装置及评定方法和系统 Download PDFInfo
- Publication number
- CN105788609B CN105788609B CN201410819470.0A CN201410819470A CN105788609B CN 105788609 B CN105788609 B CN 105788609B CN 201410819470 A CN201410819470 A CN 201410819470A CN 105788609 B CN105788609 B CN 105788609B
- Authority
- CN
- China
- Prior art keywords
- source
- sound input
- identity
- sound
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明实施方式提出了多路音源的关联方法和装置及评定方法和系统。关联方法包括:确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
Description
技术领域
本发明实施方式涉及音频数据处理技术领域,更具体地,涉及多路音源的关联方法和装置及评定方法和系统。
背景技术
在当今的信息时代中,各种信息设备应运而生:有用于话音传输的固定电话、移动电话;有用于信息资源共享、处理的服务器和个人电脑;有用于视频数据显示、音频数据播放的各种电视机、卡拉OK设备等等。这些设备都是在特定领域内为解决实际需求而产生的。随着电子消费、计算机、通信(3C)融合的到来,人们越来越多地将注意力放到了对各个不同领域的信息设备进行综合利用的研究上,以充分利用现有资源设备来为人们更好的服务。
音准的目的是使得歌唱和/或乐器演奏中所发的音高,能与一定律制的音高相符。音准评定是一种以声音作为输入数据,经处理器进行运算得到量化参数后,最终由显示单元图形界面反馈给用户,使其能够对自己演唱声音进行调整以符合标准要求的技术。
在现有技术的音准系统中,一般由音频采集模块实时采集演唱录音,通过音频分析、对比标准演唱信息以确定演唱正确与否,并依此打分,最后给出演唱得分并显示在显示模块上。而且,在支持多人演唱的实时打分系统中,一般将多路音源输入混合为一路音源并进行打分,不针对单路音源输入独立打分。另一种方法是直接限定某音源输入固定对应某一演唱身份,扮演该演唱身份的用户需在该指定音源输入设备上演唱,打分时不同音源输入设备相互独立,互不影响。
因此,现有技术的主要缺点包括:
(1),多人合作演唱时,音源输入设备需与演唱身份固定绑定,不支持灵活使用音源输入设备,用户使用很不方便;
(2)、多人合作演唱时,不能针对多人的配合情况综合打分。
发明内容
本发明实施方式提出一种多路音源的关联方法和装置及评定方法和系统,以支持灵活使用音源输入设备。
本发明实施方式的具体方案如下:
一种多路音源的关联方法,该方法包括:
确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
优选地,所述确定歌曲的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联包括:
在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
优选地,该方法进一步包括:预先设置非合唱句验证数目;所述继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联包括:
继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;
将计数最大的音源输入确定为演唱身份的关联音源输入。
一种多路音源的评定方法,该方法包括:确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
该方法还包括:
计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;
展示所述每个演唱身份所对应的音源输入的音准评定值;或
计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
展示所述每个演唱身份所对应的音源输入的声纹评定值。
优选地,该方法还包括:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
优选地,该方法还包括:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
一种多路音源的关联装置,该装置包括:
关联单元,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
优选地,关联单元,用于在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
优选地,预先设置非合唱句验证数目;关联单元,用于继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;将计数最大的音源输入确定为演唱身份的关联音源输入。
一种多路音源的评定系统,包括:
关联单元,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
评定值确定单元,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;
展示单元,用于展示所述每个演唱身份所对应的音源输入的音准评定值;或
评定值确定单元,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
展示单元,用于展示所述每个演唱身份所对应的音源输入的声纹评定值。
优选地,还包括:
默契度值确定单元,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
优选地,还包括:
默契度值确定单元,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
评定值确定单元。
从上述技术方案可以看出,在本发明实施方式中,确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。可见,本发明通过计算音源输入能量可以将音源输入与当前演唱身份相关联,从而实现了灵活使用音源输入设备。
另外,在本发明实施方式中,计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;展示所述每个演唱身份所对应的音源输入的音准评定值。由此可见,本发明还可以方便快速地对多人演唱系统中用户与歌曲中的演唱身份进行关联,支持灵活使用音源输入设备,而且本发明还可以基于默契度的打分方法实现多人合唱歌曲的综合打分。
附图说明
图1为根据本发明实施方式的多路音源的关联和评定方法流程图;
图2为根据本发明实施方式的多路音源的关联和评定方法整体流程图;
图3为根据本发明实施方式的多路音源的关联装置结构图;
图4为根据本发明实施方式的多路音源的评定系统结构图;
图5为根据本发明实施方式的多路音源的评定实施系统的示范性整体示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观,下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据……”是指“至少根据……,但不限于仅根据……”。由于汉语的语言习惯,下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。
本发明提出一种多路音源的关联方法,通过计算音源输入能量可以将音源输入与当前演唱身份相关联。而且,本发明还提出了一种基于多路音源的评定方法,将演唱用户的音源输入设备与歌曲内的演唱身份进行关联,以演唱身份为单位对演唱用户进行独立打分。另外,本发明还提出一种基于默契度的综合打分方法,计算所有演唱用户合作演唱的综合得分。
图1为根据本发明实施方式的多路音源的关联和评定方法流程图。
如图1所示,该方法包括:
步骤101:确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
在这里,本发明提出了一种基于音源输入能量(音量大小)的身份标识方法,其基本原理是通过对比多个输入音源的相对能量大小,选择能量最大的音源作为活跃音源,再将活跃音源与当前演唱身份关联。
示范性地:对于给定时长的经采样的数字语音信号,即对应某音源输入,其能量计算公式如下:
其中,Mn表示有限时长内音源输入的能量,xn表示音源输入,其中m从0到N-1,即音源能量是每个采样点幅度绝对值的总和。
另一种常见的能量计算方法为计算每个采样点幅度平方的总和:
以上详细描述了计算音源输入能量的示范性方式,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。
本发明中,活跃音源与当前演唱身份的关联方式具体包括被动标识与主动标识。
被动标识包括:在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
主动标识包括:在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
具体地,对于主动标识,实现过程包括:
(1).在歌曲开始播放前,提示用户当前歌曲共有几名演唱身份(如常见男女对唱歌曲有两名演唱身份:男和女);
(2).每次确认一名演唱身份,首先提示用户当前正在确认的演唱身份;
(3).扮演该演唱身份的用户通过自身的音源输入设备发出声音,其他用户不发声;
(4).从各个音源输入设备中选取能量最大的音源输入,并关联到当前演唱身份;
(5).回到第(2)步,直到所有演唱身份与音源输入关联完毕。
具体地,对于被动标识方法,实现过程包括:
(1).在演唱过程中,在每句歌曲开始前,从歌曲标准信息(歌曲标准信息中基于歌曲的播放时间点预先记录每句歌曲的演唱身份,但不限于演唱身份)中获取当前歌词句的演唱身份;
(2).从各个音源输入设备中选取能量最大的音源输入,将该音源输入关联到当前演唱身份;
(3).如果当前句为多人合唱,则选取能量最大的N个音源设备(N为需合唱的人数),混合后作为当前多个演唱身份的共同音源输入。
在一个实施方式中,本发明预先设置非合唱句验证数目,该方法包括:继续该关联过程,在为每句非合唱句确认音源输入与当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目。
具体地:在根据非合唱句确认演唱身份后,可更新演唱身份-音源输入表,该表记录演唱身份对应的音源输入是哪一个。每句非合唱句结束时,在对应演唱身份的相应音源输入上计数加1,计数最大的为可信音源输入。该可信音源输入可代表当前身份关联的音源输入,作用在于:
(1)、作为合唱句时对演唱身份单独打分提高准确性(而非使用混合后音频);
(2)、在采集若干句(采集的数目等于非合唱句验证数目)后,当可信音源计数值够大,则停止被动标识,减少系统计算消耗。
基于上述活跃音源与当前演唱身份的关联方式,本发明的后续步骤还可以实现对多路音源的评定。
步骤102:计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;或
计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
在这里,可以基于每个演唱身份所对应的音源输入的实时音高值或实时声纹值,实现对每个演唱身份所对应的音源输入的音准评定值。
示范性地,针对单独的音源输入,基于实时音高值进行单独打分的算法包括:
步骤(1).预先通过人工标记的方法,以50毫秒为一个(评分)时刻,为每首歌曲每个需要演唱的时刻标注标准音高;
步骤(2).在演唱过程中,对音源输入实时采集录音,基于傅里叶变换计算音高值,即为用户当前时刻演唱的音高;
步骤(3).用户当前时刻演唱的音高,如果与标准音高相等,当前句演唱正确点数加1,总演唱正确点数加1。当前句得分为当前句演唱正确点数除以当前句需演唱的时刻数(在步骤(1)标注后即已确定),累计到当前句的总分为总演唱正确点数除以累计到当前句需演唱的时刻数(在步骤(1)标注后即已确定)。
示范性地,针对单独的音源输入,基于实时声纹值进行单独打分的算法包括:
步骤(1).计算歌曲每句原唱的声纹特征,原唱声纹特征具体计算如下:首先对输入音频进行预加重处理,比如,预加重系数0.9375;然后以窗长70毫秒,帧移35毫秒,基于倒谱法估计共振峰,得到0~5000HZ范围内共计4条共振峰。
步骤(2).歌曲演唱过程中,以句为单位,计算用户声纹特征,用户声纹特征的计算方法与原唱声纹特征的计算方法相同。
步骤(3).以原唱声纹特征为参考模板,用户声纹特征为测试模板,计算两者的动态时间规整(DTW)距离值。距离值越小,声纹越相似。当前句的声纹相似度值(即当前句的声纹评定值)为将DTW距离值经线性函数转换得到的0~100的值,0表示完全不一致,100表示完全一致。
步骤(4).累计到当前句的总得分为之前各句单句得分的平均值
步骤(5).重复该过程直到歌曲结束。
以上详细描述了针对单独的音源输入,基于实时音高值或实时声纹值进行单独打分的示范性算法,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。
步骤103:展示每个演唱身份所对应的音源输入的音准评定值或声纹评定值。
在这里,可以展示每个演唱身份所对应的音源输入的音准评定值或声纹评定值,即为每个演唱身份所对应的音源输入独立打分。
本发明还提出了一种基于默契度的打分方法,以实现多人合唱歌曲的综合打分方法。
在一个实施方式中:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
在一个实施方式中:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
具体地:基于默契度的综合打分方法包括:
(1).每句歌词播放结束后,按非多人演唱打分系统方法(比如,传统的打分方法)对活跃音源打分(如基于音准进行打分、基于声纹相似度进行打分等等),获得单句得分和估计总得分(累计当前句及之前各句计算得到的总得分)等得分信息。
(2).将得分信息计入活跃音源关联的演唱身份的得分信息中,所有演唱身份的各自得分即每个用户各自的独立得分。
(3).综合得分按照配合默契度进行打分。
示范性地,默契度得分的计算公式为:score=w1×b1+w2×b2+w3×b3+...bn×wn;
其中score为最终的配合默契度得分,b1,b2,b3……bn为默契度因子得分,w1,w2,w3……wn为各默契度因子对应的权重,其总和为1。默契度因子可适度增加、减少,常用的默契度因子有分数一致因子、整体水平因子、抢唱因子等。
为方便理解,对常用的默契度因子示范性解释如下:
分数一致因子:该默契度因子考察多个用户间的演唱水平是否一致,计算公式为score=Normalize(Variance({用户1总得分,用户2总得分,……}))。该公式中score为分数一致因子最终得分;Variance表示方差运算,即对用户1总得分,用户2总得分,……等各个用户总得分取方差,Normalize表示某种预设归一化运算,作用是将方差值映射到默契度得分的分数范围,如0~100分,可以采用线性映射等方法实现Normalize。
整体水平因子:该默契度因子考察所有用户的整体演唱水平,计算公式为score=Average({用户1总得分,用户2总得分,……}),即整体水平因子得分为所有用户得分的平均分数,其中score为整体水平因子的最终得分。
抢唱因子:该默契度因子考察用户间是否抢唱,属于扣分项。实现方式根据具体应用环境而定。示范性地,首先获取当前句演唱身份,并获取当前句演唱身份对应的音源输入;.基于音量大小是否超过某阈值(可用固定阈值或根据当前活跃音源的音量确定阈值),检查其他音源输入是否有演唱;当其他音源输入有演唱,则当前句抢唱因子得分扣1分;无演唱不扣分;.抢唱因子得分初始化为满分,扣完为止,其中合唱句不计算是否抢唱;演唱完毕,抢唱因子得分计算完毕。
以上详细描述了默契度因子及其计算方式的示范性描述,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。
图2为根据本发明实施方式的多路音源的关联和评定方法整体流程图。
如图2所示,包括:
在歌曲开始播放后,基于各个音源输入的音量大小确定各音源输入与演出身份的对应关系,其中如果采用被动标识方法,则在每句歌词进行确认,或预先设置非合唱句验证数目(比如M),并针对M句的歌词进行确认,其中通过读取演唱身份-音源输入表选取计数最大的音源输入为演出身份的可信音源输入。
对各音源输入采用传统的打分方法进行独立打分,如常见的基于音准演唱正确与否打分,等等。然后,综合各演唱身份的演唱情况、配合情况给出计算综合得分。最后,.输出各项得分,如各演唱身份的单项得分、所有演唱身份的综合得分、综合得分中的各默契度因子得分等等。
基于上述详细分析,本发明还提出了一种多路音源的关联装置。
图3为多路音源的关联装置结构图。
如图3所示,该装置包括:关联单元,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
在一个实施方式中:
该关联单元,用于在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
在一个实施方式中:
预先设置非合唱句验证数目;关联单元,用于继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;将计数最大的音源输入确定为演唱身份的关联音源输入
本发明还提出了一种多路音源的评定系统。
图4为根据本发明实施方式的音准评定系统结构图。
如图4所示,该系统包括:
关联单元401,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
评定值确定单元402,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;
展示单元403,用于展示所述每个演唱身份所对应的音源输入的音准评定值;或
评定值确定单元402,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
展示单元403,用于展示所述每个演唱身份所对应的音源输入的声纹评定值。
在一个实施方式中,还包括:
默契度值确定单元404,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
在一个实施方式中,还包括:
默契度值确定单元404,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
在一个实施方式中:
关联单元401,用于在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联。
在一个实施方式中,预先设置非合唱句验证数目;关联单元401,用于继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;将计数最大的音源输入确定为演唱身份的关联音源输入。
当将音准评定系统嵌入到智能终端时,音准评定系统可以采用各种的智能终端操作系统,具体可以采用的操作系统包括但是不局限于:安卓(Andorid)、Palm OS、Symbian(塞班)、Windows mobile、Linux、Android(安卓)、iPhone(苹果)OS、Black Berry(黑莓)OS6.0、Windows Phone系列,等等。
本领域技术人员可以意识到,本发明实施方式并不局限于上述罗列版本,而还可以适用于其他基于软件架构的智能终端操作系统之中。
图5为根据本发明实施方式的多路音源评定实施系统的示范性整体示意图。
如图5所示,音准评定实施系统包括多个音源输入501以及计算单元502,计算单元502中集成有图4所示的多路音源评定系统。多个音源输入501既可以是本地某KTV包间内的多个音源输入设备,也可以是网络多人合唱情形下的多个音源输入设备。音源输入501分别用于实时采集音源。音源输入501还可以是软件模块,以网络或本地的实时或非实时音频作为音源输出。
计算单元502接收多个音源输入501的输出,并将音源输入501与歌曲演唱身份进行关联。计算单元502还计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;计算单元502还向用户展示每个演唱身份所对应的音源输入的音准评定值。而且,计算单元502还基于默契度对多人演唱结果综合打分。输入多个传统打分模块的打分结果,输出综合得分。
可以将图1所示方法通过指令形式集成到各种电子系统的硬件实体当中。比如,可以将音准评定方法通过指令形式集成到:功能手机、智能手机、掌上电脑、个人电脑(PC)、平板电脑或个人数字助理(PDA),卡拉OK播放机等设备之中。
实际上,可以通过多种形式来具体实施本发明实施方式所提出的多路音源的关联方法和评定方法。比如,可以遵循一定规范的应用程序接口,将音准评定方法编写为插件程序,也可以将其封装为应用程序以供用户自行下载使用。当编写为插件程序时,可以将其实施为ocx、dll、cab等多种插件形式。也可以通过Flash插件、RealPlayer插件、MMS插件、M帐号I五线谱插件、ActiveX插件等具体技术来实施本发明实施方式所提出的音准评定方法。
可以通过指令或指令集存储的储存方式将本发明实施方式所提出的多路音源的关联方法和评定方法存储在各种存储介质上。这些存储介质包括但是不局限于:软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、xD卡等。
另外,还可以将本发明实施方式所提出的多路音源的关联方法和评定方法应用到基于闪存(Nand flash)的存储介质中,比如U盘、CF卡、SD卡、SDHC卡、MMC卡、SM卡、记忆棒、xD卡等。
综上所述,在本发明实施方式中,确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;展示所述每个演唱身份所对应的音源输入的音准评定值。由此可见,本发明可以方便快速地对多人演唱系统中用户与歌曲中的演唱身份进行关联,支持灵活使用音源输入设备,而且本发明还可以基于默契度的打分方法实现多人合唱歌曲的综合打分。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种多路音源的关联方法,其特征在于,该方法包括:
确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
所述确定歌曲的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联包括:
在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
2.根据权利要求1所述的方法,其特征在于,该方法进一步包括:预先设置非合唱句验证数目;所述继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联包括:
继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;
将计数最大的音源输入确定为演唱身份的关联音源输入。
3.一种多路音源的评定方法,其特征在于:该方法包括:确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
该方法还包括:
计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;
展示所述每个演唱身份所对应的音源输入的音准评定值;或
计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
展示所述每个演唱身份所对应的音源输入的声纹评定值;
所述确定歌曲的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联包括:
在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
4.根据权利要求3所述的方法,其特征在于,该方法还包括:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
5.根据权利要求3所述的方法,其特征在于,该方法还包括:
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
6.一种多路音源的关联装置,其特征在于,该装置包括:
关联单元,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
所述确定歌曲的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联包括:
在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
7.根据权利要求6所述的装置,其特征在于,预先设置非合唱句验证数目;关联单元,用于继续该关联过程,在为每句非合唱句确认音源输入与所述当前演唱身份的关联之后,在演唱身份-音源输入表中对应演唱身份的音源输入上计数加1,直到所述关联过程的轮次为所述非合唱句验证数目;将计数最大的音源输入确定为演唱身份的关联音源输入。
8.一种多路音源的评定系统,其特征在于,包括:
关联单元,用于确定歌曲的非合唱句的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联;继续该关联过程直到歌曲的每个演唱身份与各自的音源输入的相互关联;
评定值确定单元,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时音高值,并将所述实时音高值与该演唱身份的标准音高进行对比,以确定每个演唱身份所对应的音源输入的音准评定值;
展示单元,用于展示所述每个演唱身份所对应的音源输入的音准评定值;或
评定值确定单元,用于计算歌曲演唱过程中每个演唱身份所对应的音源输入的实时声纹值,并将所述实时声纹值与该演唱身份的标准声纹进行对比,以确定每个演唱身份所对应的音源输入的声纹评定值;
展示单元,用于展示所述每个演唱身份所对应的音源输入的声纹评定值;
所述确定歌曲的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联包括:
在歌曲播放之前,提示用户待确认的当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述待确认的当前演唱身份相关联;或
在歌曲播放之中,基于歌曲播放时间点确定当前演唱身份,计算多路音源输入的各自的当前音源输入能量,并将当前音源输入能量最大的音源输入与所述当前演唱身份相关联。
9.根据权利要求8所述的系统,其特征在于,还包括:
默契度值确定单元,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理以获得归一化值,展示所述归一化值以作为各个演唱身份的默契度值;或
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值,展示所述平均值以作为各个演唱身份的默契度值;或
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值,展示所述基准值以作为各个演唱身份的默契度值。
10.根据权利要求8所述的系统,其特征在于,还包括:
默契度值确定单元,用于计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的方差,对所述方差执行归一化处理,获得归一化值;
计算所有演唱身份所对应的音源输入的音准评定值或声纹评定值的平均值;
判断不同于对应于当前演唱身份的音源输入的其它音源输入的当前音量大小是否超过预先设置的音量门限值,如果是,则确定发生抢唱,并从基准值中扣除预先设定的抢唱分值;
根据预设权重为所述归一化值、所述平均值和所述基准值执行加权运算,并展示所述加权运算值以作为各个演唱身份的默契度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410819470.0A CN105788609B (zh) | 2014-12-25 | 2014-12-25 | 多路音源的关联方法和装置及评定方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410819470.0A CN105788609B (zh) | 2014-12-25 | 2014-12-25 | 多路音源的关联方法和装置及评定方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105788609A CN105788609A (zh) | 2016-07-20 |
CN105788609B true CN105788609B (zh) | 2019-08-09 |
Family
ID=56377115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410819470.0A Active CN105788609B (zh) | 2014-12-25 | 2014-12-25 | 多路音源的关联方法和装置及评定方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105788609B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107221340B (zh) * | 2017-05-31 | 2021-01-15 | 福建星网视易信息系统有限公司 | 基于多路音频的实时评分方法、存储设备及应用 |
CN111787353A (zh) | 2020-05-13 | 2020-10-16 | 北京达佳互联信息技术有限公司 | 多方音频的处理方法、装置、电子设备及存储介质 |
CN111741370A (zh) * | 2020-08-12 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 一种多媒体互动的方法、相关装置、设备及存储介质 |
CN112752142B (zh) * | 2020-08-26 | 2022-07-29 | 腾讯科技(深圳)有限公司 | 配音数据处理方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430876A (zh) * | 2007-11-08 | 2009-05-13 | 中国科学院声学研究所 | 一种演唱的评分系统和方法 |
CN101441865A (zh) * | 2007-11-19 | 2009-05-27 | 盛趣信息技术(上海)有限公司 | 演唱类游戏的评分方法及系统 |
JP2011039511A (ja) * | 2009-08-14 | 2011-02-24 | Honda Motor Co Ltd | 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087524B2 (ja) * | 1992-07-17 | 1996-01-29 | 株式会社日本ビデオセンター | カラオケ採点表示装置 |
JPH1039881A (ja) * | 1996-07-19 | 1998-02-13 | Yamaha Corp | カラオケ採点装置 |
JP3293745B2 (ja) * | 1996-08-30 | 2002-06-17 | ヤマハ株式会社 | カラオケ装置 |
US8606579B2 (en) * | 2010-05-24 | 2013-12-10 | Microsoft Corporation | Voice print identification for identifying speakers |
US8725113B2 (en) * | 2012-03-12 | 2014-05-13 | Google Inc. | User proximity control of devices |
JP6203003B2 (ja) * | 2012-12-20 | 2017-09-27 | 株式会社東芝 | 信号処理装置、信号処理方法およびプログラム |
CN103327433B (zh) * | 2013-05-27 | 2014-08-27 | 腾讯科技(深圳)有限公司 | 音频输入接口检测方法及其系统 |
CN103474082A (zh) * | 2013-09-16 | 2013-12-25 | 无敌科技(西安)有限公司 | 多路麦克风伴唱评分系统及其方法 |
-
2014
- 2014-12-25 CN CN201410819470.0A patent/CN105788609B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430876A (zh) * | 2007-11-08 | 2009-05-13 | 中国科学院声学研究所 | 一种演唱的评分系统和方法 |
CN101441865A (zh) * | 2007-11-19 | 2009-05-27 | 盛趣信息技术(上海)有限公司 | 演唱类游戏的评分方法及系统 |
JP2011039511A (ja) * | 2009-08-14 | 2011-02-24 | Honda Motor Co Ltd | 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット |
Also Published As
Publication number | Publication date |
---|---|
CN105788609A (zh) | 2016-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106782564B (zh) | 用于处理语音数据的方法和装置 | |
CN108305633B (zh) | 语音验证方法、装置、计算机设备和计算机可读存储介质 | |
CN104143326B (zh) | 一种语音命令识别方法和装置 | |
CN110069608B (zh) | 一种语音交互的方法、装置、设备和计算机存储介质 | |
CN105788609B (zh) | 多路音源的关联方法和装置及评定方法和系统 | |
CN104978962B (zh) | 哼唱检索方法及系统 | |
TWI711967B (zh) | 播報語音的確定方法、裝置和設備 | |
EP3007163A1 (en) | Asynchronous chorus method and device | |
CN107895578A (zh) | 语音交互方法和装置 | |
CN106250400B (zh) | 一种音频数据处理方法、装置以及系统 | |
CN105989842B (zh) | 对比声纹相似度的方法、装置及其在数字娱乐点播系统中的应用 | |
CN101923855A (zh) | 文本无关的声纹识别系统 | |
CN105488135B (zh) | 直播内容分类方法及装置 | |
CN110505491A (zh) | 一种直播的处理方法、装置、电子设备及存储介质 | |
KR20080102373A (ko) | 스피커 인증 방법 및 이 방법을 수행하기 위한 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 매체 | |
CN103366784B (zh) | 具有语音控制和哼唱检索功能的多媒体播放方法及装置 | |
KR20090108643A (ko) | 네트워크 휴대용 장치에서의 특징 추출 | |
CN111798821B (zh) | 声音转换方法、装置、可读存储介质及电子设备 | |
CN106097829B (zh) | 一种声乐练习辅助器 | |
CN111370024B (zh) | 一种音频调整方法、设备及计算机可读存储介质 | |
CN110738998A (zh) | 基于语音的个人信用评估方法、装置、终端及存储介质 | |
TW200813759A (en) | A method and apparatus for accessing an audio file from a collection of audio files using tonal matching | |
CN105679324A (zh) | 一种声纹识别相似度评分的方法和装置 | |
CN111554303B (zh) | 一种歌曲演唱过程中的用户身份识别方法及存储介质 | |
JP2009258366A (ja) | 音声制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |