CN112992183B - 歌唱气息评分方法及装置 - Google Patents
歌唱气息评分方法及装置 Download PDFInfo
- Publication number
- CN112992183B CN112992183B CN202110271188.3A CN202110271188A CN112992183B CN 112992183 B CN112992183 B CN 112992183B CN 202110271188 A CN202110271188 A CN 202110271188A CN 112992183 B CN112992183 B CN 112992183B
- Authority
- CN
- China
- Prior art keywords
- score
- breath
- sentence
- singing
- vocalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013077 scoring method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 67
- 239000012634 fragment Substances 0.000 claims description 41
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
本公开提供了一种歌唱气息评分方法及装置。该方法包括:获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,该气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项;根据发声句的气息单项得分及气息单项得分对应的权重,得到发声句的单句气息气息得分;以及在目标歌曲的演唱过程界面,显示发声句的单句气息得分。还公开了相应的装置。采用本公开的方案,可以在用户歌唱时,从气息量、气息支撑和气息控制等一个或多个方面进行评分,使得气息评分更加科学、全面。
Description
技术领域
本公开涉及媒体处理技术领域,尤其涉及一种歌唱气息评分方法及装置。
背景技术
人们在发声时由肺部呼出气流,经过声源器官(喉头和声带),再通过人体滤波器(口腔、鼻腔),引起空气振动,被人耳接收,得到了我们听到的声音。广义的气息可以指呼出吸入的气流。狭义的气息可以定义为歌唱能力的评价指标之一。在说话时,通常语句较短,且不需要考虑音高,所以说话人不必刻意控制气息。在歌唱时,发声句较长、音高变化较大,通过合理的运用气息,可以更好地完成演唱。
因此,气息是歌唱中非常重要的评价指标。用户往往想知道自己的气息得分。歌唱比赛中,评委也往往主要根据气息得分来评价歌手的歌唱水平。
目前歌唱评价算法是对连续发声长度进行分析,在录唱完毕展示气息分数。其缺点是打分角度单一,不够专业。例如一首歌曲没有按照内容进行演唱,而是从头到尾发/a:/,只要发音足够长,就能得到较高的气息分数。再例如连续发声长度很长,但出现发音破音、能量或音高不稳的现象,依然气息分数很高。不能提供科学、全面的歌唱气息评分方案。
发明内容
本公开提供了一种歌唱气息评分方案。
第一方面,提供了一种歌唱气息评分方法,所述方法包括:
获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
可选地,所述方法还包括:
计算所述发声句的句长度评分;
根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
可选地,在获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分之前,所述方法还包括:
获取用户在所述目标歌曲的演唱过程中的连续发声段;
将所述连续发声段与伴奏进行分离,提取出无伴奏的连续发声段;
将所述无伴奏的连续发声段进行分句,得到至少一个发声句。
可选地,所述将所述无伴奏的连续发声段进行分句,得到至少一个发声句,包括:
若所述连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将所述空白片段从所述连续发声段中切除,得到至少一个发声片段;
检测所述发声片段中的呼吸点;
根据所述发声片段中的呼吸点对所述发声片段进行切分,得到至少一个发声句。
可选地,所述气息单项得分包括气息量评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,包括:
计算所述发声句中句末长音的评分;
根据所述发声句的句末长音评分,得到所述发声句的气息量评分。
可选地,所述气息单项得分包括气息支撑评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,包括:
确定所述发声句的句末长音片段,并计算所述发声句的句末长音片段的声音质量;
根据所述发声句的句末长音片段的声音质量,确定所述发声句的气息支撑评分。
可选地,所述气息单项得分包括气息控制评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句中的气息单项得分,包括:
获得所述发声句的能量包络曲线;
根据所述发声句的能量包络曲线的标准差,得到所述发声句的能量包络变化程度;
根据所述发声句的能量包络变化程度,确定所述发声句的气息控制评分。
第二方面,提供了一种歌唱气息评分装置,所述装置包括:
第一获取单元,用于获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
第二获取单元,用于根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
显示单元,用于在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
可选地,所述装置还包括:
第一计算单元,用于计算所述发声句的句长度评分;
确定单元,用于根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
第三获取单元,用于根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
所述显示单元,还用于在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
可选地,所述装置还包括:
第四获取单元,用于获取用户在所述目标歌曲的演唱过程中的连续发声段;
提取单元,用于将所述连续发声段与伴奏进行分离,提取出无伴奏的连续发声段;
分句单元,用于将所述无伴奏的连续发声段进行分句,得到至少一个发声句。
可选地,所述分句单元包括:
切除单元,用于若所述连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将所述空白片段从所述连续发声段中切除,得到至少一个发声片段;
检测单元,用于检测所述发声片段中的呼吸点;
切分单元,用于根据所述发声片段中的呼吸点对所述发声片段进行切分,得到至少一个发声句。
可选地,所述气息单项得分包括气息量评分,所述第一获取单元用于:
计算所述发声句中句末长音的评分;
根据所述发声句的句末长音评分,得到所述发声句的气息量评分。
可选地,所述气息单项得分包括气息支撑评分,所述第一获取单元用于:
确定所述发声句的句末长音片段,并计算所述发声句的句末长音片段的声音质量;
根据所述发声句的句末长音片段的声音质量,确定所述发声句的气息支撑评分。
可选地,所述气息单项得分包括气息控制评分,所述第一获取单元用于:
获得所述发声句的能量包络曲线;
根据所述发声句的能量包络曲线的标准差,得到所述发声句的能量包络变化程度;
根据所述发声句的能量包络变化程度,确定所述发声句的气息控制评分。
第三方面,提供了一种歌唱气息评分装置,包括:显示器、拾音模块、处理器和存储器,所述存储器中存储有程序指令,所述处理器用于调用所述程序指令执行如下操作:
获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
控制所述显示器在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
可选地,所述处理器还用于执行如下操作:
计算所述发声句的句长度评分;
根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
控制所述显示器在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
可选地,所述处理器执行所述在获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分的步骤之前,还执行如下操作:
获取用户在所述目标歌曲的演唱过程中的连续发声段;
将所述连续发声段与伴奏进行分离,提取出无伴奏的连续发声段;
将所述无伴奏的连续发声段进行分句,得到至少一个发声句。
可选地,所述处理器执行所述将所述无伴奏的连续发声段进行分句,得到至少一个发声句的操作,包括:
若所述连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将所述空白片段从所述连续发声段中切除,得到至少一个发声片段;
检测所述发声片段中的呼吸点;
根据所述发声片段中的呼吸点对所述发声片段进行切分,得到至少一个发声句。
可选地,所述气息单项得分包括气息量评分,所述处理器执行所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分的操作,包括:
计算所述发声句中句末长音的评分;
根据所述发声句的句末长音评分,得到所述发声句的气息量评分。
可选地,所述气息单项得分包括气息支撑评分,所述处理器执行所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分的操作,包括:
确定所述发声句的句末长音片段,并计算所述发声句的句末长音片段的声音质量;
根据所述发声句的句末长音片段的声音质量,确定所述发声句的气息支撑评分。
可选地,所述气息单项得分包括气息控制评分,所述处理器执行所述获取用户在目标歌曲的演唱过程中至少一个发声句中的气息单项得分的操作,包括:
获得所述发声句的能量包络曲线;
根据所述发声句的能量包络曲线的标准差,得到所述发声句的能量包络变化程度;
根据所述发声句的能量包络变化程度,确定所述发声句的气息控制评分。
第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行上述第一方面或任一方面的第一种可能的实现所述的方法。
采用本公开提供的一种歌唱气息评分方案,具有如下有益效果:
通过获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,该气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项;根据发声句的气息单项得分及气息单项得分对应的权重,得到发声句的单句气息气息得分;以及在目标歌曲的演唱过程界面,显示发声句的单句气息得分,可以在用户歌唱时,从气息量、气息支撑和气息控制等一个或多个方面进行评分,使得气息评分更加科学、全面。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种歌唱气息评分方法的流程示意图;
图2是本公开实施例提供的又一种歌唱气息评分方法的流程示意图;
图3是采用VAD算法和呼吸检测算法对连续发声段进行分句的流程示意图;
图4是采用神经网络进行呼吸声检测的流程示意图;
图5是采用VAD算法切出空白片段以获取连续的发声片段的示意图;
图6是采用呼吸声检测算法检测连续的发声片段中的呼吸声,以进一步将发声片段切分为多个发声句的示意图;
图7是两个发声句的发声长度和句末长音质量比较示意图;
图8是采用神经网络获取气息支撑评分的流程示意图;
图9是采用神经网络获取气息控制评分的流程示意图;
图10是不同发声句的能量包络示意图;
图11是输出每个发声句的最终气息得分和整首歌曲的气息得分的示意图;
图12是本公开实施例提供的一种歌曲气息评分装置的结构示意图;
图13是本公开实施例提供的又一种歌曲气息评分装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
如图1所示,是本公开实施例提供的一种歌唱气息评分方法的流程示意图,该方法包括以下步骤:
S101、获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,该气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项。
气息是歌唱演唱过程中非常重要的评价指标。声乐评价中常常从“气息量”、“气息支撑”以及“气息控制”等维度对气息进行分析评价。其中,气息量评分是对气息量是否充足的评分。具体地,气息量足是气息较好的基本表现。充足的肺活量、科学的呼吸方法、正确的吐气方式,可以使得气息量足。气息支撑评分是对声音是否平稳的评分。具体地,气息支撑是指吸气下降横膈膜后,发声时抵抗横膈膜放松回归原位。若没有合适的气息支撑,声带发声时漏气,会导致气息不足,因而挤压喉头,喉位升高,造成声音不稳,音色变化的现象。合适的气息支撑会使得歌声流畅、声音集中明亮以及共鸣合理。气息控制评分是对气息能量的动态变化的评分。具体地,气息控制是指在发生时使用合理的发声方法,使得气息通畅、灵活,有强弱变化,动态感强。
在用户演唱目标歌曲过程中,可以实时地获取至少一个发声句,这至少一个发声句可以是目标歌曲的演唱过程中的连续发声段。可以设置获取发声句的周期和获取的时长。例如,每隔2s获取发声句进行气息评分,获取3s时长的发声句。一个发声句可以是一句或多句歌词。用户在目标歌曲的演唱过程中,可以从气息量、气息支撑和气息控制等一项或多项对用户的歌唱气息进行评分,因此可以分别获取至少一个发声句中的每个发声句的气息量评分、气息支撑评分和气息控制评分。
S102、根据发声句的气息单项得分以及气息单项得分对应的权重,获取发声句的单句气息得分。
根据评分需要和侧重点不同,可以给发声句的气息量评分、气息支撑评分和气息控制评分等一项或多项气息单项得分分别设置一定的权重,然后,根据发声句的气息单项得分和气息单项得分对应的权重,获取发声句的单句气息得分如下:
发声句的单句气息得分=λ1气息量评分+λ2气息支撑评分+λ3气息控制评分
其中,λ1为气息量评分的权重,λ2为气息支撑评分的权重,λ3为气息控制评分的权重。
S103、在目标歌曲的演唱过程界面,显示发声句的单句气息得分。
在获取到发声句的单句气息得分后,可以输出发声句的单句气息得分。例如,在目标歌曲的演唱过程界面,用户每唱完一句,即显示该句的单句气息得分,从而用户可以实时地知道自己该句的气息得分,从而把控整首歌曲的气息。
根据本公开实施例提供的一种歌唱气息评分方法,可以在用户歌唱时,,可以从气息量、气息支撑和气息控制等一个或多个方面进行评分,使得气息评分更加科学、全面。本公开实施例可以以句级别实时地获得气息评分,且该气息评分不用限定发音内容,应用场景更加灵活。
如图2所示,是本公开实施例提供的又一种歌唱气息评分方法的流程示意图,该方法包括以下步骤:
S201、获取用户在目标歌曲的演唱过程中的连续发声段。
在用户演唱目标歌曲的过程中,可以实时地获取目标歌曲的演唱过程中的连续发声段。该连续发声段可以包括一个或多个发声句。
S202、将连续发声段与伴奏进行分离,提取出无伴奏的连续发声段。
歌唱过程中获取的连续发声段可以是干声或者带有伴奏的歌声。其中,干声是指无音乐的纯人声。如果是带有伴奏的歌声,需要使用歌声分离方法,提取出干声,即提取出无伴奏的连续发声段。
S203、将提取出的无伴奏的连续发声段进行分句,得到至少一个发声句。
提取出无伴奏的连续发声段后,该连续发声段包括至少一个发声句,因此,可以对该连续发声段进行分句,得到至少一个发声句。
具体地,如图3所示的采用语音活性检测(voice activity detection,VAD)算法和呼吸检测算法对连续发声段进行分句的流程示意图,可以通过VAD算法与呼吸声检测算法,将上述无伴奏的连续发声段切割成至少一个发声句。
首先,输入为连续发声段,该连续发声段可以包含乐句和空白,对输入的连续发声段使用VAD算法,理想的输出为不包含大片空白片段的连续发声段。VAD算法通过阈值设定来设定分段的精细度。为了防止发声句被切断,阈值设置为中,切除大块空白,保留较长的发声片段。即,若连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将空白片段从连续发声段中切除,得到至少一个发声片段。
接下来,使用呼吸检测算法对每个发声片段进行进一步切分。检测发声片段中的呼吸点,认为发声片段中检测出的呼吸点是换气点,则以此为分割点,将发声片段进一步切分。切分后的结果认为是连续的发声句。如图4所示的采用神经网络进行呼吸声检测的流程示意图,对输入的发声片段提取音频帧级别特征,如梅尔频率倒谱系数(MFCC);对音频帧级别特征进行标准化,使用分类器逐帧进行预测;再使用平滑等后处理方法,定位到音频片段中的呼吸声。
在一个示例中,如图5所示,是采用VAD算法切出空白片段以获取连续的发声片段的示意图,图中S为VAD算法的分句结果,实际上S是一个连续的发声片段。进一步地,如图6所示,是采用呼吸声检测算法检测连续的发声片段中的呼吸声,以进一步将发声片段切分为多个发声句的示意图,通过检测出发声片段S中部框线标出的呼吸声,可以将发声片段S进一步切分成发声句S1和发声句S2。
S204、计算发声句中句末长音的评分。
在一个发声句中,可以根据自动语音识别(automatic speech recognition,ASR)算法定位到发声句中的每个字,定位到最后一个字,截取句末长音,分析质量。句末长音的评分主要从句末长音质量得到,即句末长音气息量是否充足。例如图6中的发声句内容是“只要为了梦想不服输,再苦也不停止脚步”,定位最后一个字“步”的元音部分/u:/,用户发该最后一个元音时,肺活量充足、呼吸科学、吐气正确,则评分高。
S205、根据发声句的句末长音评分,得到发声句的气息量评分。
在获得发声句的句末长音的评分后,得到发声句的气息量评分。
在一个示例中,如图7所示,是两个发声句的句末长音质量比较示意图,从图中可以看出,句末长音长度1比句末长音长度2要短。
S206、确定发声句的句末长音片段,并计算发声句的句末长音片段的声音质量,根据发声句的句末长音片段的声音质量,确定发声句的气息支撑评分。
气息支撑可以通过句末元音质量体现。一首歌中最长的元音声线平稳、共鸣合理不刺耳,则表明句末元音质量好。元音质量越好,则气息支撑评分高。截取每个发声句的句末长音片段,对其进行声音质量的判断,理论上来说,长音越接近发音句尾、时间越长,越准确反映发声质量。
如图8所示,是采用神经网络获取气息支撑评分的流程示意图,输入音频文件,对音频文件(具体可以是一个发声句)进行响度归一化,然后提取音频文件的音频特征,对提取出的音频特征进行标准化,将标准化后的音频特征输入分类器,例如Adaboost分类器,可以输出一个预测概率,即得到句末元音质量得分,可以作为该发声句的气息支撑评分。
句末长音的评分是对发声句中最后一个字所在的句末长音进行气息量分析得到,而气息支撑评分是根据发声句的句末长音片段的声音质量来确定的,也即气息量评分主要针对最后一个字所在的句末长音进行气息量分析,气息支撑评分则是对句末长音片段的声音质量分析。
S207、获得发声句的能量包络曲线。
气息控制体现为每个发声句的气息能量的动态变化。如图9所示,是采用神经网络获取气息控制评分的流程示意图,输入发声句,对发声句进行响度归一化,然后按帧提取每个发声句的短时能量。
S208、根据发声句的能量包络曲线的标准差,得到发声句的能量包络变化程度。
继续参考图9,根据每个发声句的短时能量,使用Savitzky-Golay滤波算法计算每个发声句的能量包络曲线。
具有好的气息的用户所演唱的歌唱片段,音量有强弱之分,动态较大。可以采用标准差的方式进行衡量。可以使用每个发声句的能量包络曲线与能量中心的标准差来衡量能量包络的变化程度。一首歌的能量动态越高,表明动态越大。
S209、根据发声句的能量包络变化程度,确定发声句的气息控制评分。
如图9所示,输入发声句到已经训练好的神经网络,神经网络对发声句采用与上述步骤S208~S211的过程,可以获取每个发声句的气息控制评分。
如图10所示,是不同发声句的能量包络示意图,其中,左图为能量动态较好的发声句的示意图,右图为能量动态较差的发声句的示意图。则相应地,左图所示的发声句的气息控制评分较高,右图所示的发声句的气息控制评分较低。
S210、根据发声句的气息单项得分及气息单项得分对应的权重,得到发声句的单句气息得分。
该步骤的具体实现可参考图1所示的步骤S102。
S211、在目标歌曲的演唱过程界面,显示发声句的单句气息得分。
如图11所示,在获取到每个发声句的单句气息得分后,可以实时地在目标歌曲的演唱过程界面,显示每个发声句的单句气息得分。例如,在歌唱APP的界面,用户每唱完一句,APP界面显示该句的单句气息得分,从而用户可以实时地知道自己该句的气息得分,从而把控整首歌曲的气息。
S212、计算发声句的句长度评分。上面从气息量、气息支撑和气息控制等方面对演唱过程中每个发声句进行了评分。另外,还可以获取整首歌曲的最长发声句的评分,最长发声句综合体现了用户的气息情况。每个发声句的长度是指一口气唱歌(呼吸与呼吸之间/断句与断句之间)的长度,长度越长分数越高。乐句长度一般在1s~6s。有些用户气息长度较长,连续几个乐句不换气。发声句长度评分也与歌曲速度、音域有关。指考虑发声句长度的条件下,可以设置满分值,例如设置大于或等于10秒为满分。越接近10秒,单句发声句长度评分越高。
在一个示例中,如图7所示,是两个发声句的发声长度比较示意图,第一个发声句(上方的图)的音频气息较短,在后半句气息不够表现的比较明显,体现在连续发声乐句长度较短;第二个发声句(下方的图)音频气息较长,无论是句中还是句末长音都表现得比较完整。从图中可以看出,发声句长度1(发声句1.1和发声句1.2)比发声句长度2要短。
S213、根据发声句的句长度评分,在至少一个发声句中确定最长发声句,该最长发声句的句长度评分最高。
演唱完毕,根据多个发声句的句长度评分,在多个发声句中确定最长发声句。
S214、根据最长发声句的句长度评分和至少一个发声句的单句气息得分的总分,得到目标歌曲的气息总分。
在演唱结束后,对单句气息得分和最长发声句的句长度评分进行综合,得到整首歌曲的气息总分,例如,整首歌曲的目标歌曲的气息总分=单句气息得分的总分+最长发声句的句长度评分。其中单句气息得分的总分可以由各个发声句的单句气息得分计算得到,例如,发声句数量乘以每个发声句的单句气息得分,得到目标歌曲中至少一个发声句的单句气息得分的总分。
S215、在目标歌曲的演唱评价界面,显示目标歌曲的气息总分。
如图11所示,在演唱结束后,可以在演唱评价界面上输出气息总分。如图中所示,气息总分为1011分,还可以根据气息总分进行气息等级排名,例如,得出气息等级为“C”。
根据本公开实施例提供的一种歌唱气息评分方法,可以在用户歌唱时,从气息量、气息支撑和气息控制等一个或多个方面进行评分,使得气息评分更加科学、全面。
基于上述歌唱气息评分方法的同一构思,本公开还提供歌唱气息评分装置。
当上述实施例的歌唱气息评分方法中的部分或全部通过软件或固件来实现时,可以通过图12提供的一种歌唱气息评分装置1000来实现。
如图12所示,为本申请实施例提供的一种歌唱气息评分装置的结构示意图,该装置1000包括:
第一获取单元11,用于获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
第二获取单元12,用于根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
显示单元13,用于在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
可选地,所述装置还包括(图中以虚线表示):
第一计算单元14,用于计算所述发声句的句长度评分;
确定单元15,用于根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
第三获取单元16,用于根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
所述显示单元13,还用于在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
可选地,所述装置还包括(图中未示出):
第四获取单元,用于获取用户在所述目标歌曲的演唱过程中的连续发声段;
提取单元,用于将所述连续发声段与伴奏进行分离,提取出无伴奏的连续发声段;
分句单元,用于将所述无伴奏的连续发声段进行分句,得到至少一个发声句。
可选地,所述分句单元包括(图中未示出):
切除单元,用于若所述连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将所述空白片段从所述连续发声段中切除,得到至少一个发声片段;
检测单元,用于检测所述发声片段中的呼吸点;
切分单元,用于根据所述发声片段中的呼吸点对所述发声片段进行切分,得到至少一个发声句。
可选地,所述气息单项得分包括气息量评分,所述第一获取单元用于:
计算所述发声句中句末长音的评分;
根据所述发声句的句末长音评分,得到所述发声句的气息量评分。
可选地,所述气息单项得分包括气息支撑评分,所述第一获取单元用于:
确定所述发声句的句末长音片段,并计算所述发声句的句末长音片段的声音质量;
根据所述发声句的句末长音片段的声音质量,确定所述发声句的气息支撑评分。
可选地,所述气息单项得分包括气息控制评分,所述第一获取单元用于:
获得所述发声句的能量包络曲线;
根据所述发声句的能量包络曲线的标准差,得到所述发声句的能量包络变化程度;
根据所述发声句的能量包络变化程度,确定所述发声句的气息控制评分。
应当理解,本公开实施例中所描述的歌唱气息评分装置可执行前文图1或图2任一个所对应实施例中对歌唱气息评分方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
可选的,该歌唱气息评分装置在具体实现时可以是芯片或者集成电路。
可选的,当上述实施例的歌唱气息评分方法中的部分或全部通过硬件来实现时,可以通过图13提供的一种歌唱气息评分装置2000来实现。
如图13所示,是本公开实施例提供的又一种歌唱气息评分装置的结构示意图。在一个实施例中,该歌唱气息评分装置可以实现图1或图2所示实施例中的方法步骤。如图13所示,该歌唱气息评分装置可以包括:处理器21、存储器22、显示器23和拾音模块24,还可以包括通信总线25。其中,通信总线25用于实现这些组件之间的连接通信。。存储器可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。如图13所示,作为一种计算机可读存储介质的存储器中可以包括操作系统以及设备控制应用程序。
在如图13所示的歌唱气息评分装置中,处理器可以用于调用存储器中存储的设备控制应用程序,以实现上述图1或图2任一个所对应实施例中对歌唱气息评分方法的描述,这里不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
应当理解,本公开实施例中所描述的歌唱气息评分装置可执行前文图1或图2任一个所对应实施例中对歌唱气息评分方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本公开实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的歌唱气息评分装置1000或2000所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图1或图2任一个所对应实施例中对歌唱气息评分方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本公开所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本公开方法实施例的描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本公开实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存取存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatiledisc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
Claims (10)
1.一种歌唱气息评分方法,其特征在于,所述方法包括:
获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算所述发声句的句长度评分;
根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
3.根据权利要求2所述的方法,其特征在于,在获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分之前,所述方法还包括:
获取用户在所述目标歌曲的演唱过程中的连续发声段;
将所述连续发声段与伴奏进行分离,提取出无伴奏的连续发声段;
将所述无伴奏的连续发声段进行分句,得到至少一个发声句。
4.根据权利要求3所述的方法,其特征在于,所述将所述无伴奏的连续发声段进行分句,得到至少一个发声句,包括:
若所述连续发声段中的空白片段的长度大于或等于预设空白长度阈值,将所述空白片段从所述连续发声段中切除,得到至少一个发声片段;
检测所述发声片段中的呼吸点;
根据所述发声片段中的呼吸点对所述发声片段进行切分,得到至少一个发声句。
5.根据权利要求1~4任意一项所述的方法,其特征在于,所述气息单项得分包括气息量评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,包括:
截取所述发声句中最后一个字所在的句末长音,并对所述最后一个字所在的句末长音进行气息量分析,得到所述发声句中句末长音的评分;
根据所述发声句的句末长音的评分,得到所述发声句的气息量评分。
6.根据权利要求1~4任意一项所述的方法,其特征在于,所述气息单项得分包括气息支撑评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,包括:
确定所述发声句的句末长音片段,并计算所述发声句的句末长音片段的声音质量;
根据所述发声句的句末长音片段的声音质量,确定所述发声句的气息支撑评分。
7.根据权利要求1~4任意一项所述的方法,其特征在于,所述气息单项得分包括气息控制评分,所述获取用户在目标歌曲的演唱过程中至少一个发声句中的气息单项得分,包括:
获得所述发声句的能量包络曲线;
根据所述发声句的能量包络曲线的标准差,得到所述发声句的能量包络变化程度;
根据所述发声句的能量包络变化程度,确定所述发声句的气息控制评分。
8.一种歌唱气息评分装置,其特征在于,所述装置包括:
第一获取单元,用于获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
第二获取单元,用于根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
显示单元,用于在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
9.一种歌唱气息评分装置,其特征在于,包括:显示器、拾音模块、处理器和存储器,所述存储器中存储有程序指令,所述处理器用于调用所述程序指令执行如下操作:
获取用户在目标歌曲的演唱过程中至少一个发声句的气息单项得分,所述气息单项得分包括气息量评分、气息支撑评分和气息控制评分中的至少一项,其中,气息量评分是对气息量是否充足的评分,气息支撑评分是对声音是否平稳的评分,气息控制评分是对气息能量的动态变化的评分;
根据所述发声句的气息单项得分及所述气息单项得分对应的权重,得到所述发声句的单句气息得分;
控制所述显示器在所述目标歌曲的演唱过程界面,显示所述发声句的单句气息得分。
10.根据权利要求9所述的装置,其特征在于,所述处理器还用于执行如下操作:
计算所述发声句的句长度评分;
根据所述发声句的句长度评分,在所述至少一个发声句中确定最长发声句,所述最长发声句的句长度评分最高;
根据所述最长发声句的句长度评分和所述至少一个发声句的单句气息得分的总分,得到所述目标歌曲的气息总分;
控制所述显示器在所述目标歌曲的演唱评价界面,显示所述目标歌曲的气息总分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271188.3A CN112992183B (zh) | 2021-03-12 | 2021-03-12 | 歌唱气息评分方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271188.3A CN112992183B (zh) | 2021-03-12 | 2021-03-12 | 歌唱气息评分方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112992183A CN112992183A (zh) | 2021-06-18 |
CN112992183B true CN112992183B (zh) | 2024-04-19 |
Family
ID=76335935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271188.3A Active CN112992183B (zh) | 2021-03-12 | 2021-03-12 | 歌唱气息评分方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112992183B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334235A (ja) * | 2004-06-30 | 2004-11-25 | Daiichikosho Co Ltd | 歌唱特訓機能付きカラオケ装置 |
JP2006195093A (ja) * | 2005-01-12 | 2006-07-27 | Yamaha Corp | 発音評価装置 |
JP2006235427A (ja) * | 2005-02-28 | 2006-09-07 | Daiichikosho Co Ltd | カラオケシステム |
JP2008287275A (ja) * | 2008-07-01 | 2008-11-27 | Takenori Nishi | 歌唱レベル判定方法 |
CN102110435A (zh) * | 2009-12-23 | 2011-06-29 | 康佳集团股份有限公司 | 卡拉ok评分方法及系统 |
JP2012098749A (ja) * | 2012-01-18 | 2012-05-24 | Casio Comput Co Ltd | 歌唱採点装置および歌唱採点プログラム |
CN104143340A (zh) * | 2014-07-28 | 2014-11-12 | 腾讯科技(深圳)有限公司 | 一种音频测评方法及装置 |
JP2016173540A (ja) * | 2015-03-18 | 2016-09-29 | 国立大学法人三重大学 | 歌唱訓練装置、歌唱訓練方法、および歌唱訓練プログラム |
CN107785010A (zh) * | 2017-09-15 | 2018-03-09 | 广州酷狗计算机科技有限公司 | 歌曲演唱评价方法、设备、评价系统及可读存储介质 |
CN108415942A (zh) * | 2018-01-30 | 2018-08-17 | 福建星网视易信息系统有限公司 | 个性化教唱和演唱评分二维码生成方法、装置和系统 |
CN109754818A (zh) * | 2019-03-15 | 2019-05-14 | 林超 | 一种发声检测和发声练习方法 |
-
2021
- 2021-03-12 CN CN202110271188.3A patent/CN112992183B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334235A (ja) * | 2004-06-30 | 2004-11-25 | Daiichikosho Co Ltd | 歌唱特訓機能付きカラオケ装置 |
JP2006195093A (ja) * | 2005-01-12 | 2006-07-27 | Yamaha Corp | 発音評価装置 |
JP2006235427A (ja) * | 2005-02-28 | 2006-09-07 | Daiichikosho Co Ltd | カラオケシステム |
JP2008287275A (ja) * | 2008-07-01 | 2008-11-27 | Takenori Nishi | 歌唱レベル判定方法 |
CN102110435A (zh) * | 2009-12-23 | 2011-06-29 | 康佳集团股份有限公司 | 卡拉ok评分方法及系统 |
JP2012098749A (ja) * | 2012-01-18 | 2012-05-24 | Casio Comput Co Ltd | 歌唱採点装置および歌唱採点プログラム |
CN104143340A (zh) * | 2014-07-28 | 2014-11-12 | 腾讯科技(深圳)有限公司 | 一种音频测评方法及装置 |
JP2016173540A (ja) * | 2015-03-18 | 2016-09-29 | 国立大学法人三重大学 | 歌唱訓練装置、歌唱訓練方法、および歌唱訓練プログラム |
CN107785010A (zh) * | 2017-09-15 | 2018-03-09 | 广州酷狗计算机科技有限公司 | 歌曲演唱评价方法、设备、评价系统及可读存储介质 |
CN108415942A (zh) * | 2018-01-30 | 2018-08-17 | 福建星网视易信息系统有限公司 | 个性化教唱和演唱评分二维码生成方法、装置和系统 |
CN109754818A (zh) * | 2019-03-15 | 2019-05-14 | 林超 | 一种发声检测和发声练习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112992183A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
Jing et al. | Prominence features: Effective emotional features for speech emotion recognition | |
US8825479B2 (en) | System and method for recognizing emotional state from a speech signal | |
CN106463113B (zh) | 在语音辨识中预测发音 | |
JP6024180B2 (ja) | 音声認識装置、音声認識方法、及びプログラム | |
WO2020224217A1 (zh) | 语音处理方法、装置、计算机设备及存储介质 | |
US20080071529A1 (en) | Using non-speech sounds during text-to-speech synthesis | |
Igras-Cybulska et al. | Structure of pauses in speech in the context of speaker verification and classification of speech type | |
JP2007122004A (ja) | 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム | |
JPH09500223A (ja) | 多言語音声認識システム | |
CN110782875B (zh) | 一种基于人工智能的语音韵律处理方法及装置 | |
Mertens | Polytonia: a system for the automatic transcription of tonal aspects in speech corpora | |
JP6915637B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Greenberg et al. | Linguistic dissection of switchboard-corpus automatic speech recognition systems | |
CN113496696A (zh) | 一种基于语音识别的言语功能自动评估系统和方法 | |
JP2012032557A (ja) | 音声に含まれる吸気音を検出する装置、方法、及びプログラム | |
JP6373621B2 (ja) | 話し方評価装置、話し方評価方法、プログラム | |
JP6314884B2 (ja) | 音読評価装置、音読評価方法、及びプログラム | |
JP4532862B2 (ja) | 音声合成方法、音声合成装置および音声合成プログラム | |
CN112992183B (zh) | 歌唱气息评分方法及装置 | |
US20140074478A1 (en) | System and method for digitally replicating speech | |
US20050246172A1 (en) | Acoustic model training method and system | |
Anila et al. | Emotion recognition using continuous density HMM | |
Elbarougy et al. | An improved speech emotion classification approach based on optimal voiced unit | |
CN112242152B (zh) | 语音交互的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |