CN104882147A - 一种演唱评分显示方法、装置及系统 - Google Patents

一种演唱评分显示方法、装置及系统 Download PDF

Info

Publication number
CN104882147A
CN104882147A CN201510305092.9A CN201510305092A CN104882147A CN 104882147 A CN104882147 A CN 104882147A CN 201510305092 A CN201510305092 A CN 201510305092A CN 104882147 A CN104882147 A CN 104882147A
Authority
CN
China
Prior art keywords
vocal print
display
song
post
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510305092.9A
Other languages
English (en)
Inventor
卓康志
林鎏娟
林剑宇
陈�胜
祖可峰
刘灵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Net eVideo Information Systems Co Ltd
Original Assignee
Fujian Star Net eVideo Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Net eVideo Information Systems Co Ltd filed Critical Fujian Star Net eVideo Information Systems Co Ltd
Priority to CN201510305092.9A priority Critical patent/CN104882147A/zh
Publication of CN104882147A publication Critical patent/CN104882147A/zh
Priority to PCT/CN2016/070111 priority patent/WO2016192395A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

本发明公开一种演唱评分显示方法、装置及系统,其中方法包括如下步骤:获取声音采集设备输入的实时音频;获取实时音频相对于该歌曲的声纹相似度,在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。本发明通过不同的声纹相似度填充对应的声纹柱,简单明了地显示出当前唱歌与歌曲原唱歌星的声纹相似度,方便用户实时看到自己唱歌与原唱歌星的声纹相似度。

Description

一种演唱评分显示方法、装置及系统
技术领域
本发明涉及演唱评分领域,尤其涉及一种演唱评分显示方法、装置及系统。
背景技术
现有数字视听设备中的显示器上点播歌曲表现形式有普通歌曲MV、各个厂家对于演唱者演唱情况的各自的评分界面,并没有对于演唱者与歌曲原唱歌星声音相似度情况的表现界面。如果用户在唱歌的时候想知道自己模仿该歌曲的歌星唱歌的声纹相似度,现有的界面并没办法满足这个需求。
发明内容
为此,需要提供一种演唱评分显示方法、装置及系统,解决现有数字视听设备无法显示唱歌与歌曲原唱歌星相似度的问题。
为实现上述目的,发明人提供了一种演唱评分显示方法,包括如下步骤:
获取声音采集设备输入的实时演唱音频;
获取实时演唱音频相对于该歌曲标准音频的声纹相似度,
在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
进一步,所述标准声纹柱以透明图片叠加显示在显示屏幕上。
进一步,所述标准声纹柱以渐变色的透明图片叠加显示在显示屏幕上。
更进一步,所述标准声纹柱图片的透明度为10%-100%。
进一步,所述标准声纹柱图片活动显示在显示屏幕上。
进一步,所述标准声纹柱图片叠加显示在歌曲视频中部。
进一步,所述标准声纹柱图片为歌曲视频显示界面的1/3~1/2大小。
进一步,在所述显示屏幕显示的歌曲视频上,叠加显示歌曲的标准声纹柱。
更进一步,所述“在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱”具体为:所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。
进一步,所述演唱评分显示方法还包括如下步骤:根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。
进一步,根据不同的声纹相似度,界面显示不同的多媒体资源。所述多媒体资源为特效图片、文字、音频或特效动画。
进一步,所述演唱评分显示方法还包括如下步骤:
获取实时音频的声纹评分数据并在显示界面上显示声纹评分数据;
或者,统计该歌曲总的声纹评分数据并在显示界面上显示。
本发明还提供一种演唱评分显示装置,包括如下模块:
实时音频获取模块:用于获取声音采集设备输入的实时音频;
声纹相似度获取模块:用于获取实时音频相对于该歌曲的声纹相似度;
声纹柱显示模块:在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
进一步,所述声纹柱显示模块中,所述标准声纹柱以透明图片叠加显示在显示屏幕上。
进一步,所述声纹柱显示模块中,所述标准声纹柱图片活动显示在显示屏幕上。
更进一步,所述声纹柱显示模块具体为,用于所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。
进一步,所述演唱评分显示装置,其还包括多媒体资源显示模块:根据不同的声纹相似度,界面显示不同的多媒体资源,所述多媒体资源为特效图片、文字、音频或特效动画。
进一步,所述演唱评分显示装置,还包括如下模块:
歌星头像显示模块:根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。
本发明还提供一种演唱评分显示系统,包括演唱评分显示装置、显示器、声音播放设备和声音采集设备,显示器与演唱评分显示装置连接,声音播放设备、声音采集设备与演唱评分显示装置连接,其特征在于:所述演唱评分显示装置为上述的演唱评分显示装置。
区别于现有技术,上述技术方案通过不同的声纹相似度显示不同歌星的头像,简单明了地显示出当前唱歌与歌曲原唱歌星的声纹相似度,方便用户实时看到自己唱歌与原唱歌星的声纹相似度。
附图说明
图1为本发明一系统实施例的结构示意图;
图2为本发明一方法实施例的流程图;
图3为本发明另一方法实施例的流程图;
图4为本发明一实施例中显示界面的示意图;
图5为本发明另一实施例中显示界面的示意图;
图6为本发明又一实施例中显示界面的示意图;
图7为本发明再一实施例中显示界面的示意图。
附图标记说明:
100、演唱评分显示装置,
120、显示器,
140、声音播放设备,
160、声音采集设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1到图7所示,本实施例首先提供一种演唱评分显示方法,用于在显示界面上显示用户唱歌时声音与歌曲原唱的声纹相似度。本方法可以运行于图1中的演唱评分显示装置100中。演唱评分显示装置100可以与显示器120、声音播放设备140和声音采集设备160连接,演唱评分显示装置100可以作为一个数字视听设备实现,如机顶盒。显示器120的屏幕可以作为显示界面用于显示,声音播放设备140可以用于将声音信号播放出来给用户听,声音采集设备160可以用于采集用户唱歌时的声音并输入到演唱评分显示装置100中。用户在唱歌时,可以从显示器120上获取当前歌曲的歌词信息,可以从声音播放设备140上听到当前歌曲的伴奏声音,从声音采集设备160输入用户歌唱的声音,声音播放设备140也可以实时播放用户歌唱的声音。
用户在要唱歌之前,首先会进行点歌。点歌可以通过与演唱评分显示装置100连接的点歌台或者掌上设备进行点歌。点歌后,轮到该歌曲后,可以播放片头提示用户该歌曲即将开始,而后歌曲会开始进行播放。歌曲在播放时,这首歌曲对应有原唱者,即本发明实施例中的歌星,相同歌曲名称可以有不同的原唱者,如男声版的歌曲对应是男性原唱者,女声版对应的是女性原唱者。即相同歌曲名称的歌曲可以是不同首的歌曲,因为原唱者不同。同时,一首歌曲对应有固定的一位或者多位原唱者,如一首单人版的歌曲对应一个歌星,一首双人版的歌曲对应有两个歌星。歌曲在演唱时,用户关心的是该歌曲对应的歌星的声音,即该歌曲在播放时的原唱者的声音,这样方便在演唱时对该歌星进行实时模仿。
本发明的方法显示用户的演唱评分时,如图2所示,演唱评分显示装置100首先可以进入步骤S201获取声音采集设备输入的实时音频。此时的实时音频即用户对着声音采集设备实时歌唱的声音。
而后演唱评分显示装置100可以在步骤S202获取实时音频相对于该歌曲的声纹相似度。其中,实时音频相对于该歌曲的声纹相似度可以是声纹评分信息,相似度越高,则声纹评分越高,相似度越低,声纹评分越低。实时音频相对于该歌曲的声纹相似度可以通过比较实时音频和该歌曲当前播放时刻原唱者的声音的声纹相似程度的方式实现,具体实现比较过程的设备可以是演唱评分显示装置100或者与演唱评分显示装置100连接的服务器。当实现比较过程的设备是演唱评分显示装置100时,演唱评分显示装置100可以直接采集用户的实时音频和当前时刻歌曲原唱者的声音,即人声,并进行演唱评分比较。当实现比较过程的设备是服务器时,演唱评分显示装置100可以将采集的实时音频发送给服务器,服务器实现实时音频和当前时刻歌曲原唱者的声音的演唱评分比较,并将演唱评分比较结果、即实时音频对该歌曲的声纹相似度的结果返回给演唱评分显示装置100,从而演唱评分显示装置100可以获取到实时音频相对于歌曲的声纹相似度。通过服务器的方式可以降低演唱评分显示装置100的运算量,避免演唱评分显示装置100运算量过大造成歌曲播放卡顿等情况,也方便改变相似度的比较方法,比较方法改变时无需对每个演唱评分显示装置100进行改变。
声纹评分的方法一般有两种,其一为:先提取演唱者声纹和目标声纹的MFCC特征系数,然后通过DTW算法计算演唱者的声纹与标准声纹的相似度;其二为:提取目标声纹的MFCC特征系数建模,然后将演唱者声纹的MFCC特征系数与目标模型进行匹配,得到声纹相似度。
演唱评分显示装置100获取到声纹相似度后,可以在步骤S203在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
为了进一步方便用户实时了解自己的演唱与歌星的声纹相似度,如图2所示,上述实施例的方法还可以包括如下步骤,演唱评分显示装置100进入步骤S203在显示界面上显示歌曲的标准声纹柱。其中,标准声纹即歌曲原唱者声音信息的声波频谱,歌词中的每个字都对应有相应的声纹柱,声纹可以被量化后用图形的方式显示出来,在本实施例中,不同的声纹数据对应不同的图形的高度。如图4到图7,区域C中显示的不同的长方形的高度对应歌词不同的声纹,长方形可以看作是声纹柱。本发明并不限定单位时间中声纹柱的个数,如果声纹柱对应的是固定时间间隔的原唱者的声音信息,则间隔的时间越短,声纹柱的个数越多,如果声纹柱对应的是歌词中每个字的原唱者的声音信息,则声纹柱的个数与歌词有关。为了方便用户比较,声纹柱的显示位置应该与声纹柱对应的歌词显示位置相对应。如图4到图7中,声纹柱对应的是每个歌词的字,则每个歌词的字上面对应显示有与该字对应的声纹柱,用户在唱到歌词的字时,可以方便地看到该字对应的声纹柱。
演唱评分显示装置100在显示声纹柱后,在步骤S202获取的实时音频的声纹相似度后,根据歌曲进度和声纹相似度的高低填充对应的声纹柱。实时音频的声纹相似度即实时音频与原唱者的歌曲声音的声纹相似程度,分数越高,就越相似。不同的歌曲进度对应有不同的声纹柱,如图4和图6中的歌词“小”字对应为“小”字上面的声纹柱,歌词“浪”字对应为“浪”字上面的声纹柱。当歌曲进度到“小”字时,演唱评分显示装置100获取实时音频的声纹相似度,根据声纹相似度的高低对“小”字上面的声纹柱进行填充。当歌曲进度到“浪”字时,演唱评分显示装置100获取实时音频的声纹相似度,根据声纹相似度的高低对“浪”字上面的声纹柱进行填充。声纹相似度越高,则声纹柱被填充的占比越大。图4的区域C为显示的歌词尚未歌唱时的声纹柱的显示情况,图6为的区域C为显示的歌词被唱完后声纹柱被黑色(还可以是其他颜色)填充的情况。图5和图6的区域C分别显示了两种不同声纹评分数据的声纹柱的填充情况,图5声纹相似度较低,声纹柱黑色填充的占比较小,图6的声纹相似度较高,声纹柱黑色填充的占比较大,声纹相似度较高也表明了实时音频与该歌曲的声纹相似度更高。通过实施的标准声纹柱的填充显示,用户可以知道在哪些部分的声纹相似度较高,哪些部分的声纹相似度较低,从而用户可以在声纹相似度较低的位置改变自己的唱法,方便用户提高模仿歌星演唱的声纹相似度。
在另一方法实施例中,如图3所示,所述标准声纹柱以透明图片叠加显示在显示屏幕上。为了更好的显示效果,将标准声纹柱以透明图片叠加显示在显示屏幕,这样用户不仅可看到标准声纹柱的图片,提高美观度,还可以隐约看到显示屏幕上播放的视频,不影响用户唱歌。
如图3所示,所述标准声纹柱图片的透明度为10%-100%。可根据用户的需求,设置标准声纹柱图片的透明度。当将标准声纹图片的透明度设置为100%时,标准声纹图片可将显示屏幕播放的视频部分遮挡;当需要透明效果时,可减小图片的透明度,这样不仅可以看到标准声纹图片,还可以看到显示屏幕播放的视频。
所述标准声纹柱以渐变色的透明图片叠加显示在显示屏幕上。通过渐变色的透明图片,可突出显示标准声纹柱图片,给用户更直观的视觉显示效果。
所述标准声纹柱图片活动显示在显示屏幕上。所述标准声纹柱图片可变化叠加的位置,例如,标准声纹柱图片可叠加显示在显示屏幕的上部,下部或中部。可根据用户的需求,调整标准声纹柱图片的叠加位置。
优选的,所述标准声纹柱图片叠加显示在歌曲视频中部。这种显示方式,不仅比较新颖,而且能最大程度的突出标准声纹柱图片的显示效果,将用户的关注度集中在标准声纹柱图片的声纹相似度上,用户可一目了然地看到个人演唱声纹与标准声纹的相似度,便于提高演唱水平。
所述标准声纹柱图片为歌曲视频显示界面的1/3~1/2大小。可根据视觉效果,调整标准声纹柱图片的大小,其大小较佳的选择为歌曲视频显示界面的1/3~1/2。
在所述显示屏幕显示的歌曲视频上,叠加显示歌曲的标准声纹柱。由于在演唱过程中,显示屏幕优选播放相应歌曲的歌曲视频,然后再在歌曲视频上叠加播放标准声纹柱图片。
所述“在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱”具体为:所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。在歌曲演唱过程中,当换句时,先在背景图上显示下一句歌曲的标准声纹柱,然后根据用户的演唱进度,获取用户音频及用于音频与标准音频的声纹相似度,根据相似相似度,填充标准声纹柱。当声纹相似度越高时,用户的音频与标准音频的声纹越相似,例如,当声纹相似度为90%时,用户的音频与标准音频的声纹越相似度为90%,对应的标准声纹相似柱需填充90%。当该句演唱完毕,继续演唱再下一句时,重新显示再下一句的标准声纹柱及重新根据再下一句的演唱得分填充标准声纹柱。
本发明中,还包括步骤S204根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。一首歌曲对应有一位或者多位歌星,不同的声纹相似度对应有该歌星不同的头像。如图4和图5所示,在显示界面的区域A显示有歌星的头像。图4区域A显示的是歌星微笑的头像(该头像可以是歌星的卡通头像),图5区域A显示的是歌星难过的头像。歌星微笑的头像可以是与相似度高相对应,而歌星难过的头像可以是与相似度低的情况相对应。则在相似度高时,可以显示歌星微笑的头像,而在相似度低的时候,可以显示歌星难过的头像。当然,本发明并不限定歌曲不同相似度对应的歌星头像的图片个数,如相似度很高可以有一张头像对应,相似度一般状态可以有一张头像对应,相似度很低也可以有一张头像对应。同时,区分不同相似度的不同头像间的区别信息可以是歌星的表情;也可以是头像的动作,如相似度很高,歌星点头,相似度很低,歌星摇头等;或者可以通过在头像上显示相似度的评语来区分不同的声纹相似度,如声纹相似度高,就显示“唱得好”,一般就显示“一般”,相似度低就显示“唱的不好”等。通过歌唱时歌星的不同头像的显示,用户可以直观地通过歌星不同头像的显示来获取自己歌唱的声纹相似度,从而方便地了解自己模仿该歌星的相似程度。
上述实施例中根据相似度更新歌星的头像显示可以是实时比较实时音频和歌曲的声纹相似度并实时更新头像的显示,也可以是实时统计该歌曲前面所有的声纹相似度数据后求得相似度的平均值,并实时根据平均值更新头像显示,或者也可以在一句歌词结束后,统计该歌曲前面所有的声纹相似度数据后求得平局值,并根据平均值更新歌星的头像显示,或者也可以在一句歌词结束后,统计该句歌词所有相似度后求得平均值,并根据该平均值更新歌星的头像显示。所有的这些相似度都与实时音频的声纹相似度相关,则歌星不同的头像对应的声纹相似度可以看作是与实时音频相关的声纹相似度。在某些实施例中,相似度可以是实时音频现对于该歌曲原唱者声音的声纹评分数据,声纹评分数据越高,则相似度越高,声纹评分数据越低,相似度越低。
在某些实施例中,如图2所示,本方法进一步还包括如下步骤S205,根据不同的声纹相似度,界面显示不同的多媒体资源。具体可以是演唱评分显示装置100获取实时音频的声纹评分数据或者统计该歌曲总的或阶段性的声纹评分数据,并根据实时音频的声纹评分数据、总的或阶段性的声纹评分数据,在显示界面上显示对应的多媒体资源。其中,阶段性的声纹评分数据包括固定时间段长度的评分数据或者固定句子个数的声纹评分数据。多媒体资源可以为特效图片、文字、音频或特效动画。如声纹相似度高,可以显示鼓掌的动画或播放鼓掌的声音,如果声纹相似度低,可以播放“嘘”的一声的声音资源或者显示“唱的不好”相关文字或图片。其中,不同的多媒体资源可以是多媒体的资源类型不同,如文字和声音是不同的资源类型。不同的多媒体资源也可以是同一种资源类型的不同内容,如资源类型为声音的鼓掌声音和“嘘”声。又例如根据声纹评分数据的高低对应有英文信息good,excellent,wonderful,fantastic,unbelievable或者中文信息好、很好、非常好等文字信息。图像信息可以是鼓掌图像、大拇指图像,泡泡图像等。动画信息可以是撒花或者如图6冒星星的方式,即在声纹评分数据大于一个预设值后,图6的显示界面的正中间位置可以冒星星,图6冒出的星星可以向评分数据显示区域B移动。这些提示信息可以显示在显示界面的正中间,如图7的正中间位置显示有“唱的很好”四个字,方便用户看到。这些提示信息可以在评分数据较高时,自动显示出来,给用户以鼓励,在增加趣味性的同时提高用户演唱的积极性。这些多媒体资源可以提示用户当前演唱的情况,增加演唱的趣味。在多媒体资源类型为声音的时候,还可以提醒没有在看显示屏幕的用户当前演唱者的演唱情况,方便用户对演唱情况的了解。
上述实施例中评分数据与提示信息的对应关系可以是自定义,如评分在80以上时,显示“唱的很好”,评分在90以上,显示大拇指图像。作为一个可选实施例,上述的多媒体信息可以分别为唱的很像、唱的不像、泡泡-一般、泡泡-不像、泡泡-像。对应的声纹评分数据可以如下表1所示:
表1:评分数据与多媒体资源对应关系表
表1的评分数据可以在连续几句分数累积到一定程度后,获取到阶段性的声纹评分数据并显示对应的多媒体资源,给与用户阶段性的鼓励或者提示,方便用户获取阶段性的歌星模仿相似度结果。
为了让用户更加具体地了解演唱与歌星的声纹相似度,在某些实施例中,演唱评分显示装置100还可以包括步骤S206:在显示界面上显示声纹相似度的值,在一些实施例中,该声纹相似度的值即为声纹评分数据。如图4到图7所示界面的区域B中,显示有对应声纹评分数据的数值。正如上述对相似度的说明,声纹评分数据可以是实时音频的声纹评分数据或者是统计该歌曲总的声纹评分数据。总的声纹评分数据表明了该歌曲演唱到当前总的声纹相似度的状态,总的声纹评分数据可以对声纹评分数据累加后求平均值实现。通过显示声纹评分数据,用户可以更加直观地了解到相似度的高低,更加准确地知道自己当前模仿歌星演唱的声纹相似度。
对于总的声纹评分数据统计可以实时计算,间隔固定时间计算或者可以在一句歌词结束后,统计该歌曲总的声纹评分数据。间隔固定时间和在一句歌词结束后进行计算相对于实时计算,可以降低计算的运算量,节省演唱评分显示装置100的处理资源。
为了方便用户了解歌星的信息,演唱评分显示装置100还可以进行如下步骤S207:在显示界面上显示该歌曲对应的歌星的信息。歌星的信息包括有歌星的姓名或者歌星所属地区,如港台明星、大陆明星等。歌星的信息的显示可以是显示在显示界面的任意位置,或者可以显示在头像的显示区域中,便于用户在浏览歌星的头像时,顺便获取明星的信息。
上述实施例并不限定头像显示区域、声纹评分数据显示区域和声纹柱显示区域的位置,这些显示区域可以是显示屏幕上的任意一个区域,这些区域可以重叠也可以不重叠,在某些实施例中,这些显示区域可以是如图4到图6的显示区域A-C,即头像显示区域为显示界面左上方的显示区域A,声纹评分数据显示区域为显示界面右上方的显示区域B,声纹柱显示区域为显示界面中间靠下的显示区域C。这样的显示区域排布不会影响用户观看显示界面播放的视频MV,又可以方便地观看各个显示区域的信息。
声纹相似度获取模块:用于获取实时音频相对于该歌曲的声纹相似度;
声纹柱显示模块:在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
以及本发明还提供一种演唱评分显示装置100,如图1所示,包括如下模块:实时音频获取模块101:用于获取声音采集设备输入的实时音频;声纹相似度获取模块102:用于获取实时音频相对于该歌曲的声纹相似度;声纹柱显示模块103:用于在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。实时音频获取模块可以与声音采集设备160连接,获取用户歌唱的实时音频。
声纹柱显示模块103可以与显示器120连接,可以在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。通过声纹柱显示模块,用户可以直观地看到自己在演唱时,哪些部分与歌星相似度高,哪些部分与歌星相似度低,这样用户可以调整相似度地的部分,让自己的演唱与模仿的歌星的演唱更相似。
所述声纹柱显示模块103中,所述标准声纹柱以透明图片叠加显示在显示屏幕上。
所述声纹柱显示模块103中,所述标准声纹柱图片活动显示在显示屏幕上。
所述声纹柱显示模块103具体为,用于所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。
为了更突出显示标准声纹柱,标准声纹柱可活动地在显示屏幕上进行显示,可将标准声纹柱显示在显示屏幕上部、下部或中部。且标准声纹柱以透明图片叠加在显示屏幕上,这样不仅可看到标准声纹柱图片,还可以看到显示屏幕上播放的视频,不影响用户观看视频,还可以直接地看到个人演唱与歌星音色的实时相似程度,便于改进。
在某些实施例中,本装置100还包括如下模块:歌星头像显示模块104:根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。简单明了地显示出当前唱歌与歌曲原唱歌星的声纹相似度,方便用户实时看到自己唱歌与原唱歌星的声纹相似度。
在某些实施例中,本装置100还包括多媒体资源显示模块105:根据不同的声纹相似度,界面显示不同的多媒体资源,多媒体资源为特效图片、文字、音频或特效动画。多媒体资源显示模块105可以在一种声纹相似度下面播放多种多媒体资源,如在相似度高的情况下可以同时播放鼓掌动画和“唱的很好”的文字。通过多媒体资源显示模块105,可以提醒用户知道当前演唱的情况。多媒体资源显示模块105还可以实时音频的评分数据或者统计该歌曲总的或阶段性的评分数据,根据实时音频的评分数据、总的或阶段性的评分数据,在显示界面上显示对应的多媒体资源。多媒体资源显示模块105可以更主动地提醒用户模仿的声纹相似度的情况,用户不必一直盯着声纹柱或者评分数据即可通过提示信息知道自身的演唱情况。
在上述任意装置实施例的基础上,演唱评分显示装置100还包括评分数据显示模块106:用于获取实时音频的声纹评分数据并在显示界面上显示声纹评分数据;或者,评分数据显示模块106用于统计该歌曲总的评分数据并在显示界面上显示。评分数据的显示可以让用户看到更详细的声纹相似度的数据。对于统计歌曲总的评分数据的时机,可以在一句歌词结束后,每句歌词结束后,用户会有短暂的空闲时间,这样用户看到分数后可以在下一句调整自身的演唱方法,提升自身演唱与原唱者的声纹相似度。
为了方便用户更好地了解歌星信息,演唱评分显示装置100还包括如下模块:歌星信息显示模块107:在显示界面上显示该歌曲对应的歌星的信息。
以及本发明还提供一种演唱评分显示系统,如图1所示,包括演唱评分显示装置100、显示器120、声音播放设备140和声音采集设备160,显示器与演唱评分显示装置连接,声音播放设备、声音采集设备与演唱评分显示装置连接,所述演唱评分显示装置为上述任一实施例所述的演唱评分显示装置。本系统可以在用户模仿歌星演唱时,多方位地显示用户演唱与原唱者歌星的声纹相似度,方便用户获知自身演唱的情况并可以让用户及时调整自己的演唱方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。

Claims (20)

1.一种演唱评分显示方法,其特征在于,包括如下步骤:
获取声音采集设备输入的实时演唱音频;
获取实时演唱音频相对于该歌曲标准音频的声纹相似度,
在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
2.根据权利要求1所述的演唱评分显示方法,其特征在于,所述标准声纹柱以透明图片叠加显示在显示屏幕上。
3.根据权利要求1所述的演唱评分显示方法,其特征在于,所述标准声纹柱以渐变色的透明图片叠加显示在显示屏幕上。
4.根据权利要求2或3所述的演唱评分显示方法,其特征在于,所述标准声纹柱图片的透明度为10%-100%。
5.根据权利要求1-3任一项所述的演唱评分显示方法,其特征在于,所述标准声纹柱图片活动显示在显示屏幕上。
6.根据权利要求5任一项所述的演唱评分显示方法,其特征在于,所述标准声纹柱图片叠加显示在歌曲视频中部。
7.根据权利要求1-3任一项所述的演唱评分显示方法,其特征在于,所述标准声纹柱图片为歌曲视频显示界面的1/3~1/2大小。
8.根据权利要求1-3任一项所述的演唱评分显示方法,其特征在于,在所述显示屏幕显示的歌曲视频上,叠加显示歌曲的标准声纹柱。
9.根据权利要求1-3任一项所述的演唱评分显示方法,其特征在于,所述“在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱”具体为:所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。
10.根据权利要求1所述的演唱评分显示方法,其特征在于,
根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。
11.根据权利要求1所述的演唱评分显示方法,其特征在于,还包括步骤:根据不同的声纹相似度,界面显示不同的多媒体资源。
12.根据权利要求11所述的演唱评分显示方法,其特征在于,所述多媒体资源为特效图片、文字、音频或特效动画。
13.根据权利要求1所述的演唱评分显示方法,其特征在于,还包括如下步骤:
获取实时音频的声纹评分数据并在显示界面上显示声纹评分数据;
或者,
统计该歌曲总的声纹评分数据并在显示界面上显示。
14.一种演唱评分显示装置,其特征在于,包括如下模块:
实时音频获取模块:用于获取声音采集设备输入的实时音频;
声纹相似度获取模块:用于获取实时音频相对于该歌曲的声纹相似度;
声纹柱显示模块:在显示屏幕上叠加显示歌曲的标准声纹柱,根据歌曲进度和声纹相似度填充对应的声纹柱。
15.根据权利要求14所述的演唱评分显示装置,其特征在于,所述声纹柱显示模块中,所述标准声纹柱以透明图片叠加显示在显示屏幕上。
16.根据权利要求14所述的演唱评分显示装置,其特征在于,所述声纹柱显示模块中,所述标准声纹柱图片活动显示在显示屏幕上。
17.根据权利要求14、15或16任一项所述的演唱评分显示装置,其特征在于,所述声纹柱显示模块为,用于所述显示屏幕先显示歌曲视频,在歌曲视频上叠加显示透明的背景图,在背景图上显示当前演唱句的标准声纹柱,根据歌曲进度和声纹相似度,填充对应的声纹柱。
18.根据权利要求14所述的演唱评分显示装置,其特征在于,其还包括多媒体资源显示模块:根据不同的声纹相似度,界面显示不同的多媒体资源,所述多媒体资源为特效图片、文字、音频或特效动画。
19.根据权利要求14所述的演唱评分显示装置,其特征在于,还包括如下模块:
歌星头像显示模块:根据不同的声纹相似度获取该歌曲对应歌星的不同的头像并在显示界面上显示。
20.一种演唱评分显示系统,包括演唱评分显示装置、显示器、声音播放设备和声音采集设备,显示器与演唱评分显示装置连接,声音播放设备、声音采集设备与演唱评分显示装置连接,其特征在于:所述演唱评分显示装置为权利要求14到19任一项所述的演唱评分显示装置。
CN201510305092.9A 2015-06-05 2015-06-05 一种演唱评分显示方法、装置及系统 Pending CN104882147A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510305092.9A CN104882147A (zh) 2015-06-05 2015-06-05 一种演唱评分显示方法、装置及系统
PCT/CN2016/070111 WO2016192395A1 (zh) 2015-06-05 2016-01-05 一种演唱评分显示方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510305092.9A CN104882147A (zh) 2015-06-05 2015-06-05 一种演唱评分显示方法、装置及系统

Publications (1)

Publication Number Publication Date
CN104882147A true CN104882147A (zh) 2015-09-02

Family

ID=53949615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510305092.9A Pending CN104882147A (zh) 2015-06-05 2015-06-05 一种演唱评分显示方法、装置及系统

Country Status (2)

Country Link
CN (1) CN104882147A (zh)
WO (1) WO2016192395A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260154A (zh) * 2015-10-15 2016-01-20 桂林电子科技大学 一种多媒体数据显示方法及显示装置
CN105976849A (zh) * 2016-05-05 2016-09-28 广州酷狗计算机科技有限公司 一种播放音频数据的方法和装置
WO2016192395A1 (zh) * 2015-06-05 2016-12-08 福建星网视易信息系统有限公司 一种演唱评分显示方法、装置及系统
CN106250400A (zh) * 2016-07-19 2016-12-21 腾讯科技(深圳)有限公司 一种音频数据处理方法、装置以及系统
CN107221340A (zh) * 2017-05-31 2017-09-29 福建星网视易信息系统有限公司 基于多路音频的实时评分方法、存储设备及应用
CN107257338A (zh) * 2017-06-16 2017-10-17 腾讯科技(深圳)有限公司 媒体数据处理方法、装置及存储介质
CN107347167A (zh) * 2017-05-27 2017-11-14 福建星网视易信息系统有限公司 一种实现联网唱歌比赛的方法、系统及应用
CN107393519A (zh) * 2017-08-03 2017-11-24 腾讯音乐娱乐(深圳)有限公司 演唱评分的显示方法、装置及存储介质
CN108028051A (zh) * 2015-09-15 2018-05-11 雅马哈株式会社 评估装置和记录介质
CN108182946A (zh) * 2017-12-25 2018-06-19 广州势必可赢网络科技有限公司 一种基于声纹识别的声乐模式选择方法及装置
CN108492807A (zh) * 2018-03-30 2018-09-04 北京小唱科技有限公司 展示修音状态的方法及装置
CN108647313A (zh) * 2018-05-10 2018-10-12 福建星网视易信息系统有限公司 一种实时生成演唱视频的方法和系统
CN108848419A (zh) * 2018-06-07 2018-11-20 康佳集团股份有限公司 基于生物特征识别的电视互动方法、智能电视及存储介质
CN109905789A (zh) * 2017-12-10 2019-06-18 张德明 一种k歌话筒
CN110010159A (zh) * 2019-04-02 2019-07-12 广州酷狗计算机科技有限公司 声音相似度确定方法及装置
CN110503961A (zh) * 2019-09-03 2019-11-26 北京字节跳动网络技术有限公司 音频识别方法、装置、存储介质及电子设备
CN111383620A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 一种音频的修正方法、装置、设备及存储介质
CN111666445A (zh) * 2019-03-06 2020-09-15 深圳市冠旭电子股份有限公司 一种情景歌词的显示方法、装置及音箱设备
CN111787375A (zh) * 2020-04-30 2020-10-16 聚好看科技股份有限公司 显示设备及信息显示方法
CN113707113A (zh) * 2021-08-24 2021-11-26 北京达佳互联信息技术有限公司 用户歌声的修音方法、装置及电子设备
WO2022169417A1 (zh) * 2021-02-07 2022-08-11 脸萌有限公司 语音相似度确定方法及设备、程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI745338B (zh) * 2017-01-19 2021-11-11 香港商阿里巴巴集團服務有限公司 伴奏音樂的提供方法和裝置
US11170043B2 (en) * 2019-04-08 2021-11-09 Deluxe One Llc Method for providing visualization of progress during media search
CN112102835B (zh) * 2020-11-18 2023-02-17 北京声智科技有限公司 大屏语音响应方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03287289A (ja) * 1990-04-03 1991-12-17 Brother Ind Ltd 採点順位表示機能付きカラオケ装置
JPH10123932A (ja) * 1996-10-16 1998-05-15 Xing:Kk カラオケ採点装置及びカラオケ装置
US20050255914A1 (en) * 2004-05-14 2005-11-17 Mchale Mike In-game interface with performance feedback
CN201611570U (zh) * 2009-12-24 2010-10-20 盛大计算机(上海)有限公司 音频评测装置
CN104064180A (zh) * 2014-06-06 2014-09-24 百度在线网络技术(北京)有限公司 演唱评分方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915725A (zh) * 2012-09-10 2013-02-06 福建星网视易信息系统有限公司 人机互动的歌曲演唱系统、方法
CN103871426A (zh) * 2012-12-13 2014-06-18 上海八方视界网络科技有限公司 对比用户音频与原唱音频相似度的方法及其系统
JP5902119B2 (ja) * 2013-03-28 2016-04-13 株式会社エクシング カラオケ装置、カラオケプログラム、及び記録媒体
JP6153255B2 (ja) * 2013-08-27 2017-06-28 株式会社第一興商 歌唱パート決定システム
CN103971674B (zh) * 2014-05-22 2017-02-15 天格科技(杭州)有限公司 一种演唱实时评分方法
CN104882147A (zh) * 2015-06-05 2015-09-02 福建星网视易信息系统有限公司 一种演唱评分显示方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03287289A (ja) * 1990-04-03 1991-12-17 Brother Ind Ltd 採点順位表示機能付きカラオケ装置
JPH10123932A (ja) * 1996-10-16 1998-05-15 Xing:Kk カラオケ採点装置及びカラオケ装置
US20050255914A1 (en) * 2004-05-14 2005-11-17 Mchale Mike In-game interface with performance feedback
CN201611570U (zh) * 2009-12-24 2010-10-20 盛大计算机(上海)有限公司 音频评测装置
CN104064180A (zh) * 2014-06-06 2014-09-24 百度在线网络技术(北京)有限公司 演唱评分方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浙江卫视 等: "我爱记歌词", 《HTTP://V.YOUKU.COM/V_SHOW/ID_XNJM2MTA1MZA0.HTML》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192395A1 (zh) * 2015-06-05 2016-12-08 福建星网视易信息系统有限公司 一种演唱评分显示方法、装置及系统
CN108028051A (zh) * 2015-09-15 2018-05-11 雅马哈株式会社 评估装置和记录介质
CN105260154A (zh) * 2015-10-15 2016-01-20 桂林电子科技大学 一种多媒体数据显示方法及显示装置
CN105976849B (zh) * 2016-05-05 2019-05-03 广州酷狗计算机科技有限公司 一种播放音频数据的方法和装置
CN105976849A (zh) * 2016-05-05 2016-09-28 广州酷狗计算机科技有限公司 一种播放音频数据的方法和装置
CN106250400A (zh) * 2016-07-19 2016-12-21 腾讯科技(深圳)有限公司 一种音频数据处理方法、装置以及系统
CN106250400B (zh) * 2016-07-19 2021-03-26 腾讯科技(深圳)有限公司 一种音频数据处理方法、装置以及系统
CN107347167A (zh) * 2017-05-27 2017-11-14 福建星网视易信息系统有限公司 一种实现联网唱歌比赛的方法、系统及应用
CN107221340A (zh) * 2017-05-31 2017-09-29 福建星网视易信息系统有限公司 基于多路音频的实时评分方法、存储设备及应用
CN107257338A (zh) * 2017-06-16 2017-10-17 腾讯科技(深圳)有限公司 媒体数据处理方法、装置及存储介质
CN107393519A (zh) * 2017-08-03 2017-11-24 腾讯音乐娱乐(深圳)有限公司 演唱评分的显示方法、装置及存储介质
CN107393519B (zh) * 2017-08-03 2020-09-15 腾讯音乐娱乐(深圳)有限公司 演唱评分的显示方法、装置及存储介质
CN109905789A (zh) * 2017-12-10 2019-06-18 张德明 一种k歌话筒
CN108182946A (zh) * 2017-12-25 2018-06-19 广州势必可赢网络科技有限公司 一种基于声纹识别的声乐模式选择方法及装置
CN108492807B (zh) * 2018-03-30 2020-09-11 北京小唱科技有限公司 展示修音状态的方法及装置
CN108492807A (zh) * 2018-03-30 2018-09-04 北京小唱科技有限公司 展示修音状态的方法及装置
CN108647313A (zh) * 2018-05-10 2018-10-12 福建星网视易信息系统有限公司 一种实时生成演唱视频的方法和系统
CN108848419B (zh) * 2018-06-07 2020-12-11 康佳集团股份有限公司 基于生物特征识别的电视互动方法、智能电视及存储介质
CN108848419A (zh) * 2018-06-07 2018-11-20 康佳集团股份有限公司 基于生物特征识别的电视互动方法、智能电视及存储介质
CN111383620B (zh) * 2018-12-29 2022-10-11 广州市百果园信息技术有限公司 一种音频的修正方法、装置、设备及存储介质
CN111383620A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 一种音频的修正方法、装置、设备及存储介质
CN111666445A (zh) * 2019-03-06 2020-09-15 深圳市冠旭电子股份有限公司 一种情景歌词的显示方法、装置及音箱设备
CN110010159B (zh) * 2019-04-02 2021-12-10 广州酷狗计算机科技有限公司 声音相似度确定方法及装置
CN110010159A (zh) * 2019-04-02 2019-07-12 广州酷狗计算机科技有限公司 声音相似度确定方法及装置
CN110503961A (zh) * 2019-09-03 2019-11-26 北京字节跳动网络技术有限公司 音频识别方法、装置、存储介质及电子设备
CN111787375A (zh) * 2020-04-30 2020-10-16 聚好看科技股份有限公司 显示设备及信息显示方法
WO2022169417A1 (zh) * 2021-02-07 2022-08-11 脸萌有限公司 语音相似度确定方法及设备、程序产品
CN113707113A (zh) * 2021-08-24 2021-11-26 北京达佳互联信息技术有限公司 用户歌声的修音方法、装置及电子设备
CN113707113B (zh) * 2021-08-24 2024-02-23 北京达佳互联信息技术有限公司 用户歌声的修音方法、装置及电子设备

Also Published As

Publication number Publication date
WO2016192395A1 (zh) 2016-12-08

Similar Documents

Publication Publication Date Title
CN104882147A (zh) 一种演唱评分显示方法、装置及系统
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
CN109688463A (zh) 一种剪辑视频生成方法、装置、终端设备及存储介质
CN103077701B (zh) 一种音准评定方法、装置和系统
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
US20140164998A1 (en) User interface for creating a playlist
CN112188304B (zh) 视频生成方法、装置、终端及存储介质
CN105187936B (zh) 基于演唱音频评分的多媒体文件播放方法和装置
CN105117021A (zh) 一种虚拟现实内容的生成方法和播放装置
CN103608748B (zh) 视觉搜索以及推荐用户界面和装置
CN104574453A (zh) 用图像表达音乐的软件
CN109495684A (zh) 一种视频的拍摄方法、装置、电子设备及可读介质
CN105243093A (zh) 一种演唱者推荐方法及装置
CN109643413B (zh) 装置及相关联的方法
CN110032352A (zh) 一种展示内容生成方法及装置
CN106776449A (zh) 一种植物科普电子书阅读展示方法及装置
CN113365134A (zh) 音频分享方法、装置、设备及介质
CN109618229A (zh) 音视频的关联播放方法、装置、服务器及存储介质
US20240095973A1 (en) Method and apparatus for updating page display, electronic device, and storage medium
CN103384311A (zh) 互动视频批量自动生成方法
CN103335644A (zh) 街景地图的声音播放方法及相关设备
CN106373196A (zh) 一种基于虚拟现实的移动视频播放方法
WO2024078293A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN112565875B (zh) 自动生成视频的方法、装置、设备和计算机可读存储介质
US20230090995A1 (en) Virtual-musical-instrument-based audio processing method and apparatus, electronic device, computer-readable storage medium, and computer program product

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150902

RJ01 Rejection of invention patent application after publication