CN109165836A - 一种演唱评分中歌词发音的处理及测评方法及系统 - Google Patents

一种演唱评分中歌词发音的处理及测评方法及系统 Download PDF

Info

Publication number
CN109165836A
CN109165836A CN201810927245.7A CN201810927245A CN109165836A CN 109165836 A CN109165836 A CN 109165836A CN 201810927245 A CN201810927245 A CN 201810927245A CN 109165836 A CN109165836 A CN 109165836A
Authority
CN
China
Prior art keywords
lyrics
score
data
assessment
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810927245.7A
Other languages
English (en)
Other versions
CN109165836B (zh
Inventor
刘云光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Glorious Interactive Network Technology Co Ltd
Original Assignee
Nanjing Glorious Interactive Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Glorious Interactive Network Technology Co Ltd filed Critical Nanjing Glorious Interactive Network Technology Co Ltd
Priority to CN201810927245.7A priority Critical patent/CN109165836B/zh
Publication of CN109165836A publication Critical patent/CN109165836A/zh
Application granted granted Critical
Publication of CN109165836B publication Critical patent/CN109165836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种演唱评分中歌词发音的处理及测评方法及系统。该方法为：将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中；解析提取出歌词拼音信息，并处理得到序列化的歌词数据；通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，根据语音测评SDK返回的发音数据信息确定歌词得分；将演唱得分与歌词得分综合进行评分，使得歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。系统包括歌词数据处理模块、语音测评模块、综合演唱评分模块。本发明能够对演唱评分中的歌词发音进行识别，不涉及语意识别和翻译，具有识别速度快、准确度高的优点。

Description

一种演唱评分中歌词发音的处理及测评方法及系统
技术领域
本发明属于人工智能或语音识别技术领域，特别是一种演唱评分中歌词发音的处理及测评方法。
技术背景
目前，唱歌评分系统多采用音准、节奏甚至包括情感等维度进行评分运算，受到网络连接的要求或者语音识别技术限制的影响，很少有带有歌词发音识别的演唱评分系统。针对现有中小学音乐测评大纲要求，演唱者歌词演唱需要准确、清晰，所以缺少歌词测试维度的评分系统不能用于实际教学考核。
歌词评分难点主要是语音识别系统需要庞大的数据服务器提供校对服务，并且普通的语音识别系统对语义的解析(翻译成文字都正确的一句话)需要一定的计算时间，很难做到实时完成对正在演唱的歌词中的每一个字做正确的校对。中国专利CN200910202012公开了一种演唱打分系统，该系统将歌词中的字进行语音识别评分，其通过一段歌词的每个字转化成数字信号后，采用差值算数平均数的算法，得到一个抽象的得分，再通过人工大数据校对(训练)，将得分转化为百分制，此算法因为并没有去识别每一个字的发音准确度，而是通过差值的方式去评判歌曲整体歌词发音平稳度，因此并不精确，对升降调的演唱区分度不高。
发明内容
本发明的目的在于提供一种识别速度快、准确度高的演唱评分中歌词发音的处理及测评方法。
实现本发明目的的技术解决方案为：一种演唱评分中歌词发音的处理及测评方法，包括以下步骤：
首先，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
其次，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
最后，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
作为一种具体示例，所述根据语音测评SDK要求进行处理得到序列化的歌词数据，具体如下：
语音测评SDK要求歌词拼音带有声调数据，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
作为一种具体示例，所述根据返回的信息确定歌词得分，具体为：
将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，包括时长、朗读是否正确、是否有遗漏，采用5分制的评分标准为：
歌词得分＝(发音准确歌词个数*5)/歌词总个数。
作为一种具体示例，所述演唱得分采用不含歌词评分的演唱评测系统获得，具体如下：
首先，将音乐通过打谱软件制作简谱，并导出xml数据文件，解析xml文件并将音乐数据转化成标准音频数字信息；同时将音频进行降噪处理，并设置录音采样率、采样位和单双声道；
其次，将录音得到的演唱音频文件与上述标准音频数字信息进行多方位对比，通过包括音高/音准，节奏/节拍的多个维度进行综合评分，得到演唱得分。
作为一种具体示例，所述综合演唱得分，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
一种演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，其中：
所述歌词数据处理模块，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
所述语音测评模块，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
所述综合演唱评分模块，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
作为一种具体示例，所述歌词数据处理模块中设有解析乐谱文件单元，该解析乐谱文件单元功能如下：
根据语音测评SDK要求，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
作为一种具体示例，所述语音测评模块中设有歌词得分计算单元，歌词得分计算单元采用5分制的评分标准，计算公式如下：
歌词得分＝(发音准确歌词个数*5)/歌词总个数
发音准确歌词个数的判断指标，包括时长、朗读是否正确、是否有遗漏。
作为一种具体示例，所述综合演唱评分模块中设有综合演唱得分计算单元，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
作为一种具体示例，所述打谱软件采用MuseScore。
本发明与现有技术相比，其显著优点为：(1)直接将歌词发音转化成数字信号，与标准语言数字信号进行对比，每一首歌曲都有一个数据量很小的标准数字信号数据，易于实现，对硬件要求低；(2)歌词识别不涉及语意识别和翻译，歌词发音识别效率和准确度均较高；(3)中小学艺术测评过程中，在音乐考评环境下，实现演唱歌曲自动评分，减少了人工评分的人力成本，促进了信息化教学的发展。
附图说明
图1是本发明演唱评分中歌词发音的处理及测评方法的流程图。
图2是本发明演唱歌曲数据信息示意图。
图3是演示一首歌曲的歌词部分转化成拼音后的格式示意图。
图4是综合演唱评分模块歌词评分占比示意图。
具体实施方式
结合图1，本发明演唱评分中歌词发音的处理及测评方法，包括以下步骤：
首先，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
其次，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
最后，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
作为一种具体示例，所述根据语音测评SDK要求进行处理得到序列化的歌词数据，具体如下：
语音测评SDK要求歌词拼音带有声调数据，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
作为一种具体示例，所述根据返回的信息确定歌词得分，具体为：
将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，包括时长、朗读是否正确、是否有遗漏，采用5分制的评分标准为：
歌词得分＝(发音准确歌词个数*5)/歌词总个数。
作为一种具体示例，所述演唱得分采用不含歌词评分的演唱评测系统获得，具体如下：
首先，将音乐通过打谱软件制作简谱，并导出xml数据文件，解析xml文件并将音乐数据转化成标准音频数字信息；同时将音频进行降噪处理，并设置录音采样率、采样位和单双声道；
其次，将录音得到的演唱音频文件与上述标准音频数字信息进行多方位对比，通过包括音高/音准，节奏/节拍的多个维度进行综合评分，得到演唱得分。
作为一种具体示例，所述综合演唱得分，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
一种演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，其中：
所述歌词数据处理模块，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
所述语音测评模块，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
所述综合演唱评分模块，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
作为一种具体示例，所述歌词数据处理模块中设有解析乐谱文件单元，该解析乐谱文件单元功能如下：
根据语音测评SDK要求，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
作为一种具体示例，所述语音测评模块中设有歌词得分计算单元，歌词得分计算单元采用5分制的评分标准，计算公式如下：
歌词得分＝(发音准确歌词个数*5)/歌词总个数
发音准确歌词个数的判断指标，包括时长、朗读是否正确、是否有遗漏。
作为一种具体示例，所述综合演唱评分模块中设有综合演唱得分计算单元，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
作为一种具体示例，所述打谱软件采用MuseScore。
本发明采用自定义的歌词转化方法，将转化后的拼音加声调数据，通过第三方语音评测SDK给每一个字的发音准确性打分，再结合演唱歌曲评分系统进行综合打分，最终得到含有歌词测评维度的演唱总得分，不涉及语意识别和翻译，具有识别速度快、准确度高的优点。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
本实施例针对中小学艺术测评过程中，在音乐考评环境下，实现演唱歌曲自动评分，采用以下具体方案：
本发明采用自定义的歌词转化方法，将转化后的拼音加声调数据，通过第三方语音评测SDK给每一个字的发音准确性打分，再结合演唱歌曲评分系统进行综合打分，最终得到含有歌词测评维度的演唱总得分。
上述演唱歌曲评分系统用于确定演唱得分，分为三大模块：
1、预处理模块：将音乐通过打谱软件制作简谱，并导出xml数据文件，程序解析xml文件并将音乐数据转化成标准数字信息，方便后期校对；同时将音频进行降噪处理；还有就是录音控制，设置采样率和采样位和单双声道等，为下面评分系统做准备。
2、多维度打分模块：将录音得到的演唱音频文件与上面预处理得到的标准音频数字信息进行多方位对比，通过音高/音准，节奏/节拍等多个维度进行综合评分。
3、综合评分系统：将上述涉及到的多维度评分的占比作为可变参数，音乐教研或老师可以根据不同地区音乐教学要求动态调整评分规则。
本发明演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，具体如下：
1歌词数据处理模块
A、将标准录音音频文件(wav)通过专业打谱软件MuseScore导出音频xml文件，手动将歌词转化成拼音并保存在xml文件中，如图2。
B、解析musicxml文件，将歌词拼音信息取出并根据语音测评SDK要求对数据进行处理，例如SDK要求歌词拼音要带有声调数据，比如“欢乐”需要转化成“huan1le4”，考虑到演唱过程中歌词演唱与正常朗读的声调有差别，所以这一步需要将所有歌词转化成最多四种可能声调的数据集，例如“欢”字演唱的时候声调最多是一声或三声，转化成[huan1，huan2]，例如“乐”字演唱的时候可能是一声或四声，转化成“[le1，le4]”测评过程中有一种声调对应准确即认定歌词演唱发音准确，并将这些歌词转化后的信息记录在一个数据文件中，要求数据文件类型编码格式一定要是UTF-8，歌词拼音之间用“|”隔开，作用是方便程序用正则表达式的方式去拆分每一个歌词信息。例如我们将《欢乐颂》歌曲歌词转化成序列化的数据，如图3。
2语音评测模块
C、每个发音数据都是独一无二的发音编码，将如图3中的歌词数据通过程序正则表达式解析每一个字的发音，将这个发音数据放入第三方语音识别SDK中，SDK会返回这个发音数据的信息(比如时长、朗读是否正确、是否有遗漏等)，再通过这些信息给出一个评分(满分为5分，评分标准按照发音准确数/歌词个数再转化成5分制)，得到整个歌曲歌词的最终得分。比如通过演唱上面的欢乐颂歌词，获得歌词演唱评分。结果如下表1。
表1
3综合演唱评分模块
D、将演唱得分ScoreA与歌词评分ScoreB综合进行评分，分别设定两部分评分在整体测评过程中的占比。例如歌词得分占比factorB，演唱评分占比(1-factorB)，总评分算法：(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB。
totalScoreA是演唱得分的满分，totalScoreB是歌词得分的满分。
为了保持歌词评分的主观一致性，歌词评分占比分数factorB相对于歌词测评分数ScoreB应为指数函数关系，即歌词测评分数越高，实际占比分数越高，测评分越低，实际分占分数越低，如图4所示。例如，假设歌词评分占比为40分，上面演唱的《欢乐颂》演唱评分为90，歌词评分为4.09，综合评分为(90/100)*(100-40)+24＝78分。本发明方法不涉及语意识别和翻译，具有识别速度快、准确度高的优点。

Claims (10)

1.一种演唱评分中歌词发音的处理及测评方法，其特征在于，包括以下步骤：
首先，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
其次，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
最后，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
2.根据权利要求1所述的演唱评分中歌词发音的处理及测评方法，其特征在于，所述根据语音测评SDK要求进行处理得到序列化的歌词数据，具体如下：
语音测评SDK要求歌词拼音带有声调数据，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
3.根据权利要求1或2所述的演唱评分中歌词发音的处理及测评方法，其特征在于，所述根据返回的信息确定歌词得分，具体为：
将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，包括时长、朗读是否正确、是否有遗漏，采用5分制的评分标准为：
歌词得分＝(发音准确歌词个数*5)/歌词总个数。
4.根据权利要求3所述的演唱评分中歌词发音的处理及测评方法，其特征在于，所述演唱得分采用不含歌词评分的演唱评测系统获得，具体如下：
首先，将音乐通过打谱软件制作简谱，并导出xml数据文件，解析xml文件并将音乐数据转化成标准音频数字信息；同时将音频进行降噪处理，并设置录音采样率、采样位和单双声道；
其次，将录音得到的演唱音频文件与上述标准音频数字信息进行多方位对比，通过包括音高/音准，节奏/节拍的多个维度进行综合评分，得到演唱得分。
5.根据权利要求1或3所述的演唱评分中歌词发音的处理及测评方法，其特征在于，所述综合演唱得分，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
6.一种演唱评分中歌词发音的处理及测评系统，其特征在于，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，其中：
所述歌词数据处理模块，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到MusicXml乐谱文件；解析MusicXml乐谱文件，提取出歌词拼音信息，并根据语音测评SDK要求进行处理得到序列化的歌词数据；
所述语音测评模块，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评SDK中，语音测评SDK返回该发音数据的信息，根据返回的信息确定歌词得分；
所述综合演唱评分模块，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。
7.根据权利要求6所述的演唱评分中歌词发音的处理及测评系统，其特征在于，所述歌词数据处理模块中设有解析乐谱文件单元，该解析乐谱文件单元功能如下：
根据语音测评SDK要求，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；
将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为UTF-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。
8.根据权利要求6或7所述的演唱评分中歌词发音的处理及测评系统，其特征在于，所述语音测评模块中设有歌词得分计算单元，歌词得分计算单元采用5分制的评分标准，计算公式如下：
歌词得分＝(发音准确歌词个数*5)/歌词总个数
发音准确歌词个数的判断指标，包括时长、朗读是否正确、是否有遗漏。
9.根据权利要求6或7所述的演唱评分中歌词发音的处理及测评系统，其特征在于，所述综合演唱评分模块中设有综合演唱得分计算单元，计算公式如下：
Score＝(ScoreA/totalScoreA)*(1-factorB)+(ScoreB/totalScoreB)*factorB
其中，Score表示综合演唱得分，ScoreA表示演唱得分，ScoreB表示歌词评分；factorB表示歌词得分占比，演唱评分占比为1-factorB；totalScoreA表示演唱得分的满分，totalScoreB表示歌词得分的满分。
10.根据权利要求6或7所述的演唱评分中歌词发音的处理及测评系统，其特征在于，所述打谱软件采用MuseScore。
CN201810927245.7A 2018-08-15 2018-08-15 一种演唱评分中歌词发音的处理及测评方法及系统 Active CN109165836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810927245.7A CN109165836B (zh) 2018-08-15 2018-08-15 一种演唱评分中歌词发音的处理及测评方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810927245.7A CN109165836B (zh) 2018-08-15 2018-08-15 一种演唱评分中歌词发音的处理及测评方法及系统

Publications (2)

Publication Number Publication Date
CN109165836A true CN109165836A (zh) 2019-01-08
CN109165836B CN109165836B (zh) 2022-02-11

Family

ID=64895745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810927245.7A Active CN109165836B (zh) 2018-08-15 2018-08-15 一种演唱评分中歌词发音的处理及测评方法及系统

Country Status (1)

Country Link
CN (1) CN109165836B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610721A (zh) * 2019-09-16 2019-12-24 上海瑞美锦鑫健康管理有限公司 一种基于歌词演唱准确度的检测系统及方法
CN112508397A (zh) * 2020-12-04 2021-03-16 成都音悦创想科技有限公司 一种游戏化vod评分系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894552A (zh) * 2010-07-16 2010-11-24 安徽科大讯飞信息科技股份有限公司 基于语谱切分的唱歌评测系统
US7917238B1 (en) * 2005-12-22 2011-03-29 Thomas Lapcevic Portable music device and systems
CN102103857A (zh) * 2009-12-21 2011-06-22 盛大计算机（上海）有限公司 演唱打分系统
CN107507628A (zh) * 2017-08-31 2017-12-22 广州酷狗计算机科技有限公司 唱歌评分方法、装置及终端
CN107978322A (zh) * 2017-11-27 2018-05-01 北京酷我科技有限公司 一种k歌打分算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917238B1 (en) * 2005-12-22 2011-03-29 Thomas Lapcevic Portable music device and systems
CN102103857A (zh) * 2009-12-21 2011-06-22 盛大计算机（上海）有限公司 演唱打分系统
CN101894552A (zh) * 2010-07-16 2010-11-24 安徽科大讯飞信息科技股份有限公司 基于语谱切分的唱歌评测系统
CN107507628A (zh) * 2017-08-31 2017-12-22 广州酷狗计算机科技有限公司 唱歌评分方法、装置及终端
CN107978322A (zh) * 2017-11-27 2018-05-01 北京酷我科技有限公司 一种k歌打分算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡为楚等: "Android平台下K歌软件的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610721A (zh) * 2019-09-16 2019-12-24 上海瑞美锦鑫健康管理有限公司 一种基于歌词演唱准确度的检测系统及方法
CN110610721B (zh) * 2019-09-16 2022-01-07 上海瑞美锦鑫健康管理有限公司 一种基于歌词演唱准确度的检测系统及方法
CN112508397A (zh) * 2020-12-04 2021-03-16 成都音悦创想科技有限公司 一种游戏化vod评分系统及方法
CN112508397B (zh) * 2020-12-04 2024-04-16 成都音悦创想科技有限公司 一种游戏化vod评分系统及方法

Also Published As

Publication number Publication date
CN109165836B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN100514446C (zh) 一种基于语音识别及语音分析的发音评估方法
CN102360543B (zh) 基于hmm的双语(普通话-英语)tts技术
CN101064104B (zh) 基于语音转换的情感语音生成方法
US7877259B2 (en) Prosodic speech text codes and their use in computerized speech systems
TWI275072B (en) Pronunciation assessment method and system based on distinctive feature analysis
RU2690863C1 (ru) Система и способ компьютеризированного обучения музыкальному языку
CN101739869B (zh) 一种基于先验知识的发音评估与诊断系统
CN102376182B (zh) 语言学习系统、语言学习方法及其程序产品
TW556152B (en) Interface of automatically labeling phonic symbols for correcting user's pronunciation, and systems and methods
CN106847260A (zh) 一种基于特征融合的英语口语自动评分方法
CN101551947A (zh) 辅助口语语言学习的计算机系统
CN101740024A (zh) 基于广义流利的口语流利度自动评估方法
CN101178896A (zh) 基于声学统计模型的单元挑选语音合成方法
CN101751919A (zh) 一种汉语口语重音自动检测方法
CN101650886A (zh) 一种自动检测语言学习者朗读错误的方法
Dong Application of artificial intelligence software based on semantic web technology in english learning and teaching
Wang et al. A probe into spoken English recognition in English education based on computer-aided comprehensive analysis
Jiao et al. A spoken English teaching system based on speech recognition and machine learning
CN109165836A (zh) 一种演唱评分中歌词发音的处理及测评方法及系统
CN111508522A (zh) 一种语句分析处理方法及系统
Dai [Retracted] An Automatic Pronunciation Error Detection and Correction Mechanism in English Teaching Based on an Improved Random Forest Model
CN110246514A (zh) 一种基于模式识别的英语单词发音学习系统
Zheng [Retracted] An Analysis and Research on Chinese College Students’ Psychological Barriers in Oral English Output from a Cross‐Cultural Perspective
Li General Design of Automatic Correction System for English Pronunciation Errors Based on DTW Algorithm
Yu A Model for Evaluating the Quality of English Reading and Pronunciation Based on Computer Speech Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant