CN111477251A - 模型评测方法、装置及电子设备 - Google Patents

模型评测方法、装置及电子设备 Download PDF

Info

Publication number
CN111477251A
CN111477251A CN202010437127.5A CN202010437127A CN111477251A CN 111477251 A CN111477251 A CN 111477251A CN 202010437127 A CN202010437127 A CN 202010437127A CN 111477251 A CN111477251 A CN 111477251A
Authority
CN
China
Prior art keywords
features
evaluated
central
speech synthesis
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010437127.5A
Other languages
English (en)
Other versions
CN111477251B (zh
Inventor
郑林
陈昌滨
马啸空
孙宇娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311054690.4A priority Critical patent/CN117476038A/zh
Priority to CN202010437127.5A priority patent/CN111477251B/zh
Publication of CN111477251A publication Critical patent/CN111477251A/zh
Priority to EP21163128.8A priority patent/EP3843093B1/en
Priority to US17/205,946 priority patent/US20210210112A1/en
Priority to KR1020210035332A priority patent/KR102553892B1/ko
Priority to JP2021048756A priority patent/JP7152550B2/ja
Application granted granted Critical
Publication of CN111477251B publication Critical patent/CN111477251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Abstract

本申请公开了一种模型评测方法、装置及电子设备，涉及音频数据处理技术领域。其中方法包括：获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；将M个第一声纹特征进行聚类，获得K个第一中心特征；将N个第二声纹特征进行聚类，获得J个第二中心特征；统计K个第一中心特征与J个第二中心特征之间的余弦距离，获得第一距离；基于第一距离，对第一待评测语音合成模型进行评测。根据本申请的技术，能够提高第一待评测语音合成模型的评测效率。

Description

模型评测方法、装置及电子设备
技术领域
本申请涉及数据处理技术，尤其涉及音频数据处理技术领域，具体涉及一种模型评测方法、装置及电子设备。
背景技术
语音合成技术是将文字转换成音频信号输出的一种技术，在人机交互领域占有重要角色，应用价值较广。而个性化语音合成是通过语音合成技术，合成与真人发音非常相似的音频信号，目前已经广泛应用于地图，智能音箱等领域。
当前有许多个性化语音合成模型，来用于合成音频信号，这些个性化语音合成模型合成的音频还原度参差不齐，因此，对个性化语音合成模型进行评测至关重要。
目前，通常是依靠预先训练的声纹校验模型，来评测个性化语音合成模型合成的音频还原度，即合成的音频与真人发音的相似度，从而评测个性化语音合成模型的优劣。然而，由于声纹校验模型通常是一个一个对合成的音频信号进行还原度校验，因此，评测效率比较低。
发明内容
本申请提供了一种模型评测方法、装置及电子设备。
根据第一方面，本申请提供了一种模型评测方法，所述方法包括：
获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；
对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；
将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征；
统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离；
基于所述第一距离，对所述第一待评测语音合成模型进行评测；
其中，M、N、K和J均为大于1的正整数，M大于K，N大于J。
根据第二方面，本申请提供了一种模型评测装置，包括：
第一获取模块，用于获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；
第一声纹提取模块，用于对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；
第一聚类模块，用于将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征；
第一统计模块，用于统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离；
第一评测模块，用于基于所述第一距离，对所述第一待评测语音合成模型进行评测；
其中，M、N、K和J均为大于1的正整数，M大于K，N大于J。
根据第三方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中的任一项方法。
根据第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面中的任一项方法。
根据本申请的技术，通过对M个第一声纹特征进行聚类，获得K个第一中心特征，对N个第二声纹特征进行聚类，获得J个第二中心特征；并统计K个第一中心特征与J个第二中心特征之间的余弦距离，获得第一距离，从而能够基于第一距离从整体上评测M个使用第一待评测语音合成模型合成的第一音频信号的还原度，进而能够提高第一待评测语音合成模型的评测效率。本申请解决了现有技术中对个性化语音合成模型进行评测的效率比较低的问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的模型评测方法的流程示意图；
图2是对第二待评测语音合成模型进行评测的流程示意图；
图3是根据本申请第二实施例的模型评测装置的结构示意图之一；
图4是根据本申请第二实施例的模型评测装置的结构示意图之二；
图5是用来实现本申请实施例的模型评测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
如图1所示，本申请提供一种模型评测方法，包括如下步骤：
步骤S101：获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号。
本实施例中，所述第一待评测语音合成模型为个性化语音合成模型，目的在于通过第一待评测语音合成模型合成与真人发音相似的音频信号，以应用于地图，智能音箱等领域。
所述第一待评测语音合成模型可以由第一预设模型经过预先训练生成，所述第一预设模型实质上是由一套第一算法所构建的模型，所述第一预设模型中的参数数据需要经过训练得到，以得到所述第一待评测语音合成模型。
具体的，将第一用户根据一文本录制的多个音频信号作为训练样本，比如，将第一用户根据一文本录制的20个或30个音频信号作为训练样本，输入至第一预设模型中，训练得到所述第一预设模型中的参数数据，以生成第一用户的第一待评测语音合成模型。
生成第一待评测语音合成模型之后，使用一批文本，并使用该第一用户的第一待评测语音合成模型生成一批第一音频信号，具体的，将每个文本输入至第一待评测语音合成模型中，以输出该文本对应的第一音频信号，最终得到M个第一音频信号。同时，获取该第一用户录制的一批第二音频信号，最终获得N个第二音频信号。
其中，M和N可以相同，也可以不同，这里不做具体限定。为了使得第一待评测语音合成模型的评测结果更加准确，M和N通常比较大，比如20或30。
步骤S102：对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征。
对第一音频信号进行声纹提取的方式可以包括多种，比如，采用传统的统计学方法，对第一音频信号进行声纹提取，以获取第一音频信号的统计学特征，该统计学特征即为第一声纹特征。又比如，可以使用深度神经网络(Deep Neural Networks，DNN)对第一音频信号进行声纹提取，以获取第一音频信号的DNN声纹特征，该DNN声纹特征即为第一声纹特征。
同时，对第二音频信号进行声纹提取的方式与对第一音频信号进行声纹提取的方式类似，这里不再对其进行赘述。
步骤S103：将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征。
可以采用传统的或者新的聚类算法对所述M个第一声纹特征进行聚类，获得K个第一中心特征。其中，K可以基于这M个第一声纹特征中两两第一声纹特征之间的余弦距离的实际情况通过聚类算法求得。
比如，聚类算法可以根据这M个第一声纹特征中两两第一声纹特征之间的余弦距离，将这M个第一声纹特征聚三类，聚四类，聚五类等等，K即为聚类的数量。其中，每类第一声纹特征中两两第一声纹特征之间的余弦距离即组内距离小于一预设阈值，类与类的第一声纹特征之间的余弦距离即组间距离大于另一预设阈值。
聚类后，根据每类的第一声纹特征，计算该类的第一中心特征，比如该类的第一中心特征可以为对该类的多个第一声纹特征进行平均后的声纹特征，最终得到K个第一中心特征。
同时，对所述N个第二声纹特征进行聚类的方式与对所述M个第一声纹特征进行聚类的方式类似，这里不再对其进行赘述。
其中，K和J可以相同，也可以不同，这里不做具体限定。另外，M、N、K和J均为大于1的正整数，M大于K，N大于J。
步骤S104：统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离。
可以针对每个第一中心特征，计算该第一中心特征与所述J个第二中心特征中每个第二中心特征的余弦距离，获得该第一中心特征对应的余弦距离。其中，两个中心特征之间的余弦距离可以表征这两个中心特征的相似度。
比如，K个第一中心特征分别为第一中心特征A1、第一中心特征A2和第一中心特征A3，J个第二中心特征分别为第二中心特征B1、第二中心特征B2和第二中心特征B3。可以计算第一中心特征A1分别与第二中心特征B1、第二中心特征B2和第二中心特征B3的余弦距离，获得第一中心特征A1对应的余弦距离A1B1、余弦距离A1B2和余弦距离A1B3，计算第一中心特征A2分别与第二中心特征B1、第二中心特征B2和第二中心特征B3的余弦距离，获得第一中心特征A2对应的余弦距离A2B1、余弦距离A2B2和余弦距离A2B3，并计算第一中心特征A3分别与第二中心特征B1、第二中心特征B2和第二中心特征B3的余弦距离，获得第一中心特征A3对应的余弦距离A3B1、余弦距离A3B2和余弦距离A3B3，最终得到所述K个第一中心特征与所述J个第二中心特征之间的多个余弦距离。
然后，统计所述K个第一中心特征与所述J个第二中心特征之间的多个余弦距离，获得第一距离。其中，所述K个第一中心特征与所述J个第二中心特征之间的多个余弦距离的统计方式可以有多种，比如，对这些余弦距离进行求和，获得所述第一距离。又比如，对这些余弦距离进行平均，获得所述第一距离。
另外，由于K个第一中心特征基于M个第一声纹特征进行聚类得到，J个第二中心特征基于N个第二声纹特征进行聚类得到，且由于所述第一距离基于所述K个第一中心特征与所述J个第二中心特征之间的多个余弦距离进行统计得到，因此，所述第一距离可以从整体上评测M个第一声纹特征与N个第二声纹特征之间的相似度。
也就是说，所述第一距离可以从整体上评测M个第一音频信号与真人录制的N个第二音频信号发音的相似度，即评测M个使用第一待评测语音合成模型合成的第一音频信号的还原度。在所述第一距离小于第一预设阈值的情况下，说明这M个第一音频信号的还原度好，在所述第一距离大于或等于第一预设阈值的情况下，说明这M个第一音频信号的还原度不好。
步骤S105：基于所述第一距离，对所述第一待评测语音合成模型进行评测。
由于这M个第一音频信号是使用第一待评测语音合成模型合成的，因此，所述第一距离可以用来对所述第一待评测语音合成模型进行评测，即基于所述第一距离，对所述第一待评测语音合成模型进行评测。
本实施例中，通过对M个第一声纹特征进行聚类，获得K个第一中心特征，对N个第二声纹特征进行聚类，获得J个第二中心特征；并统计K个第一中心特征与J个第二中心特征之间的余弦距离，获得第一距离，从而能够基于第一距离从整体上评测M个使用第一待评测语音合成模型合成的第一音频信号的还原度，进而可以对大批量的第一音频信号的还原度进行快速评测，提高第一待评测语音合成模型的评测效率。
并且，相对于现有技术，本实施例无需采用声纹校验模型来进行模型评测，因此可以避免声纹校验模型需要定期更新的缺陷，降低模型评测的成本。同时，在模型评测过程中，通过分别将多个第一声纹特征和多个第二声纹特征进行聚类，得到多个第一中心特征和多个第二中心特征，从而充分考虑了音频信号的个性化特点，进而可以提高模型评测的准确性。
进一步的，由于第一待评测语音合成模型由第一预设模型经过预先训练生成，所述第一预设模型实质上是由一套算法所构建的模型，因此，本实施例还可以通过第一预设模型生成多个用户的第一待评测语音合成模型，并通过评测这些用户的第一待评测语音合成模型，来对第一预设模型进行评测，即对构建该第一预设模型的算法进行评测。因此，本实施例还可以提高个性化语音合成算法的评测效率。
比如，使用个性化语音合成算法构建第一预设模型，通过第一预设模型生成多个用户的第一待评测语音合成模型，分别对这多个用户的第一待评测语音合成模型进行评测。然后，基于这多个用户的第一待评测语音合成模型的评测结果，对第一预设模型进行评测；在这多个用户中大部分用户或全部用户的第一待评测语音合成模型评测成功的情况下，确定第一预设模型评测成功，即构建第一预设模型的个性化语音合成算法评测成功。
可选的，所述统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离，包括：
针对每个第一中心特征，计算所述第一中心特征与每个第二中心特征的余弦距离，获得所述第一中心特征对应的J个余弦距离；并对所述第一中心特征对应的J个余弦距离进行求和，获得所述第一中心特征对应的余弦距离和；
将所述K个第一中心特征对应的余弦距离和进行求和，获得所述第一距离。
本实施方式中，通过计算所述K个第一中心特征与所述J个第二中心特征之间的多个余弦距离，并对这多个余弦距离进行求和，得到第一距离，即所述K个第一中心特征与所述J个第二中心特征之间的总距离。该总距离可以从整体上表征M个第一声纹特征与N个第二声纹特征之间的相似度，因此，本实施方式中，可以基于该总距离从整体上评测M个第一音频信号与真人录制的N个第二音频信号发音的相似度，即评测M个第一音频信号的还原度，从而可以对大批量的第一音频信号的还原度进行快速评测，进而可以提高第一待评测语音合成模型的评测效率。
可选的，所述基于所述第一距离，对所述第一待评测语音合成模型进行评测，包括：
在所述第一距离小于第一预设阈值的情况下，确定所述第一待评测语音合成模型评测成功；
在所述第一距离大于或等于所述第一预设阈值的情况下，确定所述第一待评测语音合成模型评测不成功。
本实施方式中，在所述第一距离小于第一预设阈值的情况下，可以从整体上确定这M个第一音频信号的还原度好，从而可以确定用于合成这M个第一音频信号的第一待评测语音合成模型评测成功。在所述第一距离大于或等于第一预设阈值的情况下，可以从整体上确定这M个第一音频信号的还原度不够好，从而可以确定用于合成这M个第一音频信号的第一待评测语音合成模型评测不成功，需要改进。
其中，所述第一预设阈值可以根据实际情况进行设置，在要求合成音频的还原度高的领域，所述第一预设阈值可以设置的相对小。
可选的，所述获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号之后，所述方法还包括：
获取T个使用第二待评测语音合成模型合成的第三音频信号；
对T个第三音频信号中每个第三音频信号进行声纹提取，获得T个第三声纹特征；
将所述T个第三声纹特征进行聚类，获得P个第三中心特征；
统计所述P个第三中心特征与所述J个第二中心特征之间的余弦距离，获得第二距离；
基于所述第一距离和第二距离，对所述第一待评测语音合成模型或所述第二待评测语音合成模型进行评测；
其中，T和P为大于1的正整数，T大于P。
本实施方式中，所述第二待评测语音合成模型为第一用户的待评测语音合成模型，所述第二待评测语音合成模型也为个性化语音合成模型，目的在于通过第二待评测语音合成模型合成与真人发音相似的音频信号，以应用于地图，智能音箱等领域。
所述第二待评测语音合成模型可以由第二预设模型经过预先训练生成，所述第二预设模型实质上是由一套第二算法所构建的模型，所述第二预设模型中的参数数据需要经过训练得到，以得到所述第二待评测语音合成模型。其中，所述第二算法可以是经过第一算法进行升级后的算法，也可以是与第一算法同类竞争的算法。
具体的，将第一用户根据一文本录制的多个音频信号作为训练样本，比如，将第一用户根据一文本录制的20个或30个音频信号作为训练样本，输入至第二预设模型中，训练得到所述第二预设模型中的参数数据，以生成第一用户的第二待评测语音合成模型。
生成第二待评测语音合成模型之后，使用一批文本，并使用该第一用户的第二待评测语音合成模型生成一批第三音频信号，具体的，将每个文本输入至第二待评测语音合成模型中，以输出该文本对应的第三音频信号，最终得到T个第三音频信号。
其中，M和T可以相同，也可以不同，这里不做具体限定。为了使得第二待评测语音合成模型的评测结果更加准确，T通常比较大，比如20或30。
本实施方式中，对第三音频信号进行声纹提取的方式与对第一音频信号进行声纹提取的方式类似，将所述T个第三声纹特征进行聚类的方式与将所述M个第一声纹特征进行聚类的方式类似，以及所述P个第三中心特征与所述J个第二中心特征之间的余弦距离的统计方式与所述K个第一中心特征与所述J个第二中心特征之间的余弦距离的统计方式类似，这里不再对其进行赘述。
在统计所述P个第三中心特征与所述J个第二中心特征之间的余弦距离，获得第二距离之后，可以基于所述第一距离和第二距离，对所述第一待评测语音合成模型或所述第二待评测语音合成模型进行评测。
具体的，在所述第二算法为经过第一算法进行升级后的算法的情况下，通常是需要对所述第二待评测语音合成模型进行评测。参见图2，图2是对第二待评测语音合成模型进行评测的流程示意图，如图2所示，分别对用户录制的N个第二音频信号，使用第一待评测语音合成模型即线上正在使用的模型合成的M个第一音频信号，以及使用第二待评测语音合成模型即本次升级的模型合成的T个第三音频信号进行声纹提取，得到M个第一声纹特征、N个第二声纹特征和T个第三声纹特征。
然后，分别对这三个声纹特征进行聚类，得到K个第一中心特征、J个第二中心特征和P个第三中心特征。
接着，统计K个第一中心特征和J个第二中心特征之间的余弦距离，获得第一距离，同时统计所述P个第三中心特征和J个第二中心特征之间的余弦距离，获得第二距离。
最后，比较第一距离和第二距离的大小，并在第二距离小于第一距离的情况下，确定使用第二待评测语音合成模型合成的T个第三音频信号的还原度比使用第一待评测语音合成模型合成的M个第一音频信号的还原度好，从而确定第二待评测语音合成模型评测成功。否则，确定第二待评测语音合成模型评测不成功，需要对第二算法再次进行升级改进。
在所述第二算法为与第一算法同类竞争的算法的情况下，通常是需要对所述第一待评测语音合成模型进行评测，通过比较第一距离和第二距离的大小，并在第二距离大于第一距离的情况下，确定使用第二待评测语音合成模型合成的T个第三音频信号的还原度比使用第一待评测语音合成模型合成的M个第一音频信号的还原度差，从而确定第一待评测语音合成模型评测成功。否则，确定第一待评测语音合成模型评测不成功，需要对第一算法进行升级改进。
本实施方式中，通过对T个第三声纹特征进行聚类，获得P个第三中心特征；并统计P个第三中心特征与J个第二中心特征之间的余弦距离，获得第二距离，从而能够基于第二距离从整体上评测T个使用第二待评测语音合成模型合成的第三音频信号的还原度，进而可以对大批量的第三音频信号的还原度进行快速评测，提高第二待评测语音合成模型的评测效率。同时，通过比较第一距离和第二距离的大小，从而可以对使用第二待评测语音合成模型合成的T个第三音频信号的还原度与使用第一待评测语音合成模型合成的M个第一音频信号的还原度进行比对，进而可以实现对不同的个性化语音合成算法进行比对，以实现个性化语音合成算法的评测，提高算法评测效率。
可选的，所述K个第一中心特征中两两第一中心特征之间的余弦距离大于第二预设阈值；所述J个第二中心特征中两两第二中心特征之间的余弦距离大于第三预设阈值。
本实施方式中，通过设置K个第一中心特征中两两第一中心特征之间的余弦距离大于第二预设阈值，并设置J个第二中心特征中两两第二中心特征之间的余弦距离大于第三预设阈值，从而充分考虑了音频信号的个性化特点，进而可以提高模型评测的准确性。
其中，所述第二预设阈值和第三预设阈值可以根据实际情况进行设置，为了充分考虑音频信号的个性化特点，保证模型评测的准确性，通常第二预设阈值和第三预设阈值设置的越大越好，即组间距离越大越好。
需要说明的是，本申请中的模型评测方法中的多种可选的实施方式，彼此可以相互结合实现，也可以单独实现，对此本申请不作限定。
第二实施例
如图3所示，本申请提供一种模型评测装置300，包括：
第一获取模块301，用于获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；
第一声纹提取模块302，用于对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；
第一聚类模块303，用于将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征；
第一统计模块304，用于统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离；
第一评测模块305，用于基于所述第一距离，对所述第一待评测语音合成模型进行评测；
其中，M、N、K和J均为大于1的正整数，M大于K，N大于J。
可选的，所述第一统计模块304，具体用于针对每个第一中心特征，计算所述第一中心特征与每个第二中心特征的余弦距离，获得所述第一中心特征对应的J个余弦距离；并对所述第一中心特征对应的J个余弦距离进行求和，获得所述第一中心特征对应的余弦距离和；将所述K个第一中心特征对应的余弦距离和进行求和，获得所述第一距离。
可选的，所述第一评测模块305，具体用于在所述第一距离小于第一预设阈值的情况下，确定所述第一待评测语音合成模型评测成功；在所述第一距离大于或等于所述第一预设阈值的情况下，确定所述第一待评测语音合成模型评测不成功。
可选的，如图4所示，本申请还提供一种模型评测装置300，基于图3所述的模块，模型评测装置300还包括：
第二获取模块306，用于获取T个使用第二待评测语音合成模型合成的第三音频信号；
第二声纹提取模块307，用于对T个第三音频信号中每个第三音频信号进行声纹提取，获得T个第三声纹特征；
第二聚类模块308，用于将所述T个第三声纹特征进行聚类，获得P个第三中心特征；
第二统计模块309，用于统计所述P个第三中心特征与所述J个第二中心特征之间的余弦距离，获得第二距离；
第二评测模块310，用于基于所述第一距离和第二距离，对所述第一待评测语音合成模型或所述第二待评测语音合成模型进行评测；
其中，T和P为大于1的正整数，T大于P。
可选的，所述K个第一中心特征中两两第一中心特征之间的余弦距离大于第二预设阈值；所述J个第二中心特征中两两第二中心特征之间的余弦距离大于第三预设阈值。
本申请提供的模型评测装置300能够实现上述模型评测方法实施例中模型评测装置实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。
如图5所示，是根据本申请实施例的模型评测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的模型评测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型评测方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型评测方法对应的程序指令/模块(例如，附图3或4所示的第一获取模块301、第一声纹提取模块302、第一聚类模块303、第一统计模块304、第一评测模块305、第二获取模块306、第二声纹提取模块307、第二聚类模块308、第二统计模块309、第二评测模块310)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行模型评测装置的各种功能应用以及数据处理，即实现上述方法实施例中的模型评测方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型评测方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至模型评测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
模型评测方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与模型评测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本实施例中，通过对M个第一声纹特征进行聚类，获得K个第一中心特征，对N个第二声纹特征进行聚类，获得J个第二中心特征；并统计K个第一中心特征与J个第二中心特征之间的余弦距离，获得第一距离，从而能够基于第一距离从整体上评测M个使用第一待评测语音合成模型合成的第一音频信号的还原度，进而可以对大批量的第一音频信号的还原度进行快速评测，提高第一待评测语音合成模型的评测效率。因此采用上述技术手段，很好地解决了现有技术中对个性化语音合成模型进行评测的效率比较低的问题。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种模型评测方法，其特征在于，所述方法包括：
获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；
对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；
将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征；
统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离；
基于所述第一距离，对所述第一待评测语音合成模型进行评测；
其中，M、N、K和J均为大于1的正整数，M大于K，N大于J。
2.根据权利要求1所述的方法，其特征在于，所述统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离，包括：
针对每个第一中心特征，计算所述第一中心特征与每个第二中心特征的余弦距离，获得所述第一中心特征对应的J个余弦距离；并对所述第一中心特征对应的J个余弦距离进行求和，获得所述第一中心特征对应的余弦距离和；
将所述K个第一中心特征对应的余弦距离和进行求和，获得所述第一距离。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一距离，对所述第一待评测语音合成模型进行评测，包括：
在所述第一距离小于第一预设阈值的情况下，确定所述第一待评测语音合成模型评测成功；
在所述第一距离大于或等于所述第一预设阈值的情况下，确定所述第一待评测语音合成模型评测不成功。
4.根据权利要求1所述的方法，其特征在于，所述获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号之后，所述方法还包括：
获取T个使用第二待评测语音合成模型合成的第三音频信号；
对T个第三音频信号中每个第三音频信号进行声纹提取，获得T个第三声纹特征；
将所述T个第三声纹特征进行聚类，获得P个第三中心特征；
统计所述P个第三中心特征与所述J个第二中心特征之间的余弦距离，获得第二距离；
基于所述第一距离和第二距离，对所述第一待评测语音合成模型或所述第二待评测语音合成模型进行评测；
其中，T和P为大于1的正整数，T大于P。
5.根据权利要求1所述的方法，其特征在于，所述K个第一中心特征中两两第一中心特征之间的余弦距离大于第二预设阈值；所述J个第二中心特征中两两第二中心特征之间的余弦距离大于第三预设阈值。
6.一种模型评测装置，其特征在于，所述装置包括：
第一获取模块，用于获取M个使用第一待评测语音合成模型合成的第一音频信号，以及获取N个录制的第二音频信号；
第一声纹提取模块，用于对M个第一音频信号中每个第一音频信号进行声纹提取，获得M个第一声纹特征；对N个第二音频信号中每个第二音频信号进行声纹提取，获得N个第二声纹特征；
第一聚类模块，用于将所述M个第一声纹特征进行聚类，获得K个第一中心特征；将所述N个第二声纹特征进行聚类，获得J个第二中心特征；
第一统计模块，用于统计所述K个第一中心特征与所述J个第二中心特征之间的余弦距离，获得第一距离；
第一评测模块，用于基于所述第一距离，对所述第一待评测语音合成模型进行评测；
其中，M、N、K和J均为大于1的正整数，M大于K，N大于J。
7.根据权利要求6所述的装置，其特征在于，所述第一统计模块，具体用于针对每个第一中心特征，计算所述第一中心特征与每个第二中心特征的余弦距离，获得所述第一中心特征对应的J个余弦距离；并对所述第一中心特征对应的J个余弦距离进行求和，获得所述第一中心特征对应的余弦距离和；将所述K个第一中心特征对应的余弦距离和进行求和，获得所述第一距离。
8.根据权利要求7所述的装置，其特征在于，所述第一评测模块，具体用于在所述第一距离小于第一预设阈值的情况下，确定所述第一待评测语音合成模型评测成功；在所述第一距离大于或等于所述第一预设阈值的情况下，确定所述第一待评测语音合成模型评测不成功。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取T个使用第二待评测语音合成模型合成的第三音频信号；
第二声纹提取模块，用于对T个第三音频信号中每个第三音频信号进行声纹提取，获得T个第三声纹特征；
第二聚类模块，用于将所述T个第三声纹特征进行聚类，获得P个第三中心特征；
第二统计模块，用于统计所述P个第三中心特征与所述J个第二中心特征之间的余弦距离，获得第二距离；
第二评测模块，用于基于所述第一距离和第二距离，对所述第一待评测语音合成模型或所述第二待评测语音合成模型进行评测；
其中，T和P为大于1的正整数，T大于P。
10.根据权利要求6所述的装置，其特征在于，所述K个第一中心特征中两两第一中心特征之间的余弦距离大于第二预设阈值；所述J个第二中心特征中两两第二中心特征之间的余弦距离大于第三预设阈值。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的方法。
CN202010437127.5A 2020-05-21 2020-05-21 模型评测方法、装置及电子设备 Active CN111477251B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202311054690.4A CN117476038A (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备
CN202010437127.5A CN111477251B (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备
EP21163128.8A EP3843093B1 (en) 2020-05-21 2021-03-17 Model evaluation method and device, and electronic device
US17/205,946 US20210210112A1 (en) 2020-05-21 2021-03-18 Model Evaluation Method and Device, and Electronic Device
KR1020210035332A KR102553892B1 (ko) 2020-05-21 2021-03-18 모델 평가 방법, 장치 및 전자 기기
JP2021048756A JP7152550B2 (ja) 2020-05-21 2021-03-23 モデル評価方法、モデル評価装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010437127.5A CN111477251B (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311054690.4A Division CN117476038A (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111477251A true CN111477251A (zh) 2020-07-31
CN111477251B CN111477251B (zh) 2023-09-05

Family

ID=71763719

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010437127.5A Active CN111477251B (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备
CN202311054690.4A Pending CN117476038A (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311054690.4A Pending CN117476038A (zh) 2020-05-21 2020-05-21 模型评测方法、装置及电子设备

Country Status (5)

Country Link
US (1) US20210210112A1 (zh)
EP (1) EP3843093B1 (zh)
JP (1) JP7152550B2 (zh)
KR (1) KR102553892B1 (zh)
CN (2) CN111477251B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466272A (zh) * 2020-10-23 2021-03-09 浙江同花顺智能科技有限公司 一种语音合成模型的评价方法、装置、设备及存储介质
CN112802494A (zh) * 2021-04-12 2021-05-14 北京世纪好未来教育科技有限公司 语音评测方法、装置、计算机设备和介质
CN113450768A (zh) * 2021-06-25 2021-09-28 平安科技（深圳）有限公司 语音合成系统评测方法、装置、可读存储介质及终端设备
CN113808578A (zh) * 2021-11-16 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 音频信号处理方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11798527B2 (en) 2020-08-19 2023-10-24 Zhejiang Tonghu Ashun Intelligent Technology Co., Ltd. Systems and methods for synthesizing speech
CN114299921B (zh) * 2021-12-07 2022-11-18 浙江大学 一种语音指令的声纹安全性评分方法和系统
CN116844553A (zh) * 2023-06-02 2023-10-03 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130080172A1 (en) * 2011-09-22 2013-03-28 General Motors Llc Objective evaluation of synthesized speech attributes
US8751231B1 (en) * 2013-12-09 2014-06-10 Hirevue, Inc. Model-driven candidate sorting based on audio cues
CN104347071A (zh) * 2013-08-02 2015-02-11 安徽科大讯飞信息科技股份有限公司 生成口语考试参考答案的方法及系统
CN106782564A (zh) * 2016-11-18 2017-05-31 百度在线网络技术（北京）有限公司 用于处理语音数据的方法和装置
US20180005628A1 (en) * 2016-06-30 2018-01-04 Alibaba Group Holding Limited Speech Recognition
CN108986786A (zh) * 2018-07-27 2018-12-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评级方法、系统、计算机设备和存储介质
CN109257362A (zh) * 2018-10-11 2019-01-22 平安科技（深圳）有限公司 声纹验证的方法、装置、计算机设备以及存储介质
CN109272992A (zh) * 2018-11-27 2019-01-25 北京粉笔未来科技有限公司 一种口语测评方法、装置及一种生成口语测评模型的装置
CN110399602A (zh) * 2018-04-25 2019-11-01 北京京东尚科信息技术有限公司 一种评测文本可靠性的方法和装置
CN110517667A (zh) * 2019-09-03 2019-11-29 龙马智芯（珠海横琴）科技有限公司 一种语音处理方法、装置、电子设备和存储介质
CN110689903A (zh) * 2019-09-24 2020-01-14 百度在线网络技术（北京）有限公司 智能音箱的评测方法、装置、设备和介质
CN110928957A (zh) * 2018-09-20 2020-03-27 阿里巴巴集团控股有限公司 数据聚类方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2423903B (en) * 2005-03-04 2008-08-13 Toshiba Res Europ Ltd Method and apparatus for assessing text-to-speech synthesis systems
US7480641B2 (en) * 2006-04-07 2009-01-20 Nokia Corporation Method, apparatus, mobile terminal and computer program product for providing efficient evaluation of feature transformation
JP6606784B2 (ja) * 2015-09-29 2019-11-20 本田技研工業株式会社 音声処理装置および音声処理方法
JP6452591B2 (ja) * 2015-10-27 2019-01-16 日本電信電話株式会社 合成音声品質評価装置、合成音声品質評価方法、プログラム
JP6639285B2 (ja) * 2016-03-15 2020-02-05 株式会社東芝 声質嗜好学習装置、声質嗜好学習方法及びプログラム
US9865249B2 (en) * 2016-03-22 2018-01-09 GM Global Technology Operations LLC Realtime assessment of TTS quality using single ended audio quality measurement
CN110675881B (zh) * 2019-09-05 2021-02-19 北京捷通华声科技股份有限公司 一种语音校验方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130080172A1 (en) * 2011-09-22 2013-03-28 General Motors Llc Objective evaluation of synthesized speech attributes
CN104347071A (zh) * 2013-08-02 2015-02-11 安徽科大讯飞信息科技股份有限公司 生成口语考试参考答案的方法及系统
US8751231B1 (en) * 2013-12-09 2014-06-10 Hirevue, Inc. Model-driven candidate sorting based on audio cues
US20180005628A1 (en) * 2016-06-30 2018-01-04 Alibaba Group Holding Limited Speech Recognition
CN106782564A (zh) * 2016-11-18 2017-05-31 百度在线网络技术（北京）有限公司 用于处理语音数据的方法和装置
CN110399602A (zh) * 2018-04-25 2019-11-01 北京京东尚科信息技术有限公司 一种评测文本可靠性的方法和装置
CN108986786A (zh) * 2018-07-27 2018-12-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 语音交互设备评级方法、系统、计算机设备和存储介质
CN110928957A (zh) * 2018-09-20 2020-03-27 阿里巴巴集团控股有限公司 数据聚类方法及装置
CN109257362A (zh) * 2018-10-11 2019-01-22 平安科技（深圳）有限公司 声纹验证的方法、装置、计算机设备以及存储介质
CN109272992A (zh) * 2018-11-27 2019-01-25 北京粉笔未来科技有限公司 一种口语测评方法、装置及一种生成口语测评模型的装置
CN110517667A (zh) * 2019-09-03 2019-11-29 龙马智芯（珠海横琴）科技有限公司 一种语音处理方法、装置、电子设备和存储介质
CN110689903A (zh) * 2019-09-24 2020-01-14 百度在线网络技术（北京）有限公司 智能音箱的评测方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严可;魏思;戴礼荣;: "针对发音质量评测的声学模型优化算法" *
王炜;吕萍;颜永红;: "一种改进的基于层次聚类的说话人自动聚类算法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466272A (zh) * 2020-10-23 2021-03-09 浙江同花顺智能科技有限公司 一种语音合成模型的评价方法、装置、设备及存储介质
CN112802494A (zh) * 2021-04-12 2021-05-14 北京世纪好未来教育科技有限公司 语音评测方法、装置、计算机设备和介质
CN112802494B (zh) * 2021-04-12 2021-07-16 北京世纪好未来教育科技有限公司 语音评测方法、装置、计算机设备和介质
CN113450768A (zh) * 2021-06-25 2021-09-28 平安科技（深圳）有限公司 语音合成系统评测方法、装置、可读存储介质及终端设备
CN113808578A (zh) * 2021-11-16 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 音频信号处理方法、装置、设备及存储介质
CN113808578B (zh) * 2021-11-16 2022-04-15 阿里巴巴达摩院(杭州)科技有限公司 音频信号处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20210210112A1 (en) 2021-07-08
JP7152550B2 (ja) 2022-10-12
CN111477251B (zh) 2023-09-05
JP2021103324A (ja) 2021-07-15
EP3843093A2 (en) 2021-06-30
CN117476038A (zh) 2024-01-30
EP3843093B1 (en) 2023-05-03
EP3843093A3 (en) 2021-10-13
KR20210038468A (ko) 2021-04-07
KR102553892B1 (ko) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111477251A (zh) 模型评测方法、装置及电子设备
JP7166322B2 (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP7126542B2 (ja) データセット処理方法、装置、電子機器及び記憶媒体
CN112365876B (zh) 语音合成模型的训练方法、装置、设备以及存储介质
CN110033760B (zh) 语音识别的建模方法、装置及设备
CN111539514A (zh) 用于生成神经网络的结构的方法和装置
CN112614478B (zh) 音频训练数据处理方法、装置、设备以及存储介质
CN112131322B (zh) 时间序列分类方法及装置
CN111708934A (zh) 知识内容的评价方法、装置、电子设备和存储介质
CN111488740A (zh) 一种因果关系的判别方法、装置、电子设备及存储介质
WO2017052817A1 (en) Dynamic adaptation of language models and semantic tracking for automatic speech recognition
CN112116903A (zh) 语音合成模型的生成方法、装置、存储介质及电子设备
US20190287514A1 (en) Voice recognition method, device and computer storage medium
CN113190696A (zh) 一种用户筛选模型的训练、用户推送方法和相关装置
EP3851803A1 (en) Method and apparatus for guiding speech packet recording function, device, and computer storage medium
CN111461306B (zh) 特征评估的方法及装置
CN111428489A (zh) 一种评论生成方法、装置、电子设备及存储介质
CN110717817A (zh) 贷前审核方法及装置、电子设备和计算机可读存储介质
CN115455142A (zh) 文本检索方法、计算机设备和存储介质
CN110930979B (zh) 一种语音识别模型训练方法、装置以及电子设备
CN111783872A (zh) 训练模型的方法、装置、电子设备及计算机可读存储介质
CN110659422A (zh) 检索方法、装置、电子设备及存储介质
CN112466294B (zh) 声学模型的生成方法、装置及电子设备
JP2020071737A (ja) 学習方法、学習プログラム及び学習装置
CN110956954B (zh) 一种语音识别模型训练方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant