CN113936677A - 音色转换方法、装置、计算机设备及存储介质 - Google Patents

音色转换方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113936677A
CN113936677A CN202111187534.6A CN202111187534A CN113936677A CN 113936677 A CN113936677 A CN 113936677A CN 202111187534 A CN202111187534 A CN 202111187534A CN 113936677 A CN113936677 A CN 113936677A
Authority
CN
China
Prior art keywords
customer
data
target
portrait
tone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111187534.6A
Other languages
English (en)
Inventor
黄劲峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202111187534.6A priority Critical patent/CN113936677A/zh
Publication of CN113936677A publication Critical patent/CN113936677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013Adapting to target pitch

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例属于人工智能领域,涉及一种音色转换方法,包括获取待转换语音数据和客户数据;通过画像集合匹配与客户数据对应的定制客户画像,若匹配成功,输出与客户数据对应定制客户画像;若匹配不成功,从客户数据中提取目标客户特征,根据目标客户特征从画像集合中获取对应的通用客户画像,输出与目标客户特征对应的通用客户画像;获取与输出的定制客户画像或通用客户画像对应的音色转换模型,并通过音色转换模型将待转换语音数据转换为目标语音数据。本申请还提供一种音色转换装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,客户数据和音色转换模型可存储于区块链中。本申请提升了对客户的服务质量。

Description

音色转换方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及音色转换方法、装置、计算机设备及存储介质。
背景技术
音色转换是声音信号处理领域近年来新兴的研究分支,声音转换技术是指在保持语义内容不变的情况下,通过改变源说话人的语音个性特征,使他说的话被听者认为是目标说话人说的话。在现今的客服交互平台上,即使应用了音色转换技术,使目标音色的标准化,但标准化的音色难以使音色贴合每个客户的需求,导致难以提升客户的服务质量。
发明内容
本申请实施例的目的在于提出一种音色转换方法、装置、计算机设备及存储介质,以解决现有技术中转换后的音色与客户的贴合程度低的问题。
为了解决上述技术问题,本申请实施例提供一种音色转换方法,采用了如下所述的技术方案:
一种音色转换方法,其特征在于,包括下述步骤:
获取待转换语音数据和客户数据;
通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;
若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;
若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;
获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
进一步的,所述客户数据包括客户历史服务信息和客户个人信息,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤包括:
根据所述客户历史服务信息从所述画像集合中匹配对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配成功时,输出与所述客户历史服务信息对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配不成功,根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像
进一步的,所述根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像的步骤包括:
获取所述客户个人信息的所属画像类别;
获取所述所属画像类别的所有所述定制客户画像;
将所述客户个人信息与所述所属画像类别的所有所述定制客户画像进行匹配处理。
进一步的,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤之前,还包括:
获取训练数据,其中所述训练数据包括训练角色信息、训练角色历史服务信息和目标角色音色;
从所述训练数据中获取符合筛选条件的所述训练角色历史服务信息;
对符合筛选条件的所述训练角色历史服务信息对应的所述训练角色信息和所述目标角色音色进行聚类分析,构建所述定制客户画像。
进一步的,所述根据所述目标客户特征从所述画像集合中获取对应的通用客户画像的步骤之前,还包括:
按地区分类信息收集各种通用音色,其中一个所述地区分类信息对应一种所述通用音色;
对收集的各种所述通用音色进行分类,得到至少一个分类类别,其中一种所述通用音色对应一个所述分类类别;
将所属相同所述分类类别的所有所述通用音色作为通用音色数据,通过所述通用音色数据构建所述通用客户画像。
进一步的,所述获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据的步骤包括:
加载与所述客户画像对应的目标音色标识;
获取与所述目标音色标识对应的音色转换模型;
通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据。
进一步的,所述通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据的步骤包括:
获取与所述目标音色标识对应的预存语音数据;
通过矢量量化算法分别提取所述待转换语音数据的第一语音特征和所述预存语音数据的第二语音特征;
采用动态时间规整算法对所述第一语音特征和所述第二语音特征进行对齐处理;
通过所述映射码书将经对齐处理后的所述第一语音特征转换为所述第二语音特征,得到所述目标语音数据。
为了解决上述技术问题,本申请实施例还提供一种音色转换装置,采用了如下所述的技术方案:
数据获取模块,用于获取待转换语音数据和客户数据;
匹配模块,用于通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;
第一输出模块,用于若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;
第二输出模块,用于若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的所述通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;及
语音转换模块,用于获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上述任一项所述的音色转换方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述任一项所述的音色转换方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请通过获取待转换语音数据和客户数据;通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的所述通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。本申请通过先匹配与客户数据对应的定制客户画像,若匹配不成功时再匹配与客户数据对应的通用客户画像,之后再基于得到的定制客户画像或通用客户画像加载对应的音色转换模型对待转换语音数据进行处理,这样以使转换得到的目标语音数据中的音色适配客户的音色需求,提升对客户的服务质量以及音色转换模型的适用性。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2根据本申请的音色转换方法的一个实施例的流程图;
图3是根据本申请的音色转换装置的一个实施例的结构示意图;
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的音色转换方法一般由服务器/终端设备执行,相应地,音色转换装置一般设置于服务器/终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的音色转换的方法的一个实施例的流程图。所述的音色转换方法,包括以下步骤:
步骤S201,获取待转换语音数据和客户数据。
具体地,待转换语音数据在客户与客服通信过程中生成,待转换语音数据具体为客服发出的语音信息,如客服回复客户的问题发出语音信息,此语音信息即为所述待转换语音数据。
步骤S202,通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果。
具体地,画像集合包括多个定制客户画像和多个通用客户画像;其中,定制客户画像基于客户在特定领域下的特性定制得到,如基于广东省20至30岁男的个体户偏好甜美女声的特性进行定制,又如基于广东省30至40岁女的销售职员偏好低沉男声的特性进行定制。
步骤S203,若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像。
具体地,定制客户画像与客户的贴合程度高,使最终得到的目标语音数据适配客户偏好的音色,提升客服对客服的服务质量。
步骤S204,若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的通用客户画像,输出与所述目标客户特征对应的所述通用客户画像。
具体地,客户特征为目标客户特征为客户所属地区信息,通用客户画像基于客户所属地区信息建立,如某省(如广东省)、某市(如深圳市)、某区(如深圳市罗湖区)或某镇(如东莞市塘厦镇)的通用音色构建得到,以减少客服与客服之间的交流障碍。
而通用客户画像与上述中的定制客户画像的区别在于:通用客户画像具有统一、标准化、覆盖客户群体广的特点,但与客户的需求贴合度低于定制客户画像;反之,定制客户画像与客户需求贴合度高,但通用性低于通用客户画像。
步骤S205,获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
具体地,待转换语音数据在转换成目标语音数据后,待转换语音数据与目标语音数据所表述的内容一致,两者的区别在于音色的不同,如在金融领域中,待转换语音数据的用低沉男声的音色说出“贷款利息为0.3%”的内容,经音色转成目标语音数据后,以甜美女声的音色复述出“贷款利息为0.3%”的内容。
在本实施例的一些可选的实现方式中,在步骤202中,所述客户数据包括客户历史服务信息和客户个人信息,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤包括:
根据所述客户历史服务信息从所述画像集合中匹配对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配成功时,输出与所述客户历史服务信息对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配不成功,根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像。
具体地,在客户服务中,包括新客户和老客户两种客户类型,其中新客户的客户数据中无客户历史服务信息,而老客户的客户数据中有客户历史服务信息;客户个人信息包括客户性别、客户年龄、客户所属地区和客户职业的子项,上述中的客户个人信息通过收集获得,收集方式如通过账户注册阶段收集获取客户个人信息,又如在在线咨询(如线上平台对话)中收集获取客户个人信息。
在上述客户历史服务信息与所述定制客户画像匹配的过程中,若为老客户时,则老客户的客户数据中有客户历史服务信息,即可根据客户历史信息从画像集合中匹配得到对应的定制客户画像,具体是,在客户历史服务信息中包括客户对于当次服务的服务评价(如满意度评价、评分评价、留言评价等),则根据服务评价的评价等级,选用评分最高的定制客户画像作为这次客户历史服务信息的匹配结果;而若为新客户或历史服务信息的评价低于评价阈值时,则根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像,具体是根据客户个人信息的客户性别、客户年龄、客户所属地区和客户职业中至少两项进行匹配,若选用的为的客户性别、客户年龄、客户职业,则获取客户性别、客户年龄、客户职业合集对应的定制客户画像,如客户性别为男、年龄为30岁,客户职业为个体户,则根据上述信息进行定制客户画像的匹配。
需要说明的是,基本规律是选用的客户个人信息的子项越多,最终得到的定制客户画像与客户个人信息的匹配度越高,以使最终转换得到的目标语音数据中的音色贴合客户的个性需求,提升对客户的服务质量。
在本实施例的一些可选的实现方式中,所述根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像的步骤包括:
获取所述客户个人信息的所属画像类别;
获取所述所属画像类别的所有所述定制客户画像;
将所述客户个人信息与所述所属画像类别的所有所述定制客户画像进行匹配处理。
具体地,所属画像类别包括性别类别、年龄段类别、地区类别、职业类别中的至少一项,此画像类别的优先级可由客服端进行设定,如客服端设定的优先级依序为地区类别、年龄段类别、职业类别和性别类别,此外所属画像类别中包括类别子项越多,对客户个人信息分类准确度越高。
具体的匹配过程为:如客户个人信息中性别为男、年龄为30岁、地区为深圳市、职业为银行职业,则获取的所述客户个人信息的性别类别为男类别、年龄段类别为20-30岁类别、地区类别为广东省类别,职业类别为金融领域的类别,则获取先获取属于男类别、20-30岁类别、广东省类别、金融领域的所有定制客户画像,以缩小匹配范围,之后再以客户个人信息与所述所属画像类别的所有所述定制客户画像进行匹配,这样有效提升客户个人信息与定制客户画像的匹配效率。
在本实施例的一些可选的实现方式中,所述步骤S202,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤之前,还包括:
获取训练数据,其中所述训练数据包括训练角色信息、训练角色历史服务信息和目标角色音色;
从所述训练数据中获取符合筛选条件的所述训练角色历史服务信息;
对符合筛选条件的所述训练角色历史服务信息对应的所述训练角色信息和所述目标角色音色进行聚类分析,构建所述定制客户画像。
具体地,训练数据为多组,每一组的训练数据中的训练角色信息、训练角色历史服务信息和目标角色音色三者为匹配的关系,其中训练角色信息包括训练角色性别、训练角色年龄、训练角色所属地区和训练角色职业,训练角色历史服务信息包括服务时间、服务内容和服务评价,目标角色音色包括目标角色性别、目标音色特征(即所述目标音色标识)、目标角色音速和目标角色音调。
如有100个训练角色,经第一轮训练后每个训练角色都生成对应训练数据,经第N轮训练后(N≧2),得到多组训练数据,从多组训练数据中筛选符合筛选条件的训练角色历史服务信息,再将每一个符合筛选条件的训练角色历史服务信息所对应的训练角色信息和目标音色特征进行统计分析,得到在某一目标音色特征下对应的训练数据,即得到所述定制客户画像。
进一步的,定制客户画像与目标音色特征为一一对应的关系,可理解为训练角色信息即为所述定制客户画像;在实际应用中,获得客户个人信息后,根据客户个人信息与各定制客户画像进行匹配,即客户个人信息与训练角色信息进行匹配,匹配成功后,输出匹配成功的定制客户画像,如客户个人信息为广东省30岁男,职业为个体户,则为其配对的训练角色信息也为广东省30岁男,职业为个体户。
进一步的,定制客户画像可基于时间段内或实时对定制客户画像进行更新,在对客户的本次服务完成后,都会对本次服务进行打分,得到评分值,每个定制客户画像都包括至少一个评分值,对每个定制客户画像中的所有评分值进行平均处理后,将得到的平均值与预设分值进行比对,若平均值大于或等于预设分值时,则不对定制客户画像进行更新,若平均值小于预设分值时,则通过删除、增加或替换的方式更新定制客户画像的内容(如修改定制客户画像对应的目标音色标识),上述定制客户画像的更新可通过终端(如手机、平板、电脑等)基于时间段(如7天)或实时(如判断上述平均值小于预设分值时,立即更新定制客户画像的内容)进行更新。
进一步的,所述筛选条件为基于服务评价对训练角色历史服务信息进行筛选。具体地,每一个历史服务信息都有对应的服务评价(如满意度评价、评分评价、留言评价等),在每次服务过后,由被服务对象(训练角色或客户)进行评价;而筛选条件为预设评价阈值,如预设评价阈值为满意度评价为3星(满分为5星)、或评分评价为80分(满分为100分)、或留言评价好评率达到80%(满分为100%)对所有训练角色历史服务信息中的服务评价进行排序,然后筛选出服务评价符合预设评价阈值的训练角色历史服务信息。
进一步的,聚类分析是通过数据建模简化数据的一种方法,聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类。
在本实施例的一些可选的实现方式中,所述步骤S204中,所述根据所述目标客户特征从所述画像集合中获取对应的通用客户画像的步骤之前,还包括:
按地区分类信息收集各种通用音色,其中一个所述地区分类信息对应一种所述通用音色;
对收集的各种所述通用音色进行分类,得到至少一个分类类别,其中一种所述通用音色对应一个所述分类类别;
将所属相同所述分类类别的所有所述通用音色作为通用音色数据,通过所述通用音色数据构建所述通用客户画像。
具体地,在收集得到的各种通用音色后,先对收集的各种所述通用音色进行分类,其中一种通用音色对应一个分类类别,一个分类类别对应至少一种通用音色,如收集到的深圳地区和广州地区的通用音色均为甜美音色,则将两者归为同一类,又如收集的所有的通用音色中,只有辽宁省的通用音色为高亢音色,则属于高亢音色的音色类别下只有辽宁省的通用音色;之后将所属相同所述分类类别的所有所述通用音色作为通用音色数据,以通用音色数据构建通用客户画像,即属于相同音色类别下的通用音色对应同一个通用客户画像,一个通用客户画像对应至少一个地区分类信息。这样相对于一个通用客户画像对应一个地区分类信息,有效减少通用客户画像的数量,减少储存设备的储存压力,在实际通用客户画像的匹配过程中,有效提升匹配效率。
进一步的,按地区分类信息收集各种通用音色中,地区分类信息可以“市”、“省”或“区”作为分类进行收集,如地区分类信息以“市”为单位进行收集,得到广州市、深圳市、东莞市等地区对应的通用音色,又如地区分类信息以“省”为单位进行收集,得到广东省、福建省、山东省等地区对应的通用音色。
进一步的,不同地区分类信息的地区对应的通用音色不同,如广东省的通用音色为甜美音色,语速正常,而山东省的通用音色为高亢音色,语速较慢。
在本实施例的一些可选的实现方式中,所述步骤S205中,所述获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据的步骤包括:
获取与所述客户画像对应的目标音色标识;
加载与所述目标音色标识对应的音色转换模型;
通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据。
具体地,目标音色标识应用于音色的转换阶段,而目标音色标识数量为多个,每个目标音色标识对应一种目标角色音色(如A目标音色标识对应目标角色A的音色),即当获取目标音色标识后,即可确定该目标音色标识所对应的目标角色音色。
而目标音色标识数量为多个,每个目标音色标识对应一个音色转换模型(如目标音色标识C对应音色转换模型C),即当获取目标音色标识后,即可确定该目标音色标识所对应的音色转换模型。
而每个音色转换模型都有对应的映射码书,而映射码书应用于音色转换阶段,用于将所述待转换语音数据转换为目标语音数据。
在本实施例的一些可选的实现方式中,所述通过音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据的步骤包括:
所述通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据的步骤包括:
获取与所述目标音色标识对应的预存语音数据;
通过矢量量化算法分别提取所述待转换语音数据的第一语音特征和所述预存语音数据的第二语音特征;
采用动态时间规整算法对所述第一语音特征和所述第二语音特征进行对齐处理;
通过所述映射码书将经对齐处理后的所述第一语音特征转换为所述第二语音特征,得到所述目标语音数据。
具体地,第一语音特征包括多个第一语音帧,第二语音特征包括多个第二语音帧;矢量量化算法的原理是把矢量空间分成若干个小区域,每个小区域设定一个代表矢量,矢量量化时落入小区域的矢量用与其对应的代表矢量代替;如通过矢量量化算法将待转换语音数据分成多个语音段,每个语音段设定一个代表矢量,即为所述第一语音帧,矢量量化时落入语音段的矢量用与其对应的代表矢量代替,即实现待转换语音数据的第一语音特征的提取。同理,第二语音特征和第一语音特征的提取原理相同。
具体地,采用动态时间规整算法将第一语音特征和第二语音特征对齐,动态时间规整算法通过把时间序列进行延伸和缩短,以使两个时间序列对齐,如第一语音特征中的“我”字音拖的很长,第二语音特征中的“我”字音拖的很短,则需通过动态时间规整算法缩短第一语音特征中“我”字的音速,以使第一语音特征和第二语音特征对齐匹配,解决待转换语音数据和目标语音数据发同一音而发音时间长短的不同的影响。
具体地,映射码书表示第二语音特征对应的加权系数,在实际应用中第一语音特征与加权系数相乘后即可得到第二语音特征,即将待转换语音数据转换为目标语音数据。
进一步的,在训练阶段中,包括由多段训练角色语音和目标角色语音,先对训练角色语音和目标角色语音预处理,其中预处理包括声道转换处理和预加重处理,其中通过声道转换处理,使训练角色语音和目标角色语音位于同一声道上,并通过预加重处理,提高信号传输质量,使训练角色语音和目标角色语音的频率保持一致,之后通过矢量量化算法均对训练角色语音和目标角色语音分帧量化,得到第三语音特征,其中第三语音特征包括多个第三语音帧,之后通过动态时间规整算法将训练角色语音和目标角色语音的第三语音特征对齐,得到联合特征矢量,之后基于联合特征矢量,采用柱状图模型构建待转换语音数据和目标语音数据的映射码书,其中柱状图用于统计联合特征矢量的映射关系,即训练角色语音和目标角色语音的第三语音特征的映射关系,建立映射码书H,其中映射码书H为M×N的矩阵,其中矩阵中M代表训练角色语音的第三语音特征,N代表目标角色语音的第三语音特征,而柱状图的统计值即为音色转换阶段中目标语音矢量对应的加权系数,即为映射码书H。
本申请通过先匹配与客户数据对应的定制客户画像,若匹配不成功时再匹配与客户数据对应的通用客户画像,之后再基于得到的定制客户画像或通用客户画像加载对应的音色转换模型对待转换语音数据进行处理,这样以使转换得到的目标语音数据中的音色适配客户的音色需求,提升对客户的服务质量以及音色转换模型的适用性。
需要强调的是,为进一步保证信息的私密和安全性,上述客户数据和音色转换模型还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3,作为对上述图2所示方法的实现,本申请提供了一种音色转换装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例所述的音色转换装置300包括:数据获取模块301、匹配模块302、第一输出模块303、第二输出模块304音色获取模块305以及转换模块306。其中:
数据获取模块301,用于获取待转换语音数据和客户数据;
匹配模块302,用于通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;
第一输出模块303,用于若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;
第二输出模块304,用于若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的所述通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;
语音转换模块305,用于获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
上述音色转换装置300中,本申请通过先匹配与客户数据对应的定制客户画像,若匹配不成功时再匹配与客户数据对应的通用客户画像,之后再基于得到的定制客户画像或通用客户画像加载对应的音色转换模型对待转换语音数据进行处理,这样以使转换得到的目标语音数据中的音色适配客户的音色需求,提升对客户的服务质量以及音色转换模型的适用性。
在本实施例的一些可选的实现方式中,上述匹配模块302包括第一匹配子模块、输出子模块以及第二匹配子模块。其中:
第一匹配子模块,用于根据所述客户历史服务信息从所述画像集合中匹配对应的所述定制客户画像;
输出子模块,用于若所述客户历史服务信息与所述定制客户画像匹配成功时,输出与所述客户历史服务信息对应的所述定制客户画像;
第二匹配子模块,用于若所述客户历史服务信息与所述定制客户画像匹配不成功,根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像。
在本实施例的一些可选的实现方式中,上述第二匹配子模块包括:类别获取单元、画像获取单元以及画像匹配单元。其中:
类别获取单元,用于获取所述客户个人信息的所属画像类别;
画像获取单元,用于获取所述所属画像类别的所有所述定制客户画像;
画像匹配单元,用于将所述客户个人信息与所述所属画像类别的所有所述定制客户画像进行匹配处理。
在本实施例的一些可选的实现方式中,还包括训练数据获取模块、信息获取模块以及第一构建模块。其中:
训练数据获取模块,用于获取训练数据,其中所述训练数据包括训练角色信息、训练角色历史服务信息和目标角色音色;
信息获取模块,用于从所述训练数据中获取符合筛选条件的所述训练角色历史服务信息;
第一构建模块,用于对符合筛选条件的所述训练角色历史服务信息对应的所述训练角色信息和所述目标角色音色进行聚类分析,构建所述定制客户画像。
在本实施例的一些可选的实现方式中,还包括:收集模块、分类模块以及第二构建模块。其中:
收集模块,用于按地区分类信息收集各种通用音色,其中一个所述地区分类信息对应一种所述通用音色;
分类模块,用于对收集的各种所述通用音色进行分类,得到至少一个分类类别,其中一种所述通用音色对应一个所述分类类别;
第二构建模块,用于将所属相同所述分类类别的所有所述通用音色作为通用音色数据,通过所述通用音色数据构建所述通用客户画像。在本实施例的一些可选的实现方式中,上述转换模块305包括:音色获取子模块、模型加载子模块以及语音转换子模块。其中:
音色获取子模块,用于获取与所述客户画像对应的目标音色标识;
模型加载子模块,用于加载与所述目标音色标识对应的音色转换模型;
语音转换子模块,用于通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据。
在本实施例的一些可选的实现方式中,上述语音转换子模块包括:获取单元、提取单元、对齐单元以及转换单元。其中:
获取单元,用于获取与所述目标音色标识对应的预存语音数据;
提取单元,用于通过矢量量化算法分别提取所述待转换语音数据的第一语音特征和所述预存语音数据的第二语音特征;
对齐单元,用于采用动态时间规整算法对所述第一语音特征和所述第二语音特征进行对齐处理;
转换单元,用于通过所述映射码书将经对齐处理后的所述第一语音特征转换为所述第二语音特征,得到所述目标语音数据。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如音色转换方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述音色转换方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请通过先匹配与客户数据对应的定制客户画像,若匹配不成功时再匹配与客户数据对应的通用客户画像,之后再基于得到的定制客户画像或通用客户画像加载对应的音色转换模型对待转换语音数据进行处理,这样以使转换得到的目标语音数据中的音色适配客户的音色需求,提升对客户的服务质量以及音色转换模型的适用性。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的音色转换方法的步骤。
本申请通过先匹配与客户数据对应的定制客户画像,若匹配不成功时再匹配与客户数据对应的通用客户画像,之后再基于得到的定制客户画像或通用客户画像加载对应的音色转换模型对待转换语音数据进行处理,这样以使转换得到的目标语音数据中的音色适配客户的音色需求,提升对客户的服务质量以及音色转换模型的适用性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (10)

1.一种音色转换方法,其特征在于,包括下述步骤:
获取待转换语音数据和客户数据;
通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;
若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;
若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;
获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
2.根据权利要求1所述的音色转换方法,其特征在于,所述客户数据包括客户历史服务信息和客户个人信息,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤包括:
根据所述客户历史服务信息从所述画像集合中匹配对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配成功时,输出与所述客户历史服务信息对应的所述定制客户画像;
若所述客户历史服务信息与所述定制客户画像匹配不成功,根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像。
3.根据权利要求2所述的音色转换方法,其特征在于,所述根据所述客户个人信息从所述画像集合中匹配对应的定制客户画像的步骤包括:
获取所述客户个人信息的所属画像类别;
获取所述所属画像类别的所有所述定制客户画像;
将所述客户个人信息与所述所属画像类别的所有所述定制客户画像进行匹配处理。
4.根据权利要求1至3中任一项所述的音色转换方法,其特征在于,所述通过画像集合匹配与所述客户数据对应的定制客户画像的步骤之前,还包括:
获取训练数据,其中所述训练数据包括训练角色信息、训练角色历史服务信息和目标角色音色;
从所述训练数据中获取符合筛选条件的所述训练角色历史服务信息;
对符合筛选条件的所述训练角色历史服务信息对应的所述训练角色信息和所述目标角色音色进行聚类分析,构建所述定制客户画像。
5.根据权利要求1至3中任一项所述的音色转换方法,其特征在于,所述根据所述目标客户特征从所述画像集合中获取对应的通用客户画像的步骤之前,还包括:
按地区分类信息收集各种通用音色,其中一个所述地区分类信息对应一种所述通用音色;
对收集的各种所述通用音色进行分类,得到至少一个分类类别,其中一种所述通用音色对应一个所述分类类别;
将所属相同所述分类类别的所有所述通用音色作为通用音色数据,通过所述通用音色数据构建所述通用客户画像。
6.根据权利要求1至3中任一项所述的音色转换方法,其特征在于,所述获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据的步骤包括:
获取与所述客户画像对应的目标音色标识;
加载与所述目标音色标识对应的音色转换模型;
通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据。
7.根据权利要求6所述的音色转换方法,其特征在于,所述通过所述音色转换模型中的映射码书将所述待转换语音数据转换为目标语音数据的步骤包括:
获取与所述目标音色标识对应的预存语音数据;
通过矢量量化算法分别提取所述待转换语音数据的第一语音特征和所述预存语音数据的第二语音特征;
采用动态时间规整算法对所述第一语音特征和所述第二语音特征进行对齐处理;
通过所述映射码书将经对齐处理后的所述第一语音特征转换为所述第二语音特征,得到所述目标语音数据。
8.一种音色转换装置,其特征在于,包括:
数据获取模块,用于获取待转换语音数据和客户数据;
匹配模块,用于通过画像集合匹配与所述客户数据对应的定制客户画像,得到匹配结果;
第一输出模块,用于若所述匹配结果为匹配成功,输出与所述客户数据对应定制客户画像;
第二输出模块,用于若所述匹配结果为匹配不成功,从所述客户数据中提取目标客户特征,根据所述目标客户特征从所述画像集合中获取对应的所述通用客户画像,输出与所述目标客户特征对应的所述通用客户画像;及
语音转换模块,用于获取与输出的所述定制客户画像或所述通用客户画像对应的音色转换模型,并通过所述音色转换模型将所述待转换语音数据转换为目标语音数据。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的音色转换方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的音色转换方法的步骤。
CN202111187534.6A 2021-10-12 2021-10-12 音色转换方法、装置、计算机设备及存储介质 Pending CN113936677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111187534.6A CN113936677A (zh) 2021-10-12 2021-10-12 音色转换方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111187534.6A CN113936677A (zh) 2021-10-12 2021-10-12 音色转换方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113936677A true CN113936677A (zh) 2022-01-14

Family

ID=79278390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111187534.6A Pending CN113936677A (zh) 2021-10-12 2021-10-12 音色转换方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113936677A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246643A (zh) * 2022-12-26 2023-06-09 深度好奇(杭州)科技有限公司 语音机器人与人工座席音色归一化的方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246643A (zh) * 2022-12-26 2023-06-09 深度好奇(杭州)科技有限公司 语音机器人与人工座席音色归一化的方法、系统及设备
CN116246643B (zh) * 2022-12-26 2023-07-28 深度好奇(杭州)科技有限公司 语音机器人与人工座席音色归一化的方法、系统及设备

Similar Documents

Publication Publication Date Title
CN112148987B (zh) 基于目标对象活跃度的消息推送方法及相关设备
CN106845999A (zh) 风险用户识别方法、装置和服务器
CN112507116A (zh) 基于客户应答语料的客户画像方法及其相关设备
CN112863683A (zh) 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN112466314A (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
CN112613917A (zh) 基于用户画像的信息推送方法、装置、设备及存储介质
CN112632278A (zh) 一种基于多标签分类的标注方法、装置、设备及存储介质
CN113220734A (zh) 课程推荐方法、装置、计算机设备及存储介质
CN112925911B (zh) 基于多模态数据的投诉分类方法及其相关设备
CN106407381A (zh) 一种基于人工智能的推送信息的方法和装置
CN112861662A (zh) 基于人脸和交互文本的目标对象行为预测方法及相关设备
CN112836521A (zh) 问答匹配方法、装置、计算机设备及存储介质
CN113569998A (zh) 票据自动识别方法、装置、计算机设备及存储介质
CN112308173A (zh) 基于多评价因子融合的多目标对象评价方法及其相关设备
CN112699213A (zh) 语音意图识别方法、装置、计算机设备及存储介质
CN114780701A (zh) 自动问答匹配方法、装置、计算机设备及存储介质
CN112995414B (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
CN114398466A (zh) 基于语义识别的投诉分析方法、装置、计算机设备及介质
CN113936677A (zh) 音色转换方法、装置、计算机设备及存储介质
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
CN111639164A (zh) 问答系统的问答匹配方法、装置、计算机设备及存储介质
CN115860835A (zh) 基于人工智能的广告推荐方法、装置、设备及存储介质
CN115526659A (zh) 基于调查问卷的数据分析方法、装置、设备及存储介质
CN115099875A (zh) 基于决策树模型的数据分类方法及相关设备
CN112084408A (zh) 名单数据筛选方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination