CN112765971A - 文本语音的转换方法、装置、电子设备及存储介质 - Google Patents
文本语音的转换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112765971A CN112765971A CN201911070161.7A CN201911070161A CN112765971A CN 112765971 A CN112765971 A CN 112765971A CN 201911070161 A CN201911070161 A CN 201911070161A CN 112765971 A CN112765971 A CN 112765971A
- Authority
- CN
- China
- Prior art keywords
- text
- emotion
- role
- dialog
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008451 emotion Effects 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 27
- 230000002996 emotional effect Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 206010063659 Aversion Diseases 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 208000001840 Dandruff Diseases 0.000 description 1
- 206010049976 Impatience Diseases 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 241000218378 Magnolia Species 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001983 poloxamer Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本实施例提供的文本语音的转换方法、装置、电子设备及存储介质，识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；将各对话的对话文本和状态文本输入至训练完毕的情感特征识别模型，以使训练完毕的情感特征识别模型根据状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；利用预设的语音语料库，基于待转换文本中每一对话的情感标签和所归属的角色，对待转换文本进行语音转换处理，获得语音信息，本公开实施例中所获得的待转换文本对应的语音信息语音语气丰富，能够体现待转换文本中各任务在情感上的变化，表现力强。
Description
技术领域
本公开实施例涉及大数据处理领域，尤其涉及一种文本语音的转换方法、装置、电子设备及存储介质。
背景技术
有声读物以其使用简单、便捷、不受使用环境限制等优点，被越来越多的人们所接受，成为人们主要的阅读方式之一。
在现有技术中，有声读物主要为有声小说，而有声小说的生成是依靠于语音合成技术的。具体的，可预先录制语音语料库，并基于小说的文本内容将文本转换为语音并输出给用户。
但是，现有的文本语音转换过程中，仅能按照小说文本中每一文字的读音，将文字转换为相应读音的语音，转换后获得的语音风格单一，对于不同情感或表达风格的文本，其语音的演绎风格并无差异，这将导致现在有有声读物的风格单调无法很好的体现人物在情感上的变化，影响用户体验。
发明内容
针对上述问题，本公开提供了一种文本语音的转换方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供一种文本语音的转换方法，包括：
识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
第二方面，本公开实施例提供一种文本语音的转换装置，包括：
处理模块，用于识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
识别模块，用于将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
转换模块，用于利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的文本语音的转换方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的文本语音的转换方法。
本实施例提供的文本语音的转换方法、装置、电子设备及存储介质，识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息，也就是说，本公开实施例中所获得的待转换文本对应的语音信息是根据待转换文本中各对话对应的感情标签获得的，其语音语气丰富，能够体现待转换文本中各任务在情感上的变化，表现力强。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开所基于的网络架构的示意图；
图2为本公开实施例提供的一种文本语音的转换方法的流程示意图；
图3为本公开实施例提供的一种文本语音的转换方法的界面示意图；
图4为本公开实施例提供的文本语音的转换装置的结构框图；
图5为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
有声读物以其使用简单、便捷、不受使用环境限制等优点，被越来越多的人们所接受，成为人们主要的阅读方式之一。
在现有技术中，有声读物主要为有声小说，而有声小说的生成是依靠于语音合成技术的。具体的，可预先录制语音语料库，并基于小说的文本内容将文本转换为语音并输出给用户。
但是，现有的文本语音转换过程中，仅能按照小说文本中每一文字的读音，将文字转换为相应读音的语音，转换后获得的语音语气平淡，无法很好的体现人物在情感上的变化，影响用户体验。
针对上述问题，本公开提供了一种文本语音的转换方法、装置、电子设备及存储介质。
参考图1，图1为本公开所基于的网络架构的示意图，如图1所示的，本公开基于的一种网络架构可包括文本语音的转换装置2以及各终端1。
其中，文本语音的转换装置2是可与各终端1通过网络进行交互的硬件或软件，其可用于执行下述各实施例中所述的文本语音的转换方法。
当文本语音的转换装置1为硬件时，包括具备运算功能的云端服务器。当文本语音的转换装置1为软件时，其可以安装在具备运算功能的电子设备中，其中的电子设备包括但不限于膝上型便携计算机和台式计算机等等。
此外，终端1是指包括智能手机、平板电脑、台式计算机等在内的可与前述的文本语音的转换装置2通过网络进行通信和信息交互的设备。
例如，在有声读物的语音合成这一实际场景中，文本语音的转换装置2 具体可加载在有声读物的运行服务器中，一般的该运行服务器中将存储有大量可转化为有声读物的读物文本信息。该运行服务器可与终端1进行交互，以根据接收用户的读物收听请求，并确定用户触发的想要收听的目标读物。随后，文本语音的转换装置2可采用本公开提供的文本语音的转换方法对该目标读物的文本信息进行处理，以确定文本信息中每一对话所归属的人物并确定每一对话的情感标签，并将文本信息转为语音信息，进而可便于运行服务器基于对话归属对文本信息进行文本语音转换处理，并将处理后的有声读物的发送给终端1。
当然，在可选场景下，该文本语音的转换装置2可预先对运行服务器中的已有的全部文本信息进行处理，以使运行服务器可预先将有声读物的文本信息转换为语音信息并存储，进而可在运行服务器接收到终端发起的收听请求时，可直接将相应的有声读物的语音信息和文本信息发送给用户，以供用户收听。
需要说明的是，基于不同的应用场景，上述的运行服务器还可存储有其他类型的文本信息，且运行服务器、文本语音的转换装置以及终端之间还可存在其他交互方式，本公开对此不进行不限制。
参考图2，图2为本公开实施例提供的一种文本语音的转换方法的流程示意图。本公开实施例提供的文本语音的转换方法，包括：
步骤101、识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本。
需要说明的是，本实施例所提供的文本语音的转换方法的执行主体为前述的文本语音的转换装置。
具体来说，首先转换装置将获取到待转换文本，该待转换文本在不同的应用场景下有着不同的文本内容。例如，在有声读物的语音合成这一场景下，该待转换文本则为读物的文本信息，即小说文本等；又如，在对于聊天记录进行语音合成时，该待转换文本则为聊天的文本记录。此外，转换装置获取待转换文本的方式可基于云存储技术实现，即从云端的运行服务器中调用或接收相关的待转换文本。
随后，转换装置将对待转换文本进行识别处理，以获得所述待转换文本中的至少一段对话的对话文本，以及每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本。
具体的，转换装置可采用正则表达式确定各对话在所述待转换文本中的位置，并根据各对话的位置提取各对话的对话文本。正则表达式是一种可用于基于预设规则对文本中特定信息进行检索的规则表达式，在本实施例中，可利用预设的正则表达式对待转换文本中的对话进行检索。例如，一般的对话会利用引号进行引出，因此，可设置相应的正则表达式以确定引号在待转换文本中的位置，以作为对话所在的位置；又例如，有些对话会以“某角色说”作为提示，因此，可设置相应的正则表达式以确定“某角色说”在文本中的位置，并基于该位置确定对话在待转换文本中的位置。当转换装置获得各对话的位置之后，还将基于对话的位置提取对话的对话文本。
随后，采用命名实体识别确定所述待转换文本中的出现的各角色。命名实体识别技术是一种从文本中识别出命名性质的内容的技术，其识别范围包括人名、地名、机构名、专有名词等。在本实施例中，利用该命实体识别技术以识别出待转换文本中出现角色，即角色名称。
再后，可将待转换文本中出现的各对话与各角色进行匹配关联，以确定每一对话所归属的角色，即说出每一对话的角色。具体的，可基于机器学习算法模型确定每一对话所归属的角色，其中该机器学习算法模型具体可考虑到每一角色在待转换文本中所出现的次数，出现的位置，以及与每一对话之间的距离等因素，从而实现对于每一对话所归属角色的确定。例如，机器学习算法模型可利用基于分类器的分类模型对每一对话进行分类，以确定每一对话归属于各角色的概率，从而基于每一对话对应的各概率确定其归属角色。
最后，当转换装置完成对每段对话所归属的角色的确定之后，还将利用正则表达式采集角色在进行每段对话时描述角色对话状态的状态文本。其中该状态文本具体可理解为每段对话的上下文，一般的，在包括小说在内的文本中，作者会在描述对话的上文或下文对对话产生的场景进行一定的描述或铺垫，以利于读者理解对话的表达情感。因此，在本公开实施例中，可在完成对每段对话所归属的角色的确定之后，采集对话文本的上下文以作为描述角色在产生该对话时的状态文本。
步骤102、将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出。
具体来说，在本公开实施例中，情感特征识别模型是一种可用于对根据前述的状态文本所记载的内容对对话文本进行情感分类的机器学习算法模型,其机器学习算法模型具体可基于神经网络技术实现。其可将输入的数据进行数值化处理，并将数值化处理后的数据分类到不同的类别上。
在本公开实施例中,在将状态文本和对话文本输入至训练完毕的情感特征识别模型之前，还需对状态文本和对话文本进行预处理，其预处理包括对状态文本和对话文本进行向量化处理，获得状态文本和对话文本的稠密向量，并将获得的稠密向量输入训练完毕的情感特征识别模型。具体的，转换装置可基于文本向量转换模型实现对上述文本的向量化处理，该文本向量转换模型可为现有模型，例如双向编码模型(Bidirectional EncoderRepresentations from Transformers，简称BERT)；还可例如 Pretrained EmbeddingTable模型等。
此外，为了情感特征识别模型对向量的来源进行区别，在获得状态文本和对话文本的稠密向量的基础上，在其末尾还可添加一标识向量，如，元素为1的对话标识向量和元素为0的状态标识向量。
举例来说，对话标识向量中的元素可置1，而状态标识向量中的元素可置0。也就是说，在获得的对话文本和状态文本的稠密向量添加相应的标识向量以对向量类型进行区分，便于后续处理。
随后，将每一对话的对话文本和对应的状态文本的稠密向量输入至情感特征识别模型，输出每一对话的情感标签。
可选的，该实施例还包括建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
需要说明的是，上述的情感特征识别模型中的若干预设情感标签是根据普鲁契克情感色轮确定的。同时，训练文本中的具体来说，普鲁契克情感色轮是一种用于表示情感的模型，其可用于表示情感的类型和不同类型情感之间的关系。在普鲁契克情感色轮中，包括有8种基本情感，其分别为：愤怒、厌恶、恐惧、悲伤、期待、快乐、惊喜、信任；而针对这8种基本情感，将会有3个层级对其进行描述，即生气：不耐烦、生气、暴怒；厌恶：厌倦、厌恶、憎恨；恐惧：担心、恐惧、惊悚；悲伤：伤感、悲伤、悲痛；期待：在意、期待、渴望；快乐：小开心、快乐、狂喜；惊讶：不解、惊讶、惊诧；信任：接受、信任、崇敬。此外，在该8种基本情绪以外，其还包括有中性这一情感，即无法被划为上述情感的语句可被理解为其为中性情感。在本公开实施例中，情感特征识别模型中的情感标签是基于上述8种基本情感中3个层级情感获取的，即上述24个词语，同时在该24个词语的基础上还需额外添加中性这一情感，以获得25个词语作为候选范围情感。
随后，为了便于模型处理，也为了便于后续采用相应语气的语音预料对对话文本进行演绎，将上述25个词语进行进一步聚类处理，获得如下情感类型，这些情感类型将作为前述的预设情感标签：
害羞(不好意思)；鄙夷/不屑(一种居高临下的瞧不起，类似于对下人的感觉，或者觉得别人不行)；阴险(阴笑之类)；遗憾(对别人失望，但并非看不起)(对自己的懊悔)；心虚(说话没有底气)；疑惑 (不解)；着急(语速快，语气强)；快乐(很快乐的感觉，内心小小的愉悦)；期待/渴望；信任/崇敬(羡慕)；关切(为别人担心)；自豪(正面的对自己感觉好)；生气(不耐烦和暴怒)；厌恶/憎恨(讨厌)；悲伤(不甘，有些哭着说的语气)；惊讶；恐惧(小的害怕和为自己担心的情绪)；疲惫(有气无力的语气，不包括心累)；中性(比较平静的语气/无感情倾向)。
再后，由标注者针对每一训练文本中的对话文本，从上述预设情感标签中选取最贴切的一个情感标签作为对话文本的情感标签，以用于对情感识别模型的训练。
步骤103、利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
具体来说，语音预料库中存储有多种人物音色的语音语料，例如，女孩音色的语音语料，大叔音色的语音语料等；或者，某男歌手音色的语音语料、某女演员音色的语音等等。
随后，可先根据预设的语音数据库，确定与每一角色对应的人物音色，根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本。其中，将对话文本转换为与之归属角色对应音色的语音文本可采用现有技术，本公开对此不进行限制。
最后，转换装置还将根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。具体来说，转换装置可利用语音风格转换插件或模型，对前述语音的语速、语调等语言元素进行调整，从而获得以情感标签作为演绎风格的所述对话文本的语音信息。
图3为本公开实施例提供的一种文本语音的转换方法的界面示意图，如图3所示的，转换装置会将待转换文本以及相应的语音信息发送至终端，以使终端在显示界面显示文本，并基于获取的语音信息进行音频数据的输出。
本实施例提供的文本语音的转换方法，识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息，也就是说，本公开实施例中所获得的待转换文本对应的语音信息是根据待转换文本中各对话对应的感情标签获得的，其语音语气丰富，能够体现待转换文本中各任务在情感上的变化，表现力强。
对应于上文实施例的文本语音的转换方法，图4为本公开实施例提供的文本语音的转换装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图4，所述文本语音的转换装置包括：处理模块10、识别模块20、转换模块30。
其中，处理模块10，用于识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
识别模块20，用于将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
转换模块30，用于利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
本公开提供的可选实施例中，所述识别模块20还用于：建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
本公开提供的可选实施例中，所述识别模块20还用于：根据普鲁契克情感色轮确定获得若干预设情感标签。
本公开提供的可选实施例中，所述语音预料库中存储有多种人物音色的语音语料；所述转换模块30具体用于：根据预设的语音数据库，确定与每一角色对应的人物音色；根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本；根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。
本实施例提供的文本语音的转换装置，识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息，也就是说，本公开实施例中所获得的待转换文本对应的语音信息是根据待转换文本中各对话对应的感情标签获得的，其语音语气丰富，能够体现待转换文本中各任务在情感上的变化，表现力强。
本实施例提供的电子设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图5，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理 (Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称 PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，简称 ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903 中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置 909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902 被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如 Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，简称LAN)或广域网(Wide Area Network，简称 WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以下是本公开的一些实施例。
第一方面，根据本公开的一个或多个实施例，一种文本语音的转换方法，包括：
识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
在本公开提供的可选实施例中，还包括：
建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；
采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
在本公开提供的可选实施例中，所述建立输出目标为若干预设情感标签的情感特征识别模型之前，还包括：
根据普鲁契克情感色轮确定获得若干预设情感标签。
在本公开提供的可选实施例中，所述语音预料库中存储有多种人物音色的语音语料；
相应的，所述利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息，包括：
根据预设的语音数据库，确定与每一角色对应的人物音色；
根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本；
根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。
第二方面，根据本公开的一个或多个实施例，一种文本语音的转换装置，包括：
处理模块，用于识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
识别模块，用于将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
转换模块，用于利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
在本公开提供的可选实施例中，所述识别模块还用于：建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；
采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
在本公开提供的可选实施例中，所述识别模块还用于：根据普鲁契克情感色轮确定获得若干预设情感标签。
在本公开提供的可选实施例中，所述语音预料库中存储有多种人物音色的语音语料；所述转换模块具体用于：根据预设的语音数据库，确定与每一角色对应的人物音色；根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本；根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。
第三方面，根据本公开的一个或多个实施例，一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如前所述的文本语音的转换方法。
第四方面，根据本公开的一个或多个实施例，一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如前所述的文本语音的转换方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种文本语音的转换方法，其特征在于，包括：
识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
2.根据权利要求1所述的文本语音的转换方法，其特征在于，还包括：
建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；
采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
3.根据权利要求2所述的文本语音的转换方法，其特征在于，所述建立输出目标为若干预设情感标签的情感特征识别模型之前，还包括：
根据普鲁契克情感色轮确定获得若干预设情感标签。
4.根据权利要求1-3任一项所述的文本语音的转换方法，其特征在于，所述语音预料库中存储有多种人物音色的语音语料；
相应的，所述利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息，包括：
根据预设的语音数据库，确定与每一角色对应的人物音色；
根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本；
根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。
5.一种文本语音的转换装置，其特征在于，包括：
处理模块，用于识别获得待转换文本中的至少一段对话的对话文本，并确定每段对话所归属的角色以及角色在进行每段对话时描述角色对话状态的状态文本；
识别模块，用于将所述各对话的对话文本和对应的角色在进行每段对话时的状态文本输入至训练完毕的情感特征识别模型，以使所述训练完毕的情感特征识别模型根据所述状态文本在预设的若干情感标签中选出与各对话所表达的情感最相似的情感标签并进行输出；
转换模块，用于利用预设的语音语料库，基于所述待转换文本中每一对话的情感标签和所归属的角色，对所述待转换文本进行语音转换处理，获得所述待转换文本对应的语音信息。
6.根据权利要求5所述的文本语音的转换装置，其特征在于，所述识别模块还用于：建立输出目标为若干预设情感标签的情感特征识别模型，并获取训练文本；其中所述训练文本包括至少一段对话的对话文本，每段对话所归属的角色，角色在进行每段对话时描述角色对话状态的状态文本以及对所述对话进行标注获得的情感标签；
采用所述训练文本信息对情感特征识别模型进行训练，以使建立所述情感标签与所述对话的对话文本、状态文本建立关联关系，获得训练完成的情感特征识别模型。
7.根据权利要求6所述的文本语音的转换装置，其特征在于，所述识别模块还用于：根据普鲁契克情感色轮确定获得若干预设情感标签。
8.根据权利要求5-7任一项所述的文本语音的转换装置，其特征在于，所述语音预料库中存储有多种人物音色的语音语料；所述转换模块具体用于：根据预设的语音数据库，确定与每一角色对应的人物音色；根据每一对话的对话文本和对话所归属的角色对应的语音语料，获得每一对话的语音文本；根据所述每一对话的情感标签，对其相应的语音文本进行语音风格转换，获得以所述情感标签作为演绎风格的所述对话文本的语音信息。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-4任一项所述的文本语音的转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-4任一项所述的文本语音的转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070161.7A CN112765971B (zh) | 2019-11-05 | 2019-11-05 | 文本语音的转换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911070161.7A CN112765971B (zh) | 2019-11-05 | 2019-11-05 | 文本语音的转换方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112765971A true CN112765971A (zh) | 2021-05-07 |
| CN112765971B CN112765971B (zh) | 2023-11-17 |
Family
ID=75692917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911070161.7A Active CN112765971B (zh) | 2019-11-05 | 2019-11-05 | 文本语音的转换方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765971B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114186559A (zh) * | 2021-12-09 | 2022-03-15 | 北京深维智信科技有限公司 | 一种从销售会话中确定会话主体角色标签的方法及系统 |
| CN114359446A (zh) * | 2021-12-30 | 2022-04-15 | 科大讯飞股份有限公司 | 一种动画绘本生成方法、装置、设备和存储介质 |
| WO2022184055A1 (zh) * | 2021-03-04 | 2022-09-09 | 腾讯科技（深圳）有限公司 | 文章的语音播放方法、装置、设备、存储介质及程序产品 |
| CN115082602A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 生成数字人的方法、模型的训练方法、装置、设备和介质 |
| WO2023241409A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京有竹居网络技术有限公司 | 用于确定文本中说话者的方法、装置、设备和存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005205A (zh) * | 2009-09-03 | 2011-04-06 | 株式会社东芝 | 情感语音合成方法和装置 |
| US20130054244A1 (en) * | 2010-08-31 | 2013-02-28 | International Business Machines Corporation | Method and system for achieving emotional text to speech |
| CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN107340991A (zh) * | 2017-07-18 | 2017-11-10 | 百度在线网络技术（北京）有限公司 | 语音角色的切换方法、装置、设备以及存储介质 |
| CN107870896A (zh) * | 2016-09-23 | 2018-04-03 | 苏宁云商集团股份有限公司 | 一种对话分析方法及装置 |
| CN108231059A (zh) * | 2017-11-27 | 2018-06-29 | 北京搜狗科技发展有限公司 | 处理方法和装置、用于处理的装置 |
| CN108962219A (zh) * | 2018-06-29 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于处理文本的方法和装置 |
| CN108962217A (zh) * | 2018-07-28 | 2018-12-07 | 华为技术有限公司 | 语音合成方法及相关设备 |
| CN109597997A (zh) * | 2018-12-07 | 2019-04-09 | 上海宏原信息科技有限公司 | 基于评论实体、方面级情感分类方法和装置及其模型训练 |
| CN109658917A (zh) * | 2019-01-17 | 2019-04-19 | 深圳壹账通智能科技有限公司 | 电子书诵读方法、装置、计算机设备及存储介质 |
| CN109949791A (zh) * | 2019-03-22 | 2019-06-28 | 平安科技（深圳）有限公司 | 基于hmm的情感语音合成方法、装置及存储介质 |
| CN110390017A (zh) * | 2019-07-25 | 2019-10-29 | 中国民航大学 | 基于注意力门控卷积网络的目标情感分析方法及系统 |
-
2019
- 2019-11-05 CN CN201911070161.7A patent/CN112765971B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102005205A (zh) * | 2009-09-03 | 2011-04-06 | 株式会社东芝 | 情感语音合成方法和装置 |
| US20130054244A1 (en) * | 2010-08-31 | 2013-02-28 | International Business Machines Corporation | Method and system for achieving emotional text to speech |
| CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
| CN107870896A (zh) * | 2016-09-23 | 2018-04-03 | 苏宁云商集团股份有限公司 | 一种对话分析方法及装置 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN107340991A (zh) * | 2017-07-18 | 2017-11-10 | 百度在线网络技术（北京）有限公司 | 语音角色的切换方法、装置、设备以及存储介质 |
| CN108231059A (zh) * | 2017-11-27 | 2018-06-29 | 北京搜狗科技发展有限公司 | 处理方法和装置、用于处理的装置 |
| CN108962219A (zh) * | 2018-06-29 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于处理文本的方法和装置 |
| CN108962217A (zh) * | 2018-07-28 | 2018-12-07 | 华为技术有限公司 | 语音合成方法及相关设备 |
| CN109597997A (zh) * | 2018-12-07 | 2019-04-09 | 上海宏原信息科技有限公司 | 基于评论实体、方面级情感分类方法和装置及其模型训练 |
| CN109658917A (zh) * | 2019-01-17 | 2019-04-19 | 深圳壹账通智能科技有限公司 | 电子书诵读方法、装置、计算机设备及存储介质 |
| CN109949791A (zh) * | 2019-03-22 | 2019-06-28 | 平安科技（深圳）有限公司 | 基于hmm的情感语音合成方法、装置及存储介质 |
| CN110390017A (zh) * | 2019-07-25 | 2019-10-29 | 中国民航大学 | 基于注意力门控卷积网络的目标情感分析方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| SOUJANYA PORIA ET AL.: "Emotion Recognition in Conversation: Research Challenges, Datasets, and Recent Advances", 《IEEE ACCESS》 * |
| SOUJANYA PORIA ET AL.: "Emotion Recognition in Conversation: Research Challenges, Datasets, and Recent Advances", 《IEEE ACCESS》, vol. 7, 16 July 2019 (2019-07-16), pages 100943 - 100953, XP011738522, DOI: 10.1109/ACCESS.2019.2929050 * |
| YUEXIANG: "Multimodal Emotion Detection", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/63506119》 * |
| YUEXIANG: "Multimodal Emotion Detection", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/63506119》, 23 April 2019 (2019-04-23), pages 1 - 12 * |
| 郝志峰 等: "基于多特征融合与双向RNN的细粒度意见分析", 计算机工程, vol. 44, no. 07, pages 199 - 204 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022184055A1 (zh) * | 2021-03-04 | 2022-09-09 | 腾讯科技（深圳）有限公司 | 文章的语音播放方法、装置、设备、存储介质及程序产品 |
| CN114186559A (zh) * | 2021-12-09 | 2022-03-15 | 北京深维智信科技有限公司 | 一种从销售会话中确定会话主体角色标签的方法及系统 |
| CN114186559B (zh) * | 2021-12-09 | 2022-09-13 | 北京深维智信科技有限公司 | 一种从销售会话中确定会话主体角色标签的方法及系统 |
| CN114359446A (zh) * | 2021-12-30 | 2022-04-15 | 科大讯飞股份有限公司 | 一种动画绘本生成方法、装置、设备和存储介质 |
| CN115082602A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 生成数字人的方法、模型的训练方法、装置、设备和介质 |
| CN115082602B (zh) * | 2022-06-15 | 2023-06-09 | 北京百度网讯科技有限公司 | 生成数字人的方法、模型的训练方法、装置、设备和介质 |
| WO2023241409A1 (zh) * | 2022-06-17 | 2023-12-21 | 北京有竹居网络技术有限公司 | 用于确定文本中说话者的方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112765971B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| CN108962219B (zh) | 用于处理文本的方法和装置 | |
| CN107657017B (zh) | 用于提供语音服务的方法和装置 | |
| EP3469592B1 (en) | Emotional text-to-speech learning system | |
| CN112765971B (zh) | 文本语音的转换方法、装置、电子设备及存储介质 | |
| CN107077841B (zh) | 用于文本到语音的超结构循环神经网络 | |
| US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
| CN111951779B (zh) | 语音合成的前端处理方法及相关设备 | |
| US20160005395A1 (en) | Generating computer responses to social conversational inputs | |
| CN107707745A (zh) | 用于提取信息的方法和装置 | |
| CN114298121B (zh) | 基于多模态的文本生成方法、模型训练方法和装置 | |
| US11423875B2 (en) | Highly empathetic ITS processing | |
| CN112489620A (zh) | 语音合成方法、装置、可读介质及电子设备 | |
| CN113205817A (zh) | 语音语义识别方法、系统、设备及介质 | |
| CN111428010A (zh) | 人机智能问答的方法和装置 | |
| CN112908292B (zh) | 文本的语音合成方法、装置、电子设备及存储介质 | |
| CN111767740A (zh) | 音效添加方法和装置、存储介质和电子设备 | |
| CN110851650B (zh) | 一种评论输出方法、装置、以及计算机存储介质 | |
| CN110781329A (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
| CN112364653A (zh) | 用于语音合成的文本分析方法、装置、服务器和介质 | |
| CN110781327B (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
| CN112035699A (zh) | 音乐合成方法、装置、设备和计算机可读介质 | |
| CN116343747A (zh) | 语音合成方法、语音合成装置、电子设备及存储介质 | |
| CN111444321B (zh) | 问答方法、装置、电子设备和存储介质 | |
| CN112785667A (zh) | 视频生成方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |