CN113850290A - 文本处理及模型训练方法、装置、设备和存储介质 - Google Patents

文本处理及模型训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113850290A
CN113850290A CN202110947558.0A CN202110947558A CN113850290A CN 113850290 A CN113850290 A CN 113850290A CN 202110947558 A CN202110947558 A CN 202110947558A CN 113850290 A CN113850290 A CN 113850290A
Authority
CN
China
Prior art keywords
age
text
related text
layer
role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110947558.0A
Other languages
English (en)
Other versions
CN113850290B (zh
Inventor
李若铭
白洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110947558.0A priority Critical patent/CN113850290B/zh
Publication of CN113850290A publication Critical patent/CN113850290A/zh
Application granted granted Critical
Publication of CN113850290B publication Critical patent/CN113850290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种文本处理及模型训练方法、装置、设备和存储介质,涉及计算机技术领域,具体涉及语音合成、深度学习、自然语言处理等人工智能领域。文本处理方法包括:检测文本中的角色;在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;对所述年龄相关文本进行处理,以确定所述角色的年龄。本公开可以确定文本中角色的年龄。

Description

文本处理及模型训练方法、装置、设备和存储介质
技术领域
本公开涉及计算机技术领域,具体涉及语音合成、深度学习、自然语言处理等人工智能领域,尤其涉及一种文本处理及模型训练方法、装置、设备和存储介质。
背景技术
有声读物是传统书的一种衍生形式,它是随着声磁技术的发展而开发出的一种以磁化物为载体并带有播放功能的书,最为常见的有声读物是有声小说。
相关技术中,有声小说是采用同一发音人对所有角色的对话内容进行发音。
发明内容
本公开提供了一种文本处理及模型训练方法、装置、设备和存储介质。
根据本公开的一方面,提供了一种文本处理方法,包括:检测文本中的角色;在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;对所述年龄相关文本进行处理,以确定所述角色的年龄。
根据本公开的另一方面,提供了一种年龄预测模型的训练方法,所述年龄预测模型用于确定文本的角色的年龄,所述方法包括:获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段;采用所述训练样本,训练年龄预测模型。
根据本公开的另一方面,提供了一种文本处理装置,包括:检测模块,用于检测文本中的角色;提取模块,用于在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;确定模块,用于对所述年龄相关文本进行处理,以确定所述角色的年龄。
根据本公开的另一方面,提供了一种年龄预测模型的训练装置,所述年龄预测模型用于确定文本的角色的年龄,所述装置包括:获取模块,用于获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段;训练模块,用于采用所述训练样本,训练年龄预测模型。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案,可以确定文本中角色的年龄。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开第三实施例的示意图;
图4是根据本公开第四实施例的示意图;
图5是根据本公开第五实施例的示意图;
图6是根据本公开第六实施例的示意图;
图7是根据本公开第七实施例的示意图;
图8是用来实现本公开实施例的文本处理方法或年龄预测模型的训练方法中任一方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,有声小说是采用同一发音人对所有角色的对话内容进行发音。然而,不同的角色采用合适年龄的发音人对其内容进行发音,可以提高有声读取的播放效果,提升用户体验。
为了提高有声读物的播放效果,本公开提供如下实施例。
图1是根据本公开第一实施例的示意图,本实施例提供一种文本处理方法,所述方法包括:
101、检测文本中的角色。
102、在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本。
103、对所述年龄相关文本进行处理,以确定所述角色的年龄。
其中,文本是指有声读物的文本,以有声小说为例,文本是指小说文本。本实施例中,对小说文本的文体、领域、风格、形式、长度等不限定。可以理解的是,有声读物的文本不限定为有声小说,还可以为有声新闻、有声剧本、有声学习资源等。
角色是指文本中的说话人,以小说文本为例,比如,A说了:“今天天气不错”,A为人名,其中的A为角色。
本实施例的执行主体可以为文本处理装置,该装置可以位于电子设备内,该电子设备可以为云端设备、服务端设备、客户端设备等,该装置的具体形式不限定,可以为硬件、软件,或者软硬结合。对于软件形式,可以包括网页应用(web APP)、移动应用(APP,如手机百度)、系统应用(OS APP,如duerOS)等。对于客户端设备,还可以称为终端设备,可以包括移动设备(如手机、平板电脑)、可穿戴式设备(如智能手表、智能手环)、智能家居设备(如智能电视、智能音箱)等。
其中,如图2所示,可以采用角色预测模型,对文本进行预测处理,以检测文本中的角色。
角色检测模型的输入为文本,输出为角色词,角色词比如为角色的名字名。比如,采用角色检测模型可以检测出文本中的A、B等,A和B分别表示人的名字。
角色检测模型可以为深度神经网络模型,可以采用各种相关技术训练得到,在此不再详述。
检测到文本中的角色后,如图2所示,可以基于关键词检索的方式获得角色相关文本,再基于关键词检索的方式,在角色相关文本中获得角色对应的年龄相关文本。
比如,检测出的一个角色为A,则可以将包含A的文本内容作为A的角色相关文本,比如,一句文本为“A迎面走过来”、另一句文本为“A在小时候,...”,由于上述两句文本都涉及了A,所以,上述两句文本均为A的角色相关文本。
获得角色相关文本后,可以基于预设的年龄相关的关键词,从角色相关文本中获得年龄相关文本,比如,上述两句涉及A的文本中,由于“小时候”与年龄相关,则“A在小时候,...”为A的年龄相关文本。
年龄相关的关键词(还可以称为词林数据)可以是预设的,可以包括:“岁”、“年龄”、“小时候”、“年轻的时候”等,还可以包括与年龄相关的描述信息,比如,“花白的胡子”等。
一些实施例中,所述对所述年龄相关文本进行处理,以确定所述角色的年龄,包括:采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本的年龄段信息;基于所述年龄相关文本的年龄段信息,确定所述角色的年龄。
进一步地,所述年龄相关文本为多条,所述年龄段信息包括多个年龄段的年龄段得分,所述基于所述年龄相关文本对应的年龄段信息,确定所述角色的年龄,包括:对应所述多个年龄段中的同一年龄段,将所述多条年龄相关文本的年龄得分进行相加,以获得同一年龄段的总年龄得分;将总年龄得分最高的年龄段,作为所述角色的年龄。
获得年龄相关文本后,如图2所示,可以采用年龄预测模型,对年龄相关文本进行处理,以确定角色的年龄。
年龄预测模型的输入为年龄相关文本,输出为年龄相关文本对应的年龄段信息。
其中,可以预设各个年龄段,比如,年龄段包括:儿童、青年、中年、老年,年龄预测模型的输出可以为上述4个年龄段中各个年龄段的概率值。
上述的概率值可以作为年龄得分,或者,也可以将概率值转换为年龄得分,比如,若概率值为10%,则得分可以为10分。
如图3所示,以4个年龄段、且年龄段信息为年龄段得分为例,可以采用年龄预测模型分别对每条年龄相关文本进行处理,以获得每条年龄相关文本对应的年龄段得分,再对应同一年龄段,将每条年龄相关文本对应的年龄段得分进行相加,获得对应年龄段的总得分,之后,可以将总得分最高的年龄段作为角色的年龄。
一般来讲,对应某个角色,比如角色A,该角色对应的年龄相关文本为多条,比如,“A在小时候,...”、“A在读初中时,...”为两条年龄相关文本。对应多条年龄相关文本,可以对每条年龄相关文本都采用年龄预测模型进行处理,以获得每条年龄相关文本在各个年龄段上的得分。
获得每条年龄相关文本在各个年龄段上的得分后,可以对应每个年龄段,将同一年龄段的多条年龄相关文本对应的得分进行相加,以确定该年龄段的总得分。
比如,角色A对应的年龄相关文本为N条,用Si,j表示第i条文本对应的第j个年龄段的得分,则角色A在第1个年龄段的总分为:
Figure BDA0003217314200000051
在第2个年龄段的总分为:
Figure BDA0003217314200000052
依此类推,可以获得4个年龄段的各个年龄段的总得分。之后,可以将总得分最高的年龄段作为角色A的年龄,比如,经过运算,角色A在第3个年龄段的总得分最高,如第3个年龄段表示青年,则角色A的年龄为青年。
通过采用年龄预测模型,可以精准地获得年龄相关文本对应的年龄段信息,进而可以基于年龄段信息获得角色的年龄。
进一步地,通过对同一年龄段的多条年龄相关文本对应的年龄得分进行相加,以获得年龄段的总年龄得分,以及,将总年龄得分最高的年龄段作为角色的年龄,可以提高年龄确定准确度。
一些实施例中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本对应的年龄段信息,包括:采用所述输入层,将所述年龄相关文本转换为输入向量;采用所述隐层,将所述输入向量转换为隐层向量;采用所述注意力层,将所述隐层向量转换为编码向量,所述注意力层的参数包括注意力权重,所述角色出现位置对应的注意力权重大于非所述角色出现位置对应的注意力权重;采用所述分类层,对所述编码向量进行分类处理,以获得所述条年龄相关文本的年龄段信息。
其中,隐层可以采用预训练语言模型,比如,双向Transformer的Encoder(Bidirectional Encoder Representations from Transformers,BERT)模型。
如图4所示,经过年龄预测模型的各个层的不断处理,可以获得年龄相关文本对应的年龄段信息。
其中,对于注意力层,是采用注意力权重对隐层向量进行处理,所述角色出现位置对应的注意力权重大于非所述角色出现位置对应的注意力权重,从而可以使得注意力层更关注角色的出现位置,提高年龄段信息的确定准确度。注意力权重可以是在训练阶段确定的,其确定过程可以参见训练过程中的相关描述。
一些实施例中,所述方法还可以包括:获取对应所述角色的年龄的语音;采用所述语音,对所述角色的对话内容进行语音播放。
比如,对应同一对话内容,可以事先录制不同发音人的语音,比如,儿童语音,青年语音,中年语音或老年语音,之后,若确定角色为青年,则在语音库中获得青年语音,并采用青年语音播放该段对话内容。
或者,也可以采用语音合成技术,基于年龄段和对话内容,进行语音合成处理,以获得对应年龄段的语音,并进行播放。
通过采用角色对应年龄的语音进行对话内容的语音播放,可以采用合适年龄的语音进行播放,提高播放效果。
本公开实施例中,通过确定文本中的角色的年龄,可以基于年龄采用对应年龄的语音,从而可以提高有声读物的播放效果,提升用户体验。
上述涉及了年龄预测模型,年龄预测模型可以预先训练得到,年龄预测模型可以采用如下方式训练得到。
图5是根据本公开第五实施例的示意图,本实施例提供一种年龄预测模型的训练方法,该方法包括:
501、获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段。
502、采用所述训练样本,训练年龄预测模型。
该年龄预测模型可以用于上述的文本处理过程,即,所述年龄预测模型用于确定文本中的角色的年龄。
年龄预测模型的训练样本可以包括年龄相关文本及其对应的标签信息,即,一组训练样本可以表示为<年龄相关文本,标签信息>,通过大量的训练样本进行训练,可以获得年龄预测模型。
以小说文本为例,年龄相关文本可以是,收集大量的小说文本,对小说文本采用角色预测模型,检测小说文本中的角色,再基于关键词检索,获取角色对应的年龄相关文本。
获得年龄相关文本后,可以对其进行依存句法分析,并基于依存句法分析结果获得标签信息。
依存句法通过分析语言单位内成分之前的依存关系解释其句法结构,主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配,所有受支配成分都以某种关系从属于支配者。
依存句法分析获得的词语间的关系可以包括:主谓关系、动宾关系、定中关系等。
一些实施例中,所述年龄相关文本中包含角色词和年龄词,所述获取所述年龄相关文本的标签信息,包括:对所述年龄相关文本进行依存句法分析,以确定所述年龄词与所述角色词之间的依存关系;若所述年龄词与所述角色词之间存在依存关系,将所述年龄词对应的年龄段作为所述年龄相关文本的标签信息;或者,若所述年龄词与所述角色词之间不存在依存关系,将人工标注的年龄段作为所述年龄相关文本的标签信息。
比如,一条年龄相关文本为“A迎面走过来,他胡子花白”,经过依存句法分析可知,年龄词“胡子花白”是用来修饰角色词“A”的,即年龄词与角色词之间存在依存关系,则可以将“胡子花白”对应的年龄段信息自动标注为上述年龄相关文本的标签信息,即,标签信息为老年。
其中,年龄词与年龄段信息之间的关系是预设的,比如,可以预设各个年龄段的词林数据,从而可以获知年龄词对应的年龄段信息。
依存句法分析可以采用各种相关技术实现,比如,采用生成式句法分析模型、判别式句法分析模型等进行依存句法分析。
又比如,另一条年龄相关文本为“A站在原地,他的对面迎面走过来一位胡子花白的老人”,经过依存句法分析,年龄词“胡子花白”修饰并不是角色A,即两者不存在依存句法关系,此时,可以采用人工标注的方式获取对应角色A的标签信息。
可以理解的是,上述存在依存关系也可以理解为距离较近,不存在依存关系可以理解为距离较远。
当然,可以理解的是,为了提高准确度,不同角色的年龄相关文本都可以采用人工标注的方式进行。
通过对存在依存关系的年龄词与角色词,基于角色词对应的年龄段信息获取标签信息,可以提高获取效率,进一步地,基于是否存在依存关系,采用不同的标签信息的获取方式,可以实现准确度和效率的平衡。
年龄预测模型可以为深度神经网络模型。
一些实施例中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述训练样本还包括:所述角色对应的关注度标识,所述采用所述训练样本,训练年龄预测模型,包括:采用所述输入层,将所述年龄相关文本转换为输入向量;采用所述隐层,将所述输入向量转换为隐层向量;基于所述隐层向量和所述关注度标识,确定所述注意力层的注意力权重,并采用具有所述注意力权重的所述注意力层,将所述隐层向量转换为编码向量;采用所述分类层,对所述编码向量进行分类处理,以确定所述年龄相关文本的年龄段预测信息;基于所述年龄段预测信息和所述标签信息,构建损失函数,并基于所述损失函数,训练年龄预测模型。
比如,在训练时,一条年龄相关文本为“A上初中,B是A的爸爸”,若当前的角色是角色A,则对应角色A可以设置与其他词语不同的关注度标识,比如,角色A对应的关注度标识设置为10,其他词语,比如“初中”、“B”等的关注度标识可以设置为8,通过不同的关注度标签,可以控制注意力层的注意力权重,使得注意力层更关注当前的角色,比如,关注度标识较大的词语对应的注意力权重也较大,依据上述示例,“A”对应的注意力权重要大于其他词语对应的注意力权重,从而使得注意力层更关注角色“A”。
通过基于关注度标识确定注意力权重,可以使得模型更关注角色的出现位置,从而提高模型的预测准确度。
关于年龄预测模型的结果可以参见图4。图4对应的预测阶段,与预测阶段不同,在训练阶段,还需要构建损失函数,损失函数的形式可以根据需要设置,基于损失函数,可以调整模型参数,直至损失函数收敛,或者达到预设的迭代次数,将达到结束条件时的模型参数,作为最终的模型。
本公开实施例中,通过基于训练文本获得年龄相关文本,并获取标签信息,可以基于年龄相关文本和标签信息训练年龄预测模型,进而可以采用年龄预测模型预测文本中角色的年龄,进而采用对应年龄的发音人对角色的对话内容进行发音,从而可以提高语音播放效果,提升用户体验。
图6是根据本公开第六实施例的示意图,本实施例提供一种文本处理装置。如图6所示,该装置600包括:检测模块601、提取模块602和确定模块603。
检测模块601用于检测文本中的角色;提取模块602用于在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;确定模块603用于对所述年龄相关文本进行处理,以确定所述角色的年龄。
一些实施例中,所述确定模块603包括:预测单元,用于采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本的年龄段信息;确定单元,用于基于所述年龄相关文本的年龄段信息,确定所述角色的年龄。
一些实施例中,所述年龄相关文本为多条,所述年龄段信息包括多个年龄段的年龄段得分,所述确定单元具体用于:对应所述多个年龄段中的同一年龄段,将所述多条年龄相关文本的年龄得分进行相加,以获得同一年龄段的总年龄得分;将总年龄得分最高的年龄段,作为所述角色的年龄。
一些实施例中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述预测单元具体用于:采用所述输入层,将所述年龄相关文本转换为输入向量;采用所述隐层,将所述输入向量转换为隐层向量;采用所述注意力层,将所述隐层向量转换为编码向量,所述注意力层的参数包括注意力权重,所述角色出现位置对应的注意力权重大于非所述角色出现位置对应的注意力权重;采用所述分类层,对所述编码向量进行分类处理,以获得所述年龄相关文本的年龄段信息。
一些实施例中,所述装置600还包括:获取模块,用于获取对应所述角色的年龄的语音;播放模块,用于采用所述语音,对所述角色的对话内容进行语音播放。
本公开实施例中,通过确定文本中的角色的年龄,可以基于年龄采用对应年龄的语音,从而可以提高有声读物的播放效果,提升用户体验。
图7是根据本公开第七实施例的示意图,本实施例提供一种年龄预测模型的训练装置。所述年龄预测模型用于确定文本的角色的年龄,所述装置700包括:获取模块701和训练模块702。
获取模块701用于获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段;训练模块702用于采用所述训练样本,训练年龄预测模型。
一些实施例中,所述年龄相关文本中包含角色词和年龄词,所述获取模块具体用于:
对所述年龄相关文本进行依存句法分析,以确定所述年龄词与所述角色词之间的依存关系;
若所述年龄词与所述角色词之间存在依存关系,将所述年龄词对应的年龄段作为所述年龄相关文本的标签信息;或者,
若所述年龄词与所述角色词之间不存在依存关系,将人工标注的年龄段作为所述年龄相关文本的标签信息。
一些实施例中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述训练样本还包括:所述角色对应的关注度标识,所述训练模块具体用于:采用所述输入层,将所述年龄相关文本转换为输入向量;采用所述隐层,将所述输入向量转换为隐层向量;基于所述隐层向量和所述关注度标识,确定所述注意力层的注意力权重,并采用具有所述注意力权重的所述注意力层,将所述隐层向量转换为编码向量;采用所述分类层,对所述编码向量进行分类处理,以确定所述年龄相关文本的年龄段预测信息;基于所述年龄段预测信息和所述标签信息,构建损失函数,并基于所述损失函数,训练年龄预测模型。
本公开实施例中,通过基于训练文本获得年龄相关文本,并获取标签信息,可以基于年龄相关文本和标签信息训练年龄预测模型,进而可以采用年龄预测模型预测文本中角色的年龄,进而采用对应年龄的发音人对角色的对话内容进行发音,从而可以提高语音播放效果,提升用户体验。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
可以理解的是,本公开实施例中,不同实施例中的相同或相似内容可以相互参考。
可以理解的是,本公开实施例中的“第一”、“第二”等只是用于区分,不表示重要程度高低、时序先后等。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如文本处理方法或年龄预测模型的训练方法。例如,在一些实施例中,文本处理方法或年龄预测模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元808而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的文本处理方法或年龄预测模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行文本处理方法或年龄预测模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种文本处理方法,包括:
检测文本中的角色;
在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;
对所述年龄相关文本进行处理,以确定所述角色的年龄。
2.根据权利要求1所述的方法,其中,所述对所述年龄相关文本进行处理,以确定所述角色的年龄,包括:
采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本的年龄段信息;
基于所述年龄相关文本的年龄段信息,确定所述角色的年龄。
3.根据权利要求2所述的方法,其中,所述年龄相关文本为多条,所述年龄段信息包括多个年龄段的年龄段得分,所述基于所述年龄相关文本的年龄段信息,确定所述角色的年龄,包括:
对应所述多个年龄段中的同一年龄段,将所述多条年龄相关文本的年龄得分进行相加,以获得同一年龄段的总年龄得分;
将总年龄得分最高的年龄段,作为所述角色的年龄。
4.根据权利要求2所述的方法,其中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本对应的年龄段信息,包括:
采用所述输入层,将所述年龄相关文本转换为输入向量;
采用所述隐层,将所述输入向量转换为隐层向量;
采用所述注意力层,将所述隐层向量转换为编码向量,所述注意力层的参数包括注意力权重,所述角色出现位置对应的注意力权重大于非所述角色出现位置对应的注意力权重;
采用所述分类层,对所述编码向量进行分类处理,以获得所述年龄相关文本的年龄段信息。
5.根据权利要求1-4任一项所述的方法,还包括:
获取对应所述角色的年龄的语音;
采用所述语音,对所述角色的对话内容进行语音播放。
6.一种年龄预测模型的训练方法,所述年龄预测模型用于确定文本的角色的年龄,所述方法包括:
获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段;
采用所述训练样本,训练年龄预测模型。
7.根据权利要求6所述的方法,其中,所述年龄相关文本中包含角色词和年龄词,所述获取所述年龄相关文本的标签信息,包括:
对所述年龄相关文本进行依存句法分析,以确定所述年龄词与所述角色词之间的依存关系;
若所述年龄词与所述角色词之间存在依存关系,将所述年龄词对应的年龄段作为所述年龄相关文本的标签信息;或者,
若所述年龄词与所述角色词之间不存在依存关系,将人工标注的年龄段作为所述年龄相关文本的标签信息。
8.根据权利要求6或7所述的方法,其中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述训练样本还包括:所述角色对应的关注度标识,所述采用所述训练样本,训练年龄预测模型,包括:
采用所述输入层,将所述年龄相关文本转换为输入向量;
采用所述隐层,将所述输入向量转换为隐层向量;
基于所述隐层向量和所述关注度标识,确定所述注意力层的注意力权重,并采用具有所述注意力权重的所述注意力层,将所述隐层向量转换为编码向量;
采用所述分类层,对所述编码向量进行分类处理,以确定所述年龄相关文本的年龄段预测信息;
基于所述年龄段预测信息和所述标签信息,构建损失函数,并基于所述损失函数,训练年龄预测模型。
9.一种文本处理装置,包括:
检测模块,用于检测文本中的角色;
提取模块,用于在所述文本中,提取所述角色的年龄相关文本,所述年龄相关文本为包含所述角色的年龄信息的文本;
确定模块,用于对所述年龄相关文本进行处理,以确定所述角色的年龄。
10.根据权利要求9所述的装置,其中,所述确定模块包括:
预测单元,用于采用年龄预测模型,对所述年龄相关文本进行预测处理,以获得所述年龄相关文本的年龄段信息;
确定单元,用于基于所述年龄相关文本的年龄段信息,确定所述角色的年龄。
11.根据权利要求10所述的装置,其中,所述年龄相关文本为多条,所述年龄段信息包括多个年龄段的年龄段得分,所述确定单元具体用于:
对应所述多个年龄段中的同一年龄段,将所述多条年龄相关文本的年龄得分进行相加,以获得同一年龄段的总年龄得分;
将总年龄得分最高的年龄段,作为所述角色的年龄。
12.根据权利要求10所述的装置,其中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述预测单元具体用于:
采用所述输入层,将所述年龄相关文本转换为输入向量;
采用所述隐层,将所述输入向量转换为隐层向量;
采用所述注意力层,将所述隐层向量转换为编码向量,所述注意力层的参数包括注意力权重,所述角色出现位置对应的注意力权重大于非所述角色出现位置对应的注意力权重;
采用所述分类层,对所述编码向量进行分类处理,以获得所述年龄相关文本的年龄段信息。
13.根据权利要求9-12任一项所述的装置,还包括:
获取模块,用于获取对应所述角色的年龄的语音;
播放模块,用于采用所述语音,对所述角色的对话内容进行语音播放。
14.一种年龄预测模型的训练装置,所述年龄预测模型用于确定文本的角色的年龄,所述装置包括:
获取模块,用于获取训练样本,所述训练样本包括:训练文本中角色的年龄相关文本,以及所述年龄相关文本的标签信息,所述标签信息用于标识所述年龄相关文本的年龄段;
训练模块,用于采用所述训练样本,训练年龄预测模型。
15.根据权利要求14所述的装置,其中,所述年龄相关文本中包含角色词和年龄词,所述获取模块具体用于:
对所述年龄相关文本进行依存句法分析,以确定所述年龄词与所述角色词之间的依存关系;
若所述年龄词与所述角色词之间存在依存关系,将所述年龄词对应的年龄段作为所述年龄相关文本的标签信息;或者,
若所述年龄词与所述角色词之间不存在依存关系,将人工标注的年龄段作为所述年龄相关文本的标签信息。
16.根据权利要求14或15所述的装置,其中,所述年龄预测模型包括:输入层、隐层、注意力层和分类层,所述训练样本还包括:所述角色对应的关注度标识,所述训练模块具体用于:
采用所述输入层,将所述年龄相关文本转换为输入向量;
采用所述隐层,将所述输入向量转换为隐层向量;
基于所述隐层向量和所述关注度标识,确定所述注意力层的注意力权重,并采用具有所述注意力权重的所述注意力层,将所述隐层向量转换为编码向量;
采用所述分类层,对所述编码向量进行分类处理,以确定所述年龄相关文本的年龄段预测信息;
基于所述年龄段预测信息和所述标签信息,构建损失函数,并基于所述损失函数,训练年龄预测模型。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202110947558.0A 2021-08-18 2021-08-18 文本处理及模型训练方法、装置、设备和存储介质 Active CN113850290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110947558.0A CN113850290B (zh) 2021-08-18 2021-08-18 文本处理及模型训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110947558.0A CN113850290B (zh) 2021-08-18 2021-08-18 文本处理及模型训练方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113850290A true CN113850290A (zh) 2021-12-28
CN113850290B CN113850290B (zh) 2022-08-23

Family

ID=78975849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110947558.0A Active CN113850290B (zh) 2021-08-18 2021-08-18 文本处理及模型训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113850290B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186095A (zh) * 2022-09-13 2022-10-14 广州趣丸网络科技有限公司 一种未成年人文本识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018112696A (ja) * 2017-01-13 2018-07-19 ナーチャーウィズ株式会社 なぞり台紙、なぞり台紙集及びなぞり書きセット
CN109523988A (zh) * 2018-11-26 2019-03-26 安徽淘云科技有限公司 一种文本演绎方法及装置
CN110866401A (zh) * 2019-11-18 2020-03-06 山东健康医疗大数据有限公司 基于注意力机制的中文电子病历命名实体识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018112696A (ja) * 2017-01-13 2018-07-19 ナーチャーウィズ株式会社 なぞり台紙、なぞり台紙集及びなぞり書きセット
CN109523988A (zh) * 2018-11-26 2019-03-26 安徽淘云科技有限公司 一种文本演绎方法及装置
CN110866401A (zh) * 2019-11-18 2020-03-06 山东健康医疗大数据有限公司 基于注意力机制的中文电子病历命名实体识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186095A (zh) * 2022-09-13 2022-10-14 广州趣丸网络科技有限公司 一种未成年人文本识别方法及装置
CN115186095B (zh) * 2022-09-13 2022-12-13 广州趣丸网络科技有限公司 一种未成年人文本识别方法及装置

Also Published As

Publication number Publication date
CN113850290B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN108428446B (zh) 语音识别方法和装置
KR101634086B1 (ko) 감정 분석을 통한 스티커 추천 방법 및 시스템
US11217236B2 (en) Method and apparatus for extracting information
CN112270167B (zh) 角色标注方法、装置、电子设备和存储介质
CN112530408A (zh) 用于识别语音的方法、装置、电子设备和介质
CN112951275B (zh) 语音质检方法、装置、电子设备及介质
CN111161711B (zh) 对流式语音识别文本进行断句的方法及装置
WO2021051514A1 (zh) 一种语音识别方法、装置、计算机设备及非易失性存储介质
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
CN110414004A (zh) 一种核心信息提取的方法和系统
KR20220125672A (ko) 비디오 분류 방법, 장치, 기기 및 기록 매체
CN107862058B (zh) 用于生成信息的方法和装置
CN114360557B (zh) 语音音色转换方法、模型训练方法、装置、设备和介质
CN112966082A (zh) 音频质检方法、装置、设备以及存储介质
CN113850291A (zh) 文本处理及模型训练方法、装置、设备和存储介质
CN113053367A (zh) 语音识别方法、语音识别的模型训练方法以及装置
CN110647613A (zh) 一种课件构建方法、装置、服务器和存储介质
CN113836945B (zh) 意图识别方法、装置、电子设备和存储介质
CN113850290B (zh) 文本处理及模型训练方法、装置、设备和存储介质
CN112071304B (zh) 一种语意分析方法及装置
CN112735432A (zh) 音频识别的方法、装置、电子设备及存储介质
CN114078470A (zh) 模型处理方法及装置、语音识别方法及装置
CN112686059A (zh) 文本翻译方法、装置、电子设备和存储介质
CN113705206B (zh) 情感预测模型的训练方法、装置、设备及存储介质
CN114462364B (zh) 录入信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant