CN110188327B - 文本去口语化方法及装置 - Google Patents
文本去口语化方法及装置 Download PDFInfo
- Publication number
- CN110188327B CN110188327B CN201910460902.6A CN201910460902A CN110188327B CN 110188327 B CN110188327 B CN 110188327B CN 201910460902 A CN201910460902 A CN 201910460902A CN 110188327 B CN110188327 B CN 110188327B
- Authority
- CN
- China
- Prior art keywords
- text
- symbol
- symbols
- learning model
- spoken
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请提出一种文本去口语化方法及装置,其中方法包括:获取口语化的文本;将文本输入预设的第一端到端学习模型,获取文本对应的操作序列;操作序列中的各个操作符号与文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;根据对应的操作序列,对文本进行删除操作和保留操作,并将操作序列中除删除符号和保留符号之外的操作符号,添加到文本中的对应位置,得到处理后的文本;判断处理后的文本中是否存在修改符号和增加符号;若处理后的文本中不存在修改符号和增加符号,则将处理后的文本,确定为口语化的文本对应的去口语化文本,该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种文本去口语化方法及装置。
背景技术
目前,针对带口语信息的文本,不会进行去口语化,是直接对该文本进行翻译处理,得到翻译后的文本,导致翻译后的文本的准确度低。
发明内容
本申请的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种文本去口语化方法,该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
本申请的第二个目的在于提出一种文本去口语化装置。
本申请的第三个目的在于提出另一种文本去口语化装置。
本申请的第四个目的在于提出一种计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的,本申请第一方面实施例提出了一种文本去口语化方法,包括:获取口语化的文本;将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;判断所述处理后的文本中是否存在修改符号和增加符号;若所述处理后的文本中不存在修改符号和增加符号,则将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。
本申请实施例的文本去口语化方法,通过获取口语化的文本;将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;判断所述处理后的文本中是否存在修改符号和增加符号;若所述处理后的文本中不存在修改符号和增加符号,则将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
为达上述目的,本申请第二方面实施例提出了一种文本去口语化装置,包括:获取模块,用于获取口语化的文本;输入模块,用于将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;处理模块,用于根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;判断模块,用于判断所述处理后的文本中是否存在修改符号和增加符号;确定模块,用于在所述处理后的文本中不存在修改符号和增加符号时,将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。
本申请实施例的文本去口语化装置,通过获取口语化的文本;将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;判断所述处理后的文本中是否存在修改符号和增加符号;若所述处理后的文本中不存在修改符号和增加符号,则将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
为达上述目的,本申请第三方面实施例提出了另一种文本去口语化装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上所述的文本去口语化方法。
为了实现上述目的,本申请第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的文本去口语化方法。
为了实现上述目的,本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的文本去口语化方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本申请第一个实施例的一种文本去口语化方法的流程示意图;
图2是根据本申请第二个实施例的一种文本去口语化方法的流程示意图;
图3是根据本申请第三个实施例的一种文本去口语化方法的流程示意图;
图4是根据本申请第一个实施例的一种文本去口语化装置的结构示意图;
图5是根据本申请第二个实施例的一种文本去口语化装置的结构示意图;
图6是根据本申请第三个实施例的一种文本去口语化装置的结构示意图;
图7是根据本申请一个实施例的另一种文本去口语化装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的文本去口语化方法及装置。
图1为本申请实施例提供的一种文本去口语化方法的流程示意图。如图1所示,该文本去口语化方法包括以下步骤:
步骤101,获取口语化的文本。
具体地,口语化的文本是指带有口语化特征的文本。例如,“嗯,啊,今天我想,我想给大家带来的是”。口语化的文本可在演讲者的演讲记录文本中进行截取以获取,也可以是通过采集语音演讲者语音进行识别,获得相应的口语化特征文字文本。
步骤102,将文本输入预设的第一端到端学习模型,获取文本对应的操作序列;操作序列中的各个操作符号与文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;操作符号包括:删除符号、保留符号、修改符号和增加符号。
在本申请实施例中,获取到口语化文本后,将口语化文本输入预设的第一端到端学习模型中,该预设的第一端到端学习模型输出相应的操作序列。其中需要说明的是,操作序列是由一串操作符号按照顺序排列构成。操作符号可包括:删除符号、保留符号、修改符号和增加符号。另外,还需要说明的是,操作序列中的各个操作符号与文本中的各个字符符号一一对应,其中,字符符号包括字符和符号。例如,一段口语化文本中,其中,汉字、英文字符等为字符,标点符号为符号。操作符号用于表示对对应的字符符号的操作动作。也就是说,删除符号表示文本中对应的字符需要删除,保留符号表示文本中对应的字符保持原样,修改符号表示文本中对应的字符需要修改,增加符号表示文本中对应的字符需要增加。
举例而言,将口语化文本“嗯,啊,今天我想,我想给大家带来的是”输入预设的第一端到端学习模型中,该模型输出操作序列为“DDDDNNNNDDDNMMNNNNAA”,其中,D表示对应的字符需要删除,N表示保持原样,M表示对应的字符需要修改,A表示对应的字符需要增加。
在本申请实施例中,预设的第一端到端学习模型可以是预先根据训练数据对预训练的第一端到端学习模型进行训练而得到的模型,其中,第一端到端学习模型可为翻译模型。如图2所示,可通过如下步骤获得预设的第一端到端学习模型。
步骤201,获取经过预训练的第一端到端学习模型。
需要说明的是,为了提高翻译后的文本的准确度,可采用第一预设算法第一端到端学习模型进行初始化,获得预训练的第一端到端学习模型。其中第二预设算法可以是但不限于Pre-Training算法。在本申请实施例中,在该预训练的模型目标端,我们不直接生成去口语化的句子,而是生成该口语化句子对应的操作序列。
步骤202,获取第一训练数据,第一训练数据包括:大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列。
具体地,根据预设算法获取第一训练数据。另外,为了确保预训练的第一端到端学习模型的准确性,第一训练数据可包括大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列。其中预设算法可以是但不限于爬虫抓取算法。
步骤203,采用第一训练数据对经过预训练的第一端到端学习模型进行训练,得到预设的第一端到端学习模型。
进一步地,获取到第一训练数据之后,采用第一训练数据对预训练的第一端到端学习模型进行训练,也就是对预训练的第一端到端学习模型中的系数进行训练,调整,得到预设的第一端到端学习模型。
步骤103,根据对应的操作序列,对文本进行删除操作和保留操作,并将操作序列中除删除符号和保留符号之外的操作符号,添加到文本中的对应位置,得到处理后的文本。
在本申请实施例中,根据预设的第一端到端学习模型获取到口语化文本对应的操作序列之后,根据操作序列中的操作符号对文本进行相应的操作。
例如,口语化文本“嗯,啊,今天我想,我想给大家带来的是”输对应的操作序列为“DDDDNNNNDDDNMMNNNNAA”,对该文本进行删除和保留操作,其中,D表示对应的字符需要删除,N表示保持原样,并将修改字符M和增加字符A添加到该文本中对应的位置。对该口语化文本操作后,获得的文本为“今天我想给M_大M_家带来的是AA”。
步骤104,判断处理后的文本中是否存在修改符号和增加符号。
步骤105,若处理后的文本中不存在修改符号和增加符号,则将处理后的文本,确定为口语化的文本对应的去口语化文本。
进一步地,根据操作序列对口语化文本进行对应的操作后,得到处理后的文本,判断处理后的文本中是否存在修改符号和增加符号,如果处理后的文本中不存在修改符号和增加符号,则将处理后的文本,确定为口语化的文本对应的去口语化文本。另外,可选地,如果处理后的文本中存在修改符号和/或增加符号,则将处理后的文本输入预设的第二端到端学习模型,获取口语化的文本对应的去口语化文本。
在本申请实施例中,预设的第二端到端学习模型可以是预先根据训练数据对预训练的第二端到端学习模型进行训练而得到的模型,其中,第二端到端学习模型可为翻译模型。如图3所示,可通过如下步骤获得预设的第二端到端学习模型。
步骤301,获取经过预训练的第二端到端学习模型。
需要说明的是,为了进一步提高翻译后的文本的准确度和流畅度,可采用第一预设算法对第二端到端学习模型进行初始化,获得预训练的第二端到端学习模型。
步骤302,获取第二训练数据,第二训练数据包括:大于预设数量的添加有修改符号和/或增加符号的文本样本,以及对应的去口语化文本样本。
具体地,根据预设算法获取第二训练数据。另外,为了确保预训练的第一端到端学习模型的准确性,第一训练数据可包括大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列。其中预设算法可以是但不限于爬虫抓取算法。
步骤303,采用第二训练数据,对经过预训练的第二端到端学习模型进行训练,得到预设的第二端到端学习模型。
进一步地,获取到第二训练数据之后,采用第二训练数据对预训练的第二端到端学习模型进行训练,也就是对预训练的第二端到端学习模型中的系数进行训练,调整,得到预设的第二端到端学习模型。
在本申请实施例中,如果处理后的文本中存在修改符号和/或增加符号,则将处理后的文本输入预设的第二端到端学习模型,获取口语化的文本对应的去口语化文本。举例而言,口语化文本“嗯,啊,今天我想,我想给大家带来的是”经过预设的第一模型和处理后,得到的存在修改符号和增加符号的文本为“今天我想给M_大M_家带来的是AA”,将该文本输入到预设的第二端到端学习模型中,输出为“今天我想给你们带来的是这个”,则该口语化文本对应的去口语化的文本为“今天我想给你们带来的是这个”。
本申请实施例的文本去口语化方法,通过获取口语化的文本;将文本输入预设的第一端到端学习模型,获取文本对应的操作序列;操作序列中的各个操作符号与文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;操作符号包括:删除符号、保留符号、修改符号和增加符号;根据对应的操作序列,对文本进行删除操作和保留操作,并将操作序列中除删除符号和保留符号之外的操作符号,添加到文本中的对应位置,得到处理后的文本;判断处理后的文本中是否存在修改符号和增加符号;若处理后的文本中不存在修改符号和增加符号,则将处理后的文本,确定为口语化的文本对应的去口语化文本。该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
与上述实施例提供的文本去口语化方法相对应,本申请的实施例还提供一种文本去口语化装置,由于本申请实施例提供的文本去口语化装置与上述实施例提供的文本去口语化方法相对应,因此在前述文本去口语化方法的实施方式也适用于本实施例提供的文本去口语化装置,在本实施例中不再详细描述。图4为本申请实施例提供的一种文本去口语化装置的结构示意图。如图4所示,该文本去口语化装置400包括:包括:获取模块410、输入模块420、处理模块430、判断模块440和确定模块450。
其中,获取模块410,用于获取口语化的文本;
输入模块420,用于将文本输入预设的第一端到端学习模型,获取文本对应的操作序列;操作序列中的各个操作符号与文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;操作符号包括:删除符号、保留符号、修改符号和增加符号;
处理模块430,用于根据对应的操作序列,对文本进行删除操作和保留操作,并将操作序列中除删除符号和保留符号之外的操作符号,添加到文本中的对应位置,得到处理后的文本;
判断模块440,用于判断处理后的文本中是否存在修改符号和增加符号;
确定模块450,用于在处理后的文本中不存在修改符号和增加符号时,将处理后的文本,确定为口语化的文本对应的去口语化文本。
作为本申请实施例的一种可能的实现方式,输入模块420,还用于在处理后的文本中存在修改符号和/或增加符号时,将处理后的文本输入预设的第二端到端学习模型,获取口语化的文本对应的去口语化文本。
需要说明的是,在本申请的实施例中,该预设的第一端到端学习模型可以是预先根据第一训练数据对预训练的第一端到端学习模型进行训练而得到的模型。如图5所示,在图4所示基础上,该文本去口语化装置400还可包括:第一训练模块460。
具体地,获取模块410,还用于获取经过预训练的第一端到端学习模型;
另外,获取模块410,还用于获取第一训练数据,第一训练数据包括:大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列;
第一训练模块460,用于采用第一训练数据对经过预训练的第一端到端学习模型进行训练,得到预设的第一端到端学习模型。
需要说明的是,在本申请的实施例中,该预设的第二端到端学习模型可以是预先根据第二训练数据对预训练的第二端到端学习模型进行训练而得到的模型。如图6所示,在图4所示基础上,该文本去口语化装置400还可包括:第二训练模块470。
具体地,获取模块410,还用于获取经过预训练的第二端到端学习模型;
另外,获取模块410,还用于获取第二训练数据,第二训练数据包括:大于预设数量的添加有修改符号和/或增加符号的文本样本,以及对应的去口语化文本样本;
第二训练模块470,用于采用第二训练数据,对经过预训练的第二端到端学习模型进行训练,得到预设的第二端到端学习模型。
作为本申请实施例的一种可能的实现方式,在该文本去口语化装置400中,第一端到端学习模型和第二端到端学习模型,为翻译模型。
本申请实施例的文本去口语化装置,通过获取口语化的文本;将文本输入预设的第一端到端学习模型,获取文本对应的操作序列;操作序列中的各个操作符号与文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;操作符号包括:删除符号、保留符号、修改符号和增加符号;根据对应的操作序列,对文本进行删除操作和保留操作,并将操作序列中除删除符号和保留符号之外的操作符号,添加到文本中的对应位置,得到处理后的文本;判断处理后的文本中是否存在修改符号和增加符号;若处理后的文本中不存在修改符号和增加符号,则将处理后的文本,确定为口语化的文本对应的去口语化文本。该方法对口语化信息文本进行去口语化,提升了翻译后的文本的准确度和流畅度。
图7为本申请实施例提供的另一种文本去口语化装置的结构示意图。该文本去口语化装置包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的文本去口语化方法。
进一步地,文本去口语化装置还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行所述程序时实现上述实施例所述的文本去口语化方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的文本去口语化方法。
本申请还提供一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上所述的文本去口语化方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种文本去口语化方法,其特征在于,包括:
获取口语化的文本;
将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;
根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;
判断所述处理后的文本中是否存在修改符号和增加符号;
若所述处理后的文本中不存在修改符号和增加符号,则将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。
2.根据权利要求1所述的方法,其特征在于,还包括:
若所述处理后的文本中存在修改符号和/或增加符号,则将所述处理后的文本输入预设的第二端到端学习模型,获取所述口语化的文本对应的去口语化文本。
3.根据权利要求1所述的方法,其特征在于,将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列之前,还包括:
获取经过预训练的第一端到端学习模型;
获取第一训练数据,所述第一训练数据包括:大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列;
采用所述第一训练数据对经过预训练的第一端到端学习模型进行训练,得到所述预设的第一端到端学习模型。
4.根据权利要求2所述的方法,其特征在于,将所述处理后的文本输入预设的第二端到端学习模型,获取所述口语化的文本对应的去口语化文本之前,还包括:
获取经过预训练的第二端到端学习模型;
获取第二训练数据,所述第二训练数据包括:大于预设数量的添加有修改符号和/或增加符号的文本样本,以及对应的去口语化文本样本;
采用所述第二训练数据,对所述经过预训练的第二端到端学习模型进行训练,得到所述预设的第二端到端学习模型。
5.根据权利要求1所述的方法,其特征在于,所述第一端到端学习模型和所述第二端到端学习模型,为翻译模型。
6.一种文本去口语化装置,其特征在于,包括:
获取模块,用于获取口语化的文本;
输入模块,用于将所述文本输入预设的第一端到端学习模型,获取所述文本对应的操作序列;所述操作序列中的各个操作符号与所述文本中的各个字符符号一一对应,用于表示对对应的字符符号的操作动作;所述操作符号包括:删除符号、保留符号、修改符号和增加符号;
处理模块,用于根据所述对应的操作序列,对所述文本进行删除操作和保留操作,并将所述操作序列中除删除符号和保留符号之外的操作符号,添加到所述文本中的对应位置,得到处理后的文本;
判断模块,用于判断所述处理后的文本中是否存在修改符号和增加符号;
确定模块,用于在所述处理后的文本中不存在修改符号和增加符号时,将所述处理后的文本,确定为所述口语化的文本对应的去口语化文本。
7.根据权利要求6所述的装置,其特征在于,
所述输入模块,还用于在所述处理后的文本中存在修改符号和/或增加符号时,将所述处理后的文本输入预设的第二端到端学习模型,获取所述口语化的文本对应的去口语化文本。
8.根据权利要求6所述的装置,其特征在于,还包括:第一训练模块;
所述获取模块,还用于获取经过预训练的第一端到端学习模型;
所述获取模块,还用于获取第一训练数据,所述第一训练数据包括:大于预设数量的口语化的文本样本,以及各个文本样本对应的操作序列;
所述第一训练模块,用于采用所述第一训练数据对经过预训练的第一端到端学习模型进行训练,得到所述预设的第一端到端学习模型。
9.根据权利要求7所述的装置,其特征在于,还包括:第二训练模块;
所述获取模块,还用于获取经过预训练的第二端到端学习模型;
所述获取模块,还用于获取第二训练数据,所述第二训练数据包括:大于预设数量的添加有修改符号和/或增加符号的文本样本,以及对应的去口语化文本样本;
所述第二训练模块,用于采用所述第二训练数据,对所述经过预训练的第二端到端学习模型进行训练,得到所述预设的第二端到端学习模型。
10.根据权利要求6所述的装置,其特征在于,所述第一端到端学习模型和所述第二端到端学习模型,为翻译模型。
11.一种文本去口语化装置,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一所述的文本去口语化方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一所述的文本去口语化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910460902.6A CN110188327B (zh) | 2019-05-30 | 2019-05-30 | 文本去口语化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910460902.6A CN110188327B (zh) | 2019-05-30 | 2019-05-30 | 文本去口语化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110188327A CN110188327A (zh) | 2019-08-30 |
CN110188327B true CN110188327B (zh) | 2021-05-14 |
Family
ID=67718778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910460902.6A Active CN110188327B (zh) | 2019-05-30 | 2019-05-30 | 文本去口语化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188327B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969026A (zh) * | 2019-11-27 | 2020-04-07 | 北京欧珀通信有限公司 | 译文输出方法、装置、电子设备及存储介质 |
CN112632912A (zh) * | 2020-12-18 | 2021-04-09 | 平安科技(深圳)有限公司 | 文本纠错方法、装置、设备及可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129601B2 (en) * | 2008-11-26 | 2015-09-08 | At&T Intellectual Property I, L.P. | System and method for dialog modeling |
CN105096942A (zh) * | 2014-05-21 | 2015-11-25 | 清华大学 | 语义分析方法和装置 |
CN105843811B (zh) * | 2015-01-13 | 2019-12-06 | 华为技术有限公司 | 转换文本的方法和设备 |
CN104731775B (zh) * | 2015-02-26 | 2017-11-14 | 北京捷通华声语音技术有限公司 | 一种口语转换为书面语的方法和装置 |
CN106354716B (zh) * | 2015-07-17 | 2020-06-02 | 华为技术有限公司 | 转换文本的方法和设备 |
CN105702252B (zh) * | 2016-03-31 | 2019-09-17 | 海信集团有限公司 | 一种语音识别方法及装置 |
-
2019
- 2019-05-30 CN CN201910460902.6A patent/CN110188327B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110188327A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210021B (zh) | 阅读理解方法及装置 | |
CN110673748B (zh) | 输入法中候选长句的提供方法及装置 | |
CN107195295B (zh) | 基于中英文混合词典的语音识别方法及装置 | |
CN107680589B (zh) | 语音信息交互方法、装置及其设备 | |
CN107301860B (zh) | 基于中英文混合词典的语音识别方法及装置 | |
CN108829894B (zh) | 口语词识别和语义识别方法及其装置 | |
CN110188350B (zh) | 文本一致性计算方法及装置 | |
US9767092B2 (en) | Information extraction in a natural language understanding system | |
CN109710087B (zh) | 输入法模型生成方法及装置 | |
CN110175335B (zh) | 翻译模型的训练方法和装置 | |
CN107193807A (zh) | 基于人工智能的语言转换处理方法、装置及终端 | |
CN107679032A (zh) | 语音转换纠错方法和装置 | |
US8204738B2 (en) | Removing bias from features containing overlapping embedded grammars in a natural language understanding system | |
CN109616101B (zh) | 声学模型训练方法、装置、计算机设备和可读存储介质 | |
CN110188327B (zh) | 文本去口语化方法及装置 | |
CN107203265B (zh) | 信息交互方法和装置 | |
CN110020163B (zh) | 基于人机交互的搜索方法、装置、计算机设备和存储介质 | |
CN112633423B (zh) | 文本识别模型的训练方法、文本识别方法、装置及设备 | |
CN112069805A (zh) | 结合rpa与ai的文本标注方法、装置、设备及存储介质 | |
CN110276081B (zh) | 文本生成方法、装置及存储介质 | |
CN110704592B (zh) | 语句分析处理方法、装置、计算机设备和存储介质 | |
CN112241629A (zh) | 结合rpa及ai的拼音标注文本生成方法及装置 | |
CN109977420B (zh) | 离线语义识别调整方法、装置、设备及存储介质 | |
CN112802495A (zh) | 一种机器人语音测试方法、装置、存储介质及终端设备 | |
CN111027667B (zh) | 意图类别的识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |