CN111723550A - 语句改写方法、装置、电子设备以及计算机存储介质 - Google Patents
语句改写方法、装置、电子设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN111723550A CN111723550A CN202010554856.9A CN202010554856A CN111723550A CN 111723550 A CN111723550 A CN 111723550A CN 202010554856 A CN202010554856 A CN 202010554856A CN 111723550 A CN111723550 A CN 111723550A
- Authority
- CN
- China
- Prior art keywords
- sentence
- vector
- statement
- rewrite
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 286
- 238000005070 sampling Methods 0.000 claims abstract description 68
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种语句改写方法、装置、电子设备以及计算机存储介质,涉及计算机技术领域。该方法包括:确定待处理语句的句向量;获取位于预置采样范围内的扰动向量;基于扰动向量对句向量进行调整,得到改写语句向量;基于改写语句向量,生成改写语句。本申请可以实现待处理语句的改写,且保证待处理语句的语义不变。
Description
技术领域
本申请涉及计算机技术领域,具体而言,本申请涉及一种语句改写方法、装置、电子设备以及计算机存储介质。
背景技术
随着互联网技术的发展,用户对于语句表达的多样性需求不断提高,某一语句应用于不同的场景时,常常需要进行语句改写以改变语句的语言表达方式使其适用于对应场景。
目前,一种语句改写方案是通过查找语句的相似语句从而改变语句的语言表达,但是,这种方式所确定的相似语句可能会改变原始语句的语义,另一种语句改写方案是通过将语句拆分为多个词语,通过相似词语的替换来改变语句的语言表达,但是这种方式只能针对词语进行操作,语句结构并没有发生变化,从而导致语句整体的变化有限。
发明内容
本申请提供了一种语句改写方法、装置、电子设备以及计算机存储介质,可以解决现有技术中存在的问题。本申请实施例提供的技术方案如下:
本申请的第一方面提供了一种语句改写方法,包括:
确定待处理语句的句向量;
获取位于预置采样范围内的扰动向量;
基于扰动向量对句向量进行调整,得到改写语句向量;
基于改写语句向量,生成改写语句。
可选的,确定待处理语句的句向量,包括:
通过语句改写模型中的编码器,确定待处理语句的句向量;
基于改写语句向量,生成改写语句,包括:
通过语句改写模型中的解码器,基于改写语句向量,生成改写语句。
可选的,确定待处理语句的句向量之前,该方法还包括:
获取多个样本语句;
将各样本语句输入至初始编码器,得到各样本语句的句向量;
基于特定协方差获取高斯噪声向量,并基于高斯噪声向量调整样本语句的句向量,得到各样本语句的改写语句向量;
将各样本语句的改写语句向量输入至初始解码器,得到各样本语句分别对应的改写语句;
基于各样本语句的语义以及各样本语句对应的改写语句的语义,调整初始编码器和/或初始解码器中的参数,当基于参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的样本语句的语义之间的误差满足预置精确度条件时,将模型作为语句改写模型。
可选的,基于特定的协方差获取高斯噪声向量包括:
确定特定的协方差对应的高斯噪声的高斯分布序列;
基于高斯分布序列,采样得到高斯噪声向量。
可选的,基于改写语句向量,生成改写语句之后,该方法还包括:
基于改写语句的语义以及待处理语句的语义,调整预置采样范围。
可选的,扰动向量包括分别位于至少两个预置采样范围内的至少两个扰动向量,则至少两个扰动向量分别对应至少两个改写语句向量;
基于改写语句向量,生成改写语句之后,该方法还包括:
从至少两个改写语句向量分别对应的至少两个改写语句中,确定与待处理语句语义最接近的目标改写语句。
本申请的第二方面提供了一种语句改写装置,包括:
第一确定模块,用于确定待处理语句的句向量;
第一获取模块,用于获取位于预置采样范围内的扰动向量;
第二确定模块,用于基于扰动向量对句向量进行调整,得到改写语句向量;
生成模块,用于基于改写语句向量,生成改写语句。
可选的,第一确定模块,具体用于:
通过语句改写模型中的编码器,确定待处理语句的句向量;
生成模块,具体用于包括:
通过语句改写模型中的解码器,基于改写语句向量,生成改写语句。
可选的,该装置还包括第二获取模块、第三确定模块、第四确定欧快、第五确定模块以及第一调整模块;
第一确定模块在确定待处理语句的句向量之前;
第二获取模块,用于获取多个样本语句;
第三确定模块,用于将各样本语句输入至初始编码器,得到各样本语句的句向量;
第四确定模块,用于基于特定协方差获取高斯噪声向量,并基于高斯噪声向量调整样本语句的句向量,得到各样本语句的改写语句向量;
第五确定模块,用于将各样本语句的改写语句向量输入至初始解码器,得到各样本语句分别对应的改写语句;
第一调整模块,用于基于各样本语句的语义以及各样本语句对应的改写语句的语义,调整初始编码器和/或初始解码器中的参数,当基于参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的样本语句的语义之间的误差满足预置精确度条件时,将模型作为语句改写模型。
可选的,第四确定模块在基于特定的协方差获取高斯噪声向量时,具体用于:
确定特定的协方差对应的高斯噪声的高斯分布序列;
基于高斯分布序列,采样得到高斯噪声向量。
可选的,该装置还包括第二调整模块;
生成模块在基于改写语句向量,生成改写语句之后;
第二调整模块,用于基于改写语句的语义以及待处理语句的语义,调整预置采样范围。
可选的,扰动向量包括分别位于至少两个预置采样范围内的至少两个扰动向量,则至少两个扰动向量分别对应至少两个改写语句向量;
该装置还包括第六确定模块;
生成模块基于改写语句向量,生成改写语句之后;
第六确定模块,用于从至少两个改写语句向量分别对应的至少两个改写语句中,确定与待处理语句语义最接近的目标改写语句。
本申请提供的技术方案带来的有益效果是:
可以确定待处理语句的句向量,并获取位于预置采样范围内的扰动向量,可以基于扰动向量对句向量进行调整得到改写语句向量,这样可以使得句向量在以该句向量为中心的预置采样范围内移动,而以该句向量为中心的预置采样范围对应的向量空间中、各向量的语义与该句向量的语义是相类似的,这样句向量在预置采样范围内移动得到的改写语句向量对应语句的语义与句向量对应语句的语义类似,从而改写语句向量生成的改写语句与待处理语句的语义相类似,不会改变待处理语句的语义。
同时本申请通过调整句向量得到改写语句向量后再重新生成改写语句,可以改变待处理语句的语句结构,而不是单纯的对待处理语句的词语进行操作,对语句整体有较大的改变。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请语句改写方法的一个实施例示意图;
图2为本申请语句改写模型预测阶段的实施例示意图;
图3为本申请训练得到预置采样范围的实施例示意图;
图4为本申请语句改写模型模型训练阶段的实施例示意图;
图5为本申请语句改写装置的结构示意图;
图6为本申请电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面首先对本申请涉及到的几个技术术语进行说明。
语句的语义指的是语句所表达的句子含义,可以是该语句所描述的场景、该语句所论述的事实或该语句所提出的问题。
语句的改写指的是保证语句的语义不变,基于不同的场景改写语句的语言表达,这样语句的语言表达方式会更加灵活。
为解决上述技术问题,本申请提出了一种语句改写方法,该方法由电子设备执行,该方法可以包括如下步骤:
步骤S101、确定待处理语句的句向量;
电子设备接收到用户输入或其他设备发送的待处理语句后,电子设备可以基于自然语言处理(Natural Language Processing,NLP)将待处理语句映射到某一实数对应的向量,即得到该待处理语句的句向量。
句向量指的是语句的向量表达,一个语句可以转化为一个句向量,也可能两个语句转化为同一句向量。
步骤S102、获取位于预置采样范围内的扰动向量;
电子设备可以在预置采样范围内采样得到扰动向量,预置采样范围内中的向量服从均匀分布,预置采样范围是由用户自定义的采样范围,一种可能的情况是,预置采样范围指的是多维球面范围,球面范围的半径为r,r由用户自定义,r为大于0的数,电子设备可以从半径为r的超球面上采样得到扰动向量。
步骤S103、基于扰动向量对句向量进行调整,得到改写语句向量;
在本实施例中,电子设备可以在句向量的基础上加上扰动向量得到改写语句向量,如上述扰动向量是从预置采样范围中采样得到的,则在句向量的基础上加上扰动向量相当于将该句向量在以句向量为中心的预置采样范围内移动,也可以理解为将该句向量在以句向量为中心的某一向量空间内移动,该向量空间即为预置采样范围对应的向量空间。
在本实施例中,以句向量为中心的该向量空间内中各向量的语义均与该句向量的语义类似,则该句向量在该向量空间内移动时,移动得到的改写语句向量对应的语句的语义与该句向量对应的语句的语义类似。
步骤S104、基于改写语句向量,生成改写语句。
电子设备可以基于改写语句向量生成改写语句,这样改写语句的语义与待处理语句的语义类似,可见,本申请即可以语句的改写,又保证了改写语句与待处理语句的语义是相类似。
在本实施例中,可以确定待处理语句的句向量,并获取位于预置采样范围内的扰动向量,可以基于扰动向量对句向量进行调整得到改写语句向量,这样可以使得句向量在以该句向量为中心的预置采样范围内移动,而以该句向量为中心的预置采样范围对应的向量空间中、各向量的语义与该句向量的语义是相类似的,这样句向量在预置采样范围内移动得到的改写语句向量对应语句的语义与句向量对应语句的语义类似,从而改写语句向量生成的改写语句与待处理语句的语义相类似,不会改变待处理语句的语义。
同时本申请通过调整句向量得到改写语句向量后再重新生成改写语句,可以改变待处理语句的语句结构,而不是单纯的对待处理语句的词语进行操作,对语句整体有较大的改变。
参照图2,一种可能的情况是,可以通过模型训练得到语句改写模型,在模型训练时通过加入噪声的方式可以让训练得到的语句改写模型处理得到的句向量在一定向量空间范围内移动且保证语义不变,则在本实施例中,需要借助语义改写模型对待处理语句进行语句改写,才能保证改写语句与待处理语句语义类似,具体的:
语句改写模型中包括编码器以及解码器,语句改写模型的预测过程为:
可选的,步骤S101中确定待处理语句的句向量,包括:
通过语句改写模型中的编码器,确定待处理语句的句向量;
步骤S104中基于改写语句向量,生成改写语句,包括:
通过语句改写模型中的解码器,基于改写语句向量,生成改写语句。
第一步:电子设备可以将待处理语句输入至语句改写模型,通过语句改写模型中的编码器得到该待处理语句的句向量,该语句改写模型中的编码器是通过预先训练得到的,具体的训练过程将在后面的实施例中描述,通过该编码器输出的句向量可以保证以该句向量为中心的特定向量空间范围内各向量的语义与该句向量的语义类似;
第二步:编码器输出句向量后,在该预置采样范围内采样一个扰动向量,在该句向量的基础上加上该扰动向量可以得到改写语句向量,这样可以使句向量在预置采样范围对应的向量空间内移动,而本实施例中,预置采样范围对应的向量空间可以指第一步中的特定向量空间范围,更可能的情况下指的是第一步中特定向量空间范围的子空间范围(子空间范围小于特定向量空间范围),句向量移动得到得到改写语句向量后,改写语句向量对应语句的语义与句向量对应语句的语义类似。
在本实施例中,预置采样范围是语句改写模型中的超参数,在语句改写模型使用前,可以通过训练多个第一样本语句以确定预置采样范围,请参照图3,具体而言:
电子设备可以设定多个不同的初始预置采样范围,例如半径分别为r1至rn的预置采样范围,每个预置采样范围均可以采样得到一个扰动向量,n为大于1的正数;
电子设备将多个第一样本语句(即图3中样本语句)输入至语句改写模型的编码器,通过编码器得到各第一样本语句对应的句向量,针对各句向量,分别基于n个扰动向量得到各第一样本语句对应的n个改写语句向量,将各第一样本语句对应的n个改写语句向量输入至解码器得到各第一样本语句对应的n个改写语句,从而基于各第一样本语句对应的n个改写语句的语义以及对应的第一样本语句的语义,从半径分别为r1至rn的预置采样范围中选择某一半径对应的预置采样范围,该预置采样范围即为模型预测阶段的预置采样范围。
第三步:电子设备可以将改写语句向量输入至语句改写模型中的解码器,该解码器是通过预先训练得到的,具体的训练过程将在后面的实施例中描述,解码器可以将改写语句向量转化为改写语句,如第二步中所示改写语句向量对应语句的语义与句向量对应语句的语义类似,这样得到的改写语句的语义与待处理语句的语义类似。
在本实施例中,语句改写模型可以是Transformer模型。
本实施例的一种可能的场景是,例如:某一待处理语句为“你好吗”,通过预置语句改写模型处理得到的改写语句为“你怎么样”或“最近怎么样”。
可见,本实施例可以通过语义改写模型得到待处理语句的句向量,这样可以保证改句向量特定向量空间范围内向量的语义与该句向量的语义类似,从而实现语句的改写又不改变语句的语义。
在本实施例中,另一种可能的情况是,不借助语句改写模型对待处理语句进行语句改写,也可以保证改写语句与待处理语句语义类似,对于某些特殊的待处理语句,其句向量本身可以被允许进行较小的移动但是语义不变,本申请可以使句向量在预置采样范围内移动后得到的改写语句向量与该句向量的语义类似,例如,将预置采样范围设置为小于某一采样范围,这样可以也可以使句向量发生移动且保证语义不变。
本实施例的一种可能的场景是:已知向量A在预置采样范围对应的语义空间范围内向量的语义与向量A类似,通过在预置采样范围内采样向量X2,向量A加上向量X2可以使向量A在预置采样范围对应的向量空间内移动,这样可以实现本申请的语句改写且保证句子语义不变。
或对于某些特定的待处理语句,其句向量加上一个特定的扰动向量后生成的向量的语义与该句向量的语义是相类似的,特定的扰动向量是从该预置采样范围采样得到的,这种情况下预置采样范围并不一定需要设置的足够小,只需要保证在该预置采样范围内可以采样得到该特定的扰动向量即可。
本实施例的一种可能的场景是:已知向量库中向量B至向量E对应语句的语义是类似的,在预置采样范围内采样得到特定的向量X2,基于向量B和向量X2可以得到向量E,可以实现本申请的语句改写且保证句子语义不变。
针对上述图2所示语句改写模型,本申请实施例中还需要对语句改写模型进行训练,请参照图4,具体的,模型的训练过程是:
步骤S101确定待处理语句的句向量之前,方法还包括:
获取多个样本语句;
将各样本语句输入至初始编码器,得到各样本语句的句向量;
基于特定协方差获取高斯噪声向量,并基于高斯噪声向量调整样本语句的句向量,得到各样本语句的改写语句向量;
将各样本语句的改写语句向量输入至初始解码器,得到各样本语句分别对应的改写语句;
基于各样本语句的语义以及各样本语句对应的改写语句的语义,调整初始编码器和/或初始解码器中的参数,当基于参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的样本语句的语义之间的误差满足预置精确度条件时,将模型作为语句改写模型。
电子设备可以获取多个第二样本语句(即图4中样本语句),并将多个第二样本语句分别输入至初始编码器,初始编码器中的参数可以是用户自定义的,初始编码器输出各第二样本语句的句向量。
电子设备可以基于预先设置的特定的协方差以及预定义的均值,确定高斯噪声,并基于该高斯噪声获取高斯噪声向量。
在本实施例中,特定协方差以及预定义方差作为预测模型中的超参数可以由用户自定义,预定义的均值一般为接近或等于0的值。
在本实施例中,针对各第二样本语句均需要获取对应的高斯噪声向量,由于高斯噪声是随机采样得到的,可以每个第二样本语句对应的高斯噪声向量均不同,也可以每个第二样本语句对应的高斯噪声向量均相同,当然也可以多个第二样本语句中某些第二样本语句对应的高斯噪声相同,另一些第二样本语句对应的高斯噪声不同。
针对各第二样本语句,电子设备基于该第二样本语句的高斯噪声向量调整该第二样本语句的句向量,从而得到该第二样本语句的改写语句向量,具体的,可以是在句向量的基础上加上高斯噪声向量得到改写语句向量,通过加入高斯噪声,可以让句向量周围的向量空间连续,并让以该句向量为中心的特定向量空间范围内向量的语义与该句向量的语义类似,从而模型预测阶段通过设置预置采样范围,即可以从该特定向量空间范围内确定出与该预置采样范围对应的向量空间,使得句向量可以在该向量空间内移动,也不会改变语句语义。
电子设备将各第二样本语句的改写语句向量输入至初始解码器,初始解码器中的参数是由用户自定义的,从而初始解码器输出可以各第二样本语句的改写语句。
电子设备可以分析改写语句的语义以及第二样本语句的语义,从而调整初始编码器和/或初始解码器中的参数,直至参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的第二样本语句的语义之间的误差满足预置精确度条件时,将该模型作为语句改写模型。
在本实施例中,例如:某一第二样本语句为“你好吗”,若该第二样本语句的改写语句为“最近怎么样”或改写语句还原原句“你好吗”,可以认为两语句语义相似,两语句的误差满足预置精确度。
在本实施例中,模型训练阶段使用高斯噪声,通过在句向量的基础上加入高斯噪音向量可以让整个训练过程更稳定,模型预测阶段通过在预置采样范围内采样得到扰动向量,在句向量的基础上加入扰动向量可以保证生成的改写语句向量的多样性。
可选的,基于特定的协方差获取高斯噪声向量包括:
确定特定的协方差对应的高斯噪声的高斯分布序列;
基于高斯分布序列,采样得到高斯噪声向量。
电子设备可以获取特定协方差以及预定义方差,并确定该特定协方差以及预定义方差对应的高斯噪声,从而确定该高斯噪声的高斯分布序列,本实施例中的高斯噪声为多元高斯噪声。
电子设备可以采用matlab对该高斯分布序列进行随机采样,得到高斯噪声向量。
可选的,步骤S104基于改写语句向量,生成改写语句之后,方法还包括:
基于改写语句的语义以及待处理语句的语义,调整预置采样范围。
在本实施例中,预置采样范围可以不断调整完善,在基于语句改写模型预测得到待处理语句的改写语句后,可以基于待处理语句以及改写语句的语义,调整该预置采样范围,以使得待处理语句与改写语句的语义更加接近。
可选的,扰动向量包括分别位于至少两个预置采样范围内的至少两个扰动向量,则至少两个扰动向量分别对应至少两个改写语句向量;
步骤S104基于改写语句向量,生成改写语句之后,方法还可以包括:
从至少两个改写语句向量分别对应的至少两个改写语句中,确定与待处理语句语义最接近的目标改写语句。
在本实施例中,预置采样范围的个数一般为一个,也可以是两个或两个以上,若预置采样范围为两个或两个以上,可以分别在两个预置采样范围内采样扰动向量,这样扰动向量的个数为两个或两个以上,对应的改写语句向量的个数为两个或两个以上,则电子设备基于至少两个改写语句向量,分别生成至少两个改写语句之后,电子设备可以从至少两个改写语句中,确定与待处理语句语义最接近的目标改写语句,将目标改写语句最为最终的待处理语句的改写语句。
上面图1至图4对本申请的一种语句改写方法进行了叙述,下面,参照图5,本申请还包括一种语句改写装置,该装置可以包括:
第一确定模块501,用于确定待处理语句的句向量;
第一获取模块502,用于获取位于预置采样范围内的扰动向量;
第二确定模块503,用于基于扰动向量对句向量进行调整,得到改写语句向量;
生成模块504,用于基于改写语句向量,生成改写语句。
可选的,第一确定模块501,具体用于:
通过语句改写模型中的编码器,确定待处理语句的句向量;
生成模块504,具体用于包括:
通过语句改写模型中的解码器,基于改写语句向量,生成改写语句。
可选的,该装置还包括第二获取模块、第三确定模块、第四确定欧快、第五确定模块以及第一调整模块;
第一确定模块501在确定待处理语句的句向量之前;
第二获取模块,用于获取多个样本语句;
第三确定模块,用于将各样本语句输入至初始编码器,得到各样本语句的句向量;
第四确定模块,用于基于特定协方差获取高斯噪声向量,并基于高斯噪声向量调整样本语句的句向量,得到各样本语句的改写语句向量;
第五确定模块,用于将各样本语句的改写语句向量输入至初始解码器,得到各样本语句分别对应的改写语句;
第一调整模块,用于基于各样本语句的语义以及各样本语句对应的改写语句的语义,调整初始编码器和/或初始解码器中的参数,当基于参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的样本语句的语义之间的误差满足预置精确度条件时,将模型作为语句改写模型。
可选的,第四确定模块在基于特定的协方差获取高斯噪声向量时,具体用于:
确定特定的协方差对应的高斯噪声的高斯分布序列;
基于高斯分布序列,采样得到高斯噪声向量。
可选的,该装置还包括第二调整模块;
生成模块504在基于改写语句向量,生成改写语句之后;
第二调整模块,用于基于改写语句的语义以及待处理语句的语义,调整预置采样范围。
可选的,扰动向量包括分别位于至少两个预置采样范围内的至少两个扰动向量,则至少两个扰动向量分别对应至少两个改写语句向量;
该装置还包括第六确定模块;
生成模块504基于改写语句向量,生成改写语句之后;
第六确定模块,用于从至少两个改写语句向量分别对应的至少两个改写语句中,确定与待处理语句语义最接近的目标改写语句。
由于本发明实施例所提供的装置为可以执行本发明实施例中相应的方法的装置,故而基于本发明实施例中所提供的方法,本领域所属技术人员能够了解本发明实施例的装置的具体实施方式以及其各种变化形式,所以在此对于该装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中的方法所采用的装置,都属于本申请所欲保护的范围。
基于与图1中所示的方法相同的原理,本申请实施例还提供了一种电子设备,该电子设备包括存储器和处理器;存储器中存储有计算机程序;处理器用于在运行计算机程序时执行本申请任一可选实施例中所提供的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时可以实现本申请任一可选实施例中所提供的方法。
作为一示例,图6中示出了本申请可以应用于的一种电子设备7000的结构示意图,该电子设备包括存储器7003和处理器7001,存储器7003中存储有计算机程序,处理器7001,用于在运行计算机程序时执行上述任一方法。
具体的,该电子设备可以是终端、服务器或其他可能的设备,图6只是示出了电子设备的一种可选的示意性结构。图6中所示的该电子设备7000的结构并不构成对本申请实施例的限定。
其中,处理器7001和存储器7003相连,如通过总线7002相连。可选地,电子设备7000还可以包括收发器7004。需要说明的是,实际应用中收发器7004不限于一个,收发器7004可以具体用于该电子设备7000与其他设备的通信。
处理器7001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请申请内容所描述的各种示例性的逻辑方框,模块和电路。处理器7001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线7002可包括一通路,在上述组件之间传送信息。总线7002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线7002可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器7003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器7003用于存储执行本申请方案的应用程序代码,并由处理器7001来控制执行。处理器7001用于执行存储器7003中存储的应用程序代码,以实现上面任一方法实施例所示的内容。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种语句改写方法,其特征在于,包括:
确定待处理语句的句向量;
获取位于预置采样范围内的扰动向量;
基于所述扰动向量对所述句向量进行调整,得到改写语句向量;
基于所述改写语句向量,生成改写语句。
2.根据权利要求1所述的方法,其特征在于,所述确定待处理语句的句向量,包括:
通过语句改写模型中的编码器,确定所述待处理语句的句向量;
所述基于所述改写语句向量,生成改写语句,包括:
通过所述语句改写模型中的解码器,基于所述改写语句向量,生成改写语句。
3.根据权利要求2所述的方法,其特征在于,所述确定待处理语句的句向量之前,所述方法还包括:
获取多个样本语句;
将各样本语句输入至初始编码器,得到所述各样本语句的句向量;
基于特定协方差获取高斯噪声向量,并基于所述高斯噪声向量调整所述样本语句的句向量,得到各样本语句的改写语句向量;
将各样本语句的改写语句向量输入至初始解码器,得到所述各样本语句分别对应的改写语句;
基于各样本语句的语义以及各样本语句对应的改写语句的语义,调整所述初始编码器和/或所述初始解码器中的参数,当基于参数调整后的初始编码器和初始解码器构建的模型生成的改写语句的语义、与相应的样本语句的语义之间的误差满足预置精确度条件时,将所述模型作为所述语句改写模型。
4.根据权利要求3所述的方法,其特征在于,所述基于特定的协方差获取高斯噪声向量包括:
确定所述特定的协方差对应的高斯噪声的高斯分布序列;
基于所述高斯分布序列,采样得到所述高斯噪声向量。
5.根据权利要求1或2所述的方法,其特征在于,所述基于所述改写语句向量,生成改写语句之后,所述方法还包括:
基于所述改写语句的语义以及所述待处理语句的语义,调整所述预置采样范围。
6.根据权利要求1或2所述的方法,其特征在于,所述扰动向量包括分别位于至少两个预置采样范围内的至少两个扰动向量,则所述至少两个扰动向量分别对应至少两个改写语句向量;
所述基于所述改写语句向量,生成改写语句之后,所述方法还包括:
从至少两个改写语句向量分别对应的至少两个改写语句中,确定与所述待处理语句语义最接近的目标改写语句。
7.一种语句改写装置,其特征在于,包括:
第一确定模块,用于确定待处理语句的句向量;
第一获取模块,用于获取位于预置采样范围内的扰动向量;
第二确定模块,用于基于所述扰动向量对所述句向量进行调整,得到改写语句向量;
生成模块,用于基于所述改写语句向量,生成改写语句。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块,具体用于:
通过语句改写模型中的编码器,确定所述待处理语句的句向量;
生成模块,具体用于包括:
通过所述语句改写模型中的解码器,基于所述改写语句向量,生成改写语句。
9.一种电子设备,其特征在于,包括:
所述电子设备包括存储器和处理器;
所述存储器中存储有计算机程序;
所述处理器,用于在运行所述计算机程序时执行权利要求1-6任一项所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554856.9A CN111723550A (zh) | 2020-06-17 | 2020-06-17 | 语句改写方法、装置、电子设备以及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554856.9A CN111723550A (zh) | 2020-06-17 | 2020-06-17 | 语句改写方法、装置、电子设备以及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111723550A true CN111723550A (zh) | 2020-09-29 |
Family
ID=72567281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010554856.9A Pending CN111723550A (zh) | 2020-06-17 | 2020-06-17 | 语句改写方法、装置、电子设备以及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723550A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112035598A (zh) * | 2020-11-03 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 一种智能语义检索方法、系统和电子设备 |
CN112528605A (zh) * | 2020-11-11 | 2021-03-19 | 北京百度网讯科技有限公司 | 文本风格处理方法、装置、电子设备和存储介质 |
CN113204630A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技(深圳)有限公司 | 一种文本匹配方法、装置、计算机设备及可读存储介质 |
CN113656534A (zh) * | 2021-08-26 | 2021-11-16 | 北京百度网讯科技有限公司 | 语料扩充方法、装置、设备和介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110343A1 (en) * | 2014-10-21 | 2016-04-21 | At&T Intellectual Property I, L.P. | Unsupervised topic modeling for short texts |
US20160124944A1 (en) * | 2014-11-04 | 2016-05-05 | Xerox Corporation | Predicting the quality of automatic translation of an entire document |
US20180121419A1 (en) * | 2016-10-31 | 2018-05-03 | Samsung Electronics Co., Ltd. | Apparatus and method for generating sentence |
CN108733682A (zh) * | 2017-04-14 | 2018-11-02 | 华为技术有限公司 | 一种生成多文档摘要的方法及装置 |
US20190057081A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | Method and apparatus for generating natural language |
CN110472251A (zh) * | 2018-05-10 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 翻译模型训练的方法、语句翻译的方法、设备及存储介质 |
CN111061847A (zh) * | 2019-11-22 | 2020-04-24 | 中国南方电网有限责任公司 | 对话生成及语料扩充方法、装置、计算机设备和存储介质 |
CN111178082A (zh) * | 2019-12-05 | 2020-05-19 | 北京葡萄智学科技有限公司 | 一种句向量生成方法、装置及电子设备 |
-
2020
- 2020-06-17 CN CN202010554856.9A patent/CN111723550A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110343A1 (en) * | 2014-10-21 | 2016-04-21 | At&T Intellectual Property I, L.P. | Unsupervised topic modeling for short texts |
US20160124944A1 (en) * | 2014-11-04 | 2016-05-05 | Xerox Corporation | Predicting the quality of automatic translation of an entire document |
US20180121419A1 (en) * | 2016-10-31 | 2018-05-03 | Samsung Electronics Co., Ltd. | Apparatus and method for generating sentence |
CN108733682A (zh) * | 2017-04-14 | 2018-11-02 | 华为技术有限公司 | 一种生成多文档摘要的方法及装置 |
US20190057081A1 (en) * | 2017-08-18 | 2019-02-21 | Samsung Electronics Co., Ltd. | Method and apparatus for generating natural language |
CN110472251A (zh) * | 2018-05-10 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 翻译模型训练的方法、语句翻译的方法、设备及存储介质 |
CN111061847A (zh) * | 2019-11-22 | 2020-04-24 | 中国南方电网有限责任公司 | 对话生成及语料扩充方法、装置、计算机设备和存储介质 |
CN111178082A (zh) * | 2019-12-05 | 2020-05-19 | 北京葡萄智学科技有限公司 | 一种句向量生成方法、装置及电子设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112035598A (zh) * | 2020-11-03 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 一种智能语义检索方法、系统和电子设备 |
CN112528605A (zh) * | 2020-11-11 | 2021-03-19 | 北京百度网讯科技有限公司 | 文本风格处理方法、装置、电子设备和存储介质 |
CN112528605B (zh) * | 2020-11-11 | 2024-01-16 | 北京百度网讯科技有限公司 | 文本风格处理方法、装置、电子设备和存储介质 |
CN113204630A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技(深圳)有限公司 | 一种文本匹配方法、装置、计算机设备及可读存储介质 |
CN113656534A (zh) * | 2021-08-26 | 2021-11-16 | 北京百度网讯科技有限公司 | 语料扩充方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723550A (zh) | 语句改写方法、装置、电子设备以及计算机存储介质 | |
CN108345580B (zh) | 一种词向量处理方法及装置 | |
CN113590761B (zh) | 文本处理模型的训练方法、文本处理方法及相关设备 | |
CN108874765B (zh) | 词向量处理方法及装置 | |
CN110795541B (zh) | 文本查询方法、装置、电子设备及计算机可读存储介质 | |
CN111401037B (zh) | 自然语言的生成方法、装置、电子设备及存储介质 | |
CN111310464A (zh) | 词向量获取模型生成方法、装置及词向量获取方法、装置 | |
US11983866B2 (en) | Image defect detection method, electronic device using the same | |
CN112084301A (zh) | 文本修正模型的训练方法及装置、文本修正方法及装置 | |
US20220147721A1 (en) | Adapters for zero-shot multilingual neural machine translation | |
US11886832B2 (en) | Operation device and operation method | |
CN116630480B (zh) | 一种交互式文本驱动图像编辑的方法、装置和电子设备 | |
CN117392694A (zh) | 数据处理方法、装置及设备 | |
CN115221523B (zh) | 数据处理方法、装置及设备 | |
CN113326356B (zh) | 针对文本分类器的自然对抗样本生成方法及相关装置 | |
CN116955419A (zh) | 一种几何题解答方法、系统及电子设备 | |
JPWO2018066083A1 (ja) | 学習プログラム、情報処理装置および学習方法 | |
CN110929871A (zh) | 博弈决策方法和系统 | |
CN111539520A (zh) | 增强深度学习模型鲁棒性的方法及装置 | |
CN114817469B (zh) | 文本增强方法、文本增强模型的训练方法及装置 | |
CN111723548B (zh) | 评论扩展方法及装置 | |
CN117540825A (zh) | 基于强化学习的预训练模型的构建方法及装置和电子设备 | |
CN116644791A (zh) | 模型参数调整方法、装置、设备及计算机可读存储介质 | |
CN113283229B (zh) | 文本相似度计算方法、装置、电子设备及存储介质 | |
CN116501852B (zh) | 一种可控对话模型训练方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028040 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |