CN111078851A - 信息处理方法、装置、设备及可读存储介质 - Google Patents
信息处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111078851A CN111078851A CN201911250437.XA CN201911250437A CN111078851A CN 111078851 A CN111078851 A CN 111078851A CN 201911250437 A CN201911250437 A CN 201911250437A CN 111078851 A CN111078851 A CN 111078851A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- target text
- vector
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 239000013598 vector Substances 0.000 claims abstract description 403
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 128
- 230000006870 function Effects 0.000 claims description 57
- 238000012549 training Methods 0.000 claims description 47
- 238000010606 normalization Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 21
- 238000010586 diagram Methods 0.000 description 10
- 241000251730 Chondrichthyes Species 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241001435194 Rhincodon typus Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请实施例公开了一种信息处理方法、装置、设备及可读存储介质，在获取目标文本和与该目标文本关联的文本段落后，对目标文本和文本段落进行不同的编码，根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示；对文本段落中的各个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。由于目标文本和文本段落进行不同的编码，因而，文本段落中各个词的编码向量，以及文本段落中的各个词与目标文本的相关程度的向量表示均可以携带完整的文本段落信息，从而提高人机交互过程中智能终端给出反馈信息的准确率。
Description
技术领域
本申请涉及人机交互技术领域，更具体地说，涉及一种信息处理方法、装置、设备及可读存储介质。
背景技术
随着人工智能技术的不断突破和各种智能终端设备的日益普及，人机交互在人们的日常工作和生活中出现的频率越来越高，例如，人机交互在电视、手机、车载、智能家居以及机器人等各种智能终端设备中都有应用。
然而，发明人研究发现，目前的人机交互过程中，智能终端给出反馈信息的准确率较低。
发明内容
有鉴于此，本申请提供了一种信息处理方法、装置、设备及可读存储介质，以提高人机交互过程中智能终端给出反馈信息的准确率。
为了实现上述目的，现提出的方案如下：
一种信息处理方法，包括：
获取目标文本，以及与所述目标文本关联的文本段落；
对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；
根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
上述方法，优选的，所述根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示，包括：
对应所述文本段落中的每一个词，对该词的编码向量与所述目标文本中每一个词的编码向量分别进行点积操作，得到该词与所述目标文本中的每个词的向量点积结果；
利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示。
上述方法，优选的，所述利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示，包括：
将该词与所述目标文本中的每个词的向量点积结果进行归一化，得到归一化结果；
以该词与所述目标文本中每一个词的向量点积结果的归一化结果为权重，对所述目标文本中各个词的编码向量进行加权处理，得到与该词对应的所述目标文本的向量表示；
将该词的编码向量，以及与该词对应的所述目标文本的向量表示进行拼接，得到与该词对应的拼接后的向量表示；
对该词的前一个词与所述目标文本的相关程度的向量表示，以及所述拼接后的向量表示进行第三编码，得到该词与所述目标文本的相关程度的向量表示。
上述方法，优选的，所述方法基于预先训练好的文本处理模型实现，所述方法包括：
将所述目标文本和所述文本段落输入所述文本处理模型，得到与所述目标文本对应的反馈文本；
所述文本处理模型被配置为：获取目标文本，以及与所述目标文本关联的文本段落；对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；对所述文本段落中的每一个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
上述方法，优选的，所述文本处理模型的训练过程包括：
对于输入所述文本处理模型的每一个样本，对该样本中的目标文本进行第一编码，得到该样本中的目标文本中各个词的编码向量；
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；所述第二编码和所述第一编码不同；
对该样本中的目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行处理，得到该样本中的文本段落中的每一个词与该样本中的目标文本的相关程度的向量表示；
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第一解码，得到与该样本中的目标文本对应的反馈文本；
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；
利用所述反馈文本和该样本的标签文本，以及所述重构的文本段落和该样本中的文本段落对所述文本处理模型的参数进行更新。
上述方法，优选的，所述文本处理模型的训练过程包括：
对于输入所述文本处理模型的每一个样本，对该样本中的第一目标文本进行第一编码，得到该样本中的第一目标文本中各个词的编码向量；
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；
对该样本中的第二目标文本进行第三编码，得到该样本中的第二目标文本中各个词的编码向量；所述第一编码、所述第二编码和所述第三编码互不相同；
对所述第一目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第一处理，得到该样本中的文本段落中的每一个词与所述第一目标文本的相关程度的向量表示；
对所述第二目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第二处理，得到该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示；
对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示进行第一解码，得到与所述第一目标文本对应的第一反馈文本；
对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示，以及该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；
对该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第三解码，得到与所述第二目标文本对应的第二反馈文本；
利用所述第一反馈文本和所述第二目标文本，所述重构的文本段落和该样本中的文本段落，以及所述第二反馈文本和所述第一目标文本，对所述文本处理模型的参数进行更新。
上述方法，优选的，所述文本处理模型的损失函数由各个解码模块的损失函数加权构成；
对所述文本处理模型的参数进行更新包括对各个解码模块的损失函数的权重的更新。
一种信息处理装置，包括：
获取模块，用于获取目标文本，以及与所述目标文本关联的文本段落；
第一编码模块，用于对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
第二编码模块，用于对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码模块与所述第一编码模块不同；
第一处理模块，用于根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
第一解码模块，用于对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
上述装置，优选的，所述第一处理模块包括：
点积处理模块，用于对应所述文本段落中的每一个词，对该词的编码向量与所述目标文本中每一个词的编码向量分别进行点积操作，得到该词与所述目标文本中的每个词的向量点积结果；
相关度处理模块，用于利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示。
上述装置，优选的，所述相关度处理模块包括：
归一化模块，用于将该词与所述目标文本中的每个词的向量点积结果进行归一化，得到归一化结果；
加权处理模块，用于以该词与所述目标文本中每一个词的向量点积结果的归一化结果为权重，对所述目标文本中各个词的编码向量进行加权处理，得到与该词对应的所述目标文本的向量表示；
拼接模块，用于将该词的编码向量，以及与该词对应的所述目标文本的向量表示进行拼接，得到与该词对应的拼接后的向量表示；
第三编码模块，用于对该词的前一个词与所述目标文本的相关程度的向量表示，以及所述拼接后的向量表示进行第三编码，得到该词与所述目标文本的相关程度的向量表示。
上述装置，优选的，第一编码模块，第二编码模块，第一处理模块和第一解码模块的功能可以由预先训练好的文本处理模型实现。
在一可选的实施例中，文本处理模型还可以包括第二解码模块和第一参数更新模块；信息处理装置还可以包括：
第一训练模块，用于将样本输入文本处理模型进行训练，以使所述第一编码模块对每一个输入的样本进行第一编码，得到该样本中的目标文本中各个词的编码向量；所述第二编码模块对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；第一处理模块对对该样本中的目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行处理，得到该样本中的文本段落中的每一个词与该样本中的目标文本的相关程度的向量表示；第一解码模块对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第一解码，得到与该样本中的目标文本对应的反馈文本；第二解码模块对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；所述第一参数更新模块利用所述反馈文本和该样本的标签文本，以及所述重构的文本段落和该样本中的文本段落对所述文本处理模型的参数进行更新。
在一可选的实施例中，文本处理模型还可以包括第三编码模块、第二解码模块、第二处理模块，第三解码模块和第二参数更新模块；信息处理装置还可以包括：
第二训练模块，用于将样本输入文本处理模型进行训练，以使所述第一编码模块对每一个输入的样本进行第一编码，得到该样本中的第一目标文本中各个词的编码向量；所述第二编码模块对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；所述第三编码模块对该样本中的第二目标文本进行第三编码，得到该样本中的第二目标文本中各个词的编码向量；所述第一处理模块对所述第一目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第一处理，得到该样本中的文本段落中的每一个词与所述第一目标文本的相关程度的向量表示；所述第二处理模块对所述第二目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第二处理，得到该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示；所述第一解码模块对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示进行第一解码，得到与所述第一目标文本对应的第一反馈文本；所述第二解码模块对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示，以及该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；所述第三解码模块对该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第三解码，得到与所述第二目标文本对应的第二反馈文本；所述第二参数更新模块利用所述第一反馈文本和所述第二目标文本，所述重构的文本段落和该样本中的文本段落，以及所述第二反馈文本和所述第一目标文本，对所述文本处理模型的参数进行更新。
一种信息处理设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上任一项所述的信息处理方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的信息处理方法的各个步骤。
从上述的技术方案可以看出，本申请实施例提供的信息处理方法、装置、设备及可读存储介质，在获取目标文本和与该目标文本关联的文本段落后，对目标文本和文本段落进行不同的编码，根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示；对文本段落中的每一个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。由于目标文本和文本段落进行不同的编码，因而，文本段落中各个词的编码向量，以及文本段落中的各个词与目标文本的相关程度的向量表示均可以携带完整的文本段落信息，从而提高人机交互过程中智能终端给出反馈信息的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的信息处理方法的一种实现流程图；
图2为本申请实施例公开的利用第i个词ci与目标文本X中的各个词的向量点积结果，以及第i-1个词ci-1与目标文本X的相关程度的向量表示，得到第i个词ci与目标文本X的相关程度的向量表示的一种实现流程图；
图3为本申请实施例公开的两任务联合训练模型的示例图；
图4为本申请实施例公开的三任务联合训练模型的示例图；
图5为本申请实施例公开的信息处理装置的一种结构示意图；
图6为本申请实施例公开的信息处理设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人机交互的一般过程是用户向智能终端输入文本，智能终端根据用户的输入文本检索相关的文本段落，然后从检索到的文本段落中提取与输入文本对应的文本作为反馈文本输出。
从检索到的文本段落中提取反馈文本时，需要从输入文本和文本段落中提取特征信息，基于提取的特征信息从文本段落中提取反馈文本。发明人研究发现，目前的人机交互过程，在从文本段落中提取反馈文本时，以对文段段落和输入文本进行相同编码的方式从文本段落和输入文本中提取特征信息，这种特征提取方式偏向于提取文本段落和输入文本中的共有的特征信息，忽略了文本段落和输入信息中各自的特殊信息，导致所提取的反馈信息的准确率较低。
基于上述研究内容，本申请提出一种信息处理方法，本申请提供的信息处理方法的一种实现流程图如图1所示，可以包括：
步骤S11：获取目标文本，以及与目标文本关联的文本段落。
其中，目标文本可以是用户输入的文本，用户可以通过键盘(物理键盘或者虚拟键盘)直接输入文本，也可以以语音的方式输入，则目标文本是通过对用户输入的语音信息进行语音识别得到的。此时，与目标文本关联的文本段落可以是从数据库中检索到的文本段落，可选的，可以从数据库中检索与目标文本匹配的文本模板，将与该文本模板关联存储的文本段落确定为与目标文本关联的文本段落。
在一可选的实施例中，目标文本也可以不是用户输入的文本，而是文本段落中的一部分。
步骤S12：对目标文本进行编码(为便于叙述，记为第一编码)，得到目标文本中各个词的编码向量。
本申请实施例中，对目标文本进行词级编码，即对目标文本中的每个词分别进行编码。可选的，可以先将目标文本中的各个词转换为词向量，然后，对每个词向量分别进行编码，得到目标文本中各个词的编码向量。也就是说，本申请实施例中的对目标文本进行第一编码是指对目标文本中的各个词的词向量分别进行第一编码。可以通过词向量矩阵将目标文本中的各个词转换为词向量。
步骤S13：对文本段落进行编码(为便于叙述，记为第二编码)，得到文本段落中各个词的编码向量。第二编码与第一编码不同。
本申请实施例中，对文本段落也进行词级编码，即对文本段落中的每个词分别进行编码。可选的，可以先将文本段落中的各个词转换为词向量，然后，对每个词向量分别进行编码，得到文本段落中的各个词的编码向量。也就是说，本申请实施例中的对文本段落进行第二编码是指对文本段落中的各个词的词向量分别进行第二编码。可以通过词向量矩阵将文本段落中的各个词转换为词向量。
其中，第一编码和第二编码不同可以表现为：第一编码和第二编码为不同的编码方式；或者，第一编码和第二编码为相同的编码方式，但编码参数的具体取值不同。
可选的，第一编码和第二编码可以均为双向LSTM(Long Short-Term Memory，长短期记忆网络)编码，但二者的编码参数的具体取值不同。
本申请实施例中，步骤S12和步骤S13并行执行。
步骤S14：根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示。
本申请实施例中，对应文本段落中的每一个词，计算该词与目标文本的相关程度。
可选的，可以基于注意力机制，利用目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，计算文本段落中的每一个词与目标文本的相关程度的向量表示。也就是说，对应文本段落中的每一个词，都会计算得到一个向量，该向量表征该词与目标文本的相关程度。
步骤S15：对文本段落中的各个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。
反馈文本即为文本段落中与目标文本最相关的文本。
可以基于注意力机制对文本段落中的各个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。具体解码过程可以参见已有技术中的解码方法，例如，可以利用基于注意力机制的单向LSTM解码方法对文本段落中的各个词与目标文本的相关程度的向量表示进行解码，这里不再赘述。
本申请实施例提供的信息处理方法，在获取目标文本和与该目标文本关联的文本段落后，对目标文本和文本段落进行不同的编码，根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示；对文本段落中的每一个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。由于目标文本和文本段落进行不同的编码，因而，文本段落中各个词的编码向量，以及文本段落中的各个词与目标文本的相关程度的向量表示均可以携带完整的文本段落信息，从而提高人机交互过程中给出反馈文本的准确率。
在一可选的实施例中，上述根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示，可以包括：
对应文本段落中的每一个词，对该词的编码向量与目标文本中每一个词的编码向量分别进行点积操作，得到该词与目标文本中的每个词的向量点积结果。
为便于叙述，将文本段落记为C，文本段落C中的第i(i＝1，2，3，…，LC)个词记为ci，LC为文本段落C的文本长度(即文本段落C中词的个数)；将目标文本记为X，将目标文本X中的第j(j＝1，2，3，…，LX)个词记为xj，LX为目标文本X的文本长度(即目标文本X中词的个数)。
本申请中，对文本段落C中的第i个词ci的编码向量和目标文本X中第j个词xj的编码向量进行点积操作，得到文本段落C中的第i个词ci与目标文本X中第j个词xj的向量点积结果，文本段落C中的第i个词ci与目标文本X中第j个词xj的向量点积结果表征了文本段落C中的第i个词ci与目标文本X中第j个词xj的相关程度。
为便于叙述，将词ci的编码向量(通常为行向量)记为hci，将词xj的编码向量(通常为行向量)记为hxj，则词ci与词xj的向量点积结果为：
其中的T表示转置操作。
由于文本段落C中包含LC个词，目标文本X中包含LX个词，则对应文本段落C和目标文本X共得到LC×LX个向量点积结果。
利用该词与目标文本中的每个词的向量点积结果，以及该词的前一个词与目标文本的相关程度的向量表示，得到该词与目标文本的相关程度的向量表示。
本申请实施例中，利用文本段落C中第i个词ci与目标文本X中的各个词的向量点积结果，以及文本段落C中第i-1个词ci-1与目标文本X的相关程度的向量表示，得到文本段落C中第i个词ci与目标文本X的相关程度的向量表示。也就是说，本申请中，文本段落C中每个词与目标文本X的相关程度是与该词的前一个词与目标文本X的相关程度相关联的。
在一可选的实施例中，上述利用文本段落C中第i个词ci与目标文本X中的各个词的向量点积结果，以及文本段落C中第i-1个词ci-1与目标文本X的相关程度的向量表示，得到文本段落C中第i个词ci与目标文本X的相关程度的向量表示的一种实现流程图如图2所示，可以包括：
步骤S21：将文本段落C中第i个词ci与目标文本X中的每个词的向量点积结果进行归一化，得到归一化结果。
可选的，可以利用如下归一化模型将文本段落C中第i个词ci与目标文本X中的每个词的向量点积结果进行归一化：
其中，M(i,j)为文本段落C中第i个词ci与目标文本X中第j个词xj的向量点积结果的归一化结果；
为目标文本X中第k个词xk的编码向量hxk的转置向量。
步骤S22：以文本段落C中第i个词ci与目标文本X中每一个词的向量点积结果的归一化结果为权重，对目标文本X中各个词的编码向量进行加权处理，得到与文本段落C中第i个词对应的目标文本的向量表示。具体可以通过如下加权处理模型进行加权处理：
其中，h′ci为与文本段落C中第i个词对应的目标文本X的向量表示。
步骤S23：将文本段落C中第i个词ci的编码向量hci，以及与文本段落C中第i个词ci对应的目标文本的向量表示h′ci进行拼接，得到与文本段落C中第i个词ci对应的拼接后的向量表示。
步骤S24：对文本段落C中第i个词ci的前一个词ci-1(即第i-1个词)与目标文本X的相关程度的向量表示，以及拼接后的向量表示进行第三编码，得到文本段落C中第i个词ci与目标文本X的相关程度的向量表示。用公式可以表示为：
h(ci,X)＝f(h(c(i-1),X),[hci,h′ci])
其中，h(ci,X)为文本段落C中第i个词ci与目标文本X的相关程度的向量表示；h(c(i-1),X)为文本段落C中第i-1个词ci-1与目标文本X的相关程度的向量表示；[hci,h′ci]表示将文本段落C中第i个词ci的编码向量hci，以及与文本段落C中第i个词ci对应的目标文本的向量表示h′ci进行拼接；f(h(c(i-1),X),[hci,h′ci])表示对h(c(i-1),X)和[hci,h′ci]进行第三编码。
可选的，第三编码可以为双向LSTM编码。第一编码、第二编码和第三编码的编码参数的具体取值不同。
在一可选的实施例中，可以基于预先训练好的文本处理模型实现本申请实施例公开的信息处理方法，具体可以包括：
将目标文本和文本段落输入文本处理模型，得到文本处理模型与目标文本对应的反馈文本。
其中，文本处理模型被配置为：获取目标文本，以及与目标文本关联的文本段落；对目标文本进行第一编码，得到目标文本中各个词的编码向量；对文本段落进行第二编码，得到文本段落中各个词的编码向量；第二编码与第一编码不同；根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示；对文本段落中的各个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。
可选的，上述文本处理模型可以通过多任务联合训练的方式进行训练得到。具体的，可以通过反馈文本预测任务和文本段落自编码任务联合训练的方式训练得到文本处理模型。
其中，反馈文本预测任务是指输入目标文本，得到与该目标文本对应的反馈文本；而文本段落自编码任务则是输入文本段落，将文本段落映射到中间层向量，再利用中间层向量重构出文本段落。
本申请实施例中，以问答式交互为例，说明文本处理模型的训练过程。此示例中，采用公开的机器阅读理解数据集SQuAD作为训练数据，并将其组织为三元组形式(C，Q，A)作为样本，其中，C表示文本段落，Q表示问题，A表示问题对应的答案。Q和A两个元素中的其中一个元素作为目标文本，另一个元素作为目标文本对应的反馈文本，即Q作为目标文本，A作为与Q对应的反馈文本，或者，A作为目标文本，Q作为与A对应的反馈文本。不管是A作为反馈文本，还是Q作为反馈文本，该反馈文本作为样本标签，也称为标签文本。也就是说，每个样本均包含C，Q，A这三个元素。
下面以Q作为目标文本，A作为标签文本为例，对模型训练过程进行说明。如图3所示，为本申请实施例提供的两任务(反馈文本预测任务和文本段落自编码任务)联合训练模型的示例图。具体训练过程如下所示：
对于输入文本处理模型的每一个样本，对该样本中的目标文本进行第一编码，得到该样本中的目标文本中各个词的编码向量。
为便于叙述，将训练数据Y中的第z(z＝1，2，3，…LZ)个样本记为Yz＝(Cz,Qz,Az)，LZ为训练数据Y中样本的总量。则，本申请实施例中，对第z个样本Yz中的目标文本Qz进行第一编码，得到第z个样本Yz中的目标文本Qz中各个词的编码向量。可以利用文本处理模型中的第一编码模块对第z个样本Yz中的目标文本Qz进行第一编码。
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；第二编码和第一编码不同。
具体的，对第z个样本Yz中的文本段落Cz进行第二编码，得到第z个样本Yz中的文本段落Cz中各个词的编码向量。可以利用文本处理模型中的第二编码模块对第z个样本Yz中的文本段落Cz进行第二编码。第二编码模块和第一码编码模块是相互独立的两个编码模块。
对该样本中的目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行处理，得到该样本中的文本段落中的每一个词与该样本中的目标文本的相关程度的向量表示。
具体的，可以基于注意力机制对第z个样本Yz中的目标文本Qz中各个词的编码向量，以及第z个样本Yz中的文本段落Cz中各个词的编码向量进行处理，得到第z个样本Yz中的文本段落Cz中每一个词与第z个样本Yz中的目标文本Qz的相关程度的向量表示。为便于叙述，将第z个样本Yz中的文本段落Cz中第i个词记为czi，将第z个样本Yz中的目标文本Qz中第j个词记为qzj，则可以通过如下方法计算第z个样本Yz中的文本段落Cz中第i个词czi与第z个样本Yz中的目标文本Qz的相关程度的向量表示：
对文本段落Cz中第i个词czi的编码向量和目标文本Qz中第j个词qzj的编码向量进行点积操作，得到文本段落Cz中第i个词czi与目标文本Qz中第j个词qzj的向量点积结果，该向量点积结果表征文本段落Cz中第i个词czi与目标文本Qz中第j个词qzj的相关程度。
将文本段落Cz中第i个词czi与目标文本Qz中每个词的向量点积结果进行归一化，得到归一化结果，具体可以通过前述的归一化模型进行归一化处理，这里不再赘述。
以文本段落Cz中第i个词czi与目标文本Qz中每一个词的向量点积结果的归一化结果为权重，对目标文本Qz中各个词的编码向量进行加权处理，得到与文本段落Cz中第i个词czi对应的目标文本Qz的向量表示。具体可以利用前述的加权处理模型进行加权处理，这里不再赘述。
将文本段落Cz中第i个词czi的编码向量，以及与文本段落Cz中第i个词czi对应的目标文本Qz的向量表示进行拼接，得到与文本段落Cz中第i个词czi对应的拼接后的向量表示。
对文本段落Cz中第i-1个词cz(i-1)(也就是文本段落Cz中第i个词czi的前一个词)与目标文本Qz的相关程度的向量表示，以及与文本段落Cz中第i个词czi对应的拼接后的向量表示进行第三编码，得到文本段落Cz中第i个词czi与目标文本Qz的相关程度的向量表示。
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第一解码，得到与该样本中的目标文本对应的反馈文本。
具体的，对第z个样本中的文本段落Cz中的各个词与第z个样本中的目标文本Qz的相关程度的向量表示进行第一解码，得到与第z个样本中的目标文本Qz对应的反馈文本。可以利用第一解码模块对第z个样本中的文本段落Cz中的各个词与第z个样本中的目标文本Qz的相关程度的向量表示进行第一解码。
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落。
具体的，对第z个样本中的文本段落Cz中的各个词与第z个样本中的目标文本Qz的相关程度的向量表示进行第二解码，得到与第z个样本中的文本段落Cz对应的重构的文本段落。可以利用第二解码模块对第z个样本中的文本段落Cz中的各个词与第z个样本中的目标文本Qz的相关程度的向量表示进行第二解码。第二解码器和第一解码模块是相互独立的两个解码模块。
利用反馈文本和该样本的标签文本，以及重构的文本段落和该样本中的文本段落对文本处理模型的参数进行更新。
具体的，利用与第z个样本中的目标文本Qz对应的反馈文本和标签文本Az的差异，以及与第z个样本中的文本段落Cz对应的重构的文本段落和第z个样本中的文本段落Cz的差异对文本处理模型的参数进行更新。
可选的，可以利用对应第一解码模块设置的第一损失函数计算与第z个样本中的目标文本Qz对应的反馈文本和标签文本Az的差异，利用对应第二解码模块设置的第二损失函数计算与第z个样本中的文本段落Cz对应的重构的文本段落和第z个样本中的文本段落Cz的差异。第一损失函数和第二损失函数可以相同，也可以不同。例如，第一损失函数和第二损失函数可以均为交叉熵损失函数。
可选的，可以将第一损失函数和第二损失函数加权求和，得到文本处理模型的损失函数，第一损失函数的权重和第二损失函数的权重之和为1。在对文本处理模型训练过程中，以第一损失函数最小，第二损失函数最小，以及第一损失函数和第二损失函数加权求和最小为目标进行训练。
对文本处理模型的参数进行更新包括对第一损失函数和第二损失函数的权重的更新。
上述基于两个任务联合训练的文本处理模型训练方法，将反馈文本预测任务和文本段落自编码任务结合起来，其中，文本段落自编码任务是输入文本段落，将文本段落映射到中间层向量，再利用中间层向量重构出文本段落，相当于输入和输出“一样”，在联合训练过程中，反馈文本预测任务可以指导文本段落自编码任务学习文本段落表示。该联合训练过程将表示学习和相关性学习纳入单个任务，因而可以在两个任务的重建损失中捕获反馈文本预测任务和文本段落自编码任务的一些相关性。在学习之后，反馈文本预测任务和文本段落自编码任务均可以捕获完整的文本段落信息，因而可以在人机交互过程中提高给出反馈文本的准确率。
以上是两个任务联合训练的过程，基于上述联合训练思想，还可以进行三任务联合训练。其中，三任务联合训练包括第一反馈文本预测任务、文本段落自编码任务和第二反馈文本预测任务的联合训练。
在进行三任务联合训练时，仍然采用公开的机器阅读理解数据集SQuAD作为训练数据，并将其组织为三元组形式(C，Q，A)作为样本，其中，C表示文本段落，Q表示问题，A表示问题对应的答案。而Q和A均具有双重作用，一方面Q作为第一目标文本，A作为与第一目标文本对应的标签文本，另一方面，A作为第二目标文本，Q作为与第二目标文本对应的标签文本。
请参阅图4，图4为本申请实施例提供的三任务(第一反馈文本预测任务、文本段落自编码任务和第二反馈文本预测任务)联合训练模型的示例图。具体训练过程如下所示：
对于输入文本处理模型的每一个样本，对该样本中的第一目标文本进行第一编码，得到该样本中的第一目标文本中各个词的编码向量。
为便于叙述，将训练数据Y中的第z(z＝1，2，3，…LZ)个样本记为Yz＝(Cz,Qz,Az)，LZ为训练数据Y中样本的总量。则，对第z个样本Yz中的第一目标文本Qz进行第一编码，得到第z个样本Yz中的第一目标文本Qz中各个词的编码向量。可以利用文本处理模型中的第一编码模块对第z个样本Yz中的第一目标文本Qz进行第一编码。
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量。
具体的，对第z个样本Yz中的文本段落Cz进行第二编码，得到第z个样本Yz中的文本段落Cz中各个词的编码向量。可以利用文本处理模型中的第二编码模块对第z个样本Yz中的文本段落Cz进行第二编码。第二编码模块和第一码编码模块是相互独立的两个编码模块。
对该样本中的第二目标文本进行第三编码，得到该样本中的第二目标文本中各个词的编码向量；第一编码、第二编码和第三编码互不相同。
具体的，对第z个样本Yz中的第二目标文本Az进行第三编码，得到第z个样本Yz中的第二目标文本Az中各个词的编码向量。可以利用文本处理模型中的第三编码模块对第z个样本Yz中的第二目标文本Az进行第三编码。第三编码模块、第二编码模块和第一编码模块为相互独立的三个编码模块。
对第一目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第一处理，得到该样本中的文本段落中的每一个词与第一目标文本的相关程度的向量表示。
具体的，可以基于注意力机制对第一目标文本Qz中各个词的编码向量，以及第z个样本中的文本段落Cz中各个词的编码向量进行第一处理，得到第z个样本中的文本段落Cz中的每一个词与第一目标文本Qz的相关程度的向量表示。具体实现方式可以参看图3所示实施例中对第z个样本Yz中的目标文本Qz中各个词的编码向量，以及第z个样本Yz中的文本段落Cz中各个词的编码向量进行处理，得到第z个样本Yz中的文本段落Cz中每一个词与第z个样本Yz中的目标文本Qz的相关程度的向量表示的具体实现过程，这里不再赘述。可以通过第一处理模块对第一目标文本Qz中各个词的编码向量，以及第z个样本中的文本段落Cz中各个词的编码向量进行第一处理。
对第二目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第二处理，得到该样本中的文本段落中的每一个词与第二目标文本的相关程度的向量表示。
具体的，可以基于注意力机制对第二目标文本Az中各个词的编码向量，以及第z个样本中的文本段落Cz中各个词的编码向量进行第二处理，得到第z个样本中的文本段落Cz中的每一个词与第二目标文本Az的相关程度的向量表示。具体实现方式可以参看图3所示实施例中对第z个样本Yz中的目标文本Qz中各个词的编码向量，以及第z个样本Yz中的文本段落Cz中各个词的编码向量进行处理，得到第z个样本Yz中的文本段落Cz中每一个词与第z个样本Yz中的目标文本Qz的相关程度的向量表示的具体实现过程，这里不再赘述。可以通过第二处理模块对第二目标文本Az中各个词的编码向量，以及第z个样本中的文本段落Cz中各个词的编码向量进行第二处理。第二处理模块和第一处理模块为相互独立的两个模块。
对该样本中的文本段落中的各个词与第一目标文本的相关程度的向量表示进行第一解码，得到与第一目标文本对应的第一反馈文本。
具体的，对第z个样本中的文本段落Cz中的各个词与第z个样本中的第一目标文本Qz的相关程度的向量表示进行第一解码，得到与第z个样本中的第一目标文本Qz对应的第一反馈文本。可以利用第一解码模块对第z个样本中的文本段落Cz中的各个词与第z个样本中的第一目标文本Qz的相关程度的向量表示进行第一解码。
对该样本中的文本段落中的各个词与第一目标文本的相关程度的向量表示，以及该样本中的文本段落中的每一个词与第二目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落。
具体的，对第z个样本中的文本段落Cz中的各个词与第z个样本中的第一目标文本Qz的相关程度的向量表示，以及第z个样本中的文本段落Cz中的各个词与第z个样本中的第二目标文本Az的相关程度的向量表示进行第二解码，得到与第z个样本中的文本段落Cz对应的重构的文本段落。可以利用第二解码模块对第z个样本中的文本段落Cz中的各个词与第z个样本中的第一目标文本Qz的相关程度的向量表示，以及第z个样本中的文本段落Cz中的各个词与第z个样本中的第二目标文本Az的相关程度的向量表示进行第二解码。第二解码模块和第一解码模块为两个相互独立的模块。
对该样本中的文本段落中的各个词与第二目标文本的相关程度的向量表示进行第三解码，得到与第二目标文本对应的第二反馈文本。
具体的，对第z个样本中的文本段落Cz中的各个词与第z个样本中的第二目标文本Az的相关程度的向量表示进行第三解码，得到与第z个样本中的第二目标文本Az对应的第二反馈文本。可以利用第三解码模块对第z个样本中的文本段落Cz中的各个词与第z个样本中的二目标文本Az的相关程度的向量表示进行第三解码。第三解码模块、第二解码模块和第一解码模块为三个相互独立的模块。
利用第一反馈文本和第二目标文本，重构的文本段落和该样本中的文本段落，以及第二反馈文本和第一目标文本，对文本处理模型的参数进行更新。
具体的，利用与第z个样本中的第一目标文本Qz对应的第一反馈文本和第二目标文本Az的差异，与第z个样本中的文本段落Cz对应的重构的文本段落和第z个样本中的文本段落Cz的差异，以及与第z个样本中的第二目标文本Az对应的第二反馈文本和第一目标文本Qz的差异对文本处理模型的参数进行更新。
可选的，可以利用对应第一解码模块设置的第一损失函数计算与第z个样本中的第一目标文本Qz对应的第一反馈文本和第二目标文本Az的差异，利用对应第二解码模块设置的第二损失函数计算与第z个样本中的文本段落Cz对应的重构的文本段落和第z个样本中的文本段落Cz的差异，利用对应第三解码模块设置的第三损失函数计算与第z个样本中的第二目标文本Az对应的第二反馈文本和第一目标文本Qz的差异。第一损失函数、第二损失函数和第三损失函数可以相同，也可以不同。例如，第一损失函数、第二损失函数和第三损失函数均为交叉熵损失函数。
可选的，可以将第一损失函数、第二损失函数和第三损失函数加权求和，得到文本处理模型的损失函数，第一损失函数的权重、第二损失函数的权重和第三损失函数的权重之和为1。在对文本处理模型训练过程中，以第一损失函数最小，第二损失函数最小，第三损失函数最小，以及第一损失函数、第二损失函数和第三损失函数加权求和最小为目标进行训练。
对文本处理模型的参数进行更新包括对第一损失函数、第二损失函数和第三损失函数的权重的更新。
上述三任务联合训练模型可以看作是三个任务通过文本段落的编码向量连接在一起，形成一个跨任务联合训练的过程，其中的跨任务主要体现在由第一目标文本预测第二目标文本和由第二目标文本预测第一目标文本之间的交叉。上述基于三个任务联合训练的文本处理模型训练方法，将第一反馈文本预测任务、第二反馈文本预测任务和文本段落自编码任务结合起来，其中，文本段落自编码任务是输入文本段落，将文本段落映射到中间层向量，再利用中间层向量重构出文本段落，相当于输入和输出“一样”，该模型中，文本段落是连接第一反馈文本预测任务和第二反馈文本预测任务的结点，而第一反馈文本预测任务和第二反馈文本预测任务则指导文本段落自编码任务学习文本段落表示。该联合训练过程将表示学习和相关性学习纳入单个任务，因此，可以在三个任务的重建损失中捕获第一反馈文本预测任务、第二反馈文本预测任务和文本段落自编码任务的一些相关性。在学习之后，第一反馈文本预测任务，第二反馈文本预测任务和文本段落自编码任务均可以捕获完整的文本段落信息，因而可以在人机交互过程中提高给出反馈文本的准确率。
综上所述，通过多任务联合训练，使得文本处理模型在进行反馈文本预测时，可以获得较为完整的文本段落表示，同时包含各个任务共同需要的信息以及各个任务所需的特殊信息。
本申请实施例提供的信息处理方法应用于问答式人机交互过程时，可以包括如下交互方法：
接收用户输入的问题文本。
在数据库中检索与问题文本关联的文本段落。
对问题文本进行第一编码，得到问题文本中各个词的编码向量。可以利用文本处理模型中的第一编码模块对问题文本进行第一编码。
对文本段落进行第二编码，得到文本段落中各个词的编码向量。可以利用文本处理模型中的第二编码模块对文本段落进行第二编码。
对问题文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理，得到文本段落中的每一个词与问题文本的相关程度的向量表示。可以利用文本处理模型中的第一处理模块对问题文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理。
对文本段落中的各个词与问题文本的相关程度的向量表示进行解码，得到与问题文本对应的反馈文本，该反馈文本即为问题文本对应的答案文本。可以利用文本处理模型中的第一解码模块对文本段落中的各个词与问题文本的相关程度的向量表示进行解码。
进一步的，还可以从文本段落中提取至少一个目标实体词，该目标实体词不包含于答案文本中。
基于该至少一个目标实体词在文本段落中确定待提问文本，该待提问文本为文本段落中的部分文本，该部分文本中包含上述至少一个目标实体词，且与上述答案文本不同。
对待提问文本进行第三编码，得到待提问文本中各个词的编码向量。可以利用文本处理模型中的第三编码模块对待提问文本进行第三编码。
对待提问文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理，得到文本段落中的每一个词与待提问文本的相关程度的向量表示。可以利用文本处理模型中的第二处理模块对待提问文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理。
对文本段落中的各个词与待提问文本的相关程度的向量表示进行第三解码，得到与待提问文本对应的反馈文本，该反馈文本即为待提问文本对应的问题文本(该问题文本对应的答案即为待提问文本)。可以利用文本处理模型中的第三解码模块对文本段落中的各个词与待提问文本的相关程度的向量表示进行第三解码。
本申请实施例中，除了可以以用户提问，机器回答的方式进行人机交互外，还可以以机器提问，用户回答的方式进行人机交互。基于本申请实施例提供的信息处理方法，既提高了问答交互给出答案的准确性，还可以使得机器输出与人机交互的历史信息相关的问题，保证人机交互的连续性。
比如，用户输入的问题为“世界上有多少种鲨鱼”，假设根据该问题文本检索到的文本段落为“世界上约有380种鲨鱼。有30种会主动攻击人，有7种可能会致人受伤，还有27种因为体型和习性的关系，具有危险性。鲸鲨是现存鲨鱼中最大的，也是现存鱼类中最大的。海洋中最凶猛的莫过于大白鲨，它们强有力的下颚可以撕碎几乎任何它们的猎物，它们生活在海洋生物链的顶端。”基于该文本段落，得到反馈信息可以为“世界上约有380种鲨鱼”。
进一步的，机器还可以向用户进行提问，假设待提问文本为上述文本段落中的“鲸鲨是现存鲨鱼中最大的”，对应的反馈信息可以为“现存最大的鲨鱼是哪种鲨鱼？”。
另外，上述实施例中，是在用户向机器提问，且机器给出答案后，机器才向用户提问。在另一可选的实施例中，也可以由机器直接向用户提问。机器向用户进行提问可以有两种实现方式，一种方式是机器随机向用户进行提问，另一种方式是由用户指定提问范围，机器在指定的范围内向用户提问。随机提问是指机器在数据库中随机抽取文本段落，并基于该文本段落中的特定内容向用户提问。在指定范围内向用户提问是指：预先将数据库中的文段段落划分为多个类别，用户指定文本段落的类别，然后机器从该指定类别的文本段落中随机抽取文本段落，并基于该文本段落中的特定内容向用户提问。
具体的，在抽取到文本段落后，可以从抽取到的文本段落中提取至少一个目标实体词；
基于该至少一个目标实体词确定待提问文本，该待提问文本是抽取到的文本段落中的部分文本，该部分文本包含上述至少一个目标实体词。
对待提问文本进行第三编码，得到待提问文本中各个词的编码向量；可以利用文本处理模型中的第三编码模块对待提问文本进行第三编码。
对文本段落进行第二编码，得到文本段落中各个词的编码向量。可以利用文本处理模型中的第二编码模块对文本段落进行第二编码。
对待提问文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理，得到文本段落中的每一个词与待提问文本的相关程度的向量表示。可以利用文本处理模型中的第二处理模块对待提问文本中各个词的编码向量，以及文本段落中各个词的编码向量进行处理。
对文本段落中的各个词与待提问文本的相关程度的向量表示进行第三解码，得到与待提问文本对应的反馈文本，该反馈文本即为待提问文本对应的问题文本。可以利用文本处理模型中的第三解码模块对文本段落中的各个词与待提问文本的相关程度的向量表示进行第三解码。
与方法实施例相对应，本申请实施例还提供一种信息处理装置，本申请实施例提供的信息处理装置的一种结构示意图如图5所示，可以包括：
获取模块51，第一编码模块52，第二编码模块53，第一处理模块54和第一解码模块55；其中，
获取模块51用于获取目标文本，以及与所述目标文本关联的文本段落；
第一编码模块52用于对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
第二编码模块53用于对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码模块与所述第一编码模块不同；
第一处理模块54用于根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
第一解码模块55用于对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
本申请实施例提供的信息处理装置，在获取目标文本和与该目标文本关联的文本段落后，对目标文本和文本段落进行不同的编码，根据目标文本中各个词的编码向量，以及文本段落中各个词的编码向量，得到文本段落中的每一个词与目标文本的相关程度的向量表示；对文本段落中的每一个词与目标文本的相关程度的向量表示进行解码，得到与目标文本对应的反馈文本。由于目标文本和文本段落进行不同的编码，因而，文本段落中各个词的编码向量，以及文本段落中的各个词与目标文本的相关程度的向量表示均可以携带完整的文本段落信息，从而提高人机交互过程中给出反馈文本的准确率。
在一可选的实施例中，第一处理模块54可以包括：
点积处理模块，用于对应所述文本段落中的每一个词，对该词的编码向量与所述目标文本中每一个词的编码向量分别进行点积操作，得到该词与所述目标文本中的每个词的向量点积结果；
相关度处理模块，用于利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示。
在一可选的实施例中，相关度处理模块可以包括：
归一化模块，用于将该词与所述目标文本中的每个词的向量点积结果进行归一化，得到归一化结果；
加权处理模块，用于以该词与所述目标文本中每一个词的向量点积结果的归一化结果为权重，对所述目标文本中各个词的编码向量进行加权处理，得到与该词对应的所述目标文本的向量表示；
拼接模块，用于将该词的编码向量，以及与该词对应的所述目标文本的向量表示进行拼接，得到与该词对应的拼接后的向量表示；
第三编码模块，用于对该词的前一个词与所述目标文本的相关程度的向量表示，以及所述拼接后的向量表示进行第三编码，得到该词与所述目标文本的相关程度的向量表示。
在一可选的实施例中，第一编码模块52，第二编码模块53，第一处理模块54和第一解码模块55的功能可以由预先训练好的文本处理模型实现。
在一可选的实施例中，文本处理模型还可以包括第二解码模块和第一参数更新模块；信息处理装置还可以包括：
第一训练模块，用于将样本输入文本处理模型进行训练，以使所述第一编码模块52对每一个输入的样本进行第一编码，得到该样本中的目标文本中各个词的编码向量；所述第二编码模块53对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；第一处理模块54对对该样本中的目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行处理，得到该样本中的文本段落中的每一个词与该样本中的目标文本的相关程度的向量表示；第一解码模块55对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第一解码，得到与该样本中的目标文本对应的反馈文本；第二解码模块对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；所述第一参数更新模块利用所述反馈文本和该样本的标签文本，以及所述重构的文本段落和该样本中的文本段落对所述文本处理模型的参数进行更新。
在一可选的实施例中，所述第一参数更新模块对所述文本处理模型的参数进行更新包括对各个解码模块的损失函数的权重的更新。
在一可选的实施例中，文本处理模型还可以包括第三编码模块、第二解码模块、第二处理模块，第三解码模块和第二参数更新模块；信息处理装置还可以包括：
第二训练模块，用于将样本输入文本处理模型进行训练，以使所述第一编码模块52对每一个输入的样本进行第一编码，得到该样本中的第一目标文本中各个词的编码向量；所述第二编码模块53对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；第三编码模块对该样本中的第二目标文本进行第三编码，得到该样本中的第二目标文本中各个词的编码向量；所述第一处理模块54对所述第一目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第一处理，得到该样本中的文本段落中的每一个词与所述第一目标文本的相关程度的向量表示；所述第二处理模块对所述第二目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第二处理，得到该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示；所述第一解码模块55对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示进行第一解码，得到与所述第一目标文本对应的第一反馈文本；所述第二解码模块对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示，以及该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；所述第三解码模块对该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第三解码，得到与所述第二目标文本对应的第二反馈文本；所述第二参数更新模块利用所述第一反馈文本和所述第二目标文本，所述重构的文本段落和该样本中的文本段落，以及所述第二反馈文本和所述第一目标文本，对所述文本处理模型的参数进行更新。
在一可选的实施例中，所述第二参数更新模块对所述文本处理模型的参数进行更新包括对各个解码模块的损失函数的权重的更新。
本申请实施例提供的信息处理装置可应用于信息处理设备，如PC终端、云平台、服务器及服务器集群等。可选的，图6示出了信息处理设备的硬件结构框图，参照图6，信息处理设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取目标文本，以及与所述目标文本关联的文本段落；
对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；
根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取目标文本，以及与所述目标文本关联的文本段落；
对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；
根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种信息处理方法，其特征在于，包括：
获取目标文本，以及与所述目标文本关联的文本段落；
对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；
根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示，包括：
对应所述文本段落中的每一个词，对该词的编码向量与所述目标文本中每一个词的编码向量分别进行点积操作，得到该词与所述目标文本中的每个词的向量点积结果；
利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示。
3.根据权利要求2所述的方法，其特征在于，所述利用该词与所述目标文本中的每个词的向量点积结果，以及该词的前一个词与所述目标文本的相关程度的向量表示，得到该词与所述目标文本的相关程度的向量表示，包括：
将该词与所述目标文本中的每个词的向量点积结果进行归一化，得到归一化结果；
以该词与所述目标文本中每一个词的向量点积结果的归一化结果为权重，对所述目标文本中各个词的编码向量进行加权处理，得到与该词对应的所述目标文本的向量表示；
将该词的编码向量，以及与该词对应的所述目标文本的向量表示进行拼接，得到与该词对应的拼接后的向量表示；
对该词的前一个词与所述目标文本的相关程度的向量表示，以及所述拼接后的向量表示进行第三编码，得到该词与所述目标文本的相关程度的向量表示。
4.根据权利要求1所述的方法，其特征在于，所述方法基于预先训练好的文本处理模型实现，所述方法包括：
将所述目标文本和所述文本段落输入所述文本处理模型，得到与所述目标文本对应的反馈文本；
所述文本处理模型被配置为：获取目标文本，以及与所述目标文本关联的文本段落；对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码与所述第一编码不同；根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
5.根据权利要求4所述的方法，其特征在于，所述文本处理模型的训练过程包括：
对于输入所述文本处理模型的每一个样本，对该样本中的目标文本进行第一编码，得到该样本中的目标文本中各个词的编码向量；
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；所述第二编码和所述第一编码不同；
对该样本中的目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行处理，得到该样本中的文本段落中的每一个词与该样本中的目标文本的相关程度的向量表示；
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第一解码，得到与该样本中的目标文本对应的反馈文本；
对该样本中的文本段落中的各个词与该样本中的目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；
利用所述反馈文本和该样本的标签文本，以及所述重构的文本段落和该样本中的文本段落对所述文本处理模型的参数进行更新。
6.根据权利要求4所述的方法，其特征在于，所述文本处理模型的训练过程包括：
对于输入所述文本处理模型的每一个样本，对该样本中的第一目标文本进行第一编码，得到该样本中的第一目标文本中各个词的编码向量；
对该样本中的文本段落进行第二编码，得到该样本中的文本段落中各个词的编码向量；
对该样本中的第二目标文本进行第三编码，得到该样本中的第二目标文本中各个词的编码向量；所述第一编码、所述第二编码和所述第三编码互不相同；
对所述第一目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第一处理，得到该样本中的文本段落中的每一个词与所述第一目标文本的相关程度的向量表示；
对所述第二目标文本中各个词的编码向量，以及该样本中的文本段落中各个词的编码向量进行第二处理，得到该样本中的文本段落中的每一个词与所述第二目标文本的相关程度的向量表示；
对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示进行第一解码，得到与所述第一目标文本对应的第一反馈文本；
对该样本中的文本段落中的各个词与所述第一目标文本的相关程度的向量表示，以及该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第二解码，得到与该样本中的文本段落对应的重构的文本段落；
对该样本中的文本段落中的各个词与所述第二目标文本的相关程度的向量表示进行第三解码，得到与所述第二目标文本对应的第二反馈文本；
利用所述第一反馈文本和所述第二目标文本，所述重构的文本段落和该样本中的文本段落，以及所述第二反馈文本和所述第一目标文本，对所述文本处理模型的参数进行更新。
7.根据权利按要求5或6所述的方法，其特征在于，所述文本处理模型的损失函数由各个解码模块的损失函数加权构成；
对所述文本处理模型的参数进行更新包括对各个解码模块的损失函数的权重的更新。
8.一种信息处理装置，其特征在于，包括：
获取模块，用于获取目标文本，以及与所述目标文本关联的文本段落；
第一编码模块，用于对所述目标文本进行第一编码，得到所述目标文本中各个词的编码向量；
第二编码模块，用于对所述文本段落进行第二编码，得到所述文本段落中各个词的编码向量；所述第二编码模块与所述第一编码模块不同；
第一处理模块，用于根据所述目标文本中各个词的编码向量，以及所述文本段落中各个词的编码向量，得到所述文本段落中的每一个词与所述目标文本的相关程度的向量表示；
第一解码模块，用于对所述文本段落中的各个词与所述目标文本的相关程度的向量表示进行解码，得到与所述目标文本对应的反馈文本。
9.一种信息处理设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-7中任一项所述的信息处理方法的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的信息处理方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911250437.XA CN111078851B (zh) | 2019-12-09 | 2019-12-09 | 信息处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911250437.XA CN111078851B (zh) | 2019-12-09 | 2019-12-09 | 信息处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111078851A true CN111078851A (zh) | 2020-04-28 |
| CN111078851B CN111078851B (zh) | 2024-04-12 |
Family
ID=70313389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911250437.XA Active CN111078851B (zh) | 2019-12-09 | 2019-12-09 | 信息处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078851B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259100A (zh) * | 2020-09-15 | 2021-01-22 | 科大讯飞华南人工智能研究院（广州）有限公司 | 语音识别方法及相关模型的训练方法和相关设备、装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180114108A1 (en) * | 2016-10-20 | 2018-04-26 | Google Inc. | Answer to question neural networks |
| CN109670029A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 用于确定问题答案的方法、装置、计算机设备及存储介质 |
| CN110147533A (zh) * | 2019-01-24 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 编码方法、装置、设备及存储介质 |
| CN110309282A (zh) * | 2019-06-14 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种答案确定方法及装置 |
-
2019
- 2019-12-09 CN CN201911250437.XA patent/CN111078851B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180114108A1 (en) * | 2016-10-20 | 2018-04-26 | Google Inc. | Answer to question neural networks |
| CN109670029A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 用于确定问题答案的方法、装置、计算机设备及存储介质 |
| CN110147533A (zh) * | 2019-01-24 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 编码方法、装置、设备及存储介质 |
| CN110309282A (zh) * | 2019-06-14 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种答案确定方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259100A (zh) * | 2020-09-15 | 2021-01-22 | 科大讯飞华南人工智能研究院（广州）有限公司 | 语音识别方法及相关模型的训练方法和相关设备、装置 |
| CN112259100B (zh) * | 2020-09-15 | 2024-04-09 | 科大讯飞华南人工智能研究院（广州）有限公司 | 语音识别方法及相关模型的训练方法和相关设备、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111078851B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN111027327A (zh) | 机器阅读理解方法、设备、存储介质及装置 | |
| KR20190061488A (ko) | 음성인식을 통한 인공지능 프로그램코딩 시스템 및 그 방법 | |
| CN109740158B (zh) | 一种文本语义解析方法及装置 | |
| CN113157863A (zh) | 问答数据处理方法、装置、计算机设备及存储介质 | |
| CN111078847A (zh) | 电力用户意图识别方法、装置、计算机设备和存储介质 | |
| CN110837738A (zh) | 相似问识别方法、装置、计算机设备及存储介质 | |
| CN113392640B (zh) | 一种标题确定方法、装置、设备及存储介质 | |
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| CN113505193A (zh) | 一种数据处理方法及相关设备 | |
| CN111858898A (zh) | 基于人工智能的文本处理方法、装置及电子设备 | |
| CN114201683A (zh) | 一种基于多级匹配的兴趣激活新闻推荐方法及系统 | |
| CN111597341A (zh) | 一种文档级关系抽取方法、装置、设备及存储介质 | |
| CN110992943B (zh) | 基于词混淆网络的语义理解方法及系统 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN110955765A (zh) | 智能助理的语料构建方法、装置、计算机设备和存储介质 | |
| CN111078851A (zh) | 信息处理方法、装置、设备及可读存储介质 | |
| CN111046674B (zh) | 语义理解方法、装置、电子设备和存储介质 | |
| CN113779244B (zh) | 文档情感分类方法、装置、存储介质以及电子设备 | |
| CN112035648B (zh) | 一种用户数据的处理方法、装置及电子设备 | |
| CN111767744B (zh) | 文本风格迁移系统的训练方法及装置 | |
| CN112818084B (zh) | 信息交互方法、相关装置、设备及计算机可读介质 | |
| CN114519104A (zh) | 动作标签标注方法及装置 | |
| CN113761943A (zh) | 司法对话的生成方法和模型训练方法、装置以及存储介质 | |
| CN111310460B (zh) | 语句的调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |