CN110334353A - 词序识别性能的分析方法、装置、设备及存储介质 - Google Patents

词序识别性能的分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110334353A
CN110334353A CN201910615313.0A CN201910615313A CN110334353A CN 110334353 A CN110334353 A CN 110334353A CN 201910615313 A CN201910615313 A CN 201910615313A CN 110334353 A CN110334353 A CN 110334353A
Authority
CN
China
Prior art keywords
sequencing
sentence
word
predicted
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910615313.0A
Other languages
English (en)
Other versions
CN110334353B (zh
Inventor
王龙跃
涂兆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910615313.0A priority Critical patent/CN110334353B/zh
Publication of CN110334353A publication Critical patent/CN110334353A/zh
Application granted granted Critical
Publication of CN110334353B publication Critical patent/CN110334353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种词序识别性能的分析方法、装置、设备及存储介质，该方法包括：获取至少一条已调序语句以及该已调序语句中调序词的初始位置和调整后位置；利用待测试的神经网络模型转换出该已调序语句对应的语句向量；针对每条该已调序语句，依据该已调序语句的语句向量以及训练出的位置预测模型，预测该调序词的第一预测位置以及第二预测位置；依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到用于表征神经网络模型识别词序信息性能的位置预测准确度。本申请的方案可以实现有效的分析出神经网络对于词序信息的识别性能。

Description

词序识别性能的分析方法、装置、设备及存储介质
技术领域
本申请涉及神经网络技术领域，尤其涉及一种词序识别性能的分析方法、装置、设备及存储介质。
背景技术
神经网络模型已经成为人工智能领域的一种核心模型。如，神经网络模型可以应用于自然语言处理中，以实现语音识别或者机器翻译等等任务。
在自然语言处理中，词序信息是一种非常重要的信息维度，其中，词序是指词在词组或句子里的先后次序。由此可知，神经网络对于词序信息的识别能力(俗称的词序捕获能力)是评价神经网络对自然语言处理的处理性能的一种重要维度。
而神经网络对自然语言处理任务的处理性能却与多种因素有关，如，利用神经网络进行机器翻译任务时，翻译质量不仅仅与词序有关，还会与词法、语义以及语句流畅度等因素有关，由此可知，基于神经网络对自然语言处理任务的处理结果很难有效评价神经网络的词序识别性能。基于此，如何分析出不同神经网络对于词序的识别性能是本领域技术人员迫切需要解决的技术问题。
发明内容
有鉴于此，本申请提供了一种词序识别性能的分析方法、装置、设备及存储介质，以实现有效的分析出神经网络对于词序的识别性能。
为实现上述目的，本申请提供了如下方案：
一方面，本申请提供了一种词序识别性能的分析方法，包括：
获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
在一种可能的实现方式中，所述依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，包括：
利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；
利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。
在又一种可能的实现方式中，所述利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置，包括：
利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；
基于所述第一概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。
在又一种可能的实现方式中，所述利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置，包括：
利用所述位置预测模型中所述第一概率分布以及所述已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量；
利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，所述第二概率分布用于表征所述已调序语句中各个词所处的位置属于所述初始位置的概率分布；
基于所述第二概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。
在一种可能的实现方式中，所述位置预测模型为在训练出所述待测试的神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练得到；
或者，所述位置预测模型和所述神经网络模型为利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本同步训练得到。
又一方面，本申请还提供了一种词序识别性能的分析装置，包括：
语句获取单元，用于获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
语句处理单元，用于利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
位置预测单元，用于针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
性能分析单元，用于依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
又一方面，本申请还提供了一种计算机设备，包括：
处理器和存储器；
所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器用于存储所述程序，所述程序至少用于：
获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
又一方面，本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任一项所述的词序识别性能的分析方法。
经由上述的技术方案可知，在本申请实施例中在获得已存在词序调整的已调序语句之后，利用待测试的神经网络模型转换出该已调序语句的语句向量，由于该语句向量可以表征的出该已调序语句中各个词之间位置关系以及词之间语义等与词序有关的信息，因此，如果神经网络模型对于语句中词序信息的捕获能力越强，神经网络模型转换出的语句向量所能反映出的词序信息也会越接近实际情况。在此基础上，在训练出的位置预测模型固定的情况下，神经网络模型对词序信息的捕获能力越强，该位置预测模型基于该神经网络模型转换出该语句向量预测出的该已调序语句中调序词的初始位置和调整后位置与实际情况越贴近，使得基于该语句向量所得到的位置预测准确度也越高，因此，通过本申请的方案分析出的位置预测准确度可以准确、有效的反映出神经网络模型识别词序信息的性能的高低。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本申请的方案所适用的一种计算机设备的组成结构示意图；
图2示出了本申请一种词序识别性能的分析方法的一种流程示意图；
图3示出了本申请的一种词序识别性能的分析方法的又一种流程示意图；
图4示出了本申请位置预测模型的一种处理架构示意图；
图5示出了本申请的词序识别性能的分析方法的一种实现逻辑架构图；
图6示出了本申请实施例中对神经网络模型和位置预测模型进行合作训练的一种流程示意图；
图7示出了本申请一种词序识别性能的分析装置的一种组成结构示意图。
具体实施方式
本申请方案适用于分析不同神经网络模型识别词序信息的性能，以更为准确、有效的分析出不同神经网络对于词序信息捕获能力的高低程度。
本申请所适用分析的神经网络模型可以为任意神经网络，考虑到深度神经网络模型的神经元之间的连接更为复杂，更加无法直接利用深度神经网络模型对于机器翻译等任务的执行结果来分析其词序捕获能力，因此，本申请尤其适用于各种类型的深度神经网络模型。
本申请的方案可以应用于具备数据处理能力的计算机设备，如，单台计算机、服务器，或者多台服务器组成的服务器集群等等。
为了便于理解，先对本申请所适用的计算机设备进行介绍。
如图1，其示出了本申请所适用的计算机设备的一种组成结构示意图。在图1中，该计算机设备100可以包括：处理器101和存储器102。
可选的，该终端还可以包括：通信接口103、输入单元104和显示器105和通信总线106。其中，处理器101、存储器102、通信接口103、输入单元104、显示器105均通过通信总线106完成相互间的通信。
在本申请实施例中，该处理器101，可以为中央处理器或者可编程逻辑器件等。
该处理器可以调用存储器102中存储的程序，具体的，可以处理器可以执行以下图2以及图6中计算机设备侧所执行的操作。
存储器102中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令。在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：
获取至少一条已调序语句以及该已调序语句中调序词的初始位置和调整后位置，该已调序语句为通过调整初始语句中该调序词的位置得到，该初始位置为该调序词在该初始语句中的位置，该调整后位置为该调序词在该已调序语句中的位置；
利用待测试的神经网络模型转换出该已调序语句对应的语句向量；
针对每条该已调序语句，依据该已调序语句的语句向量以及训练出的位置预测模型，预测该调序词的第一预测位置以及第二预测位置，该第一预测位置为预测出的该初始位置，该第二预测位置为预测出的该调整后位置；
依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，该位置预测准确度用于表征该神经网络模型识别词序信息的性能。
在一种可能的实现方式中，该存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以上所提到的程序等；存储数据区可存储根据计算机设备的使用过程中所创建的数据等。
此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器。
该通信接口103可以为通信模块的接口。
本申请该输入单元105，该输入单元可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘等等。
该显示器104包括显示面板，如触摸显示面板等。
当然，图1所示的计算机设备结构并不构成对本申请实施例中计算机设备的限定，在实际应用中计算机设备可以包括比图1所示的更多或更少的部件，或者组合某些部件。
下面对本申请的词序识别性能的分析方法进行介绍。
如图2所示，其示出了本申请一种词序识别性能的分析方法的一种流程示意图，本实施例的方法可以应用于前面提到的计算机设备，本实施例的方法可以包括：
S201，获取至少一条已调序语句以及该已调序语句中调序词的初始位置和调整后位置。
其中，已调序语句是指通过调整正常语序的语句中一个词的位置所得到语句。为了便于区分，将已调序语句对应的未经调整的正常语序的语句称为原始语句。
已调序语句为由多个词组成的序列，每个词对应一个位置。其中，此处的词可以理解为单个汉字，多个汉字组成的词阻、包含一个或者多个字符的英文单词或者其他外文单词等。其中，对于语句为中文的情况，为了区分出语句中的各个词，可以预先通过分词等方式区分出各个词，各个词之间可以同分隔符分割，如，分隔符可以为空格。
其中，已调序语句中存在位置变动的词为调序词。相应的，该已调序语句为通过调整该初始语句中该调序词的位置得到的。
其中，该调序词的初始位置就是调序词调序位置前在该已调序语句的多个词中的顺序排位，也就是说，该调序词的初始位置为该调序词在该初始语句中的位置。相应的，调序词的调整后位置为调整该调序词在多个词中的顺序排位之后，该调序词在该多个词中所处的位置，也就是，该调序词在该已调序语句中的位置。
举例说明：
未经语序调整的初始语句为“Bush hold a talk with sharon”，在该初始语句中“hold”处于该多个词中的第二个位置，如果将“hold”从第二个位置插入到“talk”与“with”之间，则hold”从第二个位置调整到第四个位置，而该初始语句也变成了已调序语句“Busha talk hold with sharon”。在该种情况下，“hold”为该已调序语句中的调序词，且该“hold”的初始位置为第二个位置，而调整后位置为第四个位置。
又如，初始语句为“我买了点水果”，调整调序词为“点”，得到已调序语句为“我点买了水果”，而该调序词“点”的初始位置为第三个，而调整后位置为第二个。
可以理解的是，为了提高分析神经网络捕获语序能力的准确度，可以预先获得多个已调序语句。进一步的，每个已调序语句中可以仅仅具有一个已调序的调序词。
可以理解的是，本申请获得该已调序语句的方式可以有多种，如，可以由人工录入已经调整过词序的已调序语句并标注已调序语句中的调序词以及该调序词的初始位置和调整后位置。
又如，还可以是获得多条语句，该多条语句可以作为初始语句，每条语句同样是由多个词组成的序列。在此基础上，针对每条语句，可以从该语句中确定待调整位置的调序词(如，随机选择一个词作为待调整位置的调序词)，确定调序词在语句中的初始位置，并调整该调序词在该语句中的位置，得到调整后的已调序语句以及该调序词在该已调序语句中的调整后位置。
S202，利用待测试的神经网络模型转换出该已调序语句对应的语句向量。
其中，该待测试的神经网络模型为待测试词序信息捕获能力的神经网络模型。该神经网络模型可以是深度神经网络模型，也可以为其他类型的神经网络模型。如，该神经网络模型可以为自关注神经网络(Self-Attention Network，SAN)，或者是，循环神经网络(Recurrent Neural Network，RNN)等。
其中，语句向量为神经网络模型基于该已调序语句中各个词所构成出的向量。该语句向量至少可以表征神经网络模型从该已调序语句中识别出的词序信息，如，已调序语句中各个词之间的位置关系以及各个词之间的语义关系等等。
例如，该语句向量可以为m*n维度的向量，m可以为已调序语句中词的数量，n为设定的数值，则该语句向量可以包含每个词在多个维度上分别与其他词的位置以及语义等关系的信息。
S203，针对每条该已调序语句，依据该已调序语句的语句向量以及训练出的位置预测模型，预测该调序词的第一预测位置以及第二预测位置。
其中，该第一预测位置为预测出的该初始位置，即，预测出的该调序词在该初始语句中的位置。该第二预测位置为预测出的该调整后位置，即预测出的该调序词在该已调序语句中的位置。
其中，该位置预测模型为预先利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练得到。
可选的，该位置预测模型可以预置了语句向量分别与初始位置以及调整后位置的函数关系，从而通过函数关系以及已调序语句的语句向量，预测得到该第一预测位置以及该第二预测位置。
如，在一种可能的情况中，可以利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于该已调序语句的语句向量确定第一预测位置。相应的，可以利用该位置预测模型中语句向量与初始位置的第二函数关系，并基于该已调序语句的语句向量确定出第二预测位置。
其中，基于该第一函数关系对该已调序语句的语句向量，便可以得到该已调序语句的语句向量对应的初始位置，此处该初始位置为预测出的初始位置，即该第一预测位置。类似的，可以得到第二预测位置。
可以理解的是，在实际应用中，该第一函数关系和第二函数关系可以有多种情况，如，第一函数关系和第二函数关系为两个相互独立的函数关系，也可以是相互之间具有关联的函数关系。
例如，第一函数关系可以为语句向量与待预测的初始位置之间的线性函数，该第二函数关系也可以为语句向量与待预测的调整后位置之间的线性函数。
该第一函数关系和第二函数关系可以根据实际情况设定，本申请对其具体形式不加限制。
S204，依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度。
其中，该位置预测准确度用于表征该神经网络模型识别词序信息的性能。其中，该位置预测准确度越高表征该神经网络模型识别词序信息的性能也越高。
可以理解的是，对于每条已调序语句，通过对比该调序词的初始位置、调整后位置、预测出的初始位置(即，第一预测位置)以及预测出的第二预测位置，可以分析出该位置预测模型对于该条已调序语句中该调序词的初始位置以及调整后位置的预测是否准确，从而得到一个预测结果。相应的，结合该多条已调序语句各自对应的预测结果，可以得到该位置预测模型得到的预测准确度。
其中，由于位置预测模型是预先训练好的，已固定的预测模型，因此，对于任意一个神经网络模型而言，该神经网络模型对于词序识别的能力越强，该神经网络模型所确定出的已调序语句的语句向量所表现出的词序信息也就越贴近该已调序语句对应的真实的词序信息，因此，通过该位置预测模型对该语句向量进行位置预测所得到的位置预测准确度也就相对越高。由此可见，通过该预测准确度可以反映出该神经网络模型捕获词序信息的能力。
可以理解的是，在实际应用中，分析神经网络模型捕获词序信息的能力一般是需要对比两个或者多个神经网络对于词序信息捕获能力的高低，因此，本申请待测试的神经网络模型可以为有个，而针对每个待测试的神经网络模型均可以执行步骤S202到S204的操作，从而得到每个神经网络模型对应的位置预测准确度。
相应的，由于该位置预测模型是固定的，在需要分析多个神经网络模型捕获词序信息的能力的情况下，通过该同一个位置预测模型对多个不同神经网络模型各自转换出的语句向量进行预测，那么该位置预测模型预测出的调序词的初始位置以及调整后位置的相对准确性仅仅与不同神经网络模型所转换出的语句向量有关。可见，神经网络模型识别出词序信息的能力越强，神经网络模型所转换出的语句向量所表征的词序信息的准确度越高，而最终通过该位置预测模型预测出的位置信息也相对越准确，从而可以基于该位置预测模型对多个不同神经网络模型各自转换出的语句向量进行预测分析，分析出多个神经网络模型之间相对的词序信息捕获能力。
由以上可知，在本申请实施例中在获得已存在词序调整的已调序语句之后，利用待测试的神经网络模型转换出该已调序语句的语句向量，由于该语句向量可以表征的出该已调序语句中各个词之间位置关系以及词之间语义等与词序有关的信息，因此，如果神经网络模型对于语句中词序信息的捕获能力越强，神经网络模型转换出的语句向量所能反映出的词序信息也会越接近实际情况。在此基础上，在训练出的位置预测模型固定的情况下，神经网络模型对词序信息的捕获能力越强，该位置预测模型基于该神经网络模型转换出该语句向量预测出的该已调序语句中调序词的初始位置和调整后位置与实际情况越贴近，使得基于该语句向量所得到的位置预测准确度也越高，因此，通过本申请的方案分析出的位置预测准确度可以准确、有效的反映出神经网络模型识别词序信息的性能的高低。
可以理解的是，本申请实施例中，该位置预测模型基于该已调序语句的语句向量预测调序词的初始位置和调整后位置所需的函数关系有多种可能情况，为了便于理解，下面以位置预测模型的一种可能情况对本申请的词序识别性能的分析方法进行介绍。
如图3所示，其示出了本申请一种词序识别性能的分析方法的又一种流程示意图，本实施例的方法可以包括：
S301，获取用于测试的至少一条初始语句。
该初始语句为由多个词组成的序列。
S302，针对每条初始语句，从该初始语句中确定待调整位置的调序词，确定该调序词在该初始语句中的初始位置，并调整该调序词在该初始语句中的位置，得到调整后的已调序语句以及该调序词在该已调序语句中的调整后位置。
以上步骤S301和S302是以获得已调序语句以及已调序语句中调序词的初始位置和调整后位置的一种实现方式为例说明，但是对于其它方式也同样适用于本实施例。
S303，利用待测试的神经网络模型确定该已调序语句对应的语句向量。
如，假设已调序语句可以表示为x＝{x1,x2……xN}，N表示已调序语句中词的个数。相应的，转换出的语句向量可以表示为H＝{h1,h2……hN}。
该步骤S303可以参见前面实施例的相关介绍，在此不再赘述。
S304，针对每条已调序语句，利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定该已调序语句的语句向量对应的第一概率分布。
其中，依据该第一函数关系对该已调序语句的语句向量进行函数处理，所预测得到的调整后位置的概率分布就是该第一概率分布。可见，该第一概率分布用于表征该已调序语句中各个词所处的位置分别属于该调整后位置的概率分布。
举例说明，假设已调序语句为“Bush a talk hold with sharon”，该已调序语句中有6个词，这6个词分别对应了6个位置，如，从左到右第一个词对应第一个位置，第二个词对应了第二个位置，依此类推。相应的，第一概率分布可以包括：第一个位置属于调序词所在的调整后位置的概率，第二个位置属于调序词所在的调整后位置的概率，第三个位置属于该调整后位置的概率，……以及，第6个位置属于调整后位置的概率。假设，从左到右各个词所在位置属于该调整后位置的概率依次为0.1，0.2，0.2，0.5，0，0，则该第一概率分布可以表示为{0.1，0.2，0.2，0.5，0，0}。
其中，该第一函数关系同样可以有多种可能。
可选的，该第一函数关系可以为线性函数，因此，基于该第一函数关系可以将该已调序语句的语句向量进行线性映射可以得到该第一概率分布。
如，在一种可能的情况中，该第一概率分布PI可以通过如下公式一中的线性函数得到：
其中，H为已调序语句的语句向量，UI为训练该位置预测模型的过程中确定出的第一参数矩阵，WI为训练位置预测模型的过程中确定出的第二参数矩阵；softmax为归一化函数。
其中，UI和WI均为位置预测模型中可训练的参数矩阵，为了便于区分，分别将二者称为第一参数矩阵和第二参数矩阵。可以理解的是，在训练该位置预测模型的过程中，这两个参数矩阵内的元素值可能会不断改变，而在该位置预测模型训练完成后，这两个参数矩阵便是固定不变的参数矩阵。
其中，UI和WI的维度均可以与H的维度相同。
可以理解的是，公式一中归一化的目的，仅仅是为了便于比较第一概率分布中各个概率的大小，在实际应用中，也可以不执行归一化，而仅仅保留公式一中括号内的部分。当然，公式一仅仅是第一函数关系为线性函数的一种情况，在实际应用中还可以有其他可能。
需要说明的是，在本实施例中，针对每条已调序语句均需要执行步骤S304到S308的操作，以通过该位置预测模型分别预测出每条已调序语句对应的预测出的初始位置和预测出的调整后位置。
S305，基于该第一概率分布，将该已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。
如，第一预测位置I可以表示为：
I＝arg max(PI)(公式二)；
如仍以上面已调序语句为“Bush a talk hold with sharon”的例子说明，第一概率分布为{0.1，0.2，0.2，0.5，0，0}，则说明第四个词对应的第四个位置属于调整后位置的概率最大，则从左到右的第四个位置为预测出的调整后位置，即第一预测位置。
S306，利用该位置预测模型中第一概率分布、已调序语句的语句向量与调序词向量之间的转换函数，确定出该调序词的预测向量。
其中，位置预测模型利用已经得到的第一概率分布和输入的已调序语句的语句向量，并按照该转换函数进行运算，便可以得到预估的调序词的向量，即该预测向量。
可见，在已知该已调序语句的语句向量以及预测出的调整后位置对应的第一概率分布的情况下，利用该转换函数可以预估出该已调序语句中调序词的向量表示。通过预测出的调序词的预测向量可以表征预测出的该已调序语句中属于调序词的词。
其中，该转换函数的形式也可能有多种。
可选的，该转换函数可以为线性函数。如，调序词的预测向量E可以表示为如下公式三：
E＝PI(WQH) (公式三)；
其中，PI表示第一概率分布；H为已调序语句的语句向量；WQ为训练位置预测模型的过程中确定出的第三参数矩阵，该第三参数矩阵同样为位置预测模型中可训练的参数矩阵。该WQ的维度可以与H的维度相同。
S307，利用该位置预测模型中已调序语句的语句向量以及调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布。
基于该第二函数关系、该已调序语句的语句向量以及预测出的该调序词的预测向量进行计算，便可以得到预测出的该初始位置的概率分布，即该第二概率分布。可见，该第二概率分布用于表征已调序语句中各个词所处的位置属于初始位置的概率分布。
与前面实施例相似，该第二函数关系可以有多种可能。
可选的，该第二函数关系可以为基于点积注意力机制的函数。如，第二概率分布Po，可以通过如下公式四计算得到：
其中，Wk为训练位置预测模型的过程中确定出的第四参数矩阵，即Wk为该位置预测模型中又一个可训练的参数矩阵，其维度也可以与H的维度相同。d为H具有的维数；softmax为归一化函数。
可以理解的是，本申请在得到关于调序词的调整后位置的第一概率分布之后，基于该第一概率分布以及该已调序语句的语句向量先预测出调序词的预测向量，然后再结合该调序词的预测向量以及已调序语句的语句向量来综合确定调序词的初始位置的第二概率分布，从而有利于更为准确的预估出初始位置的概率分布。
但是可以理解的是，步骤S305和S306仅仅是得到该第二概率分布的一种可能情况，在实际应用中，该第二概率分布也可以不在第一概率分布的基础上预测，如，位置预测模型中预测该第二概率分布的第二函数关系可以为该已调序语句的语句向量与该初始位置的概率分布之间的函数关系，例如，该函数关系可以为如公式一所示的线性函数关系，只不过函数中参数矩阵可能会与公式一中的参数矩阵有所差别。
当然，确定该第二概率分布的方式可以有其他可能，在此不加限制。
S308，基于该第二概率分布，将该已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。
如，与第一预测位置相似，该第二预测位置O可以表示为：
O＝arg max(Po) (公式五)；
如，仍假设已调序语句为“Bush a talk hold with sharon”，第二概率分布为{0.1，0.4，0.3，0.2，0，0}，则说明从左到右的第二个词对应的第二个位置属于调整后位置的概率最大，因此，从左到右的第二个位置为预测出的调序词的初始位置，即第二预测位置。
S309，依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度。
其中，该位置预测准确度用于表征该神经网络模型识别词序信息的性能。其中，该位置预测准确度越高表征该神经网络模型识别词序信息的性能也越高。
该步骤S309可以参见前面实施例的相关介绍，在此不再赘述。
可以理解的是，在需要对比不同神经网络模型对于词序信息的捕获能力时，可以先确定待测试的多个神经网络模型，针对每个神经网络模型，均分别执行该步骤S303以及后续的S303-S309，从而得到每个神经网络模型各自对应的位置预测准确度。其中，神经网络预测模型对应的位置预测准确度越高，则说明该神经网络模型相对其他神经网络模型捕获词序信息的能力越强。
为了进一步理解图3实施例中步骤S304到S307中，该位置预测模型对于已调序语句的语句向量的处理过程，下面结合位置预测模型的一种处理结构进行说明。
如图4，其示出了本申请位置预测模型的一种处理架构示意图。
由图4可以看出，将已调序语句的语句向量H输入到位置预测模型之后，会先对该语句向量进行线性映射。如，为了得到第一概率分布PI，会先利用第二参数矩阵WI与H进行相乘，即公式一中的“WIH”，然后相乘后的结果会经过双曲函数映射处理，计算tanh(WIH)，并将该tanh(WIH)与第一参数矩阵UI的转置相乘，得到最后，对归一化就可以得到第一概率分布PI。
相应的，H经过公式三中的另一种线性映射，可以得到WQH，而该WQH与第一概率分布PI相乘，实际上就是公式三的具体形式，从而可以得到调序词的预测向量E＝PI(WQH)。
类似的，H经过公式四中的线性映射，即WkH之后，利用该WkH与该调序词的预测向量E进行运算：最后归一化，实际上就是完成了公式四的运算，从而得到了第二概率分布Po。
为了便于理解本申请实施例的方案，下面结合一个应用实例进行介绍。
如参见图5，其示出了本申请一种次序识别性能的分析方法的实现逻辑架构图。
由图5可以看出初始语句为“Bush hold a talk with sharon”，而将“hold”的位置从第二个位置调整到第四个位置之后，得到已调序语句“Bush a talk hold withsharon”。
该已调序语句被输入到神经网络模型中进行编码，得到该已调序语句的语句向量。然后，该语句向量会被输入到位置预测模型中。
通过该位置预测模型基于该语句向量以及该位置预测模型中预测调序词的初始位置的函数以及预测调序词的调整后位置的函数，可以得到预测出调序词的调整后位置的第一概率分布PI以及调序词的初始位置的第二概率分布Po，如图5所示第一概率分布PI＝{0.1，0.2，0.2，0.5，0.0，0.0}，第二概率分布Po＝{0.1，0.4，0.3，0.2，0.0，0.0}。
在得到该第一概率分布，位置预测模型可以确定该第一概率分布中对应的概率最大的位置，从而得到预测出的调序词的调整后位置I。如图5所示，第一概率分布中概率最大的为0.5，即从左到右的6个词位置中，第四个词位置，因此，预测出的调整后位置I为已调序语句(或者说初始语句)中6个词对应的6个词位置中的第四个位置I。
相应的，位置预测模型基于第二概率分布中概率最大的位置，可以得到预测出的调序词的初始位置O。如图5所示，第二概率分布Po中最大的概率值为0.4，且该最大的概率0.4对应的是第二个位置，因此该位置预测模型会在最终的输出结果：会在第二个位置标示出为预测出的初始位置O。相应的，输出结果中6个词的词位置中除了初始位置O和调整后位置I之后的其他位置均标示为T。
对比初始语句以及已调序语句中调序词“hold”的位置可知，该位置预测模型对于图5中输入的已调序语句可以准确预测出初始位置和调整后位置。
图5是以英文的初始语句以及已调整语句为例，在实际应用中，对于中文形式的语句也同样适用，例如，假设初始语句为“我喜欢和朋友一起逛商场”，这个初始语句中包含了6个词，分别为“我”、“喜欢”、“和”、“朋友”、“一起”以及“逛商场”，这6个词之间通过空格区分。假如将“喜欢”从第二个位置移动到第四个位置，则调序词为“喜欢”，且得到的已调序后语句“我和朋友喜欢一起逛商场”。而对于该已调序语句的处理与前面的过程相似，在此不再赘述。
可以理解的是，在本申请实施例中，训练出该位置预测模型的方式有两种：
一种方式可以为：合作训练，即位置预测模型和神经网络模型为利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本同步训练得到。在该种合作训练策略中，会利用该多个已标注的已调序语句样本同时训练该位置预测模型和神经网络模型，直至位置预测模型的预测准确度符合要求为止。
如，以位置预测模型预测出第一概率分布PI以及第二概率分布Po的情况为例，合作训练的训练目标为最小化预测出的调整后位置和初始位置与实际的调整后位置和初始位置之间的交叉熵。其中，交叉熵L可以通过如下公式六得到：
其中，QI表示调序词实际的调整后位置的索引，QO为调序词实际的初始位置的索引，QI和QO均为独热(one-hot)向量。
为了便于理解以上的合作训练，下面以一种训练过程为例进行介绍。如图6，其示出了本申请一种训练神经网络模型和位置预测模型的一种训练流程示意图，本实施例可以包括：
S601，获取已标注有调序词的实际初始位置和实际调整后位置的多个已调序语句样本。
为了便于区分，将训练过程中所采用的已调序语句称为已调序语句样本，该已调序语句样本的具体形式以及得到该已调序语句样本的过程均可以参见前面已调序语句的相关介绍。
S602，针对每个已调序语句样本，利用待训练的神经网络模型确定已调序语句样本的语句向量。
如，待测试的神经网络模型为RNN模型，则此处可以待训练的是RNN模型；如果待测试的神经网络模型为SAN模型，则此处待训练的为SAN模型。
S603，针对每个已调序语句样本，将该已调序语句样本输入到待训练的位置预测模型中，得到该位置预测模型输出的该已调序语句中调序词对应的预测出的初始位置以及预测出的调整后位置。
其中，该位置预测模型中所包含的函数关系可以参见前面实施例的相关介绍，在此不再赘述。
S604，依据该多条已调序语句对应的实际初始位置、实际调整后位置、预测出的初始位置以及预测出的调整后位置，得到位置预测准确度。
S605，检测该位置预测准确度是否符合要求，如果是，则训练完成；如果否，则调整该神经网络模型以及该位置预测模型中的参数，并返回该步骤S602。
其中，该预测准确度是否符合要求可以结合前面公式六进行设定，也可以是设置该预测准确度是否大于设定阈值等，本申请对此不加限制。
可以理解的是，如果该预测准确度不符合要求，则说明模型训练不成功，而需要调整参数后继续训练。其中，位置预测模型中的参数可以为该位置预测模型中可训练的参数的参数值，如前面可训练的各个参数矩阵中的参数等。
当然，图6仅仅是以一种训练过程为例进行简单说明，在实际训练过程中，训练的复杂度可能会更高，对此本申请不加限制。
在实际应用中，在仅仅关心神经网络对于词序的捕获能力，而不关心是在处理哪种具体任务的情况下对于词序的捕获能力，则可以通过以上合作训练方式训练神经网络模型和位置预测模型。然后，再利用训练得到的神经网络模型和位置预测模型，并利用本申请方案来测试神经网络捕获词序信息的能力。
在又一种可能的情况中，训练模型的方式可以为可以采用预训练策略，即，在训练出待测试的神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练位置预测模型。
其中，在训练位置预测模型之前，训练该神经网络模型时，可以基于神经网络模型所需应用到的具体处理任务，来进行相应的训练。如需要测试神经网络模型在机器翻译过程中对于词序信息的捕获能力，则可以训练神经网络模型直至适合机器翻译为止。例如，利用待翻译的语句样本以及该语句样本对应的正确翻译结果来训练神经网络模型。
在训练得到神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练位置预测模型的过程与前面一种情况相似，只不过在训练过程中不需要调整神经网络模型的内部参数。
为了便于理解本申请方案的好处，下面结合一个测试实例进行说明，本申请以对RNN和SAN这两种神经网络的测试为例说明，同时分别在采用两种训练方式的前提下，利用本申请的方案测试这两种神经网络模型对于词序的捕获能力。
如，参见如下表，其为两种不同训练方式下，测试得到的位置预测准确度的对比结果。
表1
由表1可以看出，表1中第二列为采用合作训练方式所得到的预测准确率。即，采用合作训练方式训练RNN模型和位置预测模型之后，利用本申请的方案测试出的该RNN对应的位置预测准确度为68.2％。在采用合作训练的方式训练了SAN模型和位置预测模型之后，利用本申请的方案测试出该SAN对应的位置预测准确度为60.1％。由此可见，在单纯词序信息捕获能力上，SAN确实弱于RNN。
在以机器翻译作为任务的前提下，先分别训练RNN和SAN模型。然后，基于已训练的RNN训练位置预测模型，并利用本申请的方案测试出该RNN模型对应的位置预测准确度为33.9％；相应的，基于已训练的SAN训练位置预测模型，并利用本申请的方案测试出该RNN模型对应的位置预测准确度为41.6％。由此可见，在机器翻译过程中，SAN在词序敏感性上并不弱于RNN。这是由于机器翻译任务并不像期待的那样需要大量词序信息，使得SAN模型的表现并不弱于另外两种模型。
对应本申请的一种词序识别性能的分析方法，本申请还提供了一种词序识别性能的分析装置。
如图7，其示出了本申请一种词序识别性能的分析装置的一种组成结构示意图，本实施例的装置可以应用于计算机设备，该装置可以包括：
语句获取单元701，用于获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
语句处理单元702，用于利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
位置预测单元703，用于针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
性能分析单元704，用于依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
在一种可能的实现方式中，所述位置预测单元，包括：
第一预测单元，用于利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；
第二预测单元，用于利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。
在又一种可能的实现方式中，所述第一预测单元，包括：
第一分布预测单元，用于利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；
第一位置确定单元，用于基于所述第一概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。
在又一种可能的实现方式中，所述第二预测单元，包括：
词向量预测单元，用于利用所述位置预测模型中所述第一概率分布以及已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量；
第二分布预测单元，用于利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，所述第二概率分布用于表征所述已调序语句中各个词所处的位置属于所述初始位置的概率分布；
第二位置确定单元，用于基于所述第二概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。
可选的，所述第一分布预测单元，具体用于基于训练出的位置预测模型中的如下第一函数关系，确定出所述已调序语句的语句向量对应的第一概率分布PI：
其中，H为所述已调序语句的语句向量，UI为训练所述位置预测模型的过程中确定出的第一参数矩阵，WI为训练所述位置预测模型的过程中确定出的第二参数矩阵；softmax为归一化函数。
可选的，所述第二分布预测单元，具体用于通过所述位置预测模型中的如下转换函数，确定所述调序词的预测向量E：
E＝PI(WQH)；
其中，PI表示所述第一概率分布；H为所述已调序语句的语句向量；WQ为训练所述位置预测模型的过程中确定出的第三参数矩阵；
所述利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，包括：
通过所述位置预测模型中如下第二函数关系，确定第二概率分布Po：
其中，Wk为训练所述位置预测模型的过程中确定出的第四参数矩阵；d为H具有的维数；softmax为归一化函数。
可选的，所述位置预测模型为在训练出所述待测试的神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练得到；
或者，所述位置预测模型和所述神经网络模型为利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本同步训练得到。
另一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任意一个实施例中的词序识别性能的分析方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种词序识别性能的分析方法，其特征在于，包括：
获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
2.根据权利要求1所述的词序识别性能的分析方法，其特征在于，所述依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，包括：
利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；
利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。
3.根据权利要求2所述的词序识别性能的分析方法，其特征在于，所述利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置，包括：
利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；
基于所述第一概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。
4.根据权利要求3所述的词序识别性能的分析方法，其特征在于，所述利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置，包括：
利用所述位置预测模型中所述第一概率分布以及所述已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量；
利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，所述第二概率分布用于表征所述已调序语句中各个词所处的位置属于所述初始位置的概率分布；
基于所述第二概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。
5.根据权利要求3所述词序识别性能的分析方法，其特征在于，所述利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，包括：
基于训练出的位置预测模型中的如下第一函数关系，确定出所述已调序语句的语句向量对应的第一概率分布PI：
其中，H为所述已调序语句的语句向量，UI为训练所述位置预测模型的过程中确定出的第一参数矩阵，WI为训练所述位置预测模型的过程中确定出的第二参数矩阵；softmax为归一化函数。
6.根据权利要求4所述的词序识别性能的分析方法，其特征在于，所述利用所述位置预测模型中所述第一概率分布以及所述已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量，包括：
通过所述位置预测模型中的如下转换函数，确定所述调序词的预测向量E：
E＝PI(WQH)；
其中，PI表示所述第一概率分布；H为所述已调序语句的语句向量；WQ为训练所述位置预测模型的过程中确定出的第三参数矩阵；
所述利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，包括：
通过所述位置预测模型中如下第二函数关系，确定第二概率分布Po：
其中，Wk为训练所述位置预测模型的过程中确定出的第四参数矩阵；d为H具有的维数；softmax为归一化函数。
7.根据权利要求1所述的词序识别性能的分析方法，其特征在于，所述位置预测模型为在训练出所述待测试的神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练得到；
或者，所述位置预测模型和所述神经网络模型为利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本同步训练得到。
8.一种词序识别性能的分析装置，其特征在于，包括：
语句获取单元，用于获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
语句处理单元，用于利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
位置预测单元，用于针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
性能分析单元，用于依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
9.一种计算机设备，其特征在于，包括：
处理器和存储器；
所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器用于存储所述程序，所述程序至少用于：
获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；
利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；
针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；
依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述的词序识别性能的分析方法。
CN201910615313.0A 2019-07-09 2019-07-09 词序识别性能的分析方法、装置、设备及存储介质 Active CN110334353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910615313.0A CN110334353B (zh) 2019-07-09 2019-07-09 词序识别性能的分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910615313.0A CN110334353B (zh) 2019-07-09 2019-07-09 词序识别性能的分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110334353A true CN110334353A (zh) 2019-10-15
CN110334353B CN110334353B (zh) 2024-02-20

Family

ID=68144445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910615313.0A Active CN110334353B (zh) 2019-07-09 2019-07-09 词序识别性能的分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110334353B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070629A (zh) * 2023-04-06 2023-05-05 北京蜜度信息技术有限公司 中文文本词序校对方法、系统、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116575A (zh) * 2011-11-16 2013-05-22 富士通株式会社 基于层次短语模型的译文词序概率确定方法及装置
CN105677642A (zh) * 2015-12-31 2016-06-15 成都数联铭品科技有限公司 一种机器翻译语序调整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116575A (zh) * 2011-11-16 2013-05-22 富士通株式会社 基于层次短语模型的译文词序概率确定方法及装置
CN105677642A (zh) * 2015-12-31 2016-06-15 成都数联铭品科技有限公司 一种机器翻译语序调整方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070629A (zh) * 2023-04-06 2023-05-05 北京蜜度信息技术有限公司 中文文本词序校对方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
CN110334353B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112508334B (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN110309514A (zh) 一种语义识别方法及装置
CN109117480A (zh) 词预测方法、装置、计算机设备及存储介质
CN112699283B (zh) 试卷生成方法及装置
CN111460101B (zh) 知识点类型的识别方法、装置及处理器
CN111694937A (zh) 基于人工智能的面试方法、装置、计算机设备及存储介质
CN111666376B (zh) 一种基于段落边界扫描预测与词移距离聚类匹配的答案生成方法及装置
CN109783704A (zh) 人机混合的应答方法、系统、装置
CN113887930B (zh) 问答机器人健康度评估方法、装置、设备及存储介质
CN109472030A (zh) 一种系统回复质量的评价方法及装置
Mrhar et al. A Bayesian CNN-LSTM model for sentiment analysis in massive open online courses MOOCs
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
Shan et al. [Retracted] Research on Classroom Online Teaching Model of “Learning” Wisdom Music on Wireless Network under the Background of Artificial Intelligence
CN115391520A (zh) 一种文本情感分类方法、系统、装置及计算机介质
CN117390141B (zh) 一种农业社会化服务质量用户评价数据分析方法
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN112015760B (zh) 基于候选答案集重排序的自动问答方法、装置和存储介质
CN113821612A (zh) 信息查找方法以及装置
CN110334353A (zh) 词序识别性能的分析方法、装置、设备及存储介质
CN112052663A (zh) 客服语句质检方法及相关设备
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质
CN112231373B (zh) 知识点数据的处理方法、装置、设备和计算机可读介质
CN117332090B (zh) 一种敏感信息识别方法、装置、设备和存储介质
Lottridge et al. Explaining crisis alerts from humans and automated scoring engines using annotations
CN110598578B (zh) 身份识别方法、身份识别系统的训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant