CN114329148A - 内容信息识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种内容信息识别方法、装置、计算机设备和存储介质。方法包括：获取对目标内容进行特征提取得到的内容特征向量序列，获取分别对各个任务描述信息进行特征提取所得到的信息特征向量序列，将内容特征向量序列以及各个信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；基于当前识别特征向量序列得到当前时刻各个任务描述信息分别对应的当前注意力权重序列；屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重进行注意力处理，得到注意力特征向量；基于注意力特征向量得到当前识别字符。本申请可以采用机器学习模型进行字符识别，采用本方法能够提高信息识别的效率。

Description

内容信息识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种内容信息识别方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，网络中的文本信息量逐渐增长，成为了人们获取信息的重要来源，例如，可以利用搜索引擎从网络中的文本信息中检索出所需要的信息。

目前，可以采用机器学习模型实现从文本信息中识别出所需要的信息的目的，然而目前的识别信息的方法耗时较长，导致识别信息的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高识别信息的效率的内容信息识别方法、装置、计算机设备和存储介质。

一种内容信息识别方法，所述方法包括：获取待进行信息识别的目标内容，获取所述目标内容对应的多个信息识别任务分别对应的任务描述信息；获取对所述目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个所述任务描述信息进行特征提取所得到的信息特征向量序列，将所述内容特征向量序列以及各个所述信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；基于所述当前识别特征向量序列得到当前时刻各个所述任务描述信息分别对应的当前注意力权重序列；对于每个所述任务描述信息，屏蔽所述当前注意力权重序列中目标位置外的当前注意力权重，基于所述目标位置对应的当前注意力权重以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量；所述目标位置包括：所述当前识别特征向量序列中对应的所述任务描述信息的特征向量排列位置，以及所述当前识别特征向量序列中所述目标内容对应的特征向量排列位置；基于所述注意力特征向量得到所述任务描述信息在当前时刻的当前识别字符，基于所述任务描述信息在各个时刻的识别字符得到所述任务描述信息对应的信息识别结果。

一种内容信息识别装置，所述装置包括：任务描述信息获取模块，用于获取待进行信息识别的目标内容，获取所述目标内容对应的多个信息识别任务分别对应的任务描述信息；当前识别特征向量序列得到模块，用于获取对所述目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个所述任务描述信息进行特征提取所得到的信息特征向量序列，将所述内容特征向量序列以及各个所述信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；当前注意力权重序列得到模块，用于基于所述当前识别特征向量序列得到当前时刻各个所述任务描述信息分别对应的当前注意力权重序列；注意力特征向量得到模块，用于对于每个所述任务描述信息，屏蔽所述当前注意力权重序列中目标位置外的当前注意力权重，基于所述目标位置对应的当前注意力权重以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量；所述目标位置包括：所述当前识别特征向量序列中对应的所述任务描述信息的特征向量排列位置，以及所述当前识别特征向量序列中所述目标内容对应的特征向量排列位置；信息识别结果得到模块，用于基于所述注意力特征向量得到所述任务描述信息在当前时刻的当前识别字符，基于所述任务描述信息在各个时刻的识别字符得到所述任务描述信息对应的信息识别结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述内容信息识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述内容信息识别方法的步骤。

一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述内容信息识别方法的步骤。

上述内容信息识别方法、装置、计算机设备和存储介质，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，因此当前时刻得到了各个任务描述信息分别对应的注意力特征向量，而基于所述注意力特征向量得到所述任务描述信息在当前时刻的当前识别字符，则当前时刻得到了多个任务描述信息分别对应的识别字符，即通过一个当前识别特征向量序列可以得到多个任务描述信息在当前时刻的多个识别字符，提高了信息识别的效率。另外，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，由于目标位置包括当前识别特征向量序列中对应的任务描述信息的特征向量排列位置，以及当前识别特征向量序列中目标内容对应的特征向量排列位置，从而进行注意力处理时考虑了与任务描述信息相关的信息而忽略了与任务描述信息无关的信息，提高了注意力处理的准确度，从而提高了信息识别的准确度。

附图说明

图1为一些实施例中内容信息识别方法的应用环境图；

图2为一些实施例中内容信息识别方法的流程示意图；

图3为一些实施例中内容识别界面的示意图；

图4为一些实施例中内容信息识别模型的架构图；

图5为一些实施例中Transformer block的结构图；

图6为一些实施例中目标权重屏蔽矩阵的示意图；

图7为一些实施例中目标权重屏蔽矩阵的示意图；

图8为一些实施例中识别特征向量序列的示意图；

图9为一些实施例中识别特征向量序列的示意图；

图10为一些实施例中内容信息识别方法的原理图；

图11为一些实施例中识别特征向量序列的示意图；

图12为一些实施例中内容信息识别方法的流程示意图；

图13为一些实施例中内容信息识别装置的结构框图；

图14为一些实施例中计算机设备的内部结构图；

图15为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：

本申请提供的内容信息识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。

具体地，服务器104可以获取待进行信息识别的目标内容，目标内容可以是服务器104中存储的，也可以是终端102发送至服务器104的，服务器104可以获取目标内容对应的多个信息识别任务分别对应的任务描述信息，任务描述信息可以是服务器104中存储的，也可以是终端102发送至服务器104的，例如终端102可以向服务器104发送内容识别请求，内容识别请求中可以携带目标内容以及任务描述信息。服务器104可以获取对目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个任务描述信息进行特征提取所得到的信息特征向量序列，将内容特征向量序列以及各个信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列，基于当前识别特征向量序列得到当前时刻各个任务描述信息分别对应的当前注意力权重序列，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，目标位置包括：当前识别特征向量序列中对应的任务描述信息的特征向量排列位置，以及当前识别特征向量序列中目标内容对应的特征向量排列位置，基于注意力特征向量得到任务描述信息在当前时刻的当前识别字符，基于任务描述信息在各个时刻的识别字符得到任务描述信息对应的信息识别结果。服务器104可以将各个任务描述信息分别对应的信息识别结果发送至终端102，终端102可以对应展示任务描述信息以及信息识别结果。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

可以理解，上述应用场景仅是一种示例，并不构成对本申请实施例提供的内容信息识别方法的限定，本申请实施例提供的方法还可以应用在其他应用场景中，例如本申请提供的内容信息识别方法可以是由终端102执行的，终端102可以将得到的信息识别结果上传至服务器104，服务器104可以存储信息识别结果，也可以将信息识别结果转发至其他终端设备。

在一些实施例中，如图2所示，提供了一种内容信息识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

S202，获取待进行信息识别的目标内容，获取目标内容对应的多个信息识别任务分别对应的任务描述信息。

其中，内容可以是任意形式的数据，可以包括文字、视频、音频或图像中的至少一种，目标内容可以是任意一种内容，例如可以是文字类型的内容。目标内容中可以包括多个字符，每个字符代表基本语言单位，对于汉语，一个字符可以对应一个汉字，对于英语，一个字符可以对应一个英文单词，目标内容可以是中文文章、英文文章或混合文章中的任意一种，混合文章是指包括至少两种语言的文章，例如，当目标内容为一篇包括100个汉字的中文文章时，则目标内容中包括100个字符。

信息识别任务是指识别信息的任务，不同的信息识别任务指示识别不同的信息，信息识别任务可以包括识别地点信息的任务、识别时间信息的任务、识别姓名的任务、识别身份证的任务或识别票据单号的任务等中的至少一个。

任务描述信息是指信息识别任务对应的描述信息，任务描述信息是具有语义的信息，用于反映信息识别任务对应的目的信息，目标信息是指信息识别任务所指示识别出的信息，信息识别任务对应的目的信息是从目标内容中识别出的。任务描述信息中可以包括与目的信息有关的信息，例如可以包括与目的信息有关的姓名、地点或信息类型中的指示一个。例如，当信息识别任务的目的信息为“小明的年龄”时，则任务描述信息可以为“小明今年几岁了？”，“小明今年几岁了？”中包括了与目的信息为“小明的年龄”有关的信息即“小明”、“几岁”以及“今年”，当目标内容为票据信息，信息识别任务是识别出身份证号码的任务时，任务描述信息可以为“身份证”或“证件”。目标内容可以对应有多个信息识别任务，一个信息识别任务对应一个任务描述信息。目标内容以及任务描述信息可以是服务器中预先存储的，也可以是终端发送至服务器的。

具体地，终端可以向服务器发送内容识别请求，内容识别请求可以携带目标内容以及任务描述信息，服务器可以响应于内容识别请求，从内容识别请求中提取出目标内容以及任务描述信息，基于任务描述信息从目标内容中识别出对应的目的信息，服务器可以将识别出的目的信息返回至终端，终端可以对应展示任务描述信息以及对应的目的信息。

在一些实施例中，终端可以展示内容识别界面，内容识别界面中可以包括内容输入区域以及描述信息填充区域，终端可以将通过内容输入区域输入的内容作为目标内容，将通过描述信息填充区域输入的信息作为任务描述信息，当终端接收到内容识别触发操作时，基于目标内容以及任务描述信息生成内容识别请求，向服务器发送内容识别请求，服务器可以响应于内容识别请求，从目标内容中识别出各个任务描述信息分别对应的目的信息，将目的信息返回终端，终端可以在识别结果界面中对应展示任务描述信息以及对应的目的信息。如图3所示，展示了一个内容识别界面300，内容输入区域302中上传了《小明自传》，描述信息填充区域304中填充了多个任务描述信息，分别是“小明出生地”、“小明出生年份”以及“小明的爱好”，当终端接收到对“识别”控件306的触发操作时，向服务器发送内容识别请求，接收服务器响应于内容识别请求所返回的各个任务描述信息对应的目的信息，即任务描述信息“小明出生地”对应的目的信息“上海”、任务描述信息“小明出生年份”对应的目的信息“2002年”以及任务描述信息“小明的爱好”对应的目的信息“绘画”，并将目的信息与任务描述信息对应展示在识别结果界面308中，即将目的信息展示在对应的任务描述信息的下方，图3中只是一个示例，目标信息与任务描述信息之间的相对位置可以根据需要设置，不一定必须将目的信息展示在任务描述信息的下方。

S204，获取对目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个任务描述信息进行特征提取所得到的信息特征向量序列，将内容特征向量序列以及各个信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列。

其中，目标内容中包括多个字符，内容特征向量序列中包括目标内容中各个字符分别对应的内容特征向量，字符对应的内容特征向量是对字符进行特征提取所得到的特征向量，内容特征向量序列中的内容特征向量按照字符在目标内容中排序进行排列，字符在目标内容中的排序越靠前，则字符对应的内容特征向量在内容特征向量序列中的排序越靠前。

任务描述信息中包括至少一个字符，一个任务描述信息对应一个信息特征向量序列，信息特征向量序列中包括任务描述信息中各个字符分别对应的信息特征向量，字符对应的信息特征向量是对字符进行特征提取所得到的特征向量，信息特征向量序列中的信息特征向量按照字符在任务描述信息中的排序进行排列，字符在任务描述信息中的排序越靠前，则字符对应的信息特征向量在信息特征向量序列中的排序越靠前。

排列策略是指排列得到当前识别特征向量序列所依赖的策略，排列策略可以是预设或者根据需要设置的，排列策略中可以包括内容特征向量序列的排列位置、各个信息特征向量序列分别对应的排列位置。

当前时刻为当前所处的时刻。任务描述信息对应的目的信息中可以包括至少一个字符，目的信息中的字符可以是在不同时刻识别得到的，例如每个时刻可以识别出目的信息中的一个或者多个字符，然后将各个时刻识别出的字符排列得到目的信息，例如按照时刻将识别出的字符进行排列，得到目的信息，时刻越靠前，则字符在目的信息中的排序越靠前。以一个时刻识别得到目的信息中的一个字符为例，若任务描述信息为“小明出生地”，第一个时刻识别得到的字符为“上”，第二个时刻识别得到的字符为“海”，之后的时刻识别出的为“空格”，则目的信息为“上海”。当然，目的信息中的字符也可以是在同一时刻识别得到的，例如，目的信息仅包括2个字符，并且每个时刻识别得到目的信息中的2个字符，则目的信息中的字符是同一时刻识别得到的。

当前识别特征向量序列是指当前时刻对应的识别特征向量序列，当前识别特征向量序列中包括内容特征向量序列以及各个信息特征向量序列。各个时刻的识别特征向量序列中包括内容特征向量序列以及各个信息特征向量序列。不同时刻的识别特征向量序列可以是有所不同的，例如下一时刻的识别特征向量序列中可以包括当前时刻识别得到的字符的特征向量。

具体地，服务器可以对目标内容中的各个字符进行特征提取，得到各个字符分别对应的特征向量，按照字符在目标内容中的排序，对字符的特征向量进行排列，将排列得到的序列作为内容特征向量序列。服务器可以对任务描述信息中的各个字符进行特征提取，得到各个字符分别对应的特征向量，按照字符在任务描述信息中的排序，对字符的特征向量进行排列，将排列得到的序列作为信息特征向量序列。服务器可以按照排列策略，对内容特征向量序列以及各个信息特征向量序列进行排列，得到当前时刻对应的当前识别特征向量序列，例如可以将内容特征向量序列排列在各个信息特征向量序列之前，得到当前时刻对应的当前识别特征向量序列。

在一些实施例中，服务器可以按照排列策略，将内容特征向量序列以及信息特征向量序列进行排列，将排列得到的序列作为当前时刻对应的当前识别特征向量序列，基于当前识别特征向量序列进行信息识别，得到当前时刻识别出的字符，将当前时刻识别出的字符对应的特征向量加入到当前识别特征向量序列，得到下一时刻的识别特征向量序列，再利用下一时刻的识别特征向量序列进行信息识别，循环多次，可以得到各个时刻分别对应的识别字符。

在一些实施例中，服务器可以获取前一时刻中使用的识别特征向量序列，作为前向识别特征向量序列，服务器可以获取各个任务描述信息在前一时刻识别得到的前向识别字符对应的前向特征向量，将各个前向特征向量加入到前向识别特征向量序列中，得到当前时刻对应的当前识别特征向量序列，对于后一时刻中使用的识别特征向量序列，可以获取当前时刻识别得到的当前识别字符对应的当前特征向量，将各个当前特征向量加入到当前识别特征向量序列中，得到后一时刻对应的识别特征向量序列。各个时刻的识别特征向量序列是按照排列策略排列得到的。

S206，基于当前识别特征向量序列得到当前时刻各个任务描述信息分别对应的当前注意力权重序列。

其中，一个任务描述信息对应至少一个当前注意力权重序列，任务描述信息对应的当前注意力权重序列是指任务描述信息在当前时刻对应的注意力权重序列，任务描述信息对应的当前注意力权重序列中包括当前识别特征向量序列中各个特征向量分别针对该任务描述信息所产生的注意力权重，当前注意力权重序列中的注意力权重按照特征向量在当前识别特征向量序列中的排序进行排列，特征向量在当前识别特征向量序列中的排序越靠前，则特征向量产生的注意力权重在当前注意力权重序列中的排序越靠前。

特征向量产生的注意力权重越大，则表示特征向量对任务描述信息在当前时刻的识别结果的影响越大。特征向量产生的注意力权重越大小，则表示特征向量对任务描述信息在当前时刻的识别结果的影响越小。

具体地，当前识别特征向量序列中可以包括各个任务描述信息分别对应的至少一个的掩码特征向量，任务描述信息对应的当前注意力权重序列是指该任务描述信息的掩码特征向量对应的当前注意力权重序列，每个任务描述信息可以对应有至少一个的掩码特征向量，每个掩码特征向量对应一个当前注意力权重序列，从而任务描述信息对应的当前注意力权重序列的数量与当前识别特征向量序列中包括的该任务描述信息对应的掩码特征向量的数量相同。服务器可以基于掩码特征向量以及内容特征向量进行注意力权重计算，得到第一注意力权重，基于掩码特征向量以及信息特征向量进行注意力权重计算，得到第二注意力权重，每个内容特征向量对应有第一注意力权重，每个信息特征向量对应有第二注意力权重，服务器可以按照特征向量在当前识别特征向量序列中的排序，对各个第一注意力权重以及各个第二注意力权重进行排列，得到当前注意力权重序列。其中，特征向量可以是预设的或者根据需要设置的，不同的任务描述信息对应的掩码特征向量可以相同也可以不同。

在一些实施例中，服务器可以将掩码特征向量与内容特征向量进行向量乘积运算，将计算的结果作为第一注意力权重。服务器可以将掩码特征向量与信息特征向量进行注意力权重计算，将计算的结果作为第二注意力权重。

在一些实施例中，服务器可以获取第一线性变换矩阵，利用第一线性变换矩阵对当前识别特征向量序列中的各个识别特征向量进行线性变换，得到各个识别特征向量分别对应的第一变换特征向量，按照识别特征向量在当前识别特征向量序列中的排序，对各个识别特征向量的第一变化特征向量进行排列，得到当前识别特征向量序列对应的第一变化特征向量序列。服务器可以获取第二线性变换矩阵，利用第二线性变换矩阵对当前识别特征向量序列中的各个识别特征向量进行线性变换，得到各个识别特征向量分别对应的第二变换特征向量，按照识别特征向量在当前识别特征向量序列中的排序，对各个识别特征向量的第二变换特征向量进行排列，得到当前识别特征向量序列对应的第二变换特征向量序列。服务器可以从第一变换特征向量序列中获取掩码特征向量对应的第一变换特征向量，从第二变换特征向量序列中获取内容特征向量对应的第二变换特征向量，将掩码特征向量对应的第一变换特征向量与内容特征向量对应的第二变换特征向量进行向量乘积运算，将运算结果作为第一注意力权重。服务器可以从第一变换特征向量序列中获取掩码特征向量对应的第一变换特征向量，从第二变换特征向量序列中获取信息特征向量对应的第二变换特征向量，将掩码特征向量对应的第一变换特征向量与信息特征向量对应的第二变换特征向量进行向量乘积运算，将运算结果作为第二注意力权重。其中，第一线性变换矩阵以及第二线性变换矩阵可以是预设的或者根据需要设置的，例如第一线性变换矩阵可以是训练好的Transformer模型中的查询矩阵Q，第二线性变换矩阵为该训练好的Transformer模型中的键矩阵K。

在一些实施例中，当前识别特征向量序列中的各个识别特征向量分别对应有当前注意力权重序列，服务器可以将当前识别特征向量序列中的各个识别特征向量分别对应的第一变换特征向量作为第一矩阵中的行向量，并且按照识别特征向量在当前识别特征向量序列中的排序进行排列，即识别特征向量在当前识别特征向量序列中位置越靠前，则识别特征向量对应的第一变换特征向量在第一矩阵中的行排序越靠前。同样的，服务器可以将当前识别特征向量序列中的各个识别特征向量分别对应的第二变换特征向量作为第二矩阵中的列向量，并且按照识别特征向量在当前识别特征向量序列中的排序进行排列，即识别特征向量在当前识别特征向量序列中的位置越靠前，则识别特征向量对应的第二变换特征向量在第二矩阵中的列排序越靠前。服务器可以将第一矩阵与第二矩阵进行矩阵乘积运算，将矩阵乘积运算所得到的矩阵作为待屏蔽权重矩阵，服务器可以将待屏蔽权重矩阵中的各个行向量分别作为当前识别特征向量序列中各个识别特征向量的当前注意力权重序列。识别特征向量在当前识别特征向量序列中的排序越靠前，则识别特征向量对应的当前注意力权重序列在待屏蔽权重矩阵中的行排序越靠前。

举例说明，若当前识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10，k11,k12,k20,k21,mask00,mask10,mask20]，其中，“x1,x2,x3,x4”为内容特征向量序列，“k00,k01”为第一个任务描述信息对应的信息特征向量序列，“k10，k11,k12”为第二个任务描述信息对应的信息特征向量序列，“k20,k21”为第三个任务描述信息对应的信息特征向量序列，mask00为第一个任务描述信息对应的掩码特征向量，mask10为第二个任务描述信息对应的掩码特征向量，mask20为第三个任务描述信息对应的掩码特征向量，A矩阵表示第一矩阵，B矩阵表示第二矩阵，C矩阵表示待屏蔽矩阵，A矩阵的第一行为内容特征向量x1对应的第一变换特征向量，B矩阵的第一列为内容特征向量x1对应的第二变换特征向量，C矩阵中的第一行为内容特征向量x1对应的当前注意力权重序列，第一矩阵A的第11行为掩码特征向量mask00对应的第一变换特征向量，第二矩阵B的第11列为掩码特征向量mask00对应的第二变换特征向量，待屏蔽矩阵C的第11行为掩码特征向量mask00对应的当前注意力权重序列，即掩码特征向量mask00对应的任务描述信息所对应的当前注意力权重序列。需要说明的是，任务描述信息对应的当前注意力权重序列是指任务描述信息的掩码特征向量对应的当前注意力权重序列，并不是任务描述信息的信息特征向量对应的当前注意力权重序列，任务描述信息的信息特征向量对应的当前注意力权重序列例如为任务描述信息“k00,k01”中的信息特征向量k00对应的当前注意力权重序列。

S208，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量；目标位置包括：当前识别特征向量序列中对应的任务描述信息的特征向量排列位置，以及当前识别特征向量序列中目标内容对应的特征向量排列位置。

其中，目标位置是根据排列策略从当前注意力权重序列中确定的。特征向量排列位置是指识别特征向量在当前识别特征向量序列中的排列位置，任务描述信息的特征向量排列位置包括该任务描述信息对应的各个识别特征向量在当前识别特征向量序列中的排列位置。目标内容对应的特征向量排列位置包括各个内容特征向量在当前识别特征向量序列中的排列位置。例如，当前识别特征向量序列为[x1,x2,x3,k00,k01,k10,k11,k12,k20,k21,mask00,mask10,mask20]，对于第一个任务描述信息，第一个任务描述信息的掩码特征向量mask00对应的当前注意力权重序列为[wx1,wx2,wx3,wk00,wk01,wk10,wk11,wk12,wk20,wk21,wmask00,wmask10,wmask20]，由于当前注意力权重序列中包括当前识别特征向量序列中各个识别特征向量针对任务描述信息产生的注意力权重，并且产生的各个注意力权重按照识别特征向量在当前识别特征向量序列中的排序进行排列，故wx1表示x1针对第一个任务描述信息产生的注意力权重，wx2表示x2针对第一个任务描述信息产生的注意力权重，……，wmask20表示mask20针对第一个任务描述信息产生的注意力权重，由于内容特征向量排列在第1位到3位，第一个任务描述信息的特征向量排列在第4位到第5位，因此第一个任务描述信息的当前注意力权重序列中的目标位置包括第1位到第5位(包括第1位和第5位)。

具体地，服务器可以将任务描述信息的当前注意力权重序列中目标位置外的当前注意力权重进行屏蔽，将屏蔽后的当前注意力权重序列作为任务描述信息对应的屏蔽注意力权重序列。服务器可以利用屏蔽注意力权重序列中的各个注意力权重对当前识别特征向量序列中的各个识别特征向量进行加权计算，将加权计算得到的向量作为该任务描述信息对应的注意力特征向量。例如，服务器可以确定某个识别特征向量在当前识别特征向量序列中的排列位置，从屏蔽注意力权重序列中获取该排列位置处的注意力权重，作为该识别特征向量对应的加权权重，采用同样的方法，确定其他的识别特征向量分别对应的加权权重，利用各个识别特征向量分别对应的加权权重对各个识别特征向量进行加权计算，将计算出的向量作为该任务描述信息对应的注意力特征向量。

在一些实施例中，服务器可以获取第三线性变换矩阵，利用第三线性变换矩阵对当前识别特征向量序列中的各个识别特征向量进行线性变换，得到各个识别特征向量分别对应的第三变换特征向量，按照识别特征向量在当前识别特征向量序列中的排序，对各个识别特征向量的第三变换特征向量进行排列，得到当前识别特征向量序列对应的第三变换特征向量序列。服务器可以利用任务描述信息对应的屏蔽注意力权重序列中的各个注意力权重对第三变换特征向量序列中的各个第三变换特征向量进行加权计算，将加权计算得到的向量作为该任务描述信息对应的注意力特征向量。例如，服务器可以确定某个第三变换特征向量在第三变换特征向量序列中的排列位置，从屏蔽注意力权重序列中获取该排列位置处的注意力权重，作为该第三变换特征向量对应的加权权重，采用同样的方法，确定其他的第三变换特征向量分别对应的加权权重，利用各个第三变换特征向量分别对应的加权权重对各个第三变换特征向量进行加权计算，将计算出的向量作为该任务描述信息对应的注意力特征向量。其中，第三线性变换矩阵可以是预设或者根据需要设置的，例如可以是训练好的Transformer模型中的值矩阵K。

在一些实施例中，服务器可以获取已训练的内容信息识别模型，内容信息识别模型用于内容中识别出所需要的信息，例如可以从文章中识别出问题所对应的答案。如图4所示，展示了一个内容信息识别模型的架构图，该内容信息识别模型中包括字符特征提取层(Token embedding)、位置特征提取层(Position embedding)以及序号特征提取层(Segment enbedding)以及注意力处理模块，注意力处理模块中包括L个注意力处理块(Transformer block)。注意力处理模块中包括掩码多头注意力层(Masked Multi-headAttention)，如图5所示，虚线框中为一个Transformer block的结构图，内容信息识别模型中包括Nx层Transformer block。Masked Multi-head Attention中利用Attention Mask矩阵控制字之间的依赖关系。

图4中，输入序列[input,k0,k1,k2,m00,m10,m20]中，input为目标内容，k0、k1以及k2为三个任务描述信息，m00为k0对应的掩码信息，m10为k1对应的掩码信息，m20为k2对应的掩码信息，其中m指的是mask(掩码)。输入序列中的各个部分可以包括至少一个的字符，将输入序列输入到内容信息识别模型中，对于每个字符，分别利用字符特征提取层、位置特征提取层以及序号特征提取层提取得到该字符对应的字符特征向量、位置特征向量以及序号特征向量，将提取得到的该3个向量进行拼接，得到字符提取特征向量，按照字符在输入序列中的排列位置，对各个字符对应的字符提取特征向量进行排列，将排列得到的序列作为当前识别特征向量序列。注意力处理模块用于基于当前识别特征向量序列，生成当前时刻各个任务描述信息分别对应的当前注意力权重序列，注意力处理模块中还可以包括权重屏蔽矩阵(Attention Mask矩阵)，可以利用权重屏蔽矩阵对当前注意力权重序列中目标位置外的当前注意力权重进行屏蔽，并基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量。例如注意力处理模块中可以包括查询向量Q、键向量K以及值向量V，服务器可以利用查询向量Q、键向量K以及值向量V分别对当前识别特征向量序列进行处理，基于处理得到的各个结果以及当前注意力权重序列得到任务描述信息对应的注意力特征向量。本实施例中提供的内容信息识别模型，使得transformer用于信息抽取时，可以同时解码多个字，并且减少字之间的互相依赖，从而10倍提升解码速度，并且保持解码精度不变。

S210，基于注意力特征向量得到任务描述信息在当前时刻的当前识别字符，基于任务描述信息在各个时刻的识别字符得到任务描述信息对应的信息识别结果。

其中，当前识别字符是指当前时刻识别出的字符。信息识别结果指的是任务描述信息的目的信息，任务描述信息对应的信息识别结果中包括该任务描述信息在不同时刻分别识别出的字符，并且各个字符按照识别时刻的先后顺序进行排列，识别时刻是指识别得到字符的时刻，识别时刻越早，则字符在信息识别结果中的排序越靠前。

具体地，服务器可以对任务描述信息的注意力特征向量进行字符转换处理，字符转换处理是指将注意力特征向量转换为字符，将转换所得到的字符作为该任务描述信息对应的当前识别字符。服务器可以将任务描述信息在各个时刻的识别字符按照识别时刻的先后顺序进行排列，将排列得到的结果作为信息识别结果，由于任务描述信息有多个，从而可以得到多个任务描述信息分别对应的信息识别结果。

上述内容信息识别方法中，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，因此当前时刻得到了各个任务描述信息分别对应的注意力特征向量，而基于注意力特征向量得到任务描述信息在当前时刻的当前识别字符，则当前时刻得到了多个任务描述信息分别对应的识别字符，即通过一个当前识别特征向量序列可以得到多个任务描述信息在当前时刻的多个识别字符，提高了信息识别的效率。另外，对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，由于目标位置包括当前识别特征向量序列中对应的任务描述信息的特征向量排列位置，以及当前识别特征向量序列中目标内容对应的特征向量排列位置，从而进行注意力处理时考虑了与任务描述信息相关的信息而忽略了与任务描述信息无关的信息，提高了注意力处理的准确度，从而提高了信息识别的准确度。

本申请提供的内容信息识别方法可以应用于机器问答中，提高回答的效率，例如，可以将机器问答中提出的多个问题分别作为任务描述信息，将答案所在的文章作为目标内容，利用本申请提供的内容信息识别方法得到各个问题分别对应的答案，由于本申请中同一时刻可以得到多个问题对应的答案中的字符，因此，提高实现了并行信息识别，提高了信息识别的效率。也就是说，本申请提供的内容信息识别方法，实现了一种并行解码方法，在不影响解码精度的情况下，提升了解码速度，解码速度可以提升10倍以上，提供了一种段间并行化方法，例如一篇文章有N个问答段，可以同时解码N个字，单篇文本问答生成时间降低到约原来的1/N，通过transformer attention mask设计，段间并行化方案在模型解码精度上和当前单字解码方案完全一致，并且模型不需要重新训练。因此，在保持模型解码精度与单字解码精度一致的基础上，将模型解码速度提升到原来的10倍(问答段数一般大于10)以上。

在一些实施例中，得到目标位置的步骤包括：获取排列策略中内容特征向量序列对应的第一排序，以及信息特征向量序列对应的第二排序；基于第一排序以及内容特征向量序列对应的特征向量数量得到目标内容对应的特征向量排列位置；基于第二排序以及信息特征向量序列对应的特征向量数量得到任务描述信息的特征向量排列位置。

其中，第一排序是指内容特征向量序列在当前识别特征向量序列中的排序，第二排序是指信息特征向量序列在当前识别特征向量序列中的排序，第一排序以及第二排序由排列策略确定。特征向量数量是指特征向量的个数。

目标内容对应的特征向量排列位置有多个，包括目标内容的各个内容特征向量在当前识别特征向量序列中的位置。任务描述信息的特征向量排列位置有多个，包括任务描述信息的各个信息特征向量在当前识别特征向量序列中的位置。

具体地，服务器可以基于第一排序确定内容特征向量序列中的起始内容特征向量在当前识别特征向量序列中的排列位置，作为第一起始位置，基于内容特征向量序列对应的第一起始位置以及内容特征向量序列对应的特征向量数量，确定目标内容对应的各个特征向量排列位置，例如，服务器可以基于第一起始位置以及目标内容的特征向量数量，确定内容特征向量序列对应的第一终止位置，将当前识别特征向量序列中从第一起始位置开始到第一终止位置结束的各个位置(包括第一起始位置以及第一终止位置)作为目标内容对应的特征向量排列位置。

在一些实施例中，服务器可以基于第二排序确定信息特征向量序列中的起始信息特征向量在当前识别特征向量序列中的排列位置，作为第二起始位置，基于信息特征向量序列对应的第二起始位置以及信息特征向来个序列对应的特征向量数量，确定任务描述信息对应的各个特征向量排列位置，例如，服务器可以基于第二起始位置以及任务描述信息的特征向量数量，确定信息特征向量序列对应的第二终止位置，将当前识别特征向量序列中从第二起始位置开始到第二终止位置结束的各个位置(包括第二起始位置以及第二终止位置)作为任务描述信息对应的特征向量排列位置。

在一些实施例中，服务器可以根据第一排序从当前识别特征向量序列中，确定排列在内容特征向量序列之前的前向序列，对排列在内容特征向量序列之前的前向序列的特征向量数量进行统计，根据统计得到的数量统计值确定内容特征向量序列的起始点，基于内容特征向量序列的起始点以及内容特征向量序列的特征向量数量，确定内容特征向量序列的终止点，将从起始点开始至终止点的向量位置，作为目标内容对应的特征向量排列位置。其中，内容特征向量序列之前的前向序列是指当前识别特征向量序列中排列在内容特征向量序列之前的序列。

本实施例中，基于第一排序以及内容特征向量序列对应的特征向量数量，可以快速的得到目标内容在当前识别特征向量序列中的位置，基于第二排序以及信息特征向量序列对应的特征向量数量，可以快速的得到任务描述信息在当前识别特征向量序列中的位置，提高了确定目标位置的效率。

在一些实施例中，基于第二排序以及信息特征向量序列对应的特征向量数量得到任务描述信息的特征向量排列位置包括：基于第二排序确定当前识别特征向量序列中，排列在信息特征向量序列之前的前向序列；对各个前向序列的特征向量数量进行统计，根据统计得到的数量统计值确定信息特征向量序列的起始点；基于起始点以及信息特征向量序列的特征向量数量，确定信息特征向量序列的终止点；将从起始点开始至终止点的向量位置，作为任务描述信息的特征向量排列位置。

其中，信息特征向量序列的前向序列是指当前识别特征向量序列中排列在信息特征向量序列之前的序列，例如若第一排序为1，第二排序为2，则内容特征向量序列排列在信息特征向量序列之前，故内容特征向量序列为信息特征向量序列的前向序列。

信息特征向量序列的起始点是指信息特征向量序列中首位的信息特征向量在当前识别特征向量序列中的位置。信息特征向量序列的终止点是指信息特征向量序列中末位的信息特征向量在当前识别特征向量序列中的位置。信息特征向量序列的特征向量数量是指信息特征向量序列中包括的特征向量的数量。

具体地，服务器可以将信息特征向量序列之前的前向序列的特征向量数量进行相加，将相加所得到的结果作为数量统计值，基于数量统计值确定信息特征向量序列的起始点，例如可以在数量统计值的基础上增加1得到起始点，例如，若数量统计值为10，则信息特征向量序列的起始点为当前识别特征向量序列中的第11位。

在一些实施例中，服务器可以从起始点开始确定数量等于信息特征向量的特征向量数量的位置，将确定的位置中最后一个位置作为信息特征向量序列的终止点，例如起始点为第11位，信息特征向量序列的特征向量数量为3，则从第11位开始长度为3的位置为第11位、第12位以及第13位，因此第13位为信息特征向量序列的终止点，将第11位到第13位的位置，作为任务描述信息的特征向量排列位置，即将第11位、第12位以及第13位作为任务描述信息的各个特征向量排列位置。

本实施例中，基于第二排序确定当前识别特征向量序列中，排列在信息特征向量序列之前的前向序列，对各个前向序列的特征向量数量进行统计，根据统计得到的数量统计值确定信息特征向量序列的起始点，基于起始点以及信息特征向量序列的特征向量数量，确定信息特征向量序列的终止点，将从起始点开始至终止点的向量位置，作为任务描述信息的特征向量排列位置，提高了确定任务描述信息的特征向量排列位置的效率以及准确度。

在一些实施例中，将内容特征向量序列以及各个信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列包括：获取各个任务描述信息在前一时刻识别得到的前向识别字符对应的前向特征向量；将内容特征向量序列、各个信息特征向量序列以及各个前向特征向量按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列。

其中，排列策略中还可以包括前向识别字符对应的前向特征向量的排列位置。前向特征向量是对前向识别字符进行特征提取所得到的向量，前向识别字符包括前一时刻各个任务描述信息对应的识别字符。

具体地，服务器可以按照排列策略，将内容特征向量序列、各个信息特征向量序列以及各个前向特征向量进行拼接，得到当前识别特征向量序列。其中，若前一时刻存在识别出的前向识别字符，则按照排列策略，将内容特征向量序列、各个信息特征向量序列以及各个前向特征向量进行拼接，得到当前识别特征向量序列，若前一时刻不存在识别出的字符，则按照排列策略，将内容特征向量序列以及各个信息特征向量序列进行排列，得到当前识别特征向量序列。

在一些实施例中，各个时刻的识别特征向量序列中还包括各个任务描述信息分别对应的掩码特征向量，掩码特征向量是对掩码字符进行特征提取所得到的向量，不同的任务描述信息对应的掩码字符可以相同也可以不同。排列策略中还可以包括掩码特征向量的排列位置，服务器可以按照排列策略，将内容特征向量序列、各个信息特征向量序列、前向特征向量以及掩码特征向量进行排列，得到当前识别特征向量序列。例如，在最开始进行识别时，即第一次识别时，一次对应一个时刻，由于还未识别出任何字符，故识别特征向量序列可以表示为[x1,x2,x3,k00,k01,k10，k11,k12,k20,k21,mask00,mask10,mask20]，第二次识别过程中，若第一次识别出的字符对应的特征向量分别为O₀₀,O₁₀,O₂₀,则第二次使用的识别特征向量序列可以表示为[x1,x2,x3,k00,k01,k10，k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]，其中，O₀₀为第一个任务描述信息对应的识别字符，O₁₀为第二个任务描述信息对应的识别字符，O₂₀为第三个任务描述信息对应的识别字符。

本实施例中，当前识别特征向量序列中包括前一时刻识别出的前向识别字符对应的前向特征向量，从而基于当前识别特征向量序列得到任务描述信息对应的当前注意力权重序列时，可以考虑到任务描述信息对应的前向识别字符的，提高了注意力权重序列的准确度。

在一些实施例中，将内容特征向量序列、各个信息特征向量序列以及各个前向特征向量按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列包括：将各个信息特征向量序列进行拼接，得到第一拼接序列；按照各个信息特征向量序列在第一拼接序列中的排序，将各个任务描述信息对应的前向特征向量进行拼接，得到第二拼接序列；将内容特征向量序列、第一拼接序列以及第二拼接序列依次进行拼接，生成当前时刻对应的当前识别特征向量序列。

其中，排列策略中，各个信息特征向量序列的排列位置是连续的，例如各个信息特征向量序列的排列位置为2,3以及4。排列策略中，同一时刻得到的各个前向特征向量的排列位置是连续的，并且任务描述信息对应的前向特征向量的排列位置可以是根据任务描述信息的信息特征向量序列的排列位置确定的。

具体地，服务器可以基于排列策略，确定各个信息特征向量分别对应的排列位置，排列策略中，各个信息特征向量序列的排列位置是连续的，按照排列位置将各个信息特征向量序列进行拼接，得到第一拼接序列，排列位置越靠前，则信息特征向量序列在第一拼接序列中的位置越靠前。

在一些实施例中，服务器可以基于任务描述信息的信息特征向量序列在第一拼接序列的排序，对任务描述信息的前向特征向量进行排列并拼接，得到第二拼接序列，信息特征向量序列在第一拼接序列中的排序越靠前，则前向特征向量在第二拼接序列中的排序越靠前。

在一些实施例中，排列策略中，内容特征向量序列排列在第一拼接序列之前，第一拼接序列排列在第二拼接序列之前，服务器可以将第一拼接序列拼接在内容特征向量序列之后，并将第二拼接序列拼接到第一拼接序列之后，基于拼接后的序列生成当前识别特征向量序列。

本实施例中，将信息特征向量序列连续排列，将前向特征向量连续排列，提高了当前识别特征向量序列中的各个向量的排列规律性。

在一些实施例中，目标位置还包括当前识别特征向量序列中任务描述信息对应的前向特征向量的排列位置，得到目标位置的步骤包括：将当前识别特征向量序列中，从起始位置开始获取第一长度的向量位置，作为目标内容对应的特征向量排列位置；第一长度为内容特征向量序列的特征向量数量；对于任务描述信息对应的信息特征向量序列，获取第一拼接序列的前向信息特征向量序列；统计前向信息特征向量序列中的特征向量数量以及内容特征向量序列的特征向量数量得到第一统计数量，将排序为第一统计数量的位置的后向位置作为信息特征量序列的第一位置；从第一位置开始获取第二长度的向量位置，作为任务描述信息的特征向量排列位置；第二长度为信息特征向量序列的特征向量数量。

其中，当前识别特征向量序列中内容特征向量序列、第一拼接序列以及第二拼接序列依次排列，即内容特征向量序列排列在当前识别特征向量序列中的头部，第一拼接序列排列在内容特征向量序列之后，第二拼接序列排列在第一拼接序列之后，例如当前识别特征向量序列可以为[x1,x2,x3,k00,k01,k10，k11,k12,k20,k21,O₀₀,O₁₀,O₂₀]，其中，“x1,x2,x3”为内容特征向量序列，“k00,k01,k10，k11,k12,k20,k21”为第一拼接序列，“O₀₀,O₁₀,O₂₀”为第二拼接序列。第一长度为内容特征向量序列中包括的特征向量的数量。

第一拼接序列中的前向信息特征向量序列是指第一拼接序列中排列在信息特征向量序列之前的各个信息特征向量序列，例如第一拼接序列为[k00,k01,k10，k11,k12,k20,k21]，“k00,k01”为第一个任务描述信息对应的信息特征向量序列，“k10，k11,k12”为第二个任务描述信息对应的信息特征向量序列，“k20,k21”为第三个任务描述信息对应的信息特征向量序列，则第二个任务描述信息的信息特征向量序列对应的前向信息特征向量序列为“k00,k01”。第二长度为信息特征向量序列中包括的特征向量的数量，例如“k00,k01”的长度为2，则“k00,k01”对应的第二长度为2。信息特征向量序列的第一位置为信息特征向量序列中的起始特征向量在当前识别特征向量序列中的位置。

具体地，服务器可以从第一拼接序列中确定信息特征向量序列之前的部分，作为该信息特征向量序列对应的前向信息特征向量序列，服务器可以统计信息特征向量序列对应的前向特征向量序列的特征向量数量，作为前向特征向量数量，统计内容特征向量序列中的特征向量的数量，作为内容特征向量数量，将内容特征向量数量与前向特征向量数量进行加和计算，将加和计算的结果作为第一统计数量。服务器可以从当前识别特征向量序列中确定排序为第一统计数量的位置，将确定的位置的后向位置作为该信息特征量向序列的第一位置，以第二个任务描述信息对应的信息特征向量序列为例进行说明，若第一统计数量为10，则可以从当前识别特征向量序列中确定排序为10的位置，则后向位置为排序为11的位置，则可以将排序为11的位置作为第二个任务描述信息对应的信息特征向量序列的第一位置。

在一些实施例中，排列策略中包括第一拼接序列中各个信息特征向量序列的排序，服务器可以根据信息特征向量序列在第一拼接序列中的排序确定第一拼接序列中排列在该信息特征向量序列之前的信息特征向量序列，作为前向的信息特征向量序列，统计各个前向的信息特征向量序列的特征向量数量，得到第三长度，从第一拼接序列中的起始位置开始获取第三长度的向量位置，将第一拼接序列中该第三长度的向量位置对应的部分作为该信息特征向量序列对应的前向信息特征向量序列。

在一些实施例中，服务器可以统计信息特征向量序列中的特征向量的数量，将统计的结果作为第二长度，从第一位置开始获取第二长度的向量位置，作为该信息特征向量序列对应的任务描述信息的特征向量排列位置，特征向量排列位置包括第一位置。各个任务描述信息的特征向量排列位置均可以分别采用本实施例的方法确定。

在一些实施例中，内容特征向量序列排列在当前识别特征向量序列中的头部，第一拼接序列排列在内容特征向量序列之后，第二拼接序列排列在第一拼接序列之后。目标位置还包括当前识别特征向量序列中任务描述信息对应的前向特征向量的排列位置，排列策略中包括各个任务描述信息分别对应的前向特征向量在第二拼接序列中的排序，服务器可以根据前向特征向量在第二拼接序列中的排序，统计排列在该前向特征向量之前的前向特征向量的数量，作为第二统计数量，统计内容特征向量数量以及第一拼接序列的特征向量的数量，作为第三统计数量，将第二统计数量与第三统计数量进行加和计算，得到第四统计数量，将当前识别特征向量序列中排序为第四统计数量的位置的后向位置作为该任务描述信息的前向特征向量的排列位置。

本实施例中，将当前识别特征向量序列中，从起始位置开始获取第一长度的向量位置，作为目标内容对应的特征向量排列位置，对于任务描述信息对应的信息特征向量序列，获取第一拼接序列的前向信息特征向量序列，统计前向信息特征向量序列中的特征向量数量以及内容特征向量序列的特征向量数量得到第一统计数量，将排序为第一统计数量的位置的后向位置作为信息特征量序列的第一位置，从第一位置开始获取第二长度的向量位置，作为任务描述信息的特征向量排列位置，从而准确的确定了目标位置中的目标内容对应的位置以及任务描述信息对应的位置。

在一些实施例中，当前识别特征向量序列还包括各个任务描述信息在当前时刻分别对应的掩码特征向量；屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量包括：获取任务描述信息对应的掩码特征向量在当前识别特征向量序列中的掩码特征位置；从目标权重屏蔽矩阵中获取掩码特征位置对应的矩阵对象，作为当前注意力权重序列对应的当前权重屏蔽序列；当前权重屏蔽序列中目标位置处的元素值为保留系数，目标位置外的元素值为屏蔽系数；基于当前权重屏蔽序列、当前注意力权重序列以及当前识别特征向量序列进行注意力处理，得到注意力特征向量。

其中，掩码特征位置是指掩码特征向量在当前识别特征向量序列中的位置。任务描述信息对应的掩码特征向量也可以称为任务描述信息的信息特征向量序列对应的掩码特征向量。当前识别特征向量序列还包括各个任务描述信息在当前时刻分别对应的掩码特征向量。

目标权重屏蔽矩阵可以是预先设置的，目标权重屏蔽矩阵中包括各个掩码特征向量分别对应的矩阵对象。矩阵对象为矩阵中的行向量。

保留系数与屏蔽系数不同，保留系数以及屏蔽系数可以根据需要设置，例如保留系数为1，屏蔽系数为0。

具体地，排列策略中可以包括各个掩码特征向量分别对应的排列方式，例如排列策略中可以规定各个掩码特征向量连续排列并且按照掩码特征向量对应的信息特征向量序列在第一拼接序列中的排序进行排列。例如，服务器可以基于各个信息特征向量序列在第一拼接序列中的排序，将各个信息特征向量序列分别对应的掩码特征向量进行排列，将排列得到的序列作为掩码特征向量序列，信息特征向量序列在第一拼接序列中的排序越靠前，则信息特征向量对应的掩码特征向量在掩码特征向量序列中的排序越靠前。例如，当前识别特征向量序列可以为：

[x1,x2,x3,k00,k01,k10,k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]，其中，“mask01”为“k00,k01”对应的掩码特征向量，“mask11”为“k10，k11,k12”对应的掩码特征向量，“mask21”为“k20,k21”对应的掩码特征向量，“mask01,mask11,mask21”为掩码特征向量序列。确定掩码特征位置的方法可以参考确定任务描述信息对应的前向特征向量的排列位置的方法，这里不再赘述。

在一些实施例中，服务器可以从目标权重屏蔽矩阵中获取掩码特征位置对应的行向量，将该行向量作为对应的当前注意力权重序列所对应的当前权重屏蔽序列，例如，第一个任务描述信息对应的掩码特征向量在当前识别特征向量序列中排列在第15位，则第一个任务描述信息的掩码特征向量的掩码特征位置为第15位，则服务器可以从目标权重屏蔽矩阵中获取第15行的行向量，将第15行的行向量作为第一个任务描述信息的当前注意力权重序列对应的当前权重屏蔽序列。

在一些实施例中，目标权重屏蔽矩阵的行数大于数量阈值，目标权重屏蔽矩阵的列数等于行数，数量阈值为目标内容的特征向量数量、第一拼接序列的特征向量数量以及识别特征向量数量相加所得到的结果，其中，识别特征向量数量可以根据需要设置，各个任务描述信息分别对应的目的信息的字符数量的总数小于或等于识别特征向量数量，例如任务描述信息有3个，目的信息分别为2,3,4，则识别特征向量数量大于2+3+4＝9。目标权重屏蔽矩阵中可以包括当前识别特征向量序列中各个识别特征向量分别对应的矩阵元素，服务器可以确定识别特征向量在当前识别特征向量序列中的排列位置，作为识别排列位置，从目标权重屏蔽矩阵中确定识别排列位置对应的行向量，得到该识别特征向量对应的矩阵对象。举例说明，若当前识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10，k11,k12,k20,k21,mask00,mask10,mask20]，则目标权重屏蔽矩阵可以如图6所示，图6中的第1行到第4行为各个内容特征向量分别对应的矩阵对象，第5行到第11行为各个信息特征向量分别对应的矩阵对象，第12行以及改行之后的行为掩码特征向量对应的矩阵对象，图6中的灰色矩形框为目标位置，灰色矩阵框对应的数值为保留系数，白色矩形框对应的数值为屏蔽系数。当前权重屏蔽序列中包括当前注意力权重序列中各个注意力权重分别对应的权重处理值，权重处理值为当前权重屏蔽序列中的元素值，即为保留系数或屏蔽系数，注意力权重在当前权重屏蔽序列中的位置与该注意力权重对应的权重处理值在当前权重屏蔽序列中的位置一致，由于当前注意力权重序列中注意力权重的排序与当前识别特征向量序列中的识别特征向量的排序一致，即识别特征向量在当前识别特征向量序列中的位置越靠前，则识别特征向量对应的注意力权重在当前注意力权重序列中的位置越靠前，因此，当前权重屏蔽序列中的权重处理值的排列与识别特征向量的排列一致。举例说明，由于“mask00”排列在当前识别特征向量序列中的第12位，故可以从目标权重屏蔽矩阵中第12行的行向量，作为“mask00”对应的矩阵对象，即将第12行的行向量作为信息特征向量序列“k00,k01”对应的任务描述信息对应的当前注意力权重序列的当前权重屏蔽序列，则第12行中的第1列的元素为当前注意力权重序列中排列在第1位的注意力权重对应的权重处理值，也是当前识别特征向量序列中排列在第1位的识别特征向量对应的权重处理值，由于当前识别特征向量序列中排列在第1位的识别特征向量为x1，因此，第12行中第1列的元素是用于对x1产生的注意力权重进行权重处理的权重处理值，由于第12行中第1列为保留系数，因此，权重处理的结果为保留x1产生的注意力权重。由于当前识别特征向量序列中排列在第7位的识别特征向量为k10，因此，第12行中第7列的元素是用于对k10产生的注意力权重进行权重处理的权重处理值，由于第12行中第7列为屏蔽系数，因此，权重处理的结果为屏蔽k10产生的注意力权重。由于k10为第二个任务描述信息对应的信息特征向量，“mask00”为第一个任务描述信息对应的掩码特征向量，得到第一个任务描述信息的识别字符的过程与第二个任务描述信息无关，因此，屏蔽k10产生的注意力权重可以提高字符识别的准确度，识别字符的过程与目标内容有关，因此保留x1产生的注意力权重可以提高字符识别的准确度。

在一些实施例中，服务器可以利用当前权重屏蔽序列对当前注意力权重序列进行屏蔽处理，得到处理后的当前注意力权重序列，例如，服务器可以将当前注意力权重序列与当前权重屏蔽序列中对应位置的元素进行相乘，得到处理后的当前注意力权重序列，例如，当前权重屏蔽序列为[1,0,1]，当前注意力权重序列为[0.2,0.3,0.4]，则处理后的当前注意力权重序列为[0.2,0,0.4]。可以基于处理后的当前注意力权重序列以及当前识别特征向量序列进行注意力处理，得到注意力特征向量。

本实施例中，从目标权重屏蔽矩阵中获取掩码特征位置对应的矩阵对象，作为当前注意力权重序列对应的当前权重屏蔽序列，基于当前权重屏蔽序列、当前注意力权重序列以及当前识别特征向量序列进行注意力处理，得到注意力特征向量，提高了注意力特征向量的准确度。

在一些实施例中，基于当前权重屏蔽序列、当前注意力权重序列以及当前识别特征向量序列进行注意力处理，得到注意力特征向量包括：利用当前权重屏蔽序列中目标位置处的保留系数，对当前注意力权重序列中目标位置处的当前注意力权重进行保留处理，以及利用当前权重屏蔽序列中目标位置外的屏蔽系数，对当前注意力权重序列中目标位置外的当前注意力权重进行屏蔽处理；得到处理后的当前注意力权重序列；基于处理后的当前注意力权重序列对当前识别特征向量序列进行注意力处理，得到注意力特征向量。

具体地，保留处理以及屏蔽处理可以是相乘运算，例如，服务器可以将目标位置处的保留系数与目标位置处的当前注意力权重进行相乘运算，将相乘运算的结果作为处理后的当前注意力权重，将非目标位置处的屏蔽系数与该非目标位置处的当前注意力权重进行相乘运算，将相乘运算的结果作为处理后的当前注意力权重，按照当前注意力权重在当前注意力权重序列中的排序，对各个处理后的当前注意力权重进行排列，得到处理后的当前注意力权重序列。其中，非目标位置是指目标位置之外的位置。

本实施例中，利用当前权重屏蔽序列中目标位置处的保留系数，对当前注意力权重序列中目标位置处的当前注意力权重进行保留处理，以及利用当前权重屏蔽序列中目标位置外的屏蔽系数，对当前注意力权重序列中目标位置外的当前注意力权重进行屏蔽处理；得到处理后的当前注意力权重序列，提高了注意力权重的屏蔽效率。

在一些实施例中，生成目标权重屏蔽矩阵的步骤包括：获取初始权重屏蔽矩阵；确定排列策略中任务描述信息在各个识别时刻对应的掩码特征向量在识别特征向量序列中的掩码排列位置；确定初始权重屏蔽矩阵中掩码排列位置对应的掩码矩阵对象；确定掩码矩阵对应中目标内容对应的内容位置以及任务描述信息对应的信息位置；基于内容位置以及信息位置对初始权重屏蔽矩阵的矩阵元素值进行调整，得到目标权重屏蔽矩阵，目标权重屏蔽矩阵中，内容位置以及信息位置分别对应的矩阵元素值设置为保留系数，内容位置以及信息位置之外的矩阵元素值设置为屏蔽系数。

其中，初始权重屏蔽矩阵的行数等于列数，初始权重屏蔽矩阵的行数大于数量阈值。初始权重屏蔽矩阵的行数大于数量阈值，数量阈值为目标内容的特征向量数量、第一拼接序列的特征向量数量以及识别特征向量数量相加所得到的结果。初始权重屏蔽矩阵中的矩阵元素值可以均为屏蔽系数，也可以均为保留系数。识别时刻是指识别得到字符的时刻，不同的识别时刻对应不同的识别特征向量序列。

掩码排列位置是指掩码特征向量在识别特征向量序列中的排列位置，假如识别过程经历了5个时刻，则有5个识别特征向量序列，则对于每一个任务描述信息，在这5个时刻分别对应有掩码特征向量，并且不同时刻掩码特征向量对应的掩码排列位置不同，例如，第1个时刻，识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10，k11,k12,k20,k21,mask00,mask10,mask20]，则3个任务描述信息对应的掩码特征向量的位置分别为12、13和14，第2个时刻，识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10,k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]，则3个任务描述信息对应的掩码特征向量的位置分别为15、16和17。

内容位置是指掩码矩阵对象中与目标内容对应的位置，信息位置是指掩码矩阵对象中与任务描述信息对应的位置。内容位置与目标内容的内容特征向量序列在识别特征向量序列中的位置一致，信息位置与任务描述信息的信息特征向量序列在识别特征向量序列中的位置一致。

具体地，服务器可以从初始权重屏蔽矩阵中，获取掩码排列位置对应的行向量，作为该掩码排列位置对应的掩码特征向量的掩码矩阵对象，例如，第1个时刻，识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10，k11,k12,k20,k21,mask00,mask10,mask20]，服务器可以从初始权重屏蔽矩阵获取第12行的行向量，作为mask00对应的掩码矩阵对象。服务器可以将内容特征向量序列在识别特征向量序列中的位置，作为掩码矩阵对象中目标内容对应的内容位置，例如，内容特征向量序列“x1,x2,x3,x4”的位置是第1位到第4位，则掩码矩阵对象中第1位到第4位为内容位置。同样的，服务器可以将信息特征向量序列在识别特征向量序列中的位置，作为掩码矩阵对象中任务描述信息对应的信息位置。

在一些实施例中，初始权重屏蔽矩阵中的矩阵元素值为屏蔽系数，服务器可以将内容位置以及信息位置对应的矩阵元素值由屏蔽系数更新为保留系数，并保持内容位置以及信息位置之外的矩阵元素值不变，得到目标权重屏蔽矩阵。例如，服务器可以将掩码矩阵对象中内容位置以及信息位置处的矩阵元素值由屏蔽系数更新为保留系数，得到目标权重屏蔽矩。

在一些实施例中，服务器可以将掩码矩阵对象中内容位置、信息位置以及识别时刻的掩码排列位置处的矩阵元素值由屏蔽系数更新为保留系数，并保持内容位置、信息位置以及掩码排列位置之外的矩阵元素值不变，得到目标权重屏蔽矩阵。

在一些实施例中，服务器可以确定任务描述信息在各个识别时刻的识别字符的识别字符排列位置，识别字符排列位置的位置与该识别字符的特征向量在识别特征向量序列中的位置一致。服务器可以将掩码矩阵对象中内容位置、信息位置、识别时刻的掩码排列位置以及该识别时刻之前的时刻对应的识别字符排列位置处的矩阵元素值由屏蔽系数更新为保留系数，并保持内容位置、信息位置、识别时刻的掩码排列位置以及该识别时刻之前的时刻对应的识别字符排列位置之外的矩阵元素值不变，得到目标权重屏蔽矩阵。例如，根据排列策略的规定，确定第2个识别时刻的识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10,k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]，也就是说，排列策略规定，其中，O₀₀为第一个任务描述信息在第1个识别时刻识别出的字符对应的特征向量，O₁₀为第二个任务描述信息在第1个识别时刻识别出的字符对应的特征向量，O₂₀为第一个任务描述信息在第3个识别时刻识别出的字符对应的特征向量，在第2个识别时刻中，由于第一个任务描述信息的掩码特征向量排列在第15位，因此初始权重屏蔽矩阵中的第15行的向量为第2个时刻第一任务描述信息的掩码特征向量对应的掩码矩阵对象(记作掩码矩阵对象15)，由于第1个时刻识别出的第一任务描述信息的识别字符O₁₀排列在第12位，因此，识别字符排列位置为第12位，故服务器可以将掩码矩阵对象15中的排列在第12的矩阵元素值由屏蔽系数更新为保留系数。

本实施例中，基于内容位置以及信息位置对初始权重屏蔽矩阵的矩阵元素值进行调整，得到目标权重屏蔽矩阵，目标权重屏蔽矩阵中，内容位置以及信息位置分别对应的矩阵元素值设置为保留系数，内容位置以及信息位置之外的矩阵元素值设置为屏蔽系数，提高了目标权重屏蔽矩阵的准确度。

在一些实施例中，生成目标权重屏蔽矩阵的步骤包括：获取初始权重屏蔽矩阵；基于排列策略中信息特征向量序列在识别特征向量序列中的排列位置，从初始输出屏蔽矩阵中确定与信息特征向量序列对应的第一矩阵对象；基于排列策略中信息特征向量序列在识别特征向量序列中的排列位置，从第一矩阵对象中确定信息特征向量序列对应的信息矩阵位置；基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从第一矩阵对象中确定各个识别时刻的掩码特征向量对应的掩码矩阵位置；将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置处的矩阵元素值设置为保留系数，将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置之外的矩阵元素值设置为屏蔽系数，得到目标输出屏蔽矩阵；基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域；利用目标输出屏蔽矩阵对输出矩阵区域进行矩阵元素值的设置，生成目标权重屏蔽矩阵。

其中，初始权重屏蔽矩阵的相关内容可以参考上面的实施例中的相关描述，这里不再赘述。初始输出屏蔽矩阵的列数等于第一拼接序列的特征向量数量与识别特征向量数量相加所得到的数量，初始输出屏蔽矩阵的行数大于识别特征向量数量，例如，初始输出屏蔽矩阵的行数可以与列数一致。

具体地，排列策略中，识别特征向量序列中从前到后依次排列的是内容特征向量序列、各个信息特征向量序列、各个任务描述信息分别对应的前向特征向量、各个任务描述信息分别对应的掩码特征向量。例如识别特征向量序列为[x1,x2,x3,x4,k00,k01,k10,k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]。

在一些实施例中，服务器可以统计各个信息特征向量序列的数量，得到信息序列数量，按照信息序列数量对初始输出屏蔽矩阵进行横向的划分，得到划分矩阵区域，各个划分矩阵区域中包括信息序列数量的初始输出屏蔽矩阵中的行向量，例如，信息序列数量为3，初始输出屏蔽矩阵的行数为9，则划分得到3个划分矩阵区域，每个划分矩阵区域包括3行。服务器可以根据各个信息特征向量序列的排列位置，从划分矩阵区域中确定与排列位置对应的行向量，作为信息特征向量序列对应的第一矩阵对象，信息特征向量序列的排列位置越靠前，对应的第一矩阵对象在划分矩阵区域中的位置越靠前，例如，有3个信息特征向量序列，分别为A、B和C，排列策略中A、B、C的排序分别为2,3,4，则划分矩阵区域中第一行为A的第一矩阵对象，第二行为B的第一矩阵对象，第三行为C的第一矩阵对象。

在一些实施例中，对于每个信息特征向量序列，服务器可以确定排列在信息特征向量序列之前的各个信息特征向量序列，分别作为该信息特征向量序列对应的前向信息特征向量序列，统计各个前向信息特征向量序列的特征向量数量，将统计得到的数量作为第一前向特征向量数量，将第一矩阵对象中排序为第一前向特征向量数量的位置的后向相邻位置作为信息特征向量序列对应的第一矩阵位置，从第一矩阵位置开始获取第二长度的位置，作为信息特征向量序列对应的信息矩阵位置，信息矩阵位置包括第一矩阵位置。

在一些实施例中，服务器可以确定排列在掩码特征向量之前的特征向量的数量，将统计得到的数量作为第二前向特征向量数量，将第一矩阵对象中排序为第二前向特征向量数量的位置的后向相邻位置作为掩码特征向量的掩码矩阵位置。

在一些实施例中，服务器可以利用目标输出屏蔽矩阵中的矩阵元素值覆盖输出矩阵区域中的矩阵元素值，从而使得输出矩阵区域与目标输出屏蔽矩阵一致。

在一些实施例中，服务器可以获取初始信息屏蔽矩阵，基于排列策略中信息特征向量序列的排列位置，从初始信息屏蔽矩阵中确定与各个信息特征向量序列分别对应的矩阵区域，将各个矩阵区域分别设置为下三角矩阵，得到目标信息屏蔽矩阵。服务器可以基于排列策略中信息特征向量序列的排列位置以及信息特征向量序列的特征向量数量，从初始信息屏蔽矩阵中确定与各个信息特征向量序列分别对应的矩阵区域。例如，有3个信息特征向量序列，分别为A、B和C，排列位置分别为2,3,4，A的长度为2，B的长度为3，C的长度为2，则将初始信息屏蔽矩阵中的第1行-第2行以及第1列-第2列构成的区域作为A的矩阵区域，将将初始信息屏蔽矩阵中的第3行-第5行以及第3列-第5列构成的区域作为B的矩阵区域，将初始信息屏蔽矩阵中的第1行-第2行以及第6列-第7列构成的区域作为C的矩阵区域。

在一些实施例中，服务器可以从初始权重屏蔽矩阵中确定信息矩阵区域，利用目标信息屏蔽矩阵对信息矩阵区域进行覆盖，以及利用目标输出屏蔽矩阵对输出矩阵区域进行覆盖，生成目标权重屏蔽矩阵。其中，在对信息矩阵区域以及输出矩阵区域进行覆盖之后，服务器可以将覆盖后的初始权重屏蔽矩阵转化为下三角矩阵，即将覆盖后的初始权重屏蔽矩阵中的上三角区域中的元素值均设置为屏蔽系数，覆盖后的初始权重屏蔽矩阵中的下三角区域中的元素值保持不变。在将覆盖后的初始权重屏蔽矩阵转化为下三角矩阵后，服务器可以获取内容特征向量序列对应的特征向量数量，作为内容向量数量，将转化为下三角矩阵后的初始权重屏蔽矩阵中内容向量数量对应的列向量组成的矩阵作为输入矩阵，将输入矩阵中的元素值设置为保留系数，将设置后的初始权重屏蔽矩阵作为目标权重屏蔽矩阵。其中，内容向量数量对应的列向量是指排序为内容向量数量以及排序在内容向量数量之前的列向量，例如，内容向量数量为4，则内容向量数量对应的列向量为第1列到第4列，包括第1列以及第4列。

本实施例中，先生成目标输出屏蔽矩阵，再利用目标输出屏蔽矩阵对初始权重屏蔽矩阵进行设置，提高了生成目标权重屏蔽矩阵的效率。

在一些实施例中，基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域包括：基于排列策略中各个信息特征向量序列在各个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定各个掩码排列位置对应的行向量；基于各个掩码排列位置以及各个信息特征向量序列在识别特征向量序列中的信息排列位置，从初始权重屏蔽矩阵中确定各个掩码排列位置以及各个信息排列位置对应的列向量；获取各个行向量与各个列向量的重叠区域，将重叠区域作为输出矩阵区域。

举例说明，如图7所示，在第1个识别时刻，3个key的掩码特征向量的掩码排列位置分别为12、13和14，第2个识别时刻，3个key的掩码特征向量的掩码排列位置分别为15、16和17，第3个识别时刻，3个key的掩码特征向量的掩码排列位置分别为18、19和20，故矩阵中的第12-20行为各个掩码排列位置对应的行向量。同样的，图7中矩阵的第5-20列为各个掩码排列位置以及各个信息排列位置对应的列向量，则输出矩阵区域为矩阵的第12-20行与第5-20列之间的重叠区域。

本实施例中，通过掩码特征向量的位置以及信息特征向量序列的位置，准确的确定出了输出矩阵区域。

本申请还提供一种应用场景，该应用场景应用上述的内容信息识别方法。具体地，如图12所示，该内容信息识别方法在该应用场景的应用如下：

S1202、获取待进行信息识别的目标文本，获取目标文本对应的多个目标问题信息。

其中，目标文本是目标内容的一种具体形式。

S1204、对目标文本中的各个字符进行特征提取，得到文本特征向量序列，对目标问题信息中的各个字符进行特征提取，得到信息特征向量序列；

S1206、获取各个目标问题信息在第一识别时刻分别对应的掩码特征向量；

S1208、依次将文本特征向量序列、各个信息特征向量序列以及各个掩码特征向量进行拼接，得到第一识别时刻对应的第一识别特征向量序列；

其中，信息特征向量序列在第一识别特征向量序列中的位置越靠前，则信息特征向量序列对应的目标问题信息的掩码特征向量在第一识别特征向量序列中的位置越靠前。

举例说明，假设需要从目标文本中抽取3个问题对应的答案，3个问题的长度(字符数量)分别为2、3以及2，目标文本长度为4，则第一识别特征向量序列可以如图8所示，其中，input为目标文本，目标文本的4个字符对应的特征向量分别为x1-x4，key0、key1以及key2分别为这3个目标问题信息对应的信息特征向量序列，mask00为key0对应的掩码特征向量，mask10为key1对应的掩码特征向量，mask20为key2对应的掩码特征向量。

S1210、基于第一识别特征向量序列得到第一识别时刻各个目标问题信息分别对应的第一注意力权重序列。

S1212、获取初始输出屏蔽矩阵，基于信息特征向量序列在识别特征向量序列中的排列位置，从初始输出屏蔽矩阵中确定与信息特征向量序列对应的第一矩阵对象。

其中，同一个信息特征向量序列，在各个识别时刻的识别特征向量序列中的排列位置是相同，文本特征向量序列在各个识别时刻的识别特征向量序列中的排列位置是相同。

S1214、基于信息特征向量序列在识别特征向量序列中的排列位置，从第一矩阵对象中确定信息特征向量序列对应的信息矩阵位置。

S1216、基于信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从第一矩阵对象中确定各个识别时刻的掩码特征向量对应的掩码矩阵位置。

S1218、将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置处的矩阵元素值设置为保留系数，将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置之外的矩阵元素值设置为屏蔽系数，得到目标输出屏蔽矩阵。

S1220、获取初始信息屏蔽矩阵，基于排列策略中信息特征向量序列的排列位置，从初始信息屏蔽矩阵中确定与各个信息特征向量序列分别对应的矩阵区域，将各个矩阵区域分别设置为下三角矩阵，得到目标信息屏蔽矩阵。

S1222、从初始权重屏蔽矩阵中确定信息矩阵区域，基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域，利用目标信息屏蔽矩阵对信息矩阵区域进行覆盖，以及利用目标输出屏蔽矩阵对输出矩阵区域进行覆盖，得到覆盖后的初始权重屏蔽矩阵。

S1224、在将覆盖后的初始权重屏蔽矩阵转化为下三角矩阵后，获取内容特征向量序列对应的特征向量数量，作为内容向量数量，从转化为下三角矩阵后的初始权重屏蔽矩阵中内容向量数量对应的列向量中的元素值设置为保留系数，生成目标权重屏蔽矩阵。

其中，内容向量数量对应的列向量是指排序为内容向量数量以及排序在内容向量数量之前的列向量，例如，内容向量数量为4，则内容向量数量对应的列向量为第1列到第4列，包括第1列以及第4列。

S1226、对于每一个目标问题信息，获取目标问题信息的掩码特征向量在第一识别特征向量序列中的位置，作为掩码特征位置，从目标权重屏蔽矩阵中获取该掩码特征位置对应的行向量，作为目标问题信息对应的第一权重屏蔽序列。

S1228、基于目标问题信息的第一权重屏蔽序列对该目标问题信息的第一注意力权重序列进行权重处理，得到处理后的第一注意力权重序列，基于处理后的第一注意力权重序列以及第一识别特征向量序列进行注意力处理，得到目标问题信息对应的注意力特征向量。

其中，服务器可以将第一权重屏蔽序列与第一注意力权重序列的对应位置的元素进行相乘，将相乘的结果作为处理后的第一注意力权重序列，例如，当目标文本长度为4，需要从目标文本中抽取3个问题对应的答案，3个问题的长度(字符数量)分别为2、3以及2时，目标权重屏蔽矩阵可以如图6所示，以第一个目标问题信息(key0)为例进行说明，第一个识别时刻，目标权重屏蔽矩阵中第12行为第一个目标问题信息对应的第一权重屏蔽序列，很容易理解，第一注意力权重序列中第1-4个元素分别表示目标文本的4个字符针对第一个目标问题信息的识别字符产生的注意力权重，第一注意力权重序列中第5-6个元素表示第一目标问题信息中的2个字符针对第一个目标问题信息的识别字符产生的注意力权重，第一注意力权重序列中第7-9个元素表示第二个目标问题信息中的3个字符针对第一个目标问题信息的识别字符产生的注意力权重，第一注意力权重序列中第10-11个元素表示第三个目标问题信息中的2个字符针对第一个目标问题信息的识别字符产生的注意力权重，第12个元素以及第12个元素之后的元素表示各个识别时刻识别出的字符针对第一个目标问题信息的识别字符产生的注意力权重。由于第一权重屏蔽序列(矩阵中第12行)中的第1-4个元素值为保留系数、第5-6个元素值为保留系数，从而当将第一注意力权重序列与第一权重屏蔽序列中对应位置的元素进行相乘时，可以保留第一注意力权重序列中第1-6个注意力权重，即保留目标文本以及第一个目标问题信息产生的注意力权重，而屏蔽掉第二个目标问题信息、第三个目标问题信息以及第一识别时刻之后的各个识别时刻所识别出的字符产生的注意力权重。由于第一注意力权重序列中的各个元素值可以是第一个目标问题信息的掩码特征向量与第一识别特征向量序列中的各个特征向量分别进行注意力计算所得到的，从而实现了一种效果：如图9所示，第1个识别时刻，mask00与input以及key0发生attention，mask10与input以及key1发生attention，mask20与input以及key2发生attention。

S1230、基于注意力特征向量得到目标问题信息在第一识别时刻的字符特征向量。

其中，可以将注意力特征向量作为字符特征向量。

S1232、依次将文本特征向量序列、各个信息特征向量序列、各个掩码特征向量以及第一识别时刻得到的字符特征向量进行拼接，得到第二识别时刻对应的第二识别特征向量序列。

其中，信息特征向量序列在第一识别特征向量序列中的位置越靠前，则信息特征向量序列对应的目标问题信息的字符特征向量在第一识别特征向量序列中的位置越靠前。第二识别特征向量序列例如为[x1,x2,x3,x4,k00,k01,k10,k11,k12,k20,k21,O₀₀,O₁₀,O₂₀,mask01,mask11,mask21]。如图10所示，“input,k0,k1,k2,m00,m10,m20”为第一识别特征向量序列，input＝“x1,x2,x3,x4”，k0＝“k00,k01”，k1＝“k10,k11,k12”，k2＝“k20,k21”，O₀₀为k0在第一个识别时刻识别出的字符，O₁₀为k1在第一个识别时刻识别出的字符，O₂₀为k2在第一个识别时刻识别出的字符，需要说明的是，虽然图中在第二个识别时刻输入展示的时“O₀₀,O₁₀,O₂₀,m01,m11,m21”，但这是一种省略写法，实际的第二识别特征向量序列为“input,k0,k1,k2,O₀₀,O₁₀,O₂₀,m01,m11,m21”，也就是说，在第二识别时刻，识别特征向量序列中包括第一识别时刻识别出的字符。

S1234、基于第二识别特征向量序列得到第二识别时刻各个目标问题信息分别对应的第二注意力权重序列。

S1236、对于每一个目标问题信息，获取目标问题信息的掩码特征向量在第二识别特征向量序列中的位置，作为掩码特征位置，从目标权重屏蔽矩阵中获取该掩码特征位置对应的行向量，作为目标问题信息对应的第二权重屏蔽序列。

S1238、基于目标问题信息的第二权重屏蔽序列对该目标问题信息的第二注意力权重序列进行权重处理，得到处理后的第二注意力权重序列，基于处理后的第二注意力权重序列以及第二识别特征向量序列进行注意力处理，得到目标问题信息对应的注意力特征向量。

举例说明，以第一个目标问题信息为例进行说明，第二个识别时刻，目标权重屏蔽矩阵中第15行为第一个目标问题信息对应的第二权重屏蔽序列，与第12行相比，该第二权重屏蔽序列中第12位为保留系数，由于第二注意力权重序列中的第12位为第一个目标问题信息在第一个识别时刻识别出的字符所产生的注意力权重，也就是说，处理后的第二注意力权重序列中保留了第一个时刻识别输出的第一个目标问题信息的输出结果所产生的注意力权重，从而实现了一种效果：如图11所示，mask01与input以及key0发生attention，并且mask01与O₀₀发生attention。从而将第二注意力权重序列中与待识别出的字符无关的部分所产生的注意力权重进行屏蔽，提高了注意力权重序列的准确性。

S1240、基于注意力特征向量得到目标问题信息在第二识别时刻的字符特征向量。

S1242、按照时间先后顺序，将目标问题信息在各个识别时刻得到的字符特征向量对应的字符进行排列，作为目标问题信息对应的答案信息。

本申请提供的内容信息识别方法，可以将基于transformer的信息抽取解码时间减低了90％或以上，而且对文本长度以及key的长度等没有要求，可以广泛应用于实体抽取场景，比如OCR结构化需求(证件、单据以及票据等)，还可以应用于机器问答等场景中。提供了一种基于transformer的并行解码方案，实现所有key并行解码，优化后的模型解码精度和基于单key的解码方式的结果完全一致，因此不需要调整模型训练过程，本实施例提出了一种专门针对内容抽取场景的transformer Attention Mask结构，配合输入排列以及输出重新排列，实现了内容抽取场景所有key的并行解码，将基于transformer的解码性能提升10倍以上。原始解码方法，处理一遍文本，约需要2秒或以上，使用本申请提供的内容信息识别方法，可以将解码时间缩短到200ms(毫秒)以内，并且解码效果保持不变，降低了用户的使用延迟，提升了用户使用体验，降低了硬件成本，节约了90％以上的硬件成本开销。

应该理解的是，虽然图2-图12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图13所示，提供了一种内容信息识别装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：任务描述信息获取模块1302、当前识别特征向量序列得到模块1304、当前注意力权重序列得到模块1306、注意力特征向量得到模块1308和信息识别结果得到模块1310，其中：

任务描述信息获取模块1302，用于获取待进行信息识别的目标内容，获取目标内容对应的多个信息识别任务分别对应的任务描述信息；

当前识别特征向量序列得到模块1304，用于获取对目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个任务描述信息进行特征提取所得到的信息特征向量序列，将内容特征向量序列以及各个信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；

当前注意力权重序列得到模块1306，用于基于当前识别特征向量序列得到当前时刻各个任务描述信息分别对应的当前注意力权重序列；

注意力特征向量得到模块1308，用于对于每个任务描述信息，屏蔽当前注意力权重序列中目标位置外的当前注意力权重，基于目标位置对应的当前注意力权重以及当前识别特征向量序列进行注意力处理，得到注意力特征向量；目标位置包括：当前识别特征向量序列中对应的任务描述信息的特征向量排列位置，以及当前识别特征向量序列中目标内容对应的特征向量排列位置；

信息识别结果得到模块1310，用于基于注意力特征向量得到任务描述信息在当前时刻的当前识别字符，基于任务描述信息在各个时刻的识别字符得到任务描述信息对应的信息识别结果。

在一些实施例中，该装置还包括第一目标位置得到模块，第一目标位置得到模块包括：排序获取单元，用于获取排列策略中内容特征向量序列对应的第一排序，以及信息特征向量序列对应的第二排序；第一排列位置得到单元，用于基于第一排序以及内容特征向量序列对应的特征向量数量得到目标内容对应的特征向量排列位置；第二排列位置得到单元，用于基于第二排序以及信息特征向量序列对应的特征向量数量得到任务描述信息的特征向量排列位置。

在一些实施例中，第二排列位置得到单元，还用于基于第二排序确定当前识别特征向量序列中，排列在信息特征向量序列之前的前向序列；对各个前向序列的特征向量数量进行统计，根据统计得到的数量统计值确定信息特征向量序列的起始点；基于起始点以及信息特征向量序列的特征向量数量，确定信息特征向量序列的终止点；将从起始点开始至终止点的向量位置，作为任务描述信息的特征向量排列位置。

在一些实施例中，当前识别特征向量序列得到模块包括：前向特征向量得到单元，用于获取各个任务描述信息在前一时刻识别得到的前向识别字符对应的前向特征向量；当前识别特征向量序列得到单元，用于将内容特征向量序列、各个信息特征向量序列以及各个前向特征向量按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列。

在一些实施例中，当前识别特征向量序列得到单元，还用于将各个信息特征向量序列进行拼接，得到第一拼接序列；按照各个信息特征向量序列在第一拼接序列中的排序，将各个任务描述信息对应的前向特征向量进行拼接，得到第二拼接序列；将内容特征向量序列、第一拼接序列以及第二拼接序列依次进行拼接，生成当前时刻对应的当前识别特征向量序列。

在一些实施例中，该装置还包括第二目标位置得到模块，第二目标位置得到模块包括：第三排列位置得到单元，用于将当前识别特征向量序列中，从起始位置开始获取第一长度的向量位置，作为目标内容对应的特征向量排列位置；第一长度为内容特征向量序列的特征向量数量；第一位置得到单元，用于对于任务描述信息对应的信息特征向量序列，获取第一拼接序列中的前向信息特征向量序列；统计前向信息特征向量序列的特征向量数量以及内容特征向量序列的特征向量数量得到第一统计数量，将排序为第一统计数量的位置的后向位置作为信息特征向量序列的第一位置；第四排列位置得到单元，用于从第一位置开始获取第二长度的向量位置，作为任务描述信息的特征向量排列位置；第二长度为信息特征向量序列的特征向量数量。

在一些实施例中，当前识别特征向量序列还包括各个任务描述信息在当前时刻分别对应的掩码特征向量；注意力特征向量得到模块包括：掩码特征位置得到单元，用于获取任务描述信息对应的掩码特征向量在当前识别特征向量序列中的掩码特征位置；屏蔽序列得到单元，用于从目标权重屏蔽矩阵中获取掩码特征位置对应的矩阵对象，作为当前注意力权重序列对应的当前权重屏蔽序列；当前权重屏蔽序列中目标位置处的元素值为保留系数，目标位置外的元素值为屏蔽系数；注意力特征向量得到单元，用于基于当前权重屏蔽序列、当前注意力权重序列以及当前识别特征向量序列进行注意力处理，得到注意力特征向量。

在一些实施例中，注意力特征向量得到单元，还用于利用当前权重屏蔽序列中目标位置处的保留系数，对当前注意力权重序列中目标位置处的当前注意力权重进行保留处理，以及利用当前权重屏蔽序列中目标位置外的屏蔽系数，对当前注意力权重序列中目标位置外的当前注意力权重进行屏蔽处理；得到处理后的当前注意力权重序列；基于处理后的当前注意力权重序列对当前识别特征向量序列进行注意力处理，得到注意力特征向量。

在一些实施例中，该装置还包括第一目标权重屏蔽矩阵生成模块，第一目标权重屏蔽矩阵生成模块包括：初始权重屏蔽矩阵获取单元，用于获取初始权重屏蔽矩阵；掩码排列位置得到单元，用于确定排列策略中任务描述信息在各个识别时刻对应的掩码特征向量在识别特征向量序列中的掩码排列位置；掩码矩阵对象确定单元，用于确定初始权重屏蔽矩阵中掩码排列位置对应的掩码矩阵对象；信息位置确定单元，用于确定掩码矩阵对象中目标内容对应的内容位置以及任务描述信息对应的信息位置；目标权重屏蔽矩阵得到单元，用于基于内容位置以及信息位置对初始权重屏蔽矩阵的矩阵元素值进行调整，得到目标权重屏蔽矩阵，目标权重屏蔽矩阵中，内容位置以及信息位置分别对应的矩阵元素值设置为保留系数，内容位置以及信息位置之外的矩阵元素值设置为屏蔽系数。

在一些实施例中，该装置还包括第二目标权重屏蔽矩阵生成模块，第二目标权重屏蔽矩阵生成模块包括：第一矩阵对象得到单元，用于获取初始输出屏蔽矩阵，基于排列策略中信息特征向量序列在识别特征向量序列中的排列位置，从初始输出屏蔽矩阵中确定与信息特征向量序列对应的第一矩阵对象；信息矩阵位置确定单元，用于基于排列策略中信息特征向量序列在识别特征向量序列中的排列位置，从第一矩阵对象中确定信息特征向量序列对应的信息矩阵位置；掩码矩阵位置确定单元，用于基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从第一矩阵对象中确定各个识别时刻的掩码特征向量对应的掩码矩阵位置；目标输出屏蔽矩阵得到单元，用于将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置处的矩阵元素值设置为保留系数，将第一矩阵对象中信息矩阵位置以及各个掩码矩阵位置之外的矩阵元素值设置为屏蔽系数，得到目标输出屏蔽矩阵；输出矩阵区域确定单元，用于基于排列策略中信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域；目标权重屏蔽矩阵生成单元，用于利用目标输出屏蔽矩阵对输出矩阵区域进行矩阵元素值的设置，生成目标权重屏蔽矩阵。

在一些实施例中，输出矩阵区域确定单元，还用于基于排列策略中各个信息特征向量序列在各个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定各个掩码排列位置对应的行向量；基于各个掩码排列位置以及各个信息特征向量序列在识别特征向量序列中的信息排列位置，从初始权重屏蔽矩阵中确定各个掩码排列位置以及各个信息排列位置对应的列向量；获取各个行向量与各个列向量的重叠区域，将重叠区域作为输出矩阵区域。

关于内容信息识别装置的具体限定可以参见上文中对于内容信息识别方法的限定，在此不再赘述。上述内容信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种内容信息识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储内容信息识别方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种内容信息识别方法。

本领域技术人员可以理解，图14和15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种内容信息识别方法，其特征在于，所述方法包括：

获取待进行信息识别的目标内容，获取所述目标内容对应的多个信息识别任务分别对应的任务描述信息；

获取对所述目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个所述任务描述信息进行特征提取所得到的信息特征向量序列，将所述内容特征向量序列以及各个所述信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；

基于所述当前识别特征向量序列得到当前时刻各个所述任务描述信息分别对应的当前注意力权重序列；

对于每个所述任务描述信息，屏蔽所述当前注意力权重序列中目标位置外的当前注意力权重，基于所述目标位置对应的当前注意力权重以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量；所述目标位置包括：所述当前识别特征向量序列中对应的所述任务描述信息的特征向量排列位置，以及所述当前识别特征向量序列中所述目标内容对应的特征向量排列位置；

基于所述注意力特征向量得到所述任务描述信息在当前时刻的当前识别字符，基于所述任务描述信息在各个时刻的识别字符得到所述任务描述信息对应的信息识别结果。

2.根据权利要求1所述的方法，其特征在于，得到所述目标位置的步骤包括：

获取所述排列策略中所述内容特征向量序列对应的第一排序，以及所述信息特征向量序列对应的第二排序；

基于所述第一排序以及所述内容特征向量序列对应的特征向量数量得到所述目标内容对应的特征向量排列位置；

基于所述第二排序以及所述信息特征向量序列对应的特征向量数量得到所述任务描述信息的特征向量排列位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第二排序以及所述信息特征向量序列对应的特征向量数量得到所述任务描述信息的特征向量排列位置包括：

基于所述第二排序确定所述当前识别特征向量序列中，排列在所述信息特征向量序列之前的前向序列；

对各个所述前向序列的特征向量数量进行统计，根据统计得到的数量统计值确定所述信息特征向量序列的起始点；

基于所述起始点以及所述信息特征向量序列的特征向量数量，确定所述信息特征向量序列的终止点；

将从所述起始点开始至所述终止点的向量位置，作为所述任务描述信息的特征向量排列位置。

4.根据权利要求1所述的方法，其特征在于，所述将所述内容特征向量序列以及各个所述信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列包括：

获取各个所述任务描述信息在前一时刻识别得到的前向识别字符对应的前向特征向量；

将所述内容特征向量序列、各个所述信息特征向量序列以及各个所述前向特征向量按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列。

5.根据权利要求4所述的方法，其特征在于，所述将所述内容特征向量序列、各个所述信息特征向量序列以及各个所述前向特征向量按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列包括：

将各个所述信息特征向量序列进行拼接，得到第一拼接序列；

按照各个所述信息特征向量序列在所述第一拼接序列中的排序，将各个所述任务描述信息对应的前向特征向量进行拼接，得到第二拼接序列；

将所述内容特征向量序列、所述第一拼接序列以及所述第二拼接序列依次进行拼接，生成当前时刻对应的当前识别特征向量序列。

6.根据权利要求5所述的方法，其特征在于，得到所述目标位置的步骤包括：

将所述当前识别特征向量序列中，从起始位置开始获取第一长度的向量位置，作为所述目标内容对应的特征向量排列位置；所述第一长度为所述内容特征向量序列的特征向量数量；

对于所述任务描述信息对应的信息特征向量序列，获取所述第一拼接序列中的前向信息特征向量序列；统计所述前向信息特征向量序列的特征向量数量以及所述内容特征向量序列的特征向量数量得到第一统计数量，将排序为所述第一统计数量的位置的后向位置作为所述信息特征向量序列的第一位置；

从所述第一位置开始获取第二长度的向量位置，作为所述任务描述信息的特征向量排列位置；所述第二长度为所述信息特征向量序列的特征向量数量。

7.根据权利要求1所述的方法，其特征在于，所述当前识别特征向量序列还包括各个所述任务描述信息在当前时刻分别对应的掩码特征向量；所述屏蔽所述当前注意力权重序列中目标位置外的当前注意力权重，基于所述目标位置对应的当前注意力权重以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量包括：

获取所述任务描述信息对应的掩码特征向量在所述当前识别特征向量序列中的掩码特征位置；

从目标权重屏蔽矩阵中获取所述掩码特征位置对应的矩阵对象，作为所述当前注意力权重序列对应的当前权重屏蔽序列；所述当前权重屏蔽序列中目标位置处的元素值为保留系数，所述目标位置外的元素值为屏蔽系数；

基于所述当前权重屏蔽序列、所述当前注意力权重序列以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量。

8.根据权利要求6所述的方法，其特征在于，所述基于所述当前权重屏蔽序列、所述当前注意力权重序列以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量包括：

利用所述当前权重屏蔽序列中目标位置处的保留系数，对所述当前注意力权重序列中所述目标位置处的当前注意力权重进行保留处理，以及利用所述当前权重屏蔽序列中目标位置外的屏蔽系数，对所述当前注意力权重序列中所述目标位置外的当前注意力权重进行屏蔽处理；得到处理后的当前注意力权重序列；

基于处理后的当前注意力权重序列对所述当前识别特征向量序列进行注意力处理，得到注意力特征向量。

9.根据权利要求6所述的方法，其特征在于，生成所述目标权重屏蔽矩阵的步骤包括：

获取初始权重屏蔽矩阵；

确定所述排列策略中所述任务描述信息在各个识别时刻对应的掩码特征向量在识别特征向量序列中的掩码排列位置；

确定所述初始权重屏蔽矩阵中所述掩码排列位置对应的掩码矩阵对象；

确定所述掩码矩阵对象中所述目标内容对应的内容位置以及所述任务描述信息对应的信息位置；

基于所述内容位置以及所述信息位置对所述初始权重屏蔽矩阵的矩阵元素值进行调整，得到目标权重屏蔽矩阵，所述目标权重屏蔽矩阵中，所述内容位置以及所述信息位置分别对应的矩阵元素值设置为保留系数，所述内容位置以及所述信息位置之外的矩阵元素值设置为屏蔽系数。

10.根据权利要求6所述的方法，其特征在于，生成所述目标权重屏蔽矩阵的步骤包括：

获取初始输出屏蔽矩阵，基于所述排列策略中所述信息特征向量序列在识别特征向量序列中的排列位置，从所述初始输出屏蔽矩阵中确定与所述信息特征向量序列对应的第一矩阵对象；

基于所述排列策略中所述信息特征向量序列在识别特征向量序列中的排列位置，从所述第一矩阵对象中确定所述信息特征向量序列对应的信息矩阵位置；

基于所述排列策略中所述信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从所述第一矩阵对象中确定各个识别时刻的掩码特征向量对应的掩码矩阵位置；

将所述第一矩阵对象中所述信息矩阵位置以及各个所述掩码矩阵位置处的矩阵元素值设置为保留系数，将所述第一矩阵对象中所述信息矩阵位置以及各个所述掩码矩阵位置之外的矩阵元素值设置为屏蔽系数，得到目标输出屏蔽矩阵；

基于所述排列策略中所述信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域；

利用所述目标输出屏蔽矩阵对所述输出矩阵区域进行矩阵元素值的设置，生成目标权重屏蔽矩阵。

11.根据权利要求10所述的方法，其特征在于，所述基于所述排列策略中所述信息特征向量序列在多个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从初始权重屏蔽矩阵中确定输出矩阵区域包括：

基于所述排列策略中各个所述信息特征向量序列在各个识别时刻的掩码特征向量在识别特征向量序列中的掩码排列位置，从所述初始权重屏蔽矩阵中确定各个所述掩码排列位置对应的行向量；

基于各个所述掩码排列位置以及各个所述信息特征向量序列在识别特征向量序列中的信息排列位置，从所述初始权重屏蔽矩阵中确定各个所述掩码排列位置以及各个所述信息排列位置对应的列向量；

获取各个所述行向量与各个所述列向量的重叠区域，将所述重叠区域作为输出矩阵区域。

12.一种内容信息识别装置，其特征在于，所述装置包括：

任务描述信息获取模块，用于获取待进行信息识别的目标内容，获取所述目标内容对应的多个信息识别任务分别对应的任务描述信息；

当前识别特征向量序列得到模块，用于获取对所述目标内容进行特征提取所得到的内容特征向量序列，获取分别对各个所述任务描述信息进行特征提取所得到的信息特征向量序列，将所述内容特征向量序列以及各个所述信息特征向量序列按照排列策略进行排列，得到当前时刻对应的当前识别特征向量序列；

当前注意力权重序列得到模块，用于基于所述当前识别特征向量序列得到当前时刻各个所述任务描述信息分别对应的当前注意力权重序列；

注意力特征向量得到模块，用于对于每个所述任务描述信息，屏蔽所述当前注意力权重序列中目标位置外的当前注意力权重，基于所述目标位置对应的当前注意力权重以及所述当前识别特征向量序列进行注意力处理，得到注意力特征向量；所述目标位置包括：所述当前识别特征向量序列中对应的所述任务描述信息的特征向量排列位置，以及所述当前识别特征向量序列中所述目标内容对应的特征向量排列位置；

信息识别结果得到模块，用于基于所述注意力特征向量得到所述任务描述信息在当前时刻的当前识别字符，基于所述任务描述信息在各个时刻的识别字符得到所述任务描述信息对应的信息识别结果。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images