CN112883295A - 一种数据处理方法、装置和介质 - Google Patents

一种数据处理方法、装置和介质 Download PDF

Info

Publication number
CN112883295A
CN112883295A CN201911205949.4A CN201911205949A CN112883295A CN 112883295 A CN112883295 A CN 112883295A CN 201911205949 A CN201911205949 A CN 201911205949A CN 112883295 A CN112883295 A CN 112883295A
Authority
CN
China
Prior art keywords
word sequence
word
vector
determining
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911205949.4A
Other languages
English (en)
Other versions
CN112883295B (zh
Inventor
梁华参
陈炜鹏
许静芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN201911205949.4A priority Critical patent/CN112883295B/zh
Publication of CN112883295A publication Critical patent/CN112883295A/zh
Application granted granted Critical
Publication of CN112883295B publication Critical patent/CN112883295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法、装置和介质，其中的方法具体包括：确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。本发明实施例可以提高相关性信息的准确度。

Description

一种数据处理方法、装置和介质
技术领域
本发明涉及通信技术领域，尤其涉及一种数据处理方法、一种数据处理装置、一种用于数据处理的装置和一种机器可读介质。
背景技术
随着互联网技术的发展，越来越多的用户通过互联网获得信息。互联网的发展所带来的信息量增大，使得用户在获取信息的时候越来越依靠于搜索引擎，伴随着互联网的发展成长起来的用户，在获取信息时更加依赖网络搜索。
目前，搜索引擎根据用户输入的查询词(query)，确定对应的搜索结果，依据搜索结果与搜索词之间的相关性信息，对搜索结果进行排序，并向用户呈现排序后的搜索结果。相关性信息用于表征搜索结果与查询词之间的相关程度。
发明人在实施本发明实施例的过程中发现，目前的相关性信息的准确度较低，使得搜索结果的排序结果不够合理。
发明内容
本发明实施例提供一种数据处理方法、数据处理装置、用于数据处理的装置、以及一种机器可读介质，可以提高相关性信息的准确度。
为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据前述方法中的注意力信息得到；
输出排序后的搜索结果。
另一方面，本发明实施例公开了一种数据处理装置，包括：
词序列确定模块，用于确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
空词增加模块，用于在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；以及
注意力确定模块，用于依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
另一方面，本发明实施例公开了一种数据处理装置，包括：
确定模块，用于确定查询词对应的搜索结果；
排序模块，用于依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据前述方法中的注意力信息得到；
输出模块，用于输出排序后的搜索结果。
再一方面，本发明实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
再一方面，本发明实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据前述方法中的注意力信息得到；
输出排序后的搜索结果。
又一方面，本发明实施例公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行前述一个或多个所述的数据处理方法。
本发明实施例包括以下优点：
本发明实施例在第一词序列中增加空词，以得到第一更新词序列，并依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。第一更新词序列可以包括：原有的第一分词和空词。原有的第一分词可以包括：匹配词、或非匹配词，其中，匹配词与第二分词匹配，非匹配词与第二分词不匹配。
由于上述空词对应的向量为零向量，零向量与任意向量之间的计算结果均为0，故上述零向量可以不影响原有的第一分词对应的匹配信息。并且，在匹配概率的分配过程中，原有的第一分词和空词对应的匹配概率的总和是相对固定的，而空词可以占用对应的匹配概率，故本发明实施例可以降低原有的第一分词中非匹配词对应的匹配概率，提高非匹配词对应的匹配概率与实际情况之间的符合度，因此能够在一定程度上克服将非匹配词强制对齐的情况，提高注意力信息的准确度，进而可以提高相关性信息的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种数据处理方法实施例一的步骤流程图；
图2是本发明的一种数据处理方法实施例二的步骤流程图；
图3是本发明的一种数据处理方法实施例三的步骤流程图；
图4是本发明的另一种数据处理装置实施例的结构框图；
图5是本发明的另一种数据处理装置实施例的结构框图；
图6是本发明的一种用于数据处理的装置900的框图；及
图7是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据处理方案，该方案具体包括：确定第一词序列和第二词序列；上述第一词序列对应第一对象，上述第二词序列对应第二对象；在上述第一词序列中增加空词，以得到第一更新词序列；上述空词对应的向量为零向量；依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。
本发明实施例通过注意力信息表征第一对象与第二对象之间的逻辑性和关联性。
上述注意力信息可以包括：第一对象对于上述第二对象的注意力信息，记为第一注意力信息。第一注意力信息可以用于反映第二词序列中的第二分词对第一词序列的重要性。第一注意力信息可用于确定第一对象与第二对象之间的相关信息。
本发明实施例的第一对象和第二对象可以为任意的具有相关性的对象。例如，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词等。在搜索场景中，网页可用于作为查询词对应的搜索结果，则可以依据上述相关性信息，对搜索结果进行排序。
可选地，可以通过匹配概率表征第一注意力信息，匹配概率表征第二词序列中第二分词对第一词序列中第一分词的匹配情况。
发明人在实施本发明实施例的过程中发现，相关技术中存在如下技术问题：第一词序列中并不存在与某个第二分词对齐的第一分词，但匹配概率表征这个第二分词与第一分词之间的匹配度较高，此种情况下的匹配概率与实际情况不符，使得第一注意力信息和相关信息欠准确。在应用于搜索场景的情况下，依据欠准确的相关性信息对搜索结果进行排序，将影响排序结果的合理性。
在此通过具体的示例对上述技术问题进行说明。该示例中，查询词A“搜狐网络大厦在哪儿”对应的第一词序列为：“搜狐”、“网络”、“大厦”、“在”、“哪儿”；网页A(摘要为“搜狐网络大厦在中关村东路1号院”)对应的第二词序列为：“搜狐”、“网络”、“大厦”、“在”、“中关村”、“东路”、“1”、“号”“院”。
对于第二词序列中的“中关村”、“东路”等第二分词而言，无法在第一词序列中找到与之相匹配的第一分词，相关技术会针对“中关村”、“东路”等第二分词，强行分配对应的匹配概率。例如，在对匹配概率进行归一化前，“中关村”对应“搜狐”、“网络”、“大厦”、“在”、“哪儿”等第一分词的匹配信息分别为“-2.5”、“-3.0”、“-3.5”、“-3.0”、“-2.0”，假设归一化公式为:epi/Σjepj，e为自然对数的底，pi表示第二分词对第i个第一分词的匹配信息，例如p2＝-3.0；依据上述归一化公司，归一化后的匹配概率分别为：0.238,0.1431,0.0868,0.1431,0.389，上述匹配概率的数值较大，表征对应的“搜狐”、“网络”、“大厦”、“在”、“哪儿”等第一分词为匹配词，而实际上“搜狐”、“网络”、“大厦”、“在”、“哪儿”等第一分词并不是匹配词(以下简称非匹配词)，因此相关技术得到匹配概率与实际情况并不相符。
针对“匹配概率与实际情况不符，使得第一注意力信息和相关信息欠准确”的技术问题，本发明实施例在上述第一词序列中增加空词，以得到第一更新词序列，并依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。第一更新词序列可以包括：原有的第一分词和空词。原有的第一分词可以包括：匹配词、或非匹配词，其中，匹配词与第二分词匹配，非匹配词与第二分词不匹配。
由于上述空词对应的向量为零向量，零向量与任意向量之间的计算结果均为0，故上述零向量可以不影响原有的第一分词对应的匹配信息。并且，在匹配概率的分配过程中，原有的第一分词和空词对应的匹配概率的总和是相对固定的，而空词可以占用对应的匹配概率，故本发明实施例可以降低原有的第一分词中非匹配词对应的匹配概率，因此能够在一定程度上克服将非匹配词强制对齐的情况，提高注意力信息的准确度，进而可以提高相关性信息的准确度。
例如，本发明实施例可以在上述示例中的第一分词中增加空词，以得到第一更新词序列。第一更新词序列可以为：“空词”、“搜狐”、“网络”、“大厦”、“在”、“哪儿”。在对匹配概率进行归一化前，“中关村”对应“空词”、“搜狐”、“网络”、“大厦”、“在”、“哪儿”等的匹配信息分别为“0”、“-2.5”、“-3.0”、“-3.5”、“-3.0”、“-2.0”，假设归一化公式为:epi/Σjepj，则依据上述归一化公司，归一化后的匹配概率分别为：0.742,0.0614，0.0369,0.0224，0.0369,0.1004。可见，本发明实施例可以降低原有的第一分词中非匹配词对应的匹配概率，因此能够在一定程度上克服将非匹配词强制对齐的情况。
本发明实施例可以应用于搜索等应用场景。在搜索场景中，网页可用于作为查询词对应的搜索结果，则可以依据上述相关性信息，对搜索结果进行排序；由于依据准确度更高的相关性信息进行排序，故可以提高搜索结果排序的合理性，由此将与查询词相关性更高的搜索结果优先提供给用户。
本发明实施例提供的数据处理方法可应用于客户端和服务端对应的应用环境中，客户端与服务端位于有线或无线网络中，通过该有线或无线网络，客户端与服务端进行数据交互。
可选地，客户端可以运行在终端上，上述终端具体包括但不限：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture ExpertsGroup Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving PictureExperts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。可选地，客户端可以对应任意的应用程序，如搜索程序、搜索网站等，搜索程序和搜索网站可以与搜索引擎相应。
方法实施例一
参照图1，示出了本发明的一种数据处理方法实施例一的步骤流程图，具体可以包括：
步骤101、确定第一词序列和第二词序列；上述第一词序列可以对应第一对象，上述第二词序列可以对应第二对象；
步骤102、在上述第一词序列中增加空词，以得到第一更新词序列；上述空词对应的向量可以为零向量；
步骤103、依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。
图1所示方法实施例一可由服务端执行，当然本发明实施例对于方法实施例一对应的具体执行主体不加以限制。
步骤101中，第一对象和第二对象可以为任意的具有相关性的对象。例如，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词等。
查询词可用于表征向搜索引擎提交的字符串。本发明实施例可以依据历史查询词集合得到上述查询词，例如，可以从历史查询词集合中确定出上述查询词。或者，可以构造得到上述查询词。可以理解，任意的查询词均在本发明实施例的查询词的保护范围之内，本发明实施例对于具体的查询词不加以限制。
网页是构成网站的基本元素，是承载各种网站应用的平台。在搜索场景中，网页可用于作为查询词对应的搜索结果。可选地，本发明实施例可以从预置网站对应的网页中确定出上述网页。可以理解，任意的网页均在本发明实施例的网页的保护范围之内，本发明实施例对于具体的网页不加以限制。
词序列可以表征按照顺序排列的多个分词。
根据一种实施例，可以对查询词进行分词，以得到查询词对应的词序列。例如，查询词B为“怎么样能转发微信语音”，可以依据查询词B得到q个查询分词，q＝5，5个查询分词分别为：“怎么样”、“能”、“转发”、“微信”、“语音”。
根据另一种实施例，可以对网页内容进行分词，以得到网页对应的词序列。网页内容可以包括：网页标题、或网页正文。
例如，网页A的网页标题A为“微信语音怎么转发给好友”，可以依据网页标题A得到t个标题分词，t＝6，6个标题分词分别为：“微信”、“语音”、“怎么”、“转发”、“给”、“好友”。
又如，从网页A的网页正文中抽取了k个正文关键词，k＝5，k个正文关键词分别为：“微信”、“语音”、“手机”、“点击”、“转发”。
可选地，可以从网页正文中抽取正文关键词。例如，可以采用词频-逆向文档频率(TF-IDF，term frequency–inverse document frequency)等方法，从网页正文中抽取正文关键词，本发明实施例对于从网页正文中抽取正文关键词的具体过程不加以限制。
步骤102中，在上述第一词序列中增加空词。本发明实施例中，空词的数量可以为一个或多个，空词可以位于第一词序列的任意位置。
可选地，所述空词可以位于所述第一词序列的开头位置、或结尾位置、或者中间位置。例如，查询词B为“怎么样能转发微信语音”，则可以在首个查询分词“怎么样”之前增加空词，或者，可以在末尾分词“语音”之后增加空词，或者，可以在两个相邻的查询分词之间增加空词。其中，在开头位置或结尾位置增加空词，可以降低运算的复杂度。在中间位置增加空词，仍可以实现空词的作用。
上述空词对应的向量可以为零向量；零向量与任意向量之间的计算结果均为0，故上述零向量可以不影响原有的第一分词对应的匹配信息。
步骤103中，依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。
上述第一更新词序列对应的向量可用于表征第一更新词序列在向量空间内的表示。上述第二词序列对应的向量可用于表征第二词序列在向量空间内的表示。
本发明实施例中，可选的是，可以将第一更新词序列嵌入向量空间，以得到第一更新词序列对应的向量。
例如，假设词的嵌入维度为P维，则查询词B中的每个查询分词可被映射为一个维度为P的向量，则q个查询分词和1个空词可被表示为(q+1)×P维的向量。P的例子可以为128、256等。
本发明实施例中，可选的是，可以将第二词序列嵌入向量空间，以得到第二词序列对应的向量。
在本发明的一种可选实施例中，确定第一更新词序列对应的向量，具体包括：利用双向长短期记忆(双向LSTM，Bi Long Short-Term Memory)网络，对第一更新词序列对应的向量进行编码，以得到第一更新词序列对应的向量。双向LSTM可以包括：前向LSTM和后向LSTM，利用双向LSTM网络对第一更新词序列对应的向量进行编码，可以使编码后的向量带有多个对应的上下文信息。例如，可以首先将查询词对应的查询分词和空词嵌入向量空间，以得到查询词向量，然后，利用双向LSTM网络将查询词向量进行编码，以得到第一更新词序列对应的向量。
同理，可以利用双向长短期记忆LSTM网络，对第二词序列对应的向量进行编码。
可以理解，本发明实施例中，一个分词对应一个向量，则多个分词可以对应多个向量。因此，本发明实施例中，第一更新词序列对应的向量可以为多个，第二词序列对应的向量可以为多个。
步骤103中，第一对象对于第二对象的注意力信息可以用于反映第二对象对第一对象的重要性，依据第一对象对于第二对象的注意力信息对第二对象进行加权，可以针对重要性较高的第二对象对应词汇增加权重，由此可以提高加权后第二对象的表意能力。
本发明实施例中，可选的是，上述确定所述第一对象对于所述第二对象的注意力信息，具体可以包括：依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵。
可选地，可以将第二词序列对应的向量、模型参数矩阵和上述转置向量进行相乘，以得到第一匹配矩阵M。第一匹配矩阵M的行表征第二分词(即为第二词序列中包括的第二分词)，第一匹配矩阵M的列表征第一更新分词(即为第一更新词序列中包括的第一分词和增加的空词)，第一匹配矩阵M的第i行第j列表征第i个第二分词与第j个第一更新分词分词之间的匹配信息。i、j可以为自然数。
对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；可以利用归一化函数，对所述第一匹配矩阵M在行上进行归一化处理，以得到第二匹配矩阵M’。归一化函数可以包括：softmax()等。
依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵，简称第一注意力矩阵；第一注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。可选地，可以将第二匹配矩阵M’与转置向量相乘，以得到注意力矩阵。
第一匹配矩阵表征的匹配信息的取值范围通常较为分散，归一化处理可以将匹配信息转换至同一量纲下，以实现匹配概率的分配。归一化处理后的量纲可以为[0,1]等。
在本发明的一种示例中，第一对象为查询词，第二对象为网页；相应地，可以通过如下公式得到第一注意力信息：
M＝k_emb*w1*q_embT (1)
M'＝softmax(M) (2)
att_k＝M′*q_emb (3)
公式(1)表示计算两组向量之间的相似度。其中“*”表示矩阵乘；W1表示模型参数矩阵；k_emb表示网页对应的向量；q_emb表示查询词对应的向量，q_emb中可以包括：空词对应的零向量；q_embT表示q_emb对应的转置向量；M表示得到查询词与网页之间的第一匹配矩阵(第一匹配矩阵M中行表示网页分词，列表示查询分词或空词，第一匹配矩阵M中的第i行第j列表示第i个网页分词与第j个查询分词或空词之间的相似度)。
公式(2)中softmax(M)表示对第一匹配矩阵M在行上做softmax处理，以实现匹配概率的分配，从而得到每一个网页分词对查询词中每一个查询分词的第二匹配矩阵M′。
公式(3)表示由第二匹配矩阵M′与q_emb相乘得到注意力矩阵att_k。
在匹配概率的分配过程中，原有的第一分词和空词对应的匹配概率的总和是相对固定的，而空词可以占用对应的匹配概率，故本发明实施例可以降低原有的第一分词中非匹配词对应的匹配概率，因此能够在一定程度上克服将非匹配词强制对齐的情况，提高注意力信息的准确度，进而可以提高相关性信息的准确度。
在前述的示例中，查询词A对应的第一词序列为：“搜狐”、“网络”、“大厦”、“在”、“哪儿”，第一词序列包括5个分词；网页A对应的第二词序列为：“搜狐”、“网络”、“大厦”、“在”、“中关村”、“东路”、“1”、“号”“院”，第二词序列包括10个分词。
相关技术中，在依据查询词A到网页A的方向进行注意力处理的过程中，生成的第一匹配矩阵和第二匹配矩阵均为10*5的矩阵。
在本发明的一种实施例中，在依据查询词A到网页A的方向进行注意力处理的过程中，给查询词A对应的词向量矩阵增加一行零向量，查询词A对应的向量为6*P维，生成的第一匹配矩阵和第二匹配矩阵均为10*6维的矩阵；可以确定每一个网页分词对到哪一个查询分词或空词上。
在本发明的另一种实施例中，在依据网页A到查询词A的方向进行注意力处理的过程中，给网页A对应的词向量矩阵增加一行零向量，生成的第一匹配矩阵和第二匹配矩阵均为5*11维的矩阵；可以确定每一个查询分词对到哪一个网页分词或空词上。
本发明实施例依据增加空词后的第一更新词序列，进行第二匹配矩阵对应匹配概率的分配，通过空词占用的对应的匹配概率，提高匹配效率的准确度。在完成第二匹配矩阵对应匹配概率的分配后，可以从第二匹配矩阵中去除所述空词对应的列，以消除空词对于后续注意力信息的计算过程的影响。
相应地，在本发明的一种可选实施例中，上述依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵，具体包括：从所述第二匹配矩阵中去除所述空词对应的列，以得到更新匹配矩阵；依据所述更新匹配矩阵和所述转置向量，确定注意力矩阵。
以查询词A到网页A方向的注意力处理为例，第二匹配矩阵为10*6维的矩阵，第二匹配矩阵的行表征网页分词，第二匹配矩阵的列表征查询分词或空词，本发明实施例从所述第二匹配矩阵中去除所述空词对应的列，得到的更新匹配矩阵可以为10*5的矩阵，可以使更新匹配矩阵中不包含空词的信息。
综上，本发明实施例的数据处理方法，在第一词序列中增加空词，以得到第一更新词序列，并依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息。第一更新词序列可以包括：原有的第一分词和空词。原有的第一分词可以包括：匹配词、或非匹配词，其中，匹配词与第二分词匹配，非匹配词与第二分词不匹配。
由于上述空词对应的向量为零向量，零向量与任意向量之间的计算结果均为0，故上述零向量可以不影响原有的第一分词对应的匹配信息。并且，在匹配概率的分配过程中，原有的第一分词和空词对应的匹配概率的总和是相对固定的，而空词可以占用对应的匹配概率，故本发明实施例可以降低原有的第一分词中非匹配词对应的匹配概率，提高非匹配词对应的匹配概率与实际情况之间的符合度，因此能够在一定程度上克服将非匹配词强制对齐的情况，提高匹配效率和注意力信息的准确度，进而可以提高相关性信息的准确度。
方法实施例二
参照图2，示出了本发明的一种数据处理方法实施例一的步骤流程图，具体可以包括：
步骤201、确定第一词序列和第二词序列；上述第一词序列可以对应第一对象，上述第二词序列可以对应第二对象；
步骤202、在上述第一词序列中增加空词，以得到第一更新词序列；上述空词对应的向量可以为零向量；
步骤203、依据上述第一更新词序列对应的向量和上述第二词序列对应的向量，确定上述第一对象对于上述第二对象的注意力信息；
相对于图1上述方法实施例一，本实施例的方法还可以包括：
步骤204、依据上述第一对象对于上述第二对象的注意力信息，对上述第二词序列对应的向量进行加权，以得到第一加权向量；
步骤205、依据上述第二对象对于上述第一对象的注意力信息，对上述第一词序列对应的向量进行加权，以得到第二加权向量；
步骤206、依据上述第一加权向量和上述第二加权向量，确定上述第一对象与上述第二对象之间的相关性信息。
第一对象对于第二对象的注意力信息，可以用于反映第二对象对第一对象的重要性，依据第一对象对于第二对象的注意力信息对第二词序列对应的向量进行加权，可以针对重要性较高的第二分词，增加权重，由此可以提高第一加权向量的表意能力。
第二对象对于第一对象的注意力信息，可以用于反映第一对象对第二对象的重要性，依据第二对象对于第一对象的注意力信息对第一词序列对应的向量进行加权，可以针对重要性较高的第一分词，增加权重，由此可以提高第二加权向量的表意能力。
在提高第一加权向量和第二加权向量的表意能力的情况下，本发明实施例依据上述第一加权向量和上述第二加权向量，确定上述第一对象与第二对象之间的相关性信息，可以提高相关性信息的准确度。
本发明实施例中，可选的是，可以通过如下步骤确定第二对象对于第一对象的注意力信息：在所述第二词序列中增加空词，以得到第二更新词序列；依据所述第二更新词序列对应的向量和所述第一词序列对应的向量，确定所述第二对象对于所述第一对象的注意力信息。具体可以参照图1所述方法实施例一，在此不作赘述。
本发明实施例中，可选的是，步骤204对上述第二词序列对应的向量进行加权，具体可以包括：依据第一注意力矩阵，对第二词序列对应的向量进行加权。可选地，上述依据第一注意力矩阵，对第二词序列对应的向量进行加权，具体可以包括：对第一注意力矩阵和第二词序列对应的向量中对应的元素位取最大值，具体地，从第二词序列对应的向量中的第二元素值、以及第一注意力矩阵中与第二词序列对应的向量中的第二元素值相应的第一元素值中选取大的一者，作为第一目标元素值，并依据第一目标元素值得到加权后的第二词序列对应的向量。其中，第二元素值与第一元素值相应，可以指两者的位置相应。例如，第一注意力矩阵att_k’(i，j)与第i个第二词序列对应的向量的第j个位置相应。
可选地，可以通过如下公式对上述第二词序列对应的向量进行加权：
k_att＝W2*Max(k_emb，att_k) (4)
公式(4)表示用第一注意力矩阵att_k对k_emb进行加权并做线性处理，其中Max(·)表示加权方式，即k_emb与att_k对应位取最大值，W2表示模型参数矩阵。
可选地，在对上述第二词序列对应的向量进行加权的过程中，可以采用模型参数。本发明实施例的模型可以指数学模型。模型参数可以通过训练得到。本发明实施例中，不同的运算过程可以利用相同或不同的模型参数，本发明实施例对于具体的模型参数不加以限制。
数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型，数学模型是针对参照某种事物系统的特征或数量依存关系，采用数学语言，概括地或近似地表述出的一种数学结构，这种数学结构是借助于数学符号刻画出来的关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合，通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。其中，数学模型描述的是系统的行为和特征而不是系统的实际结构。其中，可采用机器学习、深度学习方法等方法进行数学模型的训练，机器学习方法可包括：线性回归、决策树、随机森林等，深度学习方法可包括：卷积神经网络(Convolutional Neural Networks,CNN)、长短期记忆网络(LongShort-Term Memory，LSTM)、门控循环单元(Gated Recurrent Unit，GRU)等。
步骤205中，上述对上述第一词序列对应的向量进行加权，具体可以包括：依据第二注意力矩阵，对第一词序列对应的向量进行加权。第二注意力矩阵用于表征第二对象对于第一对象的注意力信息，第二注意力矩阵的确定过程可以参照第一注意力矩阵的确定过程，在此不作赘述。
可选地，上述依据第二注意力矩阵，对第一词序列对应的向量进行加权，具体可以包括：对第二注意力矩阵和第一词序列对应的向量中对应的元素位取最大值，具体地，从第一词序列对应的向量中的第四元素值、以及第二注意力矩阵中与第一词序列对应的向量中的第四元素值相应的第三元素值中选取大的一者，作为第二目标元素值，并依据第二目标元素值得到加权后的第一词序列对应的向量。其中，第四元素值与第三元素值相应，可以指两者的位置相应。例如，第二注意力矩阵S’(i，j)与第i个查询分词对应第一词序列对应的向量的第j个位置相应。
步骤206中，可选的是，上述确定所述第一对象与所述第二对象之间的相关性信息，具体包括：确定所述第一加权向量对应的第一语义向量，以及确定所述第二加权向量对应的第二语义向量；依据所述第一语义向量和所述第二语义向量对应的一次项交互信息和二次项交互信息，确定所述第一对象与所述第二对象之间的相关性信息。
第一语义向量和第二语义向量分别携带有语义信息。可选地，可以利用卷积神经网络(CNN，Convolutional Neural Networks)，确定第一语义向量和第二语义向量。当然，本发明实施例对于确定第一语义向量和第二语义向量的具体过程不加以限制。
一次项交互信息的确定过程可以包括：对第一语义向量和第二语义向量进行融合得到第二融合结果，依据所述第二融合结果和模型参数，得到一次项交互信息。可选地，一次项交互信息的确定过程中可以利用模型参数。
二次项交互信息的确定过程可以包括：依据第一语义向量和第二语义向量的乘积，得到二次项交互信息。可选地，二次项交互信息的确定过程中可以利用模型参数。
本发明实施例可以对一次项交互信息和二次项交互信息进行融合，以得到相关性信息，融合过程中可以利用模型参数。
可选地，相关性信息涉及的公式如下：
q_final＝CNN(q_att) (5)
t_docinfo_final＝CNN(t_docinfo_att) (6)
score＝σ(q_final*W5*(t_docinfo_att)T+[q_final，t_docinfo_final]*W6+b)(7)
公式(5)、公式(6)中，CNN(·)表示卷积网络模型，q_att表示第二加权向量，t_docinfo_att表示第一加权向量，q_final表示第二语义向量，t_docinfo_final表示第一语义向量。
公式(7)中W5、W6表示模型参数矩阵，[X,Y]表示对向量X、Y进行拼接，b表示偏置参数，σ(·)表示激活函数。公式(7)中加法运算的第一位和第二位分别表征二次项信息和一次项信息；score表示第一对象与第二对象之间的相关性分值。
本发明实施例可以对步骤204得到的相关性分值进行保存，以备使用。
综上，本发明实施例的数据处理方法，通过注意力信息表征第一对象与第二对象之间的逻辑性和关联性，本发明实施例依据注意力信息对向量进行加权，可以提高第一加权向量和第二加权向量的表意能力。
在提高第一加权向量和第二加权向量的表意能力的情况下，本发明实施例依据上述第一加权向量和上述第二加权向量，确定上述第一对象与上述第二对象之间的相关性信息，可以提高相关性信息的准确度。
在第一对象为查询词、第二对象为网页的情况下，本发明实施例分别从query->网页、网页->query两个方向进行注意力加权，使query和网页信息中的重要的分词得到更高的权重。
本发明实施例的注意力加权，可以得到表示更为充分的语义向量，从而提高相关性信息的准确度。
方法实施例三
参照图3，示出了本发明的一种数据处理方法实施例四的步骤流程图，具体可以包括：
步骤301、确定查询词对应的搜索结果；
步骤302、依据上述查询词与上述搜索结果之间的相关性信息，对上述搜索结果进行排序；
其中，上述相关性信息可以为依据前述的方法中的注意力信息得到；
步骤303、输出排序后的搜索结果。
本发明实施例可以应用于搜索场景等应用场景。在搜索场景中，网页可用于作为查询词对应的搜索结果，则可以依据上述相关性信息，对搜索结果进行排序；由于依据准确度更高的相关性信息进行排序，故可以提高搜索结果的排序结果的合理性，由此将与查询词的相关性更高的搜索结果优先提供给用户。
步骤301中，可以依据用户输入的查询词，在搜索引擎的数据库中进行检索，以得到查询词对应的搜索结果。
步骤302中，可以将相关性信息作为排序特征，对上述搜索结果进行排序。可选地，除了相关性信息之外，排序特征还可以包括：用户特征、网页的热度特征等特征。
步骤303中，服务端可以向客户端输出排序后的搜索结果，或者，客户端可以向用户输出排序后的搜索结果。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的运动动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的运动动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的运动动作并不一定是本发明实施例所必须的。
装置实施例
参照图4，示出了本发明的一种数据处理装置实施例的结构框图，具体可以包括：词序列确定模块401、空词增加模块402和注意力确定模块403。
其中，词序列确定模块401，用于确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象.
空词增加模块402，用于在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量。
注意力确定模块403，用于依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
可选地，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词。
可选地，注意力确定模块403具体可以包括：
第一匹配矩阵确定模块，用于依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵；
归一化模块，用于对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；
第一注意力确定模块，用于依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵；所述注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。
可选地，第一注意力确定模块具体可以包括：
矩阵更新模块，用于从所述第二匹配矩阵中去除所述空词对应的列，以得到更新匹配矩阵；
注意力矩阵确定模块，用于依据所述更新匹配矩阵和所述转置向量，确定注意力矩阵。
可选地，所述装置还可以包括：
第一加权模块，用于依据所述第一对象对于所述第二对象的注意力信息，对所述第二词序列对应的向量进行加权，以得到第一加权向量；
第二加权模块，用于依据所述第二对象对于所述第一对象的注意力信息，对所述第一词序列对应的向量进行加权，以得到第二加权向量；
相关性确定模块，用于依据所述第一加权向量和所述第二加权向量，确定所述第一对象与所述第二对象之间的相关性信息。
可选地，相关性确定模块具体可以包括：
语义向量确定模块，用于确定所述第一加权向量对应的第一语义向量，以及确定所述第二加权向量对应的第二语义向量；
基于交互的相关性确定模块，用于依据所述第一语义向量和所述第二语义向量对应的一次项交互信息和二次项交互信息，确定所述第一对象与所述第二对象之间的相关性信息。
可选地，所述装置还可以包括：
空词处理模块，用于在所述第二词序列中增加空词，以得到第二更新词序列；
第二注意力确定模块，用于依据所述第二更新词序列对应的向量和所述第一词序列对应的向量，确定所述第二对象对于所述第一对象的注意力信息。
可选地，所述空词位于所述第一词序列的开头位置、或结尾位置、或者中间位置。
参照图5，示出了本发明的一种数据处理装置实施例的结构框图，具体可以包括：确定模块501、排序模块502和输出模块503。
其中，确定模块501，用于确定查询词对应的搜索结果；
排序模块502，用于依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据前述的方法中的注意力信息得到；
输出模块503，用于输出排序后的搜索结果。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
图6是根据一示例性实施例示出的一种用于数据处理的装置900作为终端时的结构框图。例如，装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为装置900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(终端或者服务器)的处理器执行时，使得装置能够执行一种数据处理方法，所述方法包括：确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
本发明实施例公开了A1、一种数据处理方法，包括：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
A2、根据A1所述的方法，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词。
A3、根据A1所述的方法，所述确定所述第一对象对于所述第二对象的注意力信息，包括：
依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵；
对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；
依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵；所述注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。
A4、根据A3所述的方法，所述依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵，包括：
从所述第二匹配矩阵中去除所述空词对应的列，以得到更新匹配矩阵；
依据所述更新匹配矩阵和所述转置向量，确定注意力矩阵。
A5、根据A1所述的方法，所述方法还包括：
依据所述第一对象对于所述第二对象的注意力信息，对所述第二词序列对应的向量进行加权，以得到第一加权向量；
依据所述第二对象对于所述第一对象的注意力信息，对所述第一词序列对应的向量进行加权，以得到第二加权向量；
依据所述第一加权向量和所述第二加权向量，确定所述第一对象与所述第二对象之间的相关性信息。
A6、根据A5所述的方法，所述确定所述第一对象与所述第二对象之间的相关性信息，包括：
确定所述第一加权向量对应的第一语义向量，以及确定所述第二加权向量对应的第二语义向量；
依据所述第一语义向量和所述第二语义向量对应的一次项交互信息和二次项交互信息，确定所述第一对象与所述第二对象之间的相关性信息。
A7、根据A5所述的方法，所述方法还包括：
在所述第二词序列中增加空词，以得到第二更新词序列；
依据所述第二更新词序列对应的向量和所述第一词序列对应的向量，确定所述第二对象对于所述第一对象的注意力信息。
A8、根据A1至A7中任一所述的方法，所述空词位于所述第一词序列的开头位置、或结尾位置、或者中间位置。
本发明实施例公开了B9、一种数据处理方法，所述方法包括：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据A1至A8中任一所述的方法中的注意力信息得到；
输出排序后的搜索结果。
本发明实施例公开了C10、一种数据处理装置，所述装置包括：
词序列确定模块，用于确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
空词增加模块，用于在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；以及
注意力确定模块，用于依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
C11、根据C10所述的装置，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词。
C12、根据C10所述的装置，所述注意力确定模块包括：
第一匹配矩阵确定模块，用于依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵；
归一化模块，用于对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；
第一注意力确定模块，用于依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵；所述注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。
C13、根据C12所述的装置，所述第一注意力确定模块包括：
矩阵更新模块，用于从所述第二匹配矩阵中去除所述空词对应的列，以得到更新匹配矩阵；
注意力矩阵确定模块，用于依据所述更新匹配矩阵和所述转置向量，确定注意力矩阵。
C14、根据C10所述的装置，所述装置还包括：
第一加权模块，用于依据所述第一对象对于所述第二对象的注意力信息，对所述第二词序列对应的向量进行加权，以得到第一加权向量；
第二加权模块，用于依据所述第二对象对于所述第一对象的注意力信息，对所述第一词序列对应的向量进行加权，以得到第二加权向量；
相关性确定模块，用于依据所述第一加权向量和所述第二加权向量，确定所述第一对象与所述第二对象之间的相关性信息。
C15、根据C14所述的装置，所述相关性确定模块包括：
语义向量确定模块，用于确定所述第一加权向量对应的第一语义向量，以及确定所述第二加权向量对应的第二语义向量；
基于交互的相关性确定模块，用于依据所述第一语义向量和所述第二语义向量对应的一次项交互信息和二次项交互信息，确定所述第一对象与所述第二对象之间的相关性信息。
C16、根据C15所述的装置，所述装置还包括：
空词处理模块，用于在所述第二词序列中增加空词，以得到第二更新词序列；
第二注意力确定模块，用于依据所述第二更新词序列对应的向量和所述第一词序列对应的向量，确定所述第二对象对于所述第一对象的注意力信息。
C17、根据C10至C16中任一所述的装置，所述空词位于所述第一词序列的开头位置、或结尾位置、或者中间位置。
本发明实施例公开了D18、一种数据处理装置，所述装置包括：
确定模块，用于确定查询词对应的搜索结果；
排序模块，用于依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据权利要求1至8中任一所述的方法中的注意力信息得到；
输出模块，用于输出排序后的搜索结果。
本发明实施例公开了E19、一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
E20、根据E19所述的装置，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词。
E21、根据E19所述的装置，所述确定所述第一对象对于所述第二对象的注意力信息，包括：
依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵；
对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；
依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵；所述注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。
E22、根据E21所述的装置，所述依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵，包括：
从所述第二匹配矩阵中去除所述空词对应的列，以得到更新匹配矩阵；
依据所述更新匹配矩阵和所述转置向量，确定注意力矩阵。
E23、根据E19所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
依据所述第一对象对于所述第二对象的注意力信息，对所述第二词序列对应的向量进行加权，以得到第一加权向量；
依据所述第二对象对于所述第一对象的注意力信息，对所述第一词序列对应的向量进行加权，以得到第二加权向量；
依据所述第一加权向量和所述第二加权向量，确定所述第一对象与所述第二对象之间的相关性信息。
E24、根据E23所述的装置，所述确定所述第一对象与所述第二对象之间的相关性信息，包括：
确定所述第一加权向量对应的第一语义向量，以及确定所述第二加权向量对应的第二语义向量；
依据所述第一语义向量和所述第二语义向量对应的一次项交互信息和二次项交互信息，确定所述第一对象与所述第二对象之间的相关性信息。
E25、根据E24所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
在所述第二词序列中增加空词，以得到第二更新词序列；
依据所述第二更新词序列对应的向量和所述第一词序列对应的向量，确定所述第二对象对于所述第一对象的注意力信息。
E26、根据E19至E25中任一所述的装置，所述空词位于所述第一词序列的开头位置、或结尾位置、或者中间位置。
本发明实施例公开了F27、一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据A1至A8中任一所述的方法中的注意力信息得到；
输出排序后的搜索结果。
本发明实施例公开了G28、一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如A1至A8中一个或多个所述的数据处理方法。
本发明实施例公开了H29、一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如B9所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置、以及一种机器可读介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
2.根据权利要求1所述的方法，其特征在于，所述第一对象为查询词，所述第二对象为网页；或者，所述第一对象为网页，所述第二对象为查询词。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一对象对于所述第二对象的注意力信息，包括：
依据所述第一更新词序列对应的转置向量和所述第二词序列对应的向量，确定第一匹配矩阵；
对所述第一匹配矩阵在行上进行归一化处理，以得到第二匹配矩阵；
依据所述第二匹配矩阵和所述转置向量，确定注意力矩阵；所述注意力矩阵用于表征所述第一对象对于所述第二对象的注意力信息。
4.一种数据处理方法，其特征在于，所述方法包括：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据权利要求1至3中任一所述的方法中的注意力信息得到；
输出排序后的搜索结果。
5.一种数据处理装置，其特征在于，所述装置包括：
词序列确定模块，用于确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
空词增加模块，用于在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；以及
注意力确定模块，用于依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
6.一种数据处理装置，其特征在于，所述装置包括：
确定模块，用于确定查询词对应的搜索结果；
排序模块，用于依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据权利要求1至8中任一所述的方法中的注意力信息得到；
输出模块，用于输出排序后的搜索结果。
7.一种用于数据处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定第一词序列和第二词序列；所述第一词序列对应第一对象，所述第二词序列对应第二对象；
在所述第一词序列中增加空词，以得到第一更新词序列；所述空词对应的向量为零向量；
依据所述第一更新词序列对应的向量和所述第二词序列对应的向量，确定所述第一对象对于所述第二对象的注意力信息。
8.一种用于数据处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
确定查询词对应的搜索结果；
依据所述查询词与所述搜索结果之间的相关性信息，对所述搜索结果进行排序；其中，所述相关性信息为依据权利要求1至3中任一所述的方法中的注意力信息得到；
输出排序后的搜索结果。
9.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至3中一个或多个所述的数据处理方法。
10.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求4所述的数据处理方法。
CN201911205949.4A 2019-11-29 2019-11-29 一种数据处理方法、装置和介质 Active CN112883295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205949.4A CN112883295B (zh) 2019-11-29 2019-11-29 一种数据处理方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205949.4A CN112883295B (zh) 2019-11-29 2019-11-29 一种数据处理方法、装置和介质

Publications (2)

Publication Number Publication Date
CN112883295A true CN112883295A (zh) 2021-06-01
CN112883295B CN112883295B (zh) 2024-02-23

Family

ID=76039036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205949.4A Active CN112883295B (zh) 2019-11-29 2019-11-29 一种数据处理方法、装置和介质

Country Status (1)

Country Link
CN (1) CN112883295B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150532A1 (en) * 2010-12-08 2012-06-14 At&T Intellectual Property I, L.P. System and method for feature-rich continuous space language models
CN107220384A (zh) * 2017-06-29 2017-09-29 北京拉勾科技有限公司 一种基于相关性的搜索词处理方法、装置及计算设备
CN107273503A (zh) * 2017-06-19 2017-10-20 北京百度网讯科技有限公司 用于生成同语言平行文本的方法和装置
US20180012251A1 (en) * 2016-07-11 2018-01-11 Baidu Usa Llc Systems and methods for an attention-based framework for click through rate (ctr) estimation between query and bidwords
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN108959247A (zh) * 2018-06-19 2018-12-07 深圳市元征科技股份有限公司 一种数据处理方法、服务器及计算机可读介质
CN109062895A (zh) * 2018-07-23 2018-12-21 挖财网络技术有限公司 一种智能语义处理方法
CN109740158A (zh) * 2018-12-29 2019-05-10 安徽省泰岳祥升软件有限公司 一种文本语义解析方法及装置
CN110020151A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN110019676A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种在查询信息中识别核心词的方法、装置和设备
CN110263162A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 卷积神经网络及其进行文本分类的方法、文本分类装置
CN110413780A (zh) * 2019-07-16 2019-11-05 合肥工业大学 文本情感分析方法、装置、存储介质及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150532A1 (en) * 2010-12-08 2012-06-14 At&T Intellectual Property I, L.P. System and method for feature-rich continuous space language models
US20180012251A1 (en) * 2016-07-11 2018-01-11 Baidu Usa Llc Systems and methods for an attention-based framework for click through rate (ctr) estimation between query and bidwords
CN107273503A (zh) * 2017-06-19 2017-10-20 北京百度网讯科技有限公司 用于生成同语言平行文本的方法和装置
CN107220384A (zh) * 2017-06-29 2017-09-29 北京拉勾科技有限公司 一种基于相关性的搜索词处理方法、装置及计算设备
CN110020151A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种数据处理方法、装置、电子设备以及存储介质
CN110019676A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种在查询信息中识别核心词的方法、装置和设备
CN108959247A (zh) * 2018-06-19 2018-12-07 深圳市元征科技股份有限公司 一种数据处理方法、服务器及计算机可读介质
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN109062895A (zh) * 2018-07-23 2018-12-21 挖财网络技术有限公司 一种智能语义处理方法
CN109740158A (zh) * 2018-12-29 2019-05-10 安徽省泰岳祥升软件有限公司 一种文本语义解析方法及装置
CN110263162A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 卷积神经网络及其进行文本分类的方法、文本分类装置
CN110413780A (zh) * 2019-07-16 2019-11-05 合肥工业大学 文本情感分析方法、装置、存储介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARIO HUEME; CHRISTIAN HOFBAUER; JOHANNES B. HUBER: "Non-Systematic Complex Number RS Coded OFDM by Unique Word Prefix", IEEE TRANSACTIONS ON SIGNAL PROCESSING, pages 285 - 299 *
彭敏;姚亚兰;谢倩倩;高望: "基于带注意力机制CNN的联合知识表示模型", 中文信息学报, pages 51 - 58 *
欧阳文俊;徐林莉;: "基于层级注意力模型的无监督文档表示学习", 计算机系统应用, no. 09, pages 42 - 48 *

Also Published As

Publication number Publication date
CN112883295B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN109800325B (zh) 视频推荐方法、装置和计算机可读存储介质
CN111460150B (zh) 一种分类模型的训练方法、分类方法、装置及存储介质
US9807473B2 (en) Jointly modeling embedding and translation to bridge video and language
CN109684510B (zh) 视频排序方法、装置、电子设备及存储介质
CN110008401B (zh) 关键词提取方法、关键词提取装置和计算机可读存储介质
CN109145213B (zh) 基于历史信息的查询推荐方法及装置
CN107885852B (zh) 一种基于app使用记录的app推荐方法及系统
CN108073303B (zh) 一种输入方法、装置及电子设备
CN109710732B (zh) 信息查询方法、装置、存储介质和电子设备
KR20210094445A (ko) 정보 처리 방법, 장치 및 저장 매체
CN112926310B (zh) 一种关键词提取方法及装置
CN109101505B (zh) 一种推荐方法、推荐装置和用于推荐的装置
CN112148980B (zh) 基于用户点击的物品推荐方法、装置、设备和存储介质
CN112784142A (zh) 一种信息推荐方法及装置
CN112307281A (zh) 一种实体推荐方法及装置
CN112148923A (zh) 搜索结果的排序方法、排序模型的生成方法、装置及设备
CN112328809A (zh) 实体分类方法、装置及计算机可读存储介质
CN110895558B (zh) 一种对话回复的方法及相关装置
CN107301188B (zh) 一种获取用户兴趣的方法及电子设备
CN112883295B (zh) 一种数据处理方法、装置和介质
CN112825076B (zh) 一种信息推荐方法、装置和电子设备
CN113256379A (zh) 一种为商品关联购物需求的方法
CN112579767B (zh) 搜索处理方法、装置和用于搜索处理的装置
CN110020151B (zh) 一种数据处理方法、装置、电子设备以及存储介质
CN112784145B (zh) 一种数据处理方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant