CN113326706A - 一种跨语言检索方法、装置和电子设备 - Google Patents

一种跨语言检索方法、装置和电子设备 Download PDF

Info

Publication number
CN113326706A
CN113326706A CN202110732653.9A CN202110732653A CN113326706A CN 113326706 A CN113326706 A CN 113326706A CN 202110732653 A CN202110732653 A CN 202110732653A CN 113326706 A CN113326706 A CN 113326706A
Authority
CN
China
Prior art keywords
language
title
abstract
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110732653.9A
Other languages
English (en)
Inventor
戴磊
许静芳
鲁涛
李质轩
王青龙
杨正彪
殷明明
武静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202110732653.9A priority Critical patent/CN113326706A/zh
Publication of CN113326706A publication Critical patent/CN113326706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering

Abstract

本申请实施例提供了一种跨语言检索方法和装置，所述方法包括：获取用户的检索请求；所述检索请求包括第一语言的查询词；根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；返回所述第一语言的标题和所述第一语言的摘要。本申请实施例可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。

Description

一种跨语言检索方法、装置和电子设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种跨语言检索方法、一种跨语言检索装置和一种电子设备。
背景技术
跨语言检索是用户使用某种自然语言的检索词汇检索由另一种语言表达的文件的场景，检索得到的另一种语言检索结果需要翻译为用户请求的自然语言。检索结果可以包括标题和摘要，在对标题进行翻译时，由于标题通常很短，很容易导致翻译的歧义；此外由于标题和摘要是分别作为句子级别翻译的，因此标题和摘要中同一个翻译对象可能存在译文不一致的情况，对用户体验造成影响。
发明内容
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种跨语言检索方法、一种跨语言检索装置和电子设备。
为了解决上述问题，本申请实施例公开了一种跨语言检索方法，所述方法包括：
获取用户的检索请求；所述检索请求包括第一语言的查询词；
根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回所述第一语言的标题和所述第一语言的摘要。
可选地，所述翻译模型包括编码器和解码器；所述采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题，包括：
根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
可选地，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
可选地，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
可选地，所述翻译模型通过如下方式训练得到：
获取平行语料数据；
根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
可选地，所述将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练，包括：
根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
可选地，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要，包括：
确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
本申请实施例还公开了一种跨语言检索装置，所述装置包括：
请求获取模块，用于获取用户的检索请求；所述检索请求包括第一语言的查询词；
检索模块，用于根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
翻译模块，用于采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回模块，用于返回所述第一语言的标题和所述第一语言的摘要。
可选地，所述翻译模型包括编码器和解码器；所述翻译模块包括：
输入特征生成子模块，用于根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
模型翻译子模块，用于将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
可选地，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
可选地，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
可选地，所述翻译模型通过如下模块训练得到：
平行语料数据获取模块，用于获取平行语料数据；
语料数据处理模块，用于根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
模型训练模块，用于将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
模型确定模块，用于当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
可选地，所述模型训练模块包括：
第一特征生成子模块，用于根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
第一训练子模块，用于将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
第二特征生成子模块，用于根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
第二训练子模块，用于将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
可选地，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述语料数据处理模块包括：
短语确定子模块，用于确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
标题确定子模块，用于将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
摘要确定子模块，用于将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
本申请实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的跨语言检索方法的步骤。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的跨语言检索方法的步骤。
本申请实施例包括以下优点：
本申请实施例中，可以获取用户的检索请求；根据检索请求中第一语言的查询词进行检索，得到第二语言的检索结果；根据第二语言的检索结果中第二语言的标题和第二语言的摘要，对第二语言的标题进行翻译得到第一语言的标题，以及对第二语言的摘要进行翻译，得到第一语言的摘要；向用户的终端返回第一语言的标题和第一语言的摘要。通过根据第二语言的摘要，协助对第二语言的标题进行翻译，可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。
附图说明
图1是本申请实施例的一种跨语言检索方法的步骤流程图；
图2是本申请实施例的另一种跨语言检索方法的步骤流程图；
图3是本申请实施例的一种跨语言检索装置的结构框图；
图4是本申请一种可选实施例中跨语言检索装置的结构框图；
图5根据一示例性实施例示出的一种用于跨语言检索的电子设备的结构框图；
图6是本申请根据另一示例性实施例示出的一种用于跨语言检索的电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
为了使本领域技术人员能够更好地理解本申请实施例，下面通过例子加以说明。现有常规的跨语言检索场景中，例如用户输入的中文查询词可以为“夏普”，将“夏普”转换为英文查询词“sharp”。基于“sharp”进行检索得到的一个检索结果可以包括：Title：“sharp”；Summary：“for sharp Business Solutions，the company focuses on thedevelopment of sharp office solutions and visual solutions，to providecommercial customers with a more…”。对英文的检索结果进行中文翻译，中文标题为：“夏普”；中文摘要为：“对于夏普业务解决方案，公司决定专注于夏普办公解决方案和视觉解决方案的开发，为商业用户提供更…”。
本申请实施例中，可以获取用户的检索请求；根据检索请求中第一语言的查询词进行检索，得到第二语言的检索结果；根据第二语言的检索结果中第二语言的标题和第二语言的摘要，对第二语言的标题进行翻译得到第一语言的标题，以及对第二语言的摘要进行翻译，得到第一语言的摘要；向用户的终端返回第一语言的标题和第一语言的摘要。通过根据第二语言的摘要，协助对第二语言的标题进行翻译，可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。
参照图1，示出了本申请实施例的一种跨语言检索方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取用户的检索请求；所述检索请求包括第一语言的查询词。
本申请实施例的跨语言检索方法可以应用于服务器对用户通过终端提交的检索请求进行跨语言检索的场景。检索请求可以包括第一语言的查询词，以及用于指定需要跨语言检索的第二语言的信息。
例如，用户通过终端打开检索客户端，向检索客户端输入中文的查询词。在检索客户端可以展现供用户选择第二语言的选项框，用户可以在选项框指定选择进行英文检索。检索客户端向服务器发送包含有中文的查询词的检索请求。服务器可以根据中文的查询词，调用检索引擎进行检索得到一个或多个英文的检索结果，检索结果可以包括文本内容、标题、和文本内容对应的摘要。其中，摘要可以是根据文本内容概括得到，也可以是从文本中摘选得到信息。
步骤102，根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要。
具体的，将所述第一语言的查询词翻译为第二语言的翻译查询词，并针对所述第二语言的翻译查询词进行检索获取第二语言的检索结果。其中，第二语言的检索结果可以包括至少一项第二语言的检索结果项，每个检索结果项包括该结果项对应的第二语言的标题和第二语言的摘要。
在本申请实施例中，第一语言和第二语言的描述是为了区分两种不同的语言，并不代表只针对两种类型的语言，第一语言和第二语言可以为任意两种不同的语言。
步骤103，采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题。
预先训练的翻译模型可以为文档级别翻译模型，文档级别翻译模型可以利用摘要帮助标题进行翻译，由于摘要可以包括标题所在语句之外的上下文信息，相比于句子级别翻译模型，文档级别翻译模型的翻译精准度更高。
在将第二语言的标题翻译为第一语言的标题时，可以引入第二语言的摘要来协助翻译，摘要作为文本内容中的上下文信息，根据上下文信息对标题进行翻译，可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。
在本申请一种可选实施例中，所述翻译模型可以包括编码器和解码器，编码器和解码器的层数可以包括一层或多层，需要保证编码器的层数和解码器的层数对应，示例性地，编码器和解码器的层数可以为6层。
所述步骤103可以包括如下子步骤S11-S12：
子步骤S11，根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征。
编码器的输入特征包括标题特征和摘要特征。输入特征可以为特征向量，可以通过特征向量生成模型将文本转换为特征向量。例如，embedding是一种用二进制向量表示文字语音图像特征的方式，可以通过模型将文本转换为embedding特征。
示例性地，标题特征可以表示为embsrc，可以使得编码器学习标题的信息；摘要特征可以表示为embctx，可以使得编码器学习摘要的信息。
子步骤S12，将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
编码器可以根据输入特征信息进行编码，编码器可以包括一个或多个子层，每个子层可以根据输入到该子层的特征进行编码并输出特征，对于不属于最后一个子层输出的特征，可以称为中间特征。对于最后一个子层输出的特征，可以称为目标特征。示例性地，若编码器包括两个子层，第一子层可以基于输入该子层的特征进行编码得到中间特征；第二子层可以基于输入到该子层的特征进行编码得到目标特征。
在本申请一种可选实施例中，输入特征还可以包括位置特征和分隔符特征。
示例性地，位置特征可以表示为embpos，可以使得编码器学习标题和摘要中每个词的顺序属性；分隔符特征可以表示为embseg，可以使得编码器学习区分标题特征和摘要特征。
在本申请一种可选实施例中，编码器可以基于分隔符特征区分标题特征和摘要特征，而不会将标题特征和摘要特征混合。若没有分隔符特征，编码器将很难区分标题特征和摘要特征。
编码器可以基于位置特征学习标题和摘要中各个词的顺序属性，从而更好区分标题和摘要中的每一个词。例如，对于句子“今天天气好”和“天气变化无常”，对于前一个句子，“今天”的顺序属性表示为句中的第一个词；“天气”的顺序属性表示为句中的第二个词；“好”的顺序属性表示为句中的第三个词。对于后一个句子，“天气”的顺序属性表示为句中的第一个词、“变化无常”的顺序属性表示为句中的第二个词。虽然两个句子中都有“天气”，但是两个句子中的“天气”具有不同的顺序属性，通过顺序属性可以使编码器更好的区分多个句子中的词。若没有位置特征，编码器将不能区分不同句子中的相同词语。
编码器可以基于标题特征、摘要特征、标题和摘要中各个词的顺序属性，学习得到标题特征对应的中间特征和摘要特征对应的中间特征。
由于输入特征包括摘要特征，因此标题特征对应的中间特征会学习到摘要特征的信息，摘要特征的信息可以包括针对标题特征的有关信息和无关信息，其中有关信息可以帮助对标题更好的翻译，使得标题和摘要中同一个翻译对象保持一致；而无关信息则会影响翻译效果。因此，本申请实施例中编码器可以对标题特征对应的中间特征进行过滤，以过滤基于摘要特征学习的无关信息，保留基于摘要特征学习的有关信息。编码器最终输出的目标特征包括：标题特征对应的目标特征和摘要特征对应的目标特征。标题特征对应的目标特征被反馈到解码器进行解码，进而得到标题的翻译结果，而摘要特征对应的目标特征则丢弃不使用。
本申请实施例所述的翻译模型包括编码器和解码器。编码器的架构可以包括多头注意力层(Self-Attention)、过滤单元(Gating)、拼接层(Concat)、残差和归一化处理层(Add&Norm)以及前馈网络(Feed Forward)。多头注意力层为第一子层，前馈网络为第二子层。多头注意力层可以基于输入特征进行编码，得到标题特征对应的中间特征和摘要特征对应的中间特征。在输入特征包括标题特征、摘要特征、位置特征和分隔符特征的情况下，多头注意力层能够将远程依赖之间的最大路径长度减少到O(1)空间复杂度，并确定不同位置的相对重要性。过滤单元对多头注意力层输出的标题特征对应的中间特征中，基于摘要特征学习的无关信息进行过滤，过滤单元可以为门限单元(Gating)，门限机制是神经网络中一个比较成熟的机制，通过对神经元激活结果做线性插值实现过滤。
拼接层对过滤后的标题特征对应的中间特征和摘要特征对应的中间特征进行拼接，拼接后的中间特征依次经过残差和归一化处理层以及前馈网络的处理，被前馈网络输出为目标特征；目标特征包括标题特征对应的目标特征和摘要特征对应的目标特征。本申请实施例中，关注的是与标题特征对应的目标特征，并不关注与摘要特征对应的目标特征。标题特征对应的目标间特征被反馈至解码器，而摘要特征对应的目标特征则被丢弃。
解码器可以包括三个子层，第一子层为多头注意力层(Self-Attention)；第二子层为编码器-解码器注意力层(Encoder-Decoder Attention)，可以让解码器学习输入特征的位置信息；第三子层为前馈网络(Feed Forward)。根据第二语言的标题和摘要生成的输入特征(embtgt)可以输入到解码器的多头注意力层；编码器的输出的与标题特征对应的目标特征可以输入到解码器的编码器-解码器注意力层。前馈网络的输出经过Softmax层进行回归处理后，可以得到候选翻译结果以及对应的概率值，根据候选翻译结果以及对应的概率值可以确定最终的翻译结果。
步骤104，对所述第二语言的摘要进行翻译，得到第一语言的摘要。
对第二语言的摘要，可以使用相应的文档级别翻译模型进行翻译得到第一语言的摘要。
步骤105，返回所述第一语言的标题和所述第一语言的摘要。
服务器可以将翻译得到第一语言的标题和第一语言的摘要返回至用户的终端以进行展示。
本申请实施例中，可以获取用户的检索请求；根据检索请求中第一语言的查询词进行检索，得到第二语言的检索结果；采用预先训练的翻译模型，基于第二语言的标题和第二语言的摘要，对第二语言的标题进行翻译得到第一语言的标题，以及对第二语言的摘要进行翻译，得到第一语言的摘要；向用户的终端返回第一语言的标题和第一语言的摘要。通过使用翻译模型根据第二语言的摘要，协助对第二语言的标题进行翻译，可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。
参照图2所示为本申请实施例中翻译模型训练方法的步骤流程图。
步骤201，获取平行语料数据。
平行语料数据可以包括两种语言对齐互译的文本。示例性地，包括中英对齐互译的文本。例如：今天是个好天气-Today is a good day组成一个平行句。
步骤202，根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要。
平行语料数据可以包括第一语言的文本和第二语言的文本。可以从第一语言的文本中，确定第一语言的标题和摘要；以及从第二语言的文本中，确定第二语言的标题和摘要。
在本申请一种可选实施例中，平行语料数据为平行语句，可以包括第一语言的语句和第二语言的语句；所述步骤202可以包括如下子步骤S21-S23：
子步骤S21，确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐。
子步骤S22，将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题。
可以将第一语言的语句中第一语言的预设短语，作为第一语言的标题；将第二语言的语句中与第一语言的预设短语对齐的第二语言的预设短语，作为第二语言的标题。
子步骤S23，将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
预设短语可以为预设词性的短语。示例性地，预设短语可以为名词短语和动词短语。可以采用伯克利分析器分别对第一语言的语句和第二语言的语句进行分析，得到其中的名词短语和动词短语。然后根据对齐模型生成的单词对齐结果对短语进行对齐，最后，对齐的短语对用作标题，短语对所在的源句子用作摘要。
通过将对齐的短语对用作标题，短语对所在的源句子用作摘要，可以构造出针对翻译模型的训练数据，解决训练数据难以获取的问题。
步骤203，将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练。
在本申请中，可以根据第一语言的标题和摘要生成针对编码器的输入特征，根据第二语言的标题和摘要生成针对解码器的输入特征；将根据第一语言的标题和摘要生成的输入特征输入编码器，得到编码器的输出，即为与标题特征对应的目标特征；将编码器的输出，以及根据第二语言的标题和摘要生成的输入特征输入编码器，对翻译模型进行训练。
在本申请一种可选实施例中，所述输入特征还可以包括：位置特征和分隔符特征，对应的所述步骤203可以进一步包括如下子步骤S31-S34：
子步骤S31，根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括标题特征、摘要特征、位置特征和分隔符特征。
子步骤S32，将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。子步骤S33，根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第一输入特征包括标题特征、摘要特征、位置特征和分隔符特征。
子步骤S34，将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
在本申请一种可选实施例中，在使用构造出的训练数据训练翻译模型之前，还可以对翻译模型进行预训练，预训练的过程可以包括：将所述第一语言的语句作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的语句作为所述翻译模型的解码器的输入，对所述翻译模型进行预训练。
预训练可以使用大量句子级别的平行语句进行训练，得到一个强大的基础翻译模型，再在基础翻译模型上，利用构造数据进行微调。
步骤204，当所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
可以根据解码器的输出计算损失函数，当损失函数的数值满足预设的损失函数判断条件时，可以确定翻译模型训练完成。若损失函数的数值不满足损失函数判断条件，则对翻译模型的参数进行调整并再次训练。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图3，示出了本申请实施例的一种跨语言检索装置的结构框图，具体可以包括如下模块：请求获取模块301，用于获取用户的检索请求；所述检索请求包括第一语言的查询词；
检索模块302，用于根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
翻译模块303，用于采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回模块304，用于返回所述第一语言的标题和所述第一语言的摘要。
参照图4所示为本申请一种可选实施例中跨语言检索装置的结构框图。
在本申请一种可选实施例中，所述翻译模型包括编码器和解码器；所述翻译模块303可以包括：
输入特征生成子模块3031，用于根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
模型翻译子模块3032，用于将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
在本申请一种可选实施例中，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
在本申请一种可选实施例中，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
在本申请一种可选实施例中，所述翻译模型通过如下模块训练得到：
平行语料数据获取模块305，用于获取平行语料数据；
语料数据处理模块306，用于根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
模型训练模块307，用于将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
模型确定模块308，用于当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
在本申请一种可选实施例中，所述模型训练模块307可以包括：
第一特征生成子模块3071，用于根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
第一训练子模块3072，用于将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
第二特征生成子模块3073，用于根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
第二训练子模块3074，用于将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
在本申请一种可选实施例中，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述语料数据处理模块306可以包括：
短语确定子模块3061，用于确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
标题确定子模块3062，用于将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
摘要确定子模块3063，用于将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
本申请实施例中，可以获取用户的检索请求；根据检索请求中第一语言的查询词进行检索，得到第二语言的检索结果；根据第二语言的检索结果中第二语言的标题和第二语言的摘要，对第二语言的标题进行翻译得到第一语言的标题，以及对第二语言的摘要进行翻译，得到第一语言的摘要；向用户的终端返回第一语言的标题和第一语言的摘要。通过根据第二语言的摘要，协助对第二语言的标题进行翻译，可以提高翻译准确率，降低出现歧义的概率，并且可以使得标题与摘要的翻译保持一致。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图5是根据一示例性实施例示出的一种用于跨语言检索的电子设备800的结构框图。例如，电子设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，智能穿戴设备等。
参照图5，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理部件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在电子设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件506为电子设备500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当电子设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件514可以检测到电子设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件514经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件514还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种跨语言检索方法，所述方法包括：
获取用户的检索请求；所述检索请求包括第一语言的查询词；
根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回所述第一语言的标题和所述第一语言的摘要。
可选地，所述翻译模型包括编码器和解码器；所述采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题，包括：
根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
可选地，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
可选地，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
可选地，所述翻译模型通过如下方式训练得到：
获取平行语料数据；
根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
可选地，所述将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练，包括：
根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
可选地，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要，包括：
确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
图6是本申请根据另一示例性实施例示出的一种用于跨语言检索的电子设备600的结构示意图。该电子设备600可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器上执行存储介质630中的一系列指令操作。
服务器还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，一个或一个以上键盘6656，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
在示例性实施例中，服务器经配置以由一个或者一个以上中央处理器622执行一个或者一个以上程序包含用于进行以下操作的指令：
获取用户的检索请求；所述检索请求包括第一语言的查询词；
根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回所述第一语言的标题和所述第一语言的摘要。
可选地，所述翻译模型包括编码器和解码器；所述采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题，包括：
根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
可选地，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
可选地，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
可选地，还包含用于进行以下训练所述翻译模型的指令：
获取平行语料数据；
根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
可选地，所述将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练，包括：
根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
可选地，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要，包括：
确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述跨语言检索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的机器可读介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种跨语言检索方法和一种跨语言检索装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种跨语言检索方法，其特征在于，所述方法包括：
获取用户的检索请求；所述检索请求包括第一语言的查询词；
根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回所述第一语言的标题和所述第一语言的摘要。
2.根据权利要求1所述的方法，其特征在于，所述翻译模型包括编码器和解码器；所述采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题，包括：
根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
3.根据权利要求2所述的方法，其特征在于，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
4.根据权利要求2所述的方法，其特征在于，所述输入特征还包括：位置特征和分隔符特征；
所述位置特征用于学习标题和摘要中各个词的顺序属性；所述分隔符特征用于区分标题特征和摘要特征。
5.根据权利要求2所述的方法，其特征在于，所述翻译模型通过如下方式训练得到：
获取平行语料数据；
根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练，包括：
根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
7.根据权利要求5所述的方法，其特征在于，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要，包括：
确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
8.一种跨语言检索装置，其特征在于，所述装置包括：
请求获取模块，用于获取用户的检索请求；所述检索请求包括第一语言的查询词；
检索模块，用于根据所述第一语言的查询词进行检索，得到第二语言的检索结果；所述检索结果包括第二语言的标题和第二语言的摘要；
翻译模块，用于采用预先训练的翻译模型，基于所述第二语言的标题和所述第二语言的摘要，对所述第二语言的标题进行翻译得到第一语言的标题；以及对所述第二语言的摘要进行翻译，得到第一语言的摘要；
返回模块，用于返回所述第一语言的标题和所述第一语言的摘要。
9.根据权利要求8所述的方法，其特征在于，所述翻译模型包括编码器和解码器；所述翻译模块包括：
输入特征生成子模块，用于根据所述第二语言的标题和所述第二语言的摘要，生成输入特征，所述输入特征包括标题特征和摘要特征；
模型翻译子模块，用于将所述输入特征输入所述翻译模型的编码器，由所述编码器进行编码，并对编码过程中生成的所述标题特征对应的中间特征进行过滤，以过滤基于所述摘要特征学习的无关信息并保留基于所述摘要特征学习的有关信息，将编码完成后得到的所述标题特征对应的目标特征反馈至所述解码器进行解码，以得到第一语言的标题。
10.根据权利要求9所述的方法，其特征在于，所述编码器包括多头注意力层、过滤单元；所述多头注意力层基于所述标题特征、所述摘要特征进行编码得到所述标题特征对应的中间特征和所述摘要特征对应的中间特征；所述过滤单元对所述标题特征对应的中间特征中，基于所述摘要特征学习的无关信息进行过滤。
11.根据权利要求9所述的方法，其特征在于，所述翻译模型通过如下模块训练得到：
平行语料数据获取模块，用于获取平行语料数据；
语料数据处理模块，用于根据所述平行语料数据确定第一语言的标题和摘要以及第二语言的标题和摘要；
模型训练模块，用于将所述第一语言的标题和摘要作为所述翻译模型的编码器的输入，将所述编码器的输出以及所述第二语言的标题和摘要作为所述翻译模型的解码器的输入，对所述翻译模型进行训练；
模型确定模块，用于当根据所述解码器的输出确定满足预设条件时，确定所述翻译模型训练完成。
12.根据权利要求11所述的方法，其特征在于，所述模型训练模块包括：
第一特征生成子模块，用于根据所述第一语言的标题和摘要，生成第一语言的第一输入特征；第一输入特征包括第一语言的标题特征、摘要特征、位置特征和分隔符特征；
第一训练子模块，用于将所述第一输入特征输入所述翻译模型的编码器，以使所述编码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征；
第二特征生成子模块，用于根据所述第二语言的标题和摘要，生成第二语言的第二输入特征；第二输入特征包括第二语言的标题特征、摘要特征、位置特征和分隔符特征；
第二训练子模块，用于将所述第二输入特征输入所述翻译模型的解码器，以使所述解码器基于所述分隔符特征区分所述标题特征和摘要特征，并基于所述标题特征、摘要特征、以及所述位置特征确定的标题和摘要中各个词的顺序属性学习所述标题特征对应的中间特征。
13.根据权利要求12所述的方法，其特征在于，所述平行语料数据包括所述第一语言的语句和所述第二语言的语句；
所述语料数据处理模块包括：
短语确定子模块，用于确定所述第一语言的语句和所述第二语言的语句中的预设短语，并进行对齐；
标题确定子模块，用于将第一语言的语句与第二语言的语句中对齐的预设短语，分别作为第一语言的标题和第二语言的标题；
摘要确定子模块，用于将所述第一语言的标题所在的语句作为第一语言的摘要，以及将所述第二语言的标题所在的语句作为第二语言的摘要。
14.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的跨语言检索方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的跨语言检索方法的步骤。
CN202110732653.9A 2021-06-29 2021-06-29 一种跨语言检索方法、装置和电子设备 Pending CN113326706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732653.9A CN113326706A (zh) 2021-06-29 2021-06-29 一种跨语言检索方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732653.9A CN113326706A (zh) 2021-06-29 2021-06-29 一种跨语言检索方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113326706A true CN113326706A (zh) 2021-08-31

Family

ID=77423424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732653.9A Pending CN113326706A (zh) 2021-06-29 2021-06-29 一种跨语言检索方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113326706A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817682A (zh) * 2022-05-09 2022-07-29 昆明理工大学 基于双重注意力解码网络的跨语言摘要方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817682A (zh) * 2022-05-09 2022-07-29 昆明理工大学 基于双重注意力解码网络的跨语言摘要方法
CN114817682B (zh) * 2022-05-09 2024-04-19 昆明理工大学 基于双重注意力解码网络的跨语言摘要方法

Similar Documents

Publication Publication Date Title
EP3835973A1 (en) Keyword extraction method, keyword extraction device and computer-readable storage medium
CN110781305B (zh) 基于分类模型的文本分类方法及装置，以及模型训练方法
CN109145213B (zh) 基于历史信息的查询推荐方法及装置
CN111612070B (zh) 基于场景图的图像描述生成方法及装置
CN111128183B (zh) 语音识别方法、装置和介质
CN111832316A (zh) 语义识别的方法、装置、电子设备和存储介质
CN113673261A (zh) 数据生成方法、装置及可读存储介质
CN107424612B (zh) 处理方法、装置和机器可读介质
CN110232181B (zh) 评论分析方法及装置
CN109977390B (zh) 一种生成文本的方法及装置
CN111274389B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN113326706A (zh) 一种跨语言检索方法、装置和电子设备
CN112948565A (zh) 人机对话方法、装置、电子设备及存储介质
CN112036195A (zh) 机器翻译方法、装置及存储介质
CN112328809A (zh) 实体分类方法、装置及计算机可读存储介质
CN111831132A (zh) 一种信息推荐方法、装置和电子设备
CN112863499B (zh) 语音识别方法及装置、存储介质
CN107301188B (zh) 一种获取用户兴趣的方法及电子设备
CN112579767B (zh) 搜索处理方法、装置和用于搜索处理的装置
CN114462410A (zh) 实体识别方法、装置、终端及存储介质
CN115688685A (zh) 文本处理方法、装置、电子设备及存储介质
CN113409766A (zh) 一种识别方法、装置、用于识别的装置及语音合成方法
WO2022105229A1 (zh) 一种输入方法、装置和用于输入的装置
CN110134850B (zh) 一种搜索方法及装置
CN114064877A (zh) 文本词句推荐方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination