CN112328891B - 训练搜索模型的方法、搜索目标对象的方法及其装置 - Google Patents

训练搜索模型的方法、搜索目标对象的方法及其装置 Download PDF

Info

Publication number
CN112328891B
CN112328891B CN202011330182.0A CN202011330182A CN112328891B CN 112328891 B CN112328891 B CN 112328891B CN 202011330182 A CN202011330182 A CN 202011330182A CN 112328891 B CN112328891 B CN 112328891B
Authority
CN
China
Prior art keywords
sample
query information
data set
sample data
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011330182.0A
Other languages
English (en)
Other versions
CN112328891A (zh
Inventor
卞东海
彭卫华
罗雨
蒋帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011330182.0A priority Critical patent/CN112328891B/zh
Publication of CN112328891A publication Critical patent/CN112328891A/zh
Priority to JP2021187732A priority patent/JP2022024102A/ja
Priority to US17/532,968 priority patent/US20220083874A1/en
Priority to EP21210062.2A priority patent/EP3937029A3/en
Priority to KR1020210163066A priority patent/KR102685008B1/ko
Application granted granted Critical
Publication of CN112328891B publication Critical patent/CN112328891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及训练搜索模型的方法、搜索目标对象的方法及其装置，涉及机器学习领域。该方法可以包括基于样本查询信息获取用于训练搜索模型的第一样本数据集。该方法还可以包括基于预先构建的知识库确定与样本查询信息相关联的附加查询信息。此外，该方法可以进一步包括基于附加查询信息获取用于训练搜索模型的第二样本数据集，其中第二样本数据集与第一样本数据集不同。并且，该方法还可以包括基于样本查询信息、第一样本数据集和第二样本数据集，训练搜索模型。本公开的技术方案可以快速高效且低成本地完成对搜索模型的训练，从而确定与用户查询信息较为相关的对象。

Description

训练搜索模型的方法、搜索目标对象的方法及其装置
技术领域
本公开的实施例主要涉及人工智能领域，并且更具体地，涉及训练搜索模型的方法、用于搜索目标对象的方法、及其装置、电子设备、计算机可读存储介质、以及计算机程序产品。
背景技术
用户在搜索图片时，相似的用户查询信息(或称查询项，即“query”)可能代表着完全不同的种类，如“时尚韩版毛衣”和“时尚欧美毛衣”，从字面上来看都是搜索“毛衣”这个用户查询信息，但是本质上用户更关注的是特定风格类型的毛衣。传统的图片搜索方法在这种细粒度分类方面还没有比较有效的实现方案。此外，用于训练图片搜索模型的相关数据集基本都是正样本数据。因此，训练出的用于图片搜索的模型很可能存在性能不佳的情况。
发明内容
根据本公开的示例实施例，提供了一种训练搜索模型的方案。
在本公开的第一方面中，提供了一种训练搜索模型的方法。该方法可以包括基于样本查询信息获取用于训练所述搜索模型的第一样本数据集。该方法还可以包括基于预先构建的知识库确定与所述样本查询信息相关联的附加查询信息。此外，该方法可以进一步包括基于所述附加查询信息获取用于训练所述搜索模型的第二样本数据集，其中所述第二样本数据集与所述第一样本数据集不同。并且，该方法还可以包括基于所述样本查询信息、所述第一样本数据集和所述第二样本数据集，训练所述搜索模型。
在本公开的第二方面中，提供了一种训练搜索模型的装置，包括：第一样本数据集获取模块，被配置为基于样本查询信息获取用于训练所述搜索模型的第一样本数据集；附加查询信息确定模块，被配置为基于预先构建的知识库确定与所述样本查询信息相关联的附加查询信息；第二样本数据集获取模块，被配置为基于所述附加查询信息获取用于训练所述搜索模型的第二样本数据集，其中所述第二样本数据集与所述第一样本数据集不同；以及搜索模型训练模块，被配置为基于所述样本查询信息、所述第一样本数据集和所述第二样本数据集，训练所述搜索模型。
在本公开的第三方面中，提供了一种搜索目标对象的方法，包括：基于接收到的用户查询信息获取多个备选目标对象；基于根据本公开的第一方面的方法训练的所述目标用户确定模型，分别确定所述多个备选目标对象命中所述用户查询信息的概率；以及将概率超过阈值概率的备选目标对象确定为所述目标对象。
在本公开的第四方面中，提供了一种用于搜索目标对象的装置，包括：备选目标对象获取模块，被配置为基于接收到的用户查询信息获取多个备选目标对象；概率确定模块，被配置为基于根据本公开的第二方面的装置训练的所述目标用户确定模型，分别确定所述多个备选目标对象命中所述用户查询信息的概率；以及目标对象确定模块，被配置为将概率超过阈值概率的备选目标对象确定为所述目标对象。
在本公开的第五方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第六方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第七方面中，提供了一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据本公开的第一方面的方法的步骤。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的实施例的详细示例环境的示意图；
图3示出了根据本公开的一些实施例的知识图谱的示意图；
图4示出了根据本公开的实施例的训练搜索模型的过程的流程图；
图5示出了根据本公开的实施例的搜索目标对象的过程的流程图；
图6示出了根据本公开的实施例的训练搜索模型的装置的框图；以及
图7示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
传统的图片搜索方法通常是在服务器侧接收用户输入的用户查询信息，位于服务器侧的搜索引擎基于该查询信息搜索到多个备选图像，进而将这些图像与用户查询信息均输入预先训练的搜索模型，以便利用该搜索模型确定与用户查询信息较为相关的一个或多个图像，并向用户展示。
传统的图片搜索方法的缺点至少在于：首先，由于上述多个备选图像均是基于相应用户查询信息搜索得到的，故用于训练该搜索模型的数据集均是关于该用户查询信息的正样本数据集。有些训练方法包含了其他样本数据集，该其他样本数据集本身与正样本数据集也不相关联且粒度较粗，导致训练出的模型性能不稳定且预测结果不够准确。此外，传统的图片搜索方法不适用于细粒度搜索，搜索结果通常也不能令用户满意。
如上文提及的，亟需一种模型训练方法，来快速高效且低成本地完成对搜索模型、尤其是图像搜索模型的训练，进而利用该模型确定与用户查询信息较为相关的一个或多个图像。
根据本公开的实施例，提出了一种模型训练方案。在该方案中，可以通过对用户查询信息进行自动的领域图谱构建，在只有正例的情况下高精度细分图片，同时使用逆序对学习方式加快了检索方案的收敛速度和预测精度。具体地，本公开的搜索模型训练方法可以包括：基于用户输入的用户查询信息确定用于训练模型的正样本数据集；并且基于预先确定的知识图谱确定该查询项的关联项，进而基于该关联项确定用于训练模型的负样本数据集。在此基础上，可以使用该正样本数据集和该负样本数据集作为搜索模型的训练数据集。此外，本公开的实施例还包括利用基于上述方法训练的搜索模型来搜索对象(如图像等)。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100中包含用户查询信息110、计算设备120和经计算设备120预测的目标对象130。
用户查询信息110可以是网络平台的海量用户中的一个或多个用户输入的查询信息。应理解，本文提及的“用户查询信息110”以及“查询信息”均表示由用户输入的关键字信息或者从由用户输入的文本信息中提取的关键字信息。在本公开中，关键字信息主要包含实体词信息和修饰词信息。在某些实施例中，可以基于诸如依存句法分析模型的语义识别模型来从用户输入的文本信息中提取出诸如实体词信息和修饰词信息的关键字信息，从而确定用户查询信息110。
之后，计算设备120可以通过其中加载的诸如机器学习模型等的人工智能网络来确定用户查询信息110所对应的目标对象130。这里，目标对象130可以是与用户查询信息110对应的图像，或者是视频、网页等可以基于网络搜索引擎搜索出的对象。例如，计算设备120可以从多个备选图像中确定与用户查询信息110较为相关的一个或多个目标图像，并作为目标对象130展现给用户。
下文将以机器学习模型为例参考图2对计算设备120中的模型的训练和使用进行描述。
图2示出了根据本公开的实施例的详细示例环境200的示意图。与图1类似地，示例环境200可以包含计算设备220、用户查询信息210和目标对象230。区别在于，示例环境200总体上可以包括模型训练系统260和模型应用系统270。作为示例，模型训练系统260和/或模型应用系统270可以在如图1所示的计算设备120或如图2所示的计算设备220中实现。应当理解，仅出于示例性的目的描述示例环境200的结构和功能并不旨在限制本文所描述主题的范围。本文所描述主题可以在不同的结构和/或功能中实施。
如前所述，从基于用户查询信息210检索出的多个备选目标对象中选择与用户查询信息210较为相关的一个或多个目标对象的过程可以分为两个阶段：模型训练阶段和模型应用阶段。作为示例，在模型训练阶段中，模型训练系统260可以利用训练数据集250来训练确定概率的模型240。在模型应用阶段中，模型应用系统270可以接收经训练的模型240，从而由模型240基于用户查询信息210以及由计算设备220检索出的多个备选目标对象来确定与用户查询信息210较为相关的目标对象230。应理解，训练数据集250可以是样本查询信息以及与其相关联的正、负样本数据集。
在其他实施例中，模型240可以被构建为学习网络。在一些实施例中，该学习网络可以包括多个网络，其中每个网络可以是一个多层神经网络，其可以由大量的神经元组成。通过训练过程，每个网络中的神经元的相应参数能够被确定。这些网络中的神经元的参数被统称为模型240的参数。
模型240的训练过程可以以迭代方式来被执行。具体地，模型训练系统260可以从训练数据集250中获取样本数据，并且利用该样本数据来进行训练过程的一次迭代，以更新模型240的相应参数。模型训练系统260可以基于训练数据集250中的多个样本数据执行上述过程，直至模型240的参数中的至少部分参数收敛或者直至达到预定迭代次数，由此获得最终的模型参数。
应理解，本公开不仅可以基于样本查询信息确定正样本数据集(例如，基于样本查询信息检索到多个图片作为正样本数据集)，还可以基于与该样本查询信息相关联的附加查询信息，进而基于附加查询信息确定负样本数据集，从而扩充了训练数据集。在图2中，模型240的训练过程的一个关键之处在于，附加查询信息的确定是基于知识库来实现的。应理解，知识库可以是诸如知识图谱的海量信息数据库。作为示例，知识库可以根据互联网上的海量文本信息或者相关机构的内部文本信息以知识图谱的形式进行创建。下文将详细描述知识图谱形式的知识库。
图3示出了根据本公开的一些实施例的知识图谱300的示意图。图3中包含了多个节点以及用于连接各节点以表示节点间的关系的多条边。例如，节点310可以表示特定的实体词或修饰词，如“服装”。如图3所示，除了节点310，知识库300还包括节点320、321、322、330、331和332等。例如，节点320可以表示节点310的一个下位实体词，如“鞋”，节点330可以表示节点320的一个下位实体词，如“高跟鞋”，并且节点331可以表示节点320的另一下位实体词，如“平底鞋”。类似地，节点321可以表示节点310的另一下位实体词，如“裤子”，节点332可以表示节点321的一个下位实体词，如“休闲裤”，以及节点322可以表示节点310的又一下位实体词，如“裙子”。以此方式，知识图谱300用于描述各节点间的关系。
当知识图谱300创建完成后，计算设备120可以从知识图谱300中确定与任意节点相关联的上位节点或下位节点、又或者其他关联节点。例如，如果样本查询信息为“高跟鞋”，则可以基于与“高跟鞋”对应的节点330确定其上位节点320(即，附加查询信息“鞋”)以及节点320的另一下位节点331(即，附加查询信息“平底鞋”)。基于确定的关联节点及其对应的附加查询信息，计算设备120可以检索出多个附加备选目标对象，作为用于训练模型240的负样本数据集。从而，可以基于样本查询信息以及确定的正样本数据集以及负样本数据集来训练模型240。
上文描述的技术方案仅用于示例，而非限制本发明。应理解，还可以按照其他方式和连接关系来布置各个网络。为了更清楚地解释上述方案的原理，下文将参考图4来更详细描述训练模型240的过程。
图4示出了根据本公开的实施例的训练搜索模型的过程400的流程图。在某些实施例中，过程400可以在图1的计算设备120以及图2的计算设备220中实现。现参照图4描述根据本公开实施例的模型训练的过程400。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。
在402，计算设备220可以基于样本查询信息获取用于训练搜索模型的第一样本数据集。以训练图像搜索模型为例，计算设备220在接收到样本查询信息后，可以在网络上检索到多个图像，这些图像可以用作训练图像搜索模型的第一样本数据集的一部分。应理解，第一样本数据集为正样本数据集。
在404，计算设备220可以基于预先构建的知识库确定与样本查询信息相关联的附加查询信息。应理解，该知识库可以是知识图谱300或其他数据库。当知识库是知识图谱300时，为了确定与样本查询信息相关联的附加查询信息，计算设备220可以获取样本查询信息中的关键词，并从知识图谱300中确定与该关键词具有连接关系的附加关键词，进而基于该附加关键词确定附加查询信息。以此方式，本公开可以利用知识图谱来构建负样例数据集，该负样例数据集与正样例数据集不同且密切相关，因此为模型训练提供了高质量的训练数据集。
应理解，知识图谱300包含上述多个节点以及用于连接这些节点的多条边，并且这些边用于表征节点之间的关系。
在某些实施例中，为了从知识图谱300中确定附加关键词，计算设备220可以先确定样本查询信息中的关键词在知识图谱300中的对应的“关键节点”的上位节点。作为示例，当关键词为“高跟鞋”时，可以先确定关键词“高跟鞋”在知识图谱300中所处的节点330。由此，至少可以确定节点330的上位节点320。应理解，对应于每个节点的关键词可以是实体词。备选地或附加地，关键词还可以是实体词的修饰词。之后，计算设备220可以基于上述多条边中的与上位节点320连接的边，获取与上位节点320相关联的除节点330之外的另一下位节点331。作为示例，计算设备220可以确定该上位节点320的另一下位节点331。计算设备220可以将节点320、331中的至少一个节点的对应关键词确定为附加关键词。从而可以确定附加查询信息为“鞋”和“平底鞋”。以此方式，可以确定与正样本数据集相关联的负样本数据集，该负样本数据集非常具有参考价值。
在某些实施例中，在不存在预先构建的知识图谱300的情况下，本公开可以通过从样本查询信息中挖掘相关的实体词、修饰词、上下文、同义词等信息来构建知识图谱。作为示例，可以对样本查询信息进行依存句法分析，得到相关的实体词、修饰词，并标注对应关系。针对实体词或修饰词，使用已有概念图谱获取该实体词或修饰词对应的上下位及同义词、反义词等。最后，基于上述结果构建知识图谱300。
在406，计算设备220可以基于附加查询信息获取用于训练搜索模型的第二样本数据集。应理解，第二样本数据集为负样本数据集。作为示例，计算设备220可以将节点320、331中的至少一个节点的对应关键词确定为附加关键词。之后，可以基于诸如附加关键词“平底鞋”检索出多个图像，这些图像并非“高跟鞋”但与高跟鞋密切关联。以此方式，可以为搜索模型的训练提供充足且高质量的负样本数据集。
在某些实施例中，为了进一步扩充负样本数据集的数据量，可以从知识图谱300中选择更多的与关键字的节点相关联的其他节点，并将基于这些节点检索到的图像确定为负样本数据集。然而，为了避免出现模型训练的样本不均衡，可以基于各节点与上述关键节点的相关性分数来为多个负样本数据集进行分级。
作为示例，计算设备220可以确定关键词与附加关键词的路径距离。这里，路径距离是指关键词与附加关键词之间的边的数目。例如，节点330与节点320之间的边的数目为1，故关键词“高跟鞋”与附加关键词“鞋”的路径距离为1。又例如，节点330与节点331之间的边的数目为2，故关键词“高跟鞋”与附加关键词“平底鞋”的路径距离为2。应理解，还存在路径距离大于2的附加关键词。以此方式，模型训练的开发人员可以基于路径距离对较为不相关的负样例进行取舍。
为了避免正负样本不均衡以及模型学习能力下降的问题，计算设备220可以对各即便的负样本数据进行动态采样，以用于模型训练。在某些实施例中，当路径距离小于或等于阈值路径距离时，可以基于附加查询信息获取负样本数据集。优选地，在模型学习的前期，针对各个划分等级，可以按照1：1的比例对各等级的负样本数据进行采样学习；在模型学习的中期，可以去除低相关性分数的负样本数据集，使用剩余的三个或四个等级的负样本数据进行采样学习；在模型学习的后期，仅使用相关性分数最高的一个或两个等级的负样本数据进行采样学习。应理解，上述训练过程中，每个等级的数据集选择是随机的，优选地，可以参照上述方式进行多轮训练，直到模型精度变化小于1％为止。
由此，通过确定各节点与关键节点的相关性分数，可以优先选择与关键词较为相关的附加关键词所对应的图像作为负样本数据集，从而优化了训练数据集的质量。
在408，计算设备220可以基于上述样本查询信息、负样本数据集和正样本数据集来训练搜索模型。作为示例，本公开采用了逆序对的方式来优化训练过程。例如，计算设备220可以根据样本查询信息与正样本数据集中的正样本确定该正样本命中样本查询信息的第一概率，并且根据样本查询信息与负样本数据集中的负样本确定负样本命中样本查询信息的第二概率。之后，对第一概率和第二概率进行比较，如果第一概率小于第二概率，即如果正样本命中样本查询信息的概率小于负样本命中样本查询信息的概率，则说明该模型该存在较大误差，故可以进一步优化搜索模型的参数，已更新第一概率和第二概率，直至更新后的第一概率大于更新后的第二概率。
具体地，可以通过改进损失函数的方式来优化训练过程。例如，可以按照交叉熵的形式定义如下第一损失函数：
Lloss-1＝label*log(p)+(1-label)*log(1-p) (1)
其中label如果是正样本，则为1，否则为0；p是预测结果为正样本的概率。
此外，还可以进一步定义如下第二损失函数来实现基于逆序对的学习：
Lloss-2＝max(0，Pneg-Ppos+margin) (2)
其中Ppos是预测结果为正样本的概率，Pneg是预测结果为负样本的概率，并且margin可以设为0.1。也就是说，当预测结果为负样本的概率大于或者等于预测结果为正样本的概率时，说明预测结果有误，此时第二损失函数Lloss-2被赋值为大于零，从而执行对模型参数的进一步优化。
备选地或附加地，也可以定义如下第二损失函数来实现基于逆序对的学习：
Lloss-2＝-label*log(pro)-(1-label)*log(1-pro) (3)
pro＝1/(1+exp(-v*(Ppos-Pneg-τ))) (4)
其中Ppos是预测结果为正样本的概率，Pneg是预测结果为负样本的概率，并且τ可以设为0.1，v可以设为5。
通过对以上两个损失函数进行例如加权平均运算，可以获得优化的目标损失函数：
Lloss＝0.1*Lloss-1+0.9*Lloss-2 (5)
通过以上实施例，本公开设计了用于优化训练的目标损失函数。与传统的损失函数相比，本公开的目标损失函数不仅执行了正样本命中样本查询信息的概率是否大于阈值概率的判定，还执行了正样本命中样本查询信息的概率与负样本命中样本查询信息的概率的比较，从而更为细致、精确地实现了模型的训练过程。
图5示出了根据本公开的实施例的搜索目标对象的过程500的流程图。在某些实施例中，过程500可以在图1的计算设备120以及图2的计算设备220中实现。现参照图5描述根据本公开实施例的搜索目标对象的过程500。为了便于理解，在下文描述中提及的具体实例均是示例性的，并不用于限定本公开的保护范围。
如图5所示，在502，计算设备220可以基于接收到的用户查询信息210获取多个备选目标对象。计算设备220可以被设置在服务器侧，其上配置有用于基于用户查询信息210获取备选目标对象的搜索模块。此外，计算设备220上还配置有参考图4描述的方法训练的模型240。
在504，计算设备220可以基于模型240分别确定多个备选目标对象命中用户查询信息210的概率。并且在504，计算设备220可以将概率超过阈值概率的备选目标对象确定为目标对象230。
在某些实施例中，目标对象可以是图像、视频、网页或其他可基于文本进行搜索的对象。
以此方式，可以通过模型240为用户提供更为精确的搜索结果，从而从整体上提升了用户体验。
图6示出了根据本公开的实施例的训练搜索模型的装置600的框图。如图6所示，装置600可以包括：第一样本数据集获取模块602，被配置为基于样本查询信息获取用于训练所述搜索模型的第一样本数据集；附加查询信息确定模块604，被配置为基于预先构建的知识库确定与所述样本查询信息相关联的附加查询信息；第二样本数据集获取模块606，被配置为基于所述附加查询信息获取用于训练所述搜索模型的第二样本数据集，其中所述第二样本数据集与所述第一样本数据集不同；以及搜索模型训练模块608，被配置为基于所述样本查询信息、所述第一样本数据集和所述第二样本数据集，训练所述搜索模型。
在某些实施例中，所述知识库是知识图谱，并且所述附加查询信息确定模块可以包括：关键词获取模块，被配置为获取所述样本查询信息中的关键词；附加关键词获取模块，被配置为从所述知识图谱中确定与所述关键词具有连接关系的附加关键词；以及信息获取模块，被配置为基于所述附加关键词确定所述附加查询信息。
在某些实施例中，所述知识图谱包含多个节点以及用于连接所述多个节点的多条边，所述多条边用于表征所述多个节点之间的关系，并且所述附加关键词获取模块可以包括：上位节点确定模块，被配置为确定所述关键词在所述知识图谱中的对应的关键节点的上位节点；附加节点确定模块，被配置为基于所述多条边中的与所述上位节点连接的边，获取与所述上位节点相关联的至少一个节点，所述至少一个节点与所述关键节点不同；以及附加关键词确定模块，被配置为将所述至少一个节点的对应关键词确定为所述附加关键词。
在某些实施例中，所述附加查询信息确定模块还可以包括：路径距离确定模块，被配置为确定所述关键词与所述附加关键词的路径距离，所述路径距离是所述关键词与所述附加关键词之间的边的数目。
在某些实施例中，所述第二样本数据集获取模块可以包括：数据集获取模块，被配置为响应于所述路径距离小于或等于阈值路径距离，基于所述附加查询信息获取所述第二样本数据集。
在某些实施例中，所述搜索模型训练模块可以包括：第一概率确定模块，被配置为根据所述样本查询信息与所述第一样本数据集中的第一样本，确定所述第一样本命中所述样本查询信息的第一概率；第二概率确定模块，被配置为根据所述样本查询信息与所述第二样本数据集中的第二样本，确定所述第二样本命中所述样本查询信息的第二概率；以及参数优化模块，被配置为响应于所述第一概率小于或等于所述第二概率，优化所述搜索模型的参数，已更新所述第一概率和所述第二概率，以使更新后的所述第一概率大于更新后的所述第二概率。
在某些实施例中，所述关键词是实体词或者所述实体词的修饰词。
在某些实施例中，所述第一样本数据集和所述第二样本数据集均是图像数据集。
在某些实施例中，所述第一样本数据集是正样本数据集，并且所述第二样本数据集是负样本数据集。
图7示出了能够实施本公开的多个实施例的计算设备700的框图。设备700可以用于实现图1的计算设备120或者图2中的计算设备220。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元701执行上文所描述的各个方法和处理，例如过程400、500。例如，在一些实施例中，过程400、500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元509而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由CPU 701执行时，可以执行上文描述的过程400、500的一个或多个步骤。备选地，在其他实施例中，CPU701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程400、500。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种训练搜索模型的方法，包括：
基于样本查询信息获取用于训练所述搜索模型的第一样本数据集；
基于预先构建的知识库确定与所述样本查询信息相关联的附加查询信息；
基于所述附加查询信息获取用于训练所述搜索模型的第二样本数据集，其中所述第二样本数据集与所述第一样本数据集不同；以及
基于所述样本查询信息、所述第一样本数据集和所述第二样本数据集，训练所述搜索模型，
其中所述知识库是知识图谱，并且基于所述知识库确定与所述样本查询信息相关联的所述附加查询信息包括：
获取所述样本查询信息中的关键词；
从所述知识图谱中确定与所述关键词具有连接关系的附加关键词；以及
基于所述附加关键词确定所述附加查询信息，
其中所述第一样本数据集是正样本数据集，并且所述第二样本数据集是负样本数据集。
2.根据权利要求1所述的方法，其中所述知识图谱包含多个节点以及用于连接所述多个节点的多条边，所述多条边用于表征所述多个节点之间的关系，并且从所述知识图谱中确定所述附加关键词包括：
确定所述关键词在所述知识图谱中的对应的关键节点的上位节点；
基于所述多条边中的与所述上位节点连接的边，获取与所述上位节点相关联的至少一个节点，所述至少一个节点与所述关键节点不同；以及
将所述至少一个节点的对应关键词确定为所述附加关键词。
3.根据权利要求2所述的方法，其中基于所述知识库确定与所述样本查询信息相关联的所述附加查询信息还包括：
确定所述关键词与所述附加关键词的路径距离，所述路径距离是所述关键词与所述附加关键词之间的边的数目。
4.根据权利要求3所述的方法，其中基于所述附加查询信息获取用于训练所述搜索模型的所述第二样本数据集包括：
响应于所述路径距离小于或等于阈值路径距离，基于所述附加查询信息获取所述第二样本数据集。
5.根据权利要求1所述的方法，其中训练所述搜索模型包括：
根据所述样本查询信息与所述第一样本数据集中的第一样本，确定所述第一样本命中所述样本查询信息的第一概率；
根据所述样本查询信息与所述第二样本数据集中的第二样本，确定所述第二样本命中所述样本查询信息的第二概率；以及
响应于所述第一概率小于或等于所述第二概率，优化所述搜索模型的参数以更新所述第一概率和所述第二概率，其中更新后的所述第一概率大于更新后的所述第二概率。
6.根据权利要求1至5中任一项所述的方法，其中所述关键词是实体词或者所述实体词的修饰词。
7.根据权利要求1至5中任一项所述的方法，其中所述第一样本数据集和所述第二样本数据集均是图像数据集。
8.一种用于搜索目标对象的方法，包括：
基于接收到的用户查询信息获取多个备选目标对象；
基于根据权利要求1-7中任一项所述的方法训练的所述搜索模型，分别确定所述多个备选目标对象命中所述用户查询信息的概率；以及
将概率超过阈值概率的备选目标对象确定为所述目标对象。
9.根据权利要求8所述的方法，其中所述目标对象是图像。
10.一种训练搜索模型的装置，包括：
第一样本数据集获取模块，被配置为基于样本查询信息获取用于训练所述搜索模型的第一样本数据集；
附加查询信息确定模块，被配置为基于预先构建的知识库确定与所述样本查询信息相关联的附加查询信息；
第二样本数据集获取模块，被配置为基于所述附加查询信息获取用于训练所述搜索模型的第二样本数据集，其中所述第二样本数据集与所述第一样本数据集不同；以及
搜索模型训练模块，被配置为基于所述样本查询信息、所述第一样本数据集和所述第二样本数据集，训练所述搜索模型，
其中所述知识库是知识图谱，并且所述附加查询信息确定模块包括：
关键词获取模块，被配置为获取所述样本查询信息中的关键词；
附加关键词获取模块，被配置为从所述知识图谱中确定与所述关键词具有连接关系的附加关键词；以及
信息获取模块，被配置为基于所述附加关键词确定所述附加查询信息，
其中所述第一样本数据集是正样本数据集，并且所述第二样本数据集是负样本数据集。
11.根据权利要求10所述的装置，其中所述知识图谱包含多个节点以及用于连接所述多个节点的多条边，所述多条边用于表征所述多个节点之间的关系，并且所述附加关键词获取模块包括：
上位节点确定模块，被配置为确定所述关键词在所述知识图谱中的对应的关键节点的上位节点；
附加节点确定模块，被配置为基于所述多条边中的与所述上位节点连接的边，获取与所述上位节点相关联的至少一个节点，所述至少一个节点与所述关键节点不同；以及
附加关键词确定模块，被配置为将所述至少一个节点的对应关键词确定为所述附加关键词。
12.根据权利要求11所述的装置，其中所述附加查询信息确定模块还包括：
路径距离确定模块，被配置为确定所述关键词与所述附加关键词的路径距离，所述路径距离是所述关键词与所述附加关键词之间的边的数目。
13.根据权利要求12所述的装置，其中所述第二样本数据集获取模块包括：
数据集获取模块，被配置为响应于所述路径距离小于或等于阈值路径距离，基于所述附加查询信息获取所述第二样本数据集。
14.根据权利要求10所述的装置，其中所述搜索模型训练模块包括：
第一概率确定模块，被配置为根据所述样本查询信息与所述第一样本数据集中的第一样本，确定所述第一样本命中所述样本查询信息的第一概率；
第二概率确定模块，被配置为根据所述样本查询信息与所述第二样本数据集中的第二样本，确定所述第二样本命中所述样本查询信息的第二概率；以及
参数优化模块，被配置为响应于所述第一概率小于或等于所述第二概率，优化所述搜索模型的参数，已更新所述第一概率和所述第二概率，以使更新后的所述第一概率大于更新后的所述第二概率。
15.根据权利要求10至14中任一项所述的装置，其中所述关键词是实体词或者所述实体词的修饰词。
16.根据权利要求10至14中任一项所述的装置，其中所述第一样本数据集和所述第二样本数据集均是图像数据集。
17.一种用于搜索目标对象的装置，包括：
备选目标对象获取模块，被配置为基于接收到的用户查询信息获取多个备选目标对象；
概率确定模块，被配置为基于根据权利要求10-16中任一项所述的装置训练的所述搜索模型，分别确定所述多个备选目标对象命中所述用户查询信息的概率；以及
目标对象确定模块，被配置为将概率超过阈值概率的备选目标对象确定为所述目标对象。
18.根据权利要求17所述的装置，其中所述目标对象是图像。
19.一种电子设备，所述电子设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202011330182.0A 2020-11-24 2020-11-24 训练搜索模型的方法、搜索目标对象的方法及其装置 Active CN112328891B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011330182.0A CN112328891B (zh) 2020-11-24 2020-11-24 训练搜索模型的方法、搜索目标对象的方法及其装置
JP2021187732A JP2022024102A (ja) 2020-11-24 2021-11-18 検索モデルのトレーニング方法、目標対象の検索方法及びその装置
US17/532,968 US20220083874A1 (en) 2020-11-24 2021-11-22 Method and device for training search model, method for searching for target object, and storage medium
EP21210062.2A EP3937029A3 (en) 2020-11-24 2021-11-23 Method and apparatus for training search model, and method and apparatus for searching for target object
KR1020210163066A KR102685008B1 (ko) 2020-11-24 2021-11-24 검색 모델의 훈련 방법, 목표 대상의 검색 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011330182.0A CN112328891B (zh) 2020-11-24 2020-11-24 训练搜索模型的方法、搜索目标对象的方法及其装置

Publications (2)

Publication Number Publication Date
CN112328891A CN112328891A (zh) 2021-02-05
CN112328891B true CN112328891B (zh) 2023-08-01

Family

ID=74322328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011330182.0A Active CN112328891B (zh) 2020-11-24 2020-11-24 训练搜索模型的方法、搜索目标对象的方法及其装置

Country Status (4)

Country Link
US (1) US20220083874A1 (zh)
EP (1) EP3937029A3 (zh)
JP (1) JP2022024102A (zh)
CN (1) CN112328891B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590645B (zh) * 2021-06-30 2022-05-10 北京百度网讯科技有限公司 搜索方法、装置、电子设备及存储介质
CN114676227B (zh) * 2022-04-06 2023-07-18 北京百度网讯科技有限公司 样本生成方法、模型的训练方法以及检索方法
CN115205757B (zh) * 2022-07-28 2024-04-16 阿里巴巴（中国）有限公司 风险识别方法、装置、设备和存储介质
CN116151395A (zh) * 2023-04-21 2023-05-23 北京澜舟科技有限公司 基于实体词关系的检索模型训练方法、系统及检索方法
CN116340548A (zh) * 2023-05-29 2023-06-27 四维创智（北京）科技发展有限公司 一种数据处理方法、装置、电子设备和存储介质
CN116523024B (zh) * 2023-07-03 2023-10-13 腾讯科技（深圳）有限公司 召回模型的训练方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400473A (zh) * 2020-03-18 2020-07-10 北京三快在线科技有限公司 意图识别模型的训练方法及装置、存储介质及电子设备
CN111666374A (zh) * 2020-05-15 2020-09-15 华东师范大学 一种在深度语言模型中融入额外知识信息的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040872A1 (en) * 2010-09-29 2012-04-05 Yahoo! Inc. Training search query intent classifier using wiki article titles and search click log
JP5953151B2 (ja) * 2012-07-13 2016-07-20 日本放送協会 学習装置、及びプログラム
CN104778176A (zh) * 2014-01-13 2015-07-15 阿里巴巴集团控股有限公司 一种数据搜索处理方法及装置
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US11514244B2 (en) * 2015-11-11 2022-11-29 Adobe Inc. Structured knowledge modeling and extraction from images
US10776707B2 (en) * 2016-03-08 2020-09-15 Shutterstock, Inc. Language translation based on search results and user interaction data
CN110249341A (zh) * 2017-02-03 2019-09-17 皇家飞利浦有限公司 分类器训练
JP6942488B2 (ja) * 2017-03-03 2021-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
RU2744029C1 (ru) * 2018-12-29 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Система и способ формирования обучающего набора для алгоритма машинного обучения
CN109857845B (zh) * 2019-01-03 2021-06-22 北京奇艺世纪科技有限公司 模型训练及数据检索方法、装置、终端及计算机可读存储介质
US11138285B2 (en) * 2019-03-07 2021-10-05 Microsoft Technology Licensing, Llc Intent encoder trained using search logs
CN110175615B (zh) * 2019-04-28 2021-01-01 华中科技大学 模型训练方法、域自适应的视觉位置识别方法及装置
CN110532393B (zh) * 2019-09-03 2023-09-26 腾讯科技（深圳）有限公司 文本处理方法、装置及其智能电子设备
CN111476284B (zh) * 2020-04-01 2023-12-26 杭州网易智企科技有限公司 图像识别模型训练及图像识别方法、装置、电子设备
CN111522985B (zh) * 2020-04-21 2023-04-07 易拍全球(北京)科贸有限公司 基于深浅层特征提取与融合的古董艺术品图像检索方法
CN111782950A (zh) * 2020-06-30 2020-10-16 北京三快在线科技有限公司 样本数据集获取方法、装置、设备及存储介质
CN111737418B (zh) * 2020-07-20 2021-05-14 北京每日优鲜电子商务有限公司 搜索词和商品的相关性预测方法、设备和存储介质
CN111950254B (zh) * 2020-09-22 2023-07-25 北京百度网讯科技有限公司 搜索样本的词特征提取方法、装置、设备以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400473A (zh) * 2020-03-18 2020-07-10 北京三快在线科技有限公司 意图识别模型的训练方法及装置、存储介质及电子设备
CN111666374A (zh) * 2020-05-15 2020-09-15 华东师范大学 一种在深度语言模型中融入额外知识信息的方法

Also Published As

Publication number Publication date
KR20210151017A (ko) 2021-12-13
EP3937029A2 (en) 2022-01-12
CN112328891A (zh) 2021-02-05
EP3937029A3 (en) 2022-04-27
US20220083874A1 (en) 2022-03-17
JP2022024102A (ja) 2022-02-08

Similar Documents

Publication Publication Date Title
CN112328891B (zh) 训练搜索模型的方法、搜索目标对象的方法及其装置
CN108804641B (zh) 一种文本相似度的计算方法、装置、设备和存储介质
WO2021139262A1 (zh) 文献主题词聚合方法、装置、计算机设备及可读存储介质
RU2632143C1 (ru) Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками
US10713298B2 (en) Video retrieval methods and apparatuses
JP6402653B2 (ja) 物体認識装置、物体認識方法、およびプログラム
JP3225912B2 (ja) 情報検索装置、方法及び記録媒体
CN110019732B (zh) 一种智能问答方法以及相关装置
CN113806482B (zh) 视频文本跨模态检索方法、装置、存储介质和设备
KR20160124742A (ko) 비정형 텍스트내의 특징들의 중의성을 해소하는 방법
JP2005535952A (ja) 画像内容検索法
US20220138240A1 (en) Source code retrieval
CN113711204A (zh) 用于医疗知识问答系统的接近度信息检索的增强方法
US10866944B2 (en) Reconciled data storage system
JP2006227823A (ja) 情報処理装置及びその制御方法
CN111723179A (zh) 基于概念图谱的反馈模型信息检索方法、系统及介质
KR20210056131A (ko) 법령 분야 질의 응답 방법 및 장치
JP5542732B2 (ja) データ抽出装置、データ抽出方法、及びそのプログラム
JP7121819B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
JP5379813B2 (ja) データ抽出装置、データ抽出方法、及びプログラム
CN115391548A (zh) 基于场景图和概念网相结合的检索知识图谱库生成方法
KR102685008B1 (ko) 검색 모델의 훈련 방법, 목표 대상의 검색 방법 및 그 장치
JP3249743B2 (ja) 文書検索システム
CN116501841B (zh) 数据模型模糊查询方法、系统及存储介质
CN112579841B (zh) 一种多模态数据库建立方法、检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant