CN116303989A - 一种面向多种检索场景的专利检索方法、装置、设备 - Google Patents

一种面向多种检索场景的专利检索方法、装置、设备 Download PDF

Info

Publication number
CN116303989A
CN116303989A CN202310212099.0A CN202310212099A CN116303989A CN 116303989 A CN116303989 A CN 116303989A CN 202310212099 A CN202310212099 A CN 202310212099A CN 116303989 A CN116303989 A CN 116303989A
Authority
CN
China
Prior art keywords
field
search
semantic
scene
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310212099.0A
Other languages
English (en)
Inventor
孟张圆
徐小良
郭蒙浩
郭宇捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310212099.0A priority Critical patent/CN116303989A/zh
Publication of CN116303989A publication Critical patent/CN116303989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种面向多种检索场景的专利检索方法、装置、设备。以专利文档各字段作为训练数据，对通用语言模型进行训练得到专利领域语言模型。针对多种检索场景，通过基于不同权重多路召回与随机采样的方式筛选各专利文档正、负样本，并以此构建各检索场景的专利语义表示模型的训练数据，对专利领域语言模型进行训练，进而得到各检索场景的专利语义表示模型并以此生成专利各字段的语义向量，并存储在各检索场景的专利检索向量数据库中，根据检索字段的语义向量，从目标检索场景的专利检索向量数据库中，查找与检索字段相似的专利文档。通过上述方案，提升了专利语义表示模型针对不同检索场景的专利字段的语义表示能力，提升检索精度。

Description

一种面向多种检索场景的专利检索方法、装置、设备
技术领域
本说明书涉及自然语言处理领域，尤其涉及一种面向多种检索场景的专利检索方法、装置、设备。
背景技术
专利文档检索指的是根据用户输入的检索字段，从大量的专利文档中筛选得到与检索字段相关的专利文档的过程。
随着人工智能的发展，目前可以通过通用语言模型分别确定专利文档的语义向量和检索字段的语义向量，然后通过检索字段的语义向量和专利文档的语义向量之间的相似度，确定与检索字段相关的专利文档。
但是，存在专利文档中包含专业性字段的情况，这些字段往往包含大量特殊的词汇以及句法、句式。此时，通用语言模型难以从这种专业性强的专利文档中充分提取语义信息，从而出现专利文档的语义向量准确度低的问题，进而导致检索的准确度下降。
基于此，本说明书提供一种面向多种检索场景的专利检索方法。
发明内容
本说明书提供一种面向多种检索场景的专利检索方法、装置、设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种面向多种检索场景的专利检索方法，针对预存的多个专利文档，该专利文档包含的多个专利字段分别面向多个不同的检索场景，所述方法包括：
获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据；
根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型；
针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据；
根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型；
根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中；
当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量；
根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
可选地，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，具体包括：
针对每个专利文档，分别确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度，得到多路相似度结果；
根据该检索场景，确定该检索场景下所述多路相似度结果的相似度权重，并根据所述相似度权重对所述多路相似度结果进行加权融合，得到该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度；
根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档，作为该专利文档的正样本文档。
可选地，根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档之前，所述方法还包括：
确定该专利文档的分类号；
将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除。
可选地，通过随机采样的方式确定每个专利文档的负样本文档，具体包括：
确定该专利文档的分类号，并根据该专利文档的分类号，将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除；
在所述其余各专利文档中进行随机采样，得到候选文档；
判断所述候选文档与该专利文档在各专利字段的字符相似度是否均不高于第一相似度阈值，以及所述候选文档与该专利文档在各专利字段的语义相似度是否均不高于第二相似度阈值；
若是，确定所述候选文档为该专利文档的负样本文档；
若否，重新在所述其余各专利文档中进行随机采样，重新得到候选文档，重新判断直到该专利文档的负样本文档的数量达到预设数量。
可选地，确定该专利文档与其余各专利文档在各专利字段的字符相似度，具体包括：
对该专利文档的各专利字段进行分词，得到所述各专利字段分别包含的各词；
针对该专利文档的每个专利字段，根据该专利字段包含的各词分别在该专利字段中的权重、该专利字段包含的各词在该专利字段中出现的频率，以及该专利字段包含的各词在所述其余各专利文档包含的各专利字段中出现的频率，确定该专利文档与其余各专利文档在各专利字段的字符相似度。
可选地，确定该专利文档与其余各专利文档在各专利字段的语义相似度，具体包括：
将该专利文档的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型输出的该专利文档的各专利字段的语义向量；
将所述其余各专利文档包含的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型分别输出的所述其余各专利文档包含的各专利字段的语义向量；
根据该专利文档的各专利字段的语义向量，和所述其余各专利文档包含的各专利字段的语义向量之间的相似度，确定该专利文档与其余各专利文档在各专利字段的语义相似度。
可选地，根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型，具体包括：
将该检索场景的专利语义表示模型的训练数据中的专利字段、专利字段的正例和专利字段的负例作为输入，通过所述专利领域语言模型，得到面向该检索场景的专利字段的语义向量、面向该检索场景的专利字段的正例的语义向量和面向该检索场景的专利字段的负例的语义向量；
确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的正例的语义向量之间的第一相似度；
确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的负例的语义向量之间的第二相似度；
确定所述第一相似度和所述第二相似度的差值；
以所述差值大于预设参数为优化目标，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型。
可选地，根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，具体包括：
针对每个专利字段，根据该专利字段面向的检索场景，从各检索场景的专利语义表示模型中确定该专利字段对应的专利语义表示模型；
将该专利字段输入到该专利字段对应的专利语义表示模型，得到该专利字段对应的专利语义表示模型输出的该专利字段的语义向量。
可选地，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，具体包括：
确定所述检索字段的语义向量，与所述目标检索场景的专利检索向量数据库中存储的各语义向量之间的相似度；
将相似度高于预设相似度阈值的若干语义向量，作为候选向量；
根据所述目标检索场景的专利检索向量数据库中存储的对应关系，确定所述候选向量对应的专利文档，作为与所述检索字段相似的专利文档。
本说明书提供了一种面向多种检索场景的专利检索装置，针对预存的多个专利文档，该专利文档包含的多个专利字段分别面向多个不同的检索场景，所述装置包括：
专利领域语言模型训练数据生成模块，用于获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据；
专利领域语言模型训练模块，用于根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型；
多场景专利语义表示模型训练数据生成模块，用于针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据；
多场景专利语义表示模型训练模块，用于根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型；
多场景专利语义向量数据库构建模块，用于根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中；
检索字段语义向量生成模块，用于当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量；
多场景检索模块，用于根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述面向多种检索场景的专利检索方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述面向多种检索场景的专利检索方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本说明书提供的面向多种检索场景的专利检索方法中，以包含多个专利字段的专利文档为专利领域语言模型的训练数据，以此训练通用语言模型的模型，得到专利领域语言模型，针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，结合该检索场景的专利字段筛选出该专利字段的正例和负例，并以此构建该检索场景的专利语义表示模型的训练数据，从而对专利领域语言模型的模型参数进行调整，得到该检索场景的专利语义表示模型，并所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中，以便在接收到检索请求时，根据检索字段的语义向量，从目标检索场景的专利检索向量数据库中，查找与检索字段相似的专利文档。可见，根据专利领域语言模型的训练数据训练模型，得到专利领域语言模型，进而根据包含专利字段、正例和负例的各检索场景的专利语义表示模型的训练数据调整所述专利领域语言模型参数，得到各检索场景的专利语义表示模型的方式，提升了专利语义表示模型针对面向多种不同检索场景的专利字段的语义表示能力，达到提升检索精度的目的。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种面向多种检索场景的专利检索方法的流程示意图；
图2为本说明书中一种面向多种检索场景的专利检索方法的流程示意图；
图3为本说明书中一种基于多路召回选取正样本文档的流程示意图；
图4为本说明书中一种选取负样本文档的流程示意图；
图5为本说明书中一种对专利语义标识模型进行对比学习微调的示意图；
图6为本说明书提供的一种面向多种检索场景的专利检索装置的示意图；
图7为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
另外，需要说明的是，本发明中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
随着人工智能和自然语言处理技术的高速发展，越来越多的实际应用场景中会存在基于用户输入的检索字段进行专利文档检索的需求。目前的专利文档检索方法主要包括基于关键词匹配检索以及基于语义的检索这两种方式。
对于基于关键词匹配的检索方式：如果检索字段较长，直接以完整的检索字段去查找与检索字段相关的专利文档时，检索效率和检索精度都会比较低。因此，可以从较长的检索字段中提取关键词，以关键词去查找专利文档。但是，从检索字段中提取关键词的方式，可能会出现关键词不能完全表征检索字段语义的情况，也即以关键词代表检索字段的方式丢失了检索字段的完整语义信息，无法利用关键词的上下文信息，限制了检索精度。
对于基于语义检索的方式：目前可以通过通用语言模型分别确定专利文档的语义向量和检索字段的语义向量，然后通过检索字段的语义向量和专利文档的语义向量之间的相似度，确定与检索字段相关的专利文档。但是，存在专利文档中包含专业性字段的情况，这些字段往往包含大量特殊的词汇以及句法、句式。此时，通用语言模型难以从这种专业性强的专利文档中充分提取语义信息，从而出现专利文档的语义向量准确度低的问题，进而导致检索的准确度下降。
基于此，本说明书提供一种面向多种检索场景的专利检索方法，通过。以专利文档各字段作为训练数据，对通用语言模型进行训练得到专利领域语言模型。针对多种检索场景，通过基于不同权重多路召回与随机采样的方式筛选各专利文档正、负样本，并以此构建各检索场景的专利语义表示模型的训练数据，对专利领域语言模型进行训练，得到各检索场景的专利语义表示模型的方式，提升专利语义表示模型对于专业性较强的专利字段的语义表示能力，以及针对不同的检索场景的专利字段的语义表示能力，达到提升检索精度的目的。
具体的，专利检索是指根据用户输入的检索字段，从大量的专利文档中挑选符合检索字段所表征的语义的专利文档的过程。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的一种面向多种检索场景的专利检索方法的流程示意图。
S100：获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据。
本说明书实施例中提供一种面向多种检索场景的专利检索方法，该面向多种检索场景的专利检索方法的执行过程可由用于处理检索请求的服务器等电子设备执行该面向多种检索场景的专利检索方法。该检索方法中涉及到的语言模型，包括通用语言模型、专利领域语言模型和各检索场景对应的专利语义表示模型，执行其训练过程的电子设备与执行面向多种检索场景的专利检索方法的电子设备可以相同也可以不同，本说明书对此不做限定。
在实际应用中，可以通过通用语言模型分别提取检索字段和专利文档的语义，确定检索字段的语义向量和专利文档的语义向量，并以检索字段的语义向量和专利文档的语义向量之间的相似度，确定与检索字段所表征的语义相关的专利文档作为检索字段的检索结果。在上述过程中，通用语言模型是根据通用语料库预先训练得到的，说明其在通用语料的语义提取上能够保证准确率。存在专利文档中包含专业性字段的情况，这些字段往往包含大量特殊的词汇以及句法、句式，通用语言模型提取专利文档的语义的能力较弱，导致输出的专利文档的语义向量准确率降低，进而出现检索准确度下降的问题。
基于此，可以以包含专利字段的专利文档作为专利领域语言模型的训练数据，并基于该专利领域语言模型的训练数据对通用语言模型的模型参数进行调整，使得参数调整得到的专利领域语言模型能够更加准确地提取专利字段的语义，得到更准确的专利字段的语义向量，进而提升检索的准确度。
可以理解的是，在本说明书一个或多个的实施例中，本说明书提供的面向多种检索场景的专利检索方法中，检索的对象是专利文档。其中，专利文档包含面向多个不同的检索场景的专利字段。一般的，专利字段与其面向的检索场景一一对应，例如，对于专利文档中的摘要字段，其面对的检索场景即为摘要检索场景。另外，根据具体的应用场景，可以存在不面向任何检索场景的专利字段，如对于专利文档中的发明内容字段，可以不设置与其对应的发明内容检索场景。也就是说，专利字段面向的检索场景的数量，一般不超过专利文档中包含的专利字段的数量。当然，可选的，在实际应用中还存在复合的检索场景，如摘要和权利要求的检索场景。针对这种复合的检索场景，在本说明书实施例中，可以基于多个检索场景分别返回的检索结果，确定复合检索场景的检索结果。
在此步骤中，获取各专利字段的方式可以是从预存的各专利文档中提取。预存的专利文档中包含有面向多个检索场景的专利字段，各专利字段的所面向的检索场景和所表征的语义通常是互不相同的，可以通过人工标注的方式，从预存的各专利文档中确定多个不同类型的专利字段，当然，还可以是现有的任一方式，本说明书对此不做限定。
在本说明书一个可选的实施例中，可以通过正则表达式匹配的方式，从预存的各专利文档中确定各类型的专利字段。首先，预存的各专利文档可以是非结构化数据的形式，如可扩展标记语言(Extensible Markup Language，XML)的专利文档。根据预存的各专利文档，可以确定用于提取专利字段的正则表达式，将确定出的正则表达式与各专利文档进行匹配，将正则表达式命中的专利字段作为提取出的专利字段。
之后，可选地，可以对提取出的各类型的专利字段进行专利字段预处理，如中文字符半角转全角，英文字符小写化处理等，本说明书对专利字段预处理的方式不做具体限定。
S102：根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型。
具体的，将专利领域语言模型的训练数据输入预先训练的通用语言模型，基于全词掩码的方式，调整通用语言模型的模型参数，根据优化后的模型参数和通用语言模型的模型结构，得到专利领域语言模型。训练完成后的专利领域语言模型具备从专利字段中提取较为精准的语义的能力。
在上述训练得到专利领域语言模型的过程中，所谓全词掩码的方式指的是在全词Mask中，如果一个完整的词的部分字被mask，则同属该词的其他部分也会被mask。
其中，由于通用语言模型是已经预先训练完成的，其具备一定的提取语义的能力，只需适应专利领域语言模型的训练数据对应的的专利领域即可，因此，专利领域语言模型的训练数据的数量可以少于用于训练通用语言模型的通用语料。
S104：针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据。
为了进一步提高检索的准确度，还可以针对不同的检索场景，对已经训练完成的专利领域语言模型再次进行参数的调整，得到适用于不同检索场景的专利语义表示模型，以使基于专利语义表示模型进行的专利文档检索不仅能够适用于专利领域，还能是适用于专利领域下细分的不同检索场景中。
具体的，为了得到面向不同检索场景的专利语义表示模型，可针对每个检索场景，构建该检索场景的专利语义表示模型的训练数据，之后，再基于该检索场景的专利语义表示模型的训练数据，训练得到该检索场景的专利语义表示模型。
在本说明书实施例中，基于对比学习的思想，构建的该检索场景的专利语义表示模型的训练数据为面向该检索场景的三元组，其中，一个三元组中包含有面向该检索场景的一个专利字段、该专利字段的正例和该专利字段的负例。可以理解的是，由于构建出的该检索场景的专利语义表示模型的训练数据是用于在后续步骤中训练得到该检索场景的专利语义表示模型的，因此，该专利字段的正例、该专利字段的负例与该专利字段通常面向同一个检索场景。
进一步的，对于三元组中的专利字段而言，其正例的来源可以是与该专利字段所属的专利文档相似的正样本文档，其负例的来源可以是与该专利字段所属的专利文档不相似的负样本文档。因此，可首先确定每个专利文档的正样本文档和负样本文档。
具体的，基于不同权重多路召回的方式，确定每个专利文档的正样本文档。所谓多路召回指的是针对专利文档包含的面向多个不同的检索场景的专利字段，分别召回得到在各检索场景下，与该专利文档相似的其余专利文档，并综合各检索场景下与该专利文档相似的其余专利文档，以及各检索场景分别对应的权重，确定该专利文档的正样本文档。
基于随机采样的方式确定每个专利文档的负样本文档。随机采样的候选负样本文档可以基于上述召回得到正样本文档过程中确定的多路召回结果确定。
每个专利文档的正样本文档和负样本文档的数量本说明书不做限定，但一般的，一个专利文档的正样本文档的数量与该专利文档的负样本文档的数量相同。
之后，针对每个检索场景，将该检索场景的专利字段，从该专利字段所属的专利文档的正样本文档中确定出的该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定出的该专利字段的负例，组合得到该检索场景的专利语义表示模型的训练数据。
例如，对于专利文档A，确定专利文档A的正样本文档为专利文档B，负样本文档为专利文档C。之后，针对摘要检索场景，确定专利文档A的摘要字段a1、专利文档B的摘要字段b1和专利文档C的摘要字段c1，构成摘要检索场景的专利语义表示模型的训练数据(a1，b1，c1)。
S106：根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型。
具体的，可以将该检索场景的专利语义表示模型的训练数据包含的专利字段、专利字段的正例和专利字段的负例分别作为专利领域语言模型的输入，通过专利领域语言模型得到该检索场景的专利语义表示模型的训练数据中专利字段的语义向量、专利字段的正例的语义向量和专利字段的负例的语义向量。
进一步的，基于对比学习的思想，根据专利领域语言模型输出的专利字段的语义向量、专利字段的正例的语义向量和专利字段的负例的语义向量，确定损失函数，以损失函数的最小化为优化目标对专利领域语言模型的模型参数进行调整，得到优化后的模型参数。之后，基于上述过程优化后的模型参数，以及专利领域语言模型的模型结构，得到该检索场景的专利语义表示模型。
通过上述训练过程，得到各检索场景的专利语义表示模型，既能较为精准的从专业性较强的专利字段中提取语义，也能是适应于不同类型的检索场景，实现了语义向量的精准化和场景化，达到了检索精度进一步提升的目的。
S108：根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中。
具体的，由于在实际检索场景中，用户可以在不同的检索场景下输入不同类型的检索字段。例如，专利字段的类型可以是专利的摘要类型或背景技术类型等，用户可以根据实际检索需求，确定是在摘要的检索场景下进行专利检索，还是在背景技术的检索场景下进行专利检索。
基于此，利用上述步骤S106训练得到的各检索场景的专利语义表示模型对面向各检索场景的专利字段分别提取语义，得到各专利字段的语义向量。在本说明书实施例中，基于向量检索的方式确定不同检索场景下与检索字段相关的专利文档，因此，可将各专利字段的语义向量按照专利字段所面向的检索场景存储在面向各检索场景的专利检索向量数据库中，并在面向各检索场景的专利检索向量数据库中还存储各专利字段的语义向量和专利字段所属的专利文档的对应关系，以该对应关系作为检索的索引，从专利检索向量数据库中快速地查找与检索字段相关的专利文档，提升检索的效率。
具体的，针对每个专利字段，根据该专利字段所面向的检索场景，将该专利字段输入到该专利字段所面向的检索场景对应的专利语义表示模型，得到该专利字段的语义向量。进一步的，将该专利字段的语义向量、该专利字段的语义向量和该专利字段所属的专利文档的对应关系存储在该专利字段所面向的检索场景对应的专利检索向量数据库中。
S110：当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量。
一般的，用户在输入检索字段的同时，用户可以选择用户所需的检索场景，以便达到在用户所需的检索场景下，通过检索字段得到与该检索字段相关的专利文档。
或者可选的，在用户没有选择检索场景的情况下，确定用户历史检索的检索场景作为本次检索的目标检索场景。
将检索文本输入到目标检索场景的专利语义表示模型，通过该模型输出检索字段的语义向量。
当然，可选地，用户可以在输入检索字段时，可以不限制检索字段对应的就检索场景，针对这种情况，可以将检索字段分别输入到对应于各类型专利字段的专利语义表示模型中，得到对应于各类型专利字段的专利语义表示模型分别输出的所述检索字段对应于各类型的语义向量。之后，将得到的检索字段对应于各类型的语义向量进行融合，得到融合后的语义向量，作为检索字段的语义向量。至于是否限制检索字段对应的检索场景，可以根据具体的应用场景确定，本说明书对此不做具体限定。
S112：根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
具体的，可以根据目标检索场景，确定与检索字段语义相近的语义向量来源于哪个检索场景对应的专利检索向量数据库。将目标检索场景对应的专利检索向量数据库中包含的各语义向量，分别与检索字段的语义向量进行相似度确定，确定与检索字段的语义向量相似的若干语义向量，并根据上述步骤S110确定的对应关系确定与检索字段相关的专利文档作为检索结果。之后，将与检索字段相关的若干专利文档作为返回给用户的检索结果，返回给用户的检索结果的数量本说明书不做限定。
可选地，当不限制检索场景时，可以基于检索字段的语义向量，从所有检索场景的专利检索向量数据库中存储的语义向量中，确定与检索字段的语义向量相似的若干语义向量，进而得到检索结果。
本说明书提供的面向多种检索场景的专利检索方法中，根据专利领域语言模型的训练数据得到专利领域语言模型，进而根据包含专利字段、正例和负例的各检索场景的专利语义表示模型的训练数据，得到各检索场景的专利语义表示模型的方式，提升了专利语义表示模型针对面向多种不同检索场景的专利字段的语义表示能力，达到提升检索精度的目的。
在本说明书一个或多个实施例中，在如图1步骤S104所示通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，如图2所示具体方案如下：
S200：针对每个专利文档，分别确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度，得到多路相似度结果。
在本说明书实施例中，字符相似度指的是字符的相同程度，例如，专利字段“预测结果”和专利字段“预测概率”，这两个专利字段中就都包含“预测”，基于此可以确定这两个专利字段之间的字符相似度。另外，语义相似度可以指的是专利字段表征语义之间的相同或相近程度，例如，专利字段“准确度”和专利字段“精准性”，这两个专利字段都表征了“准确”的语义，基于此可以确定这两个专利字段之间的语义相似度。
一般的，可以将字符相似度高于预设阈值，并且语义相似度也高于预设阈值的专利文档作为与该专利字段所属专利文档的正样本。但在实际应用中，上述筛选方案过于严格，可能会导致该专利字段所属专利文档的正样本的数量过少，因此，可以针对确定出的字符相似度和语义相似度分别设置相似度阈值的方式，分别进行筛选。
在此步骤中，确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度中，其余各专利文档指的是在预存的各专利文档中，除该专利文档外的其余各专利文档。
对于每个专利文档而言，该专利文档中包含多个专利字段，例如标题、摘要、技术领域、背景技术、权利要求书字段。可以针对该专利文档包含的面向每个检索场景的专利字段，确定该专利字段与其余各专利文档中包含的面向该检索场景的专利字段之间的字符相似度和语义相似度。
例如，针对专利文档A包含的标题字段a1、摘要字段a2，可以分别确定标题字段a1与专利文档B的标题字段b1之间的字符相似度，确定摘要字段a2和专利文档B的摘要字段b2之间的字符相似度和语义相似度。
可选地，根据不同的实际情况和专利文档所属的专业领域，可以动态调整确定该专利字段所属专利文档的正样本所基于的相似度。以专利领域为例，在专利文档中，由于标题类型的专利字段是对专利文档具体内容的高度概括，可能存在语义信息过少的情况，因此，在筛选标题类型的专利字段所属专利文档的正样本时，可仅基于字符相似度，确定与该专利字段所属专利文档相似的正样本。
之后，根据确定出的字符相似度和语义相似度，以及预设的相似度阈值，确定该专利文档在各专利字段下的召回结果。可以理解的是，在一个专利字段下，该专利文档存在两路召回结果。可选的，在标题字段下课仅基于字符相似度的召回。因此，如图3所示，对于专利文档包含的标题、摘要、技术领域、背景技术、权利要求书这五个字段，基于字符相似度和语义相似度，可以得到该专利文档对应的九路召回结果。每一路召回结果包含当前召回路筛选得到的与该专利文档相似度最高的多个专利文档，以及相应的相似度得分。
进一步的，对各路召回专利文档的相似度分别进行归一化处理。
S202：根据该检索场景，确定该检索场景下所述多路相似度结果的相似度权重，并根据所述相似度权重对所述多路相似度结果进行加权融合，得到该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度。
在此步骤中，可以根据上述步骤S200确定出来的九路召回结果，针对不同的检索场景，为该检索场景下该专利文档的就路召回结果分别赋予不同的相似度权重。其中，该相似度权重可以是预先设置的，也可以是动态调整的，本说明书对此不做限定。
对各路召回的专利文档及其相似度，采用赋予不同的相似度权重，对多路召回的结果加权求和，得到该专利文档分别与其余各专利文档之间的加权相似度。
S204：根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档，作为该专利文档的正样本文档。
一般的，将加权相似度大于预设相似度阈值的多个专利文档作为该专利文档的正样本文档。
可选的，在根据加权相似度确定该专利字段所属专利文档的正样本之前，还可以按照该专利字段所属的专利文档的属性信息，进一步对其余各专利文档进行筛选。具体的，确定该专利字段所属的专利文档的指定属性，将所述其余各专利文档中，与该专利字段所属的专利文档的指定属性不同的专利文档剔除。该指定属性可以是专利文档的分类号。
在本说明书一个或多个实施例中，在如图2步骤S200所示分别确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度，具体可通过下述方案实现：
对于确定字符相似度的方案：对该专利文档的各专利字段进行分词，得到所述各专利字段分别包含的各词；针对该专利文档的每个专利字段，根据该专利字段包含的各词分别在该专利字段中的权重、该专利字段包含的各词在该专利字段中出现的频率，以及该专利字段包含的各词在所述其余各专利文档包含的各专利字段中出现的频率，确定该专利文档与其余各专利文档在各专利字段的字符相似度。
对于确定语义相似度的方案：将该专利文档的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型输出的该专利文档的各专利字段的语义向量；将所述其余各专利文档包含的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型分别输出的所述其余各专利文档包含的各专利字段的语义向量；根据该专利文档的各专利字段的语义向量，和所述其余各专利文档包含的各专利字段的语义向量之间的相似度，确定该专利文档与其余各专利文档在各专利字段的语义相似度。
进一步的，在本说明书一个或多个实施例中，在如图1步骤S104所示通过随机采样的方式确定每个专利文档的负样本文档中，可以基于上述如图2所示确定的字符相似度和语义相似度确定负样本文档，如图4所示，具体方案如下：
S300：确定该专利文档的分类号，并根据该专利文档的分类号，将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除。
确定该专利文档的IPC分类号的部、大类、小类，将其余各专利文档中，在该专利文档PC分类号的部、大类、小类，部分均相同的候选专利中进行随机采样。
S302：在所述其余各专利文档中进行随机采样，得到候选文档。
S304：判断所述候选文档与该专利文档在各专利字段的字符相似度是否均不高于第一相似度阈值，以及所述候选文档与该专利文档在各专利字段的语义相似度是否均不高于第二相似度阈值，若是，执行步骤S306，否则执行步骤S308。
具体的，该专利文档的负样本文档一般不在上述如图2步骤S200得到的该专利文档的多路召回结果中，或者在任意一路召回结果中与该专利文档的字符相似度和语义相似度均不高于相应的相似度阈值。因此，确定候选文档与该专利文档在各专利字段的字符相似度和专利相似度，并且，仅将在各专利字段下字符相似度不高于第一相似度阈值，并且在各专利字段下语义相似度也不高于第二相似度阈值的候选文档作为该专利文档的负样本文档。
S306：确定所述候选文档为该专利文档的负样本文档。
S308：判断该专利文档的负样本文档的数量是否为预设数量。若是，执行步骤S310，否则返回步骤S302。
S310：结束。
在本说明书一个或多个实施例中，如图1所示步骤S106所示根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型，具体方案如下：
第一步：将该检索场景的专利语义表示模型的训练数据中的专利字段、专利字段的正例和专利字段的负例作为输入，通过所述专利领域语言模型，得到面向该检索场景的专利字段的语义向量、面向该检索场景的专利字段的正例的语义向量和面向该检索场景的专利字段的负例的语义向量。
如图5所示为基于专利语义表示模型的训练数据，对专利领域语言模型进行参数调整的示意图，针对每种检索场景，将该检索场景的专利语义表示模型的训练数据输入专利领域语言模型。在该步骤中，事实上，专利领域语言模型的输入是该类型的专利语义表示模型的训练数据包含的各专利字段，其中包括，面向该检索场景的一个专利字段、该专利字段的正例和该专利字段的负例。将上述三个专利字段分别输入到专利领域语言模型，将该类型的专利语义表示模型的训练数据包含的一个专利字段、该专利字段的正例和该专利字段的负例，分别映射到语义空间中，得到面向该检索场景的专利字段的语义向量、该专利字段的正例的语义向量和该专利字段的负例的语义向量。
第二步：确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的正例的语义向量之间的第一相似度。
第二步：确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的负例的语义向量之间的第二相似度；
第三步：确定所述第一相似度和所述第二相似度的差值。
进一步的，依然如图5所示，基于对比学习的思想，以该专利字段在语义空间中的映射，和该专利字段的正例在语义空间中的映射之间的距离的减小，以及该专利字段在语义空间中的映射，和该专利字段的负例在语义空间中的映射之间的距离的增大为训练目标，训练专利领域语言模型，得到该检索场景的专利语义表示模型。也即，是以第一相似度和第二相似度之间的差值的大于设定阈值为训练目标，得到该检索场景的专利语义表示模型。在本说明书实施例中，作为训练目标的最大化和最小化可根据具体的应用场景确定，本说明书对此不做限定。
第四步：以所述差值大于预设参数为优化目标，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型。
具体的，由于以第一相似度和第二相似度之间的差值的最大化为训练目标，可能会出现难以收敛的情况，因此，可以设置预设参数，以差值和预设参数构建损失函数。
可选地，差值大于预设参数的优化目标的函数表示可如下所示：
L＝max(d(a,p)―d(a,n)+magin,0)
其中a表示该专利字段的语义向量，p表示该专利字段的正例的语义向量，n表示该专利字段的负例的语义向量，d表示语义向量距离计算函数，该计算函数可以是欧氏距离、切比雪夫距离、余弦距离等任一现有的确定向量距离的函数，本说明书对此不做限定。另外，上述公式中margin为预设参数，可以根据具体的应用场景确定，本说明书对此不做限定，可选的，在本说明书实施例中可设为0.95。
通过上述差值大于预设参数对专利领域语言模型进行参数调整，得到该检索场景的专利语义表示模型，旨在提升该检索场景的专利语义表示模型针对面向该检索场景的专利字段的语义表示能力。
具体的，通过反向传播训练调整专利领域语言模型的模型参数，该检索场景的专利语义表示模型的训练数据中该检索场景的专利字段的语义向量与该检索场景的专利字段的正例的语义向量之间的距离d1应变小，而该检索场景的专利字段的语义向量与该检索场景的专利字段的负例的语义向量之间的距离d2应变大，且d2-d1>margin。即，如图5所示的训练前到训练后的变化，缩短该检索场景的专利字段经过专利语义表示模型得到的在语义空间中的映射，与该检索场景的专利字段的正例经过专利语义表示模型表示得到的在语义空间中的映射之间的距离，而增大该检索场景的专利字段经过专利语义表示模型得到的在语义空间中的映射，与该检索场景的专利字段的负例经过专利语义表示模型表示得到的在语义空间中的映射之间的距离。
图6为本说明书提供的一种面向多种检索场景的专利检索装置示意图，针对预存的各专利文档，该专利文档中包含面向多种不同检索场景的专利字段，具体包括：
专利领域语言模型训练数据生成模块400，用于获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据；
专利领域语言模型训练模块402，用于根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型；
多场景专利语义表示模型训练数据生成模块404，用于针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据；
多场景专利语义表示模型训练模块406，用于根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型；
多场景专利语义向量数据库构建模块408，用于根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中；
检索字段语义向量生成模块410，用于当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量；
多场景检索模块412，用于根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
可选地，所述多场景专利语义表示模型训练数据生成模块404具体用于，针对每个专利文档，分别确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度，得到多路相似度结果；根据该检索场景，确定该检索场景下所述多路相似度结果的相似度权重，并根据所述相似度权重对所述多路相似度结果进行加权融合，得到该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度；根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档，作为该专利文档的正样本文档。
可选地，所述多场景专利语义表示模型训练数据生成模块404在所述多场景专利语义表示模型训练数据生成模块404根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档之前，还用于确定该专利文档的分类号；将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除。
可选地，所述多场景专利语义表示模型训练数据生成模块404具体用于，确定该专利文档的分类号，并根据该专利文档的分类号，将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除；在所述其余各专利文档中进行随机采样，得到候选文档；判断所述候选文档与该专利文档在各专利字段的字符相似度是否均不高于第一相似度阈值，以及所述候选文档与该专利文档在各专利字段的语义相似度是否均不高于第二相似度阈值；若是，确定所述候选文档为该专利文档的负样本文档；若否，重新在所述其余各专利文档中进行随机采样，重新得到候选文档，重新判断直到该专利文档的负样本文档的数量达到预设数量。
可选地，所述多场景专利语义表示模型训练数据生成模块404具体用于，对该专利文档的各专利字段进行分词，得到所述各专利字段分别包含的各词；针对该专利文档的每个专利字段，根据该专利字段包含的各词分别在该专利字段中的权重、该专利字段包含的各词在该专利字段中出现的频率，以及该专利字段包含的各词在所述其余各专利文档包含的各专利字段中出现的频率，确定该专利文档与其余各专利文档在各专利字段的字符相似度。
可选地，所述多场景专利语义表示模型训练数据生成模块404具体用于，将该专利文档的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型输出的该专利文档的各专利字段的语义向量；将所述其余各专利文档包含的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型分别输出的所述其余各专利文档包含的各专利字段的语义向量；根据该专利文档的各专利字段的语义向量，和所述其余各专利文档包含的各专利字段的语义向量之间的相似度，确定该专利文档与其余各专利文档在各专利字段的语义相似度。
可选地，所述多场景专利语义表示模型训练模块406具体用于，将该检索场景的专利语义表示模型的训练数据中的专利字段、专利字段的正例和专利字段的负例作为输入，通过所述专利领域语言模型，得到面向该检索场景的专利字段的语义向量、面向该检索场景的专利字段的正例的语义向量和面向该检索场景的专利字段的负例的语义向量；确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的正例的语义向量之间的第一相似度；确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的负例的语义向量之间的第二相似度；确定所述第一相似度和所述第二相似度的差值；以所述差值大于预设参数为优化目标，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型。
可选地，所述多场景专利语义向量数据库构建模块408具体用于，针对每个专利字段，根据该专利字段面向的检索场景，从各检索场景的专利语义表示模型中确定该专利字段对应的专利语义表示模型；将该专利字段输入到该专利字段对应的专利语义表示模型，得到该专利字段对应的专利语义表示模型输出的该专利字段的语义向量。
可选地，所述多场景检索模块412具体用于，确定所述检索字段的语义向量，与所述目标检索场景的专利检索向量数据库中存储的各语义向量之间的相似度；将相似度高于预设相似度阈值的若干语义向量，作为候选向量；根据所述目标检索场景的专利检索向量数据库中存储的对应关系，确定所述候选向量对应的专利文档，作为与所述检索字段相似的专利文档。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1所示的面向多种检索场景的专利检索方法。
本说明书还提供了图7所示的电子设备的示意结构图。如图7所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的面向多种检索场景的专利检索方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种面向多种检索场景的专利检索方法，其特征在于，针对预存的多个专利文档，该专利文档包含的多个专利字段分别面向多个不同的检索场景，所述方法包括：
获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据；
根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型；
针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据；
根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型；
根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中；
当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量；
根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
2.如权利要求1所述的方法，其特征在于，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，具体包括：
针对每个专利文档，分别确定该专利文档与其余各专利文档在各专利字段的字符相似度和语义相似度，得到多路相似度结果；
根据该检索场景，确定该检索场景下所述多路相似度结果的相似度权重，并根据所述相似度权重对所述多路相似度结果进行加权融合，得到该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度；
根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档，作为该专利文档的正样本文档。
3.如权利要求2所述的方法，其特征在于，根据该检索场景下该专利文档分别与所述其余各专利文档之间的加权相似度，确定与该专利文档相似的专利文档之前，所述方法还包括：
确定该专利文档的分类号；
将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除。
4.如权利要求2所述的方法，其特征在于，通过随机采样的方式确定每个专利文档的负样本文档，具体包括：
确定该专利文档的分类号，并根据该专利文档的分类号，将所述其余各专利文档中，与该专利文档的分类号不同的专利文档剔除；
在所述其余各专利文档中进行随机采样，得到候选文档；
判断所述候选文档与该专利文档在各专利字段的字符相似度是否均不高于第一相似度阈值，以及所述候选文档与该专利文档在各专利字段的语义相似度是否均不高于第二相似度阈值；
若是，确定所述候选文档为该专利文档的负样本文档；
若否，重新在所述其余各专利文档中进行随机采样，重新得到候选文档，重新判断直到该专利文档的负样本文档的数量达到预设数量。
5.如权利要求2所述的方法，其特征在于，确定该专利文档与其余各专利文档在各专利字段的字符相似度，具体包括：
对该专利文档的各专利字段进行分词，得到所述各专利字段分别包含的各词；
针对该专利文档的每个专利字段，根据该专利字段包含的各词分别在该专利字段中的权重、该专利字段包含的各词在该专利字段中出现的频率，以及该专利字段包含的各词在所述其余各专利文档包含的各专利字段中出现的频率，确定该专利文档与其余各专利文档在各专利字段的字符相似度。
6.如权利要求2所述的方法，其特征在于，确定该专利文档与其余各专利文档在各专利字段的语义相似度，具体包括：
将该专利文档的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型输出的该专利文档的各专利字段的语义向量；
将所述其余各专利文档包含的各专利字段分别输入所述专利领域语言模型，得到所述专利领域语言模型分别输出的所述其余各专利文档包含的各专利字段的语义向量；
根据该专利文档的各专利字段的语义向量，和所述其余各专利文档包含的各专利字段的语义向量之间的相似度，确定该专利文档与其余各专利文档在各专利字段的语义相似度。
7.如权利要求1所述的方法，其特征在于，根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型，具体包括：
将该检索场景的专利语义表示模型的训练数据中的专利字段、专利字段的正例和专利字段的负例作为输入，通过所述专利领域语言模型，得到面向该检索场景的专利字段的语义向量、面向该检索场景的专利字段的正例的语义向量和面向该检索场景的专利字段的负例的语义向量；
确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的正例的语义向量之间的第一相似度；
确定面向该检索场景的专利字段的语义向量和面向该检索场景的专利字段的负例的语义向量之间的第二相似度；
确定所述第一相似度和所述第二相似度的差值；
以所述差值大于预设参数为优化目标，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型。
8.如权利要求1所述的方法，其特征在于，根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，具体包括：
针对每个专利字段，根据该专利字段面向的检索场景，从各检索场景的专利语义表示模型中确定该专利字段对应的专利语义表示模型；
将该专利字段输入到该专利字段对应的专利语义表示模型，得到该专利字段对应的专利语义表示模型输出的该专利字段的语义向量。
9.如权利要求1所述的方法，其特征在于，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，具体包括：
确定所述检索字段的语义向量，与所述目标检索场景的专利检索向量数据库中存储的各语义向量之间的相似度；
将相似度高于预设相似度阈值的若干语义向量，作为候选向量；
根据所述目标检索场景的专利检索向量数据库中存储的对应关系，确定所述候选向量对应的专利文档，作为与所述检索字段相似的专利文档。
10.一种面向多种检索场景的专利检索装置，其特征在于，针对预存的多个专利文档，该专利文档包含的多个专利字段分别面向多个不同的检索场景，所述装置包括：
专利领域语言模型训练数据生成模块，用于获取包含多个专利字段的专利文档作为专利领域语言模型的训练数据；
专利领域语言模型训练模块，用于根据所述专利领域语言模型的训练数据，采用无监督学习的方式，对通用语言模型的模型参数进行调整，得到专利领域语言模型；
多场景专利语义表示模型训练数据生成模块，用于针对每个检索场景，通过基于不同权重多路召回的方式，确定每个专利文档的正样本文档，并通过随机采样的方式确定每个专利文档的负样本文档，并根据该检索场景对应的专利字段，从该专利字段所属的专利文档的正样本文档中确定该专利字段的正例，以及从该专利字段所属的专利文档的负样本文档中确定该专利字段的负例，根据该专利字段、该专利字段的正例和该专利字段的负例，构建该检索场景的专利语义表示模型的训练数据；
多场景专利语义表示模型训练模块，用于根据该检索场景的专利语义表示模型的训练数据，对所述专利领域语言模型的模型参数进行学习调整，得到该检索场景的专利语义表示模型；
多场景专利语义向量数据库构建模块，用于根据各检索场景面向的专利字段和各检索场景的专利语义表示模型，确定各专利字段的语义向量，并将所述各专利字段的语义向量与所述各专利字段所属专利文档之间的对应关系存储在各专利字段分别面向的检索场景的专利检索向量数据库中；
检索字段语义向量生成模块，用于当接收到检索请求时，根据所述检索请求对应的目标检索场景，通过所述目标检索场景的专利语义表示模型，确定检索字段的语义向量；
多场景检索模块，用于根据所述检索字段的语义向量，从所述目标检索场景的专利检索向量数据库中，查找与所述检索字段相似的专利文档，作为所述检索字段对应的检索结果，并返回。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～9任一项所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～9任一项所述的方法。
CN202310212099.0A 2023-02-28 2023-02-28 一种面向多种检索场景的专利检索方法、装置、设备 Pending CN116303989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310212099.0A CN116303989A (zh) 2023-02-28 2023-02-28 一种面向多种检索场景的专利检索方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310212099.0A CN116303989A (zh) 2023-02-28 2023-02-28 一种面向多种检索场景的专利检索方法、装置、设备

Publications (1)

Publication Number Publication Date
CN116303989A true CN116303989A (zh) 2023-06-23

Family

ID=86831890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310212099.0A Pending CN116303989A (zh) 2023-02-28 2023-02-28 一种面向多种检索场景的专利检索方法、装置、设备

Country Status (1)

Country Link
CN (1) CN116303989A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033469A (zh) * 2023-10-07 2023-11-10 之江实验室 一种基于表格语义注释的数据库检索方法、装置以及设备
CN117112735A (zh) * 2023-10-19 2023-11-24 中汽信息科技(天津)有限公司 一种专利数据库的构建方法和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033469A (zh) * 2023-10-07 2023-11-10 之江实验室 一种基于表格语义注释的数据库检索方法、装置以及设备
CN117033469B (zh) * 2023-10-07 2024-01-16 之江实验室 一种基于表格语义注释的数据库检索方法、装置以及设备
CN117112735A (zh) * 2023-10-19 2023-11-24 中汽信息科技(天津)有限公司 一种专利数据库的构建方法和电子设备
CN117112735B (zh) * 2023-10-19 2024-02-13 中汽信息科技(天津)有限公司 一种专利数据库的构建方法和电子设备

Similar Documents

Publication Publication Date Title
CN117235226A (zh) 一种基于大语言模型的问题应答方法及装置
CN116303989A (zh) 一种面向多种检索场景的专利检索方法、装置、设备
CN108664526B (zh) 检索的方法和设备
US20120124037A1 (en) Multimedia data searching method and apparatus and pattern recognition method
CN111881973A (zh) 一种样本选择方法、装置、存储介质及电子设备
CN111639228B (zh) 视频检索方法、装置、设备及存储介质
CN116502176A (zh) 一种语言模型的预训练方法、装置、介质及电子设备
CN116720008B (zh) 一种机器阅读方法、装置、存储介质及电子设备
CN115600106A (zh) 一种风险识别模型的训练方法、装置、设备及存储介质
CN117194992B (zh) 一种模型训练、任务执行方法、装置、存储介质及设备
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116049761A (zh) 数据处理方法、装置及设备
CN118113855A (zh) 一种舰船试验训练场景问答方法、系统、设备和介质
CN113505196B (zh) 基于词性的文本检索方法、装置、电子设备及存储介质
CN117252183B (zh) 一种基于语义的多源表格自动匹配方法、装置及存储介质
CN116955579B (zh) 一种基于关键词知识检索的聊天回复生成方法和装置
CN116630480B (zh) 一种交互式文本驱动图像编辑的方法、装置和电子设备
CN116150380B (zh) 一种文本匹配方法、装置、存储介质及设备
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117591622A (zh) 一种模型训练和业务执行方法、装置、存储介质及设备
CN116863484A (zh) 一种字符识别的方法、装置、存储介质及电子设备
CN116662657A (zh) 一种模型训练和信息推荐的方法、装置、存储介质及设备
Gomez et al. Location sensitive image retrieval and tagging
CN113642603B (zh) 一种数据匹配方法、装置、存储介质及电子设备
CN116340469B (zh) 一种同义词挖掘方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination