CN117556012A - 问答处理方法、装置、设备及存储介质 - Google Patents

问答处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117556012A
CN117556012A CN202311525430.0A CN202311525430A CN117556012A CN 117556012 A CN117556012 A CN 117556012A CN 202311525430 A CN202311525430 A CN 202311525430A CN 117556012 A CN117556012 A CN 117556012A
Authority
CN
China
Prior art keywords
vector
text
question
vectors
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311525430.0A
Other languages
English (en)
Inventor
戴菀庭
罗奕康
聂砂
郑江
丁苏苏
张士存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202311525430.0A priority Critical patent/CN117556012A/zh
Publication of CN117556012A publication Critical patent/CN117556012A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/322—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种问答处理方法、装置、设备及存储介质。涉及人工智能技术领域。该方法包括：获取待回答问题并根据待回答问题生成问题向量；确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本；将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。本申请的方法，提高了问答模型针对用户问题给出的答案的准确性。

Description

问答处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种问答处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术的不断发展，大模型的应用越来越广泛，构建大模型问答系统便是其中之一。
目前大模型问答系统在进行问答处理时，通常是将用户输入的问题、问题的特征向量与数据库中文档的特征向量进行匹配得到的与问题最接近的目标文档。大模型理解并分析用户的问题，根据目标文档快速准确地给出问题的答案。
但是，匹配得到目标文档往往存在信息缺失，导致大模型给出的答案不准确或遗漏内容。
发明内容
本申请提供一种问答处理方法、装置、设备及存储介质，用以解决现有技术中问答系统给出的答案不准确的问题。
第一方面，本申请提供一种问答处理方法，包括：
获取待回答问题并根据待回答问题生成问题向量；
确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；
根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本；
将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。
在一种可能的设计中，根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本，包括：
计算关联向量与问题向量的第二相似度；
将第二相似度大于或等于第二预设阈值的关联向量对应的文本、第二相似度小于第二预设阈值的关联向量对应的文本的描述信息、至少一个第一文本向量对应的文本、以及至少一个第一文本向量对应的文本与关联向量对应的文本之间的关联关系信息作为候选文本。
在一种可能的设计中，计算关联向量与问题向量的第二相似度，包括：
将关联向量按照预设关系分类；
分别将每类关联向量对应的文本与至少一个第一文本向量对应的文本进行聚类得到聚类文本；
将聚类文本与待回答问题进行语义相似度计算，得到每类关联向量与问题向量的第二相似度。
在一种可能的设计中，确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，包括：
根据待回答问题，确定目标文本向量的数量；
确定与问题向量的第一相似度大于第一预设阈值的多个第二文本向量；
若目标文本向量的数量为1，则确定第一相似度最大的第二文本向量为第一文本向量；
若目标文本向量的数量不为1，则确定多个第二文本向量为第一文本向量。
在一种可能的设计中，确定与问题向量的第一相似度大于第一预设阈值的多个第二文本向量之后，还包括：
若目标文本向量的数量为1，则将多个第二文本向量按照文件分为多组，其中，每组第二文本向量对应的文本属于同一文件；
确定第二文本向量数量最多的组中所有第二文本向量为第一文本向量。
在一种可能的设计中，方法还包括：
将预设文件拆分为多个文本并确定多个文本之间的关联关系，其中，存在关联关系的文本互为关联文本；
根据多个文本，生成多个文本向量，其中，存在关联关系的文本对应的向量互为关联向量；
将多个文本向量存储至向量数据库；
确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，具体为：
从向量数据库中确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量。
在一种可能的设计中，将预设文件拆分为多个文本并确定多个文本之间的关联关系之后，还包括：
将多个文本以树状图的形式进行存储，将多个文本之间的关联关系以连接边的形式添加至树状图中。
在一种可能的设计中，将多个文本向量存储至向量数据库之后，还包括：
将向量数据库中的多个文本向量分别与树状图中的多个文本进行关联存储；
确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，具体包括：
确定与至少一个第一文本向量对应的文本；
根据树状图，确定与至少一个第一文本向量对应的文本的关联文本；
从向量数据库中，确定关联文本对应的向量为至少一个第一文本向量的关联向量。
第二方面，本申请提供一种问答处理装置，包括：
获取模块，用于获取待回答问题并根据待回答问题生成问题向量；
确定模块，用于确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；
确定模块，还用于根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本；
处理模块，用于将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面任意一种可能的设计中的问答处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面任意一种可能的设计中的问答处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，实现如上第一方面以及第一方面任意一种可能的设计中的问答处理方法。
本申请提供的问答处理方法、装置、设备及存储介质，通过获取待回答问题并根据待回答问题生成问题向量；确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本；将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。由于是根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量来确定候选文本，其中考虑到关联向量以及关联关系对问答模型回答问题的准确度影响，因此，能够解决现有技术中大模型针对用户问题给出的答案不准确或遗漏的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一实施例提供的一种问答模型问答的场景示意图；
图2为本申请一实施例提供的一种问答处理方法的流程图；
图3为本申请一实施例提供的一种问答处理方法的部分流程图；
图4为本申请一实施例提供的另一种问答处理方法的部分流程图；
图5为本申请一实施例提供的另一种问答处理方法的流程图；
图6为本申请一实施例提供的一种问答处理装置的结构示意图；
图7为本申请一实施例提供的一种电子设备的硬件结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
取决于语境，本文所使用的词语“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
术语解释：
LangChain：LangChain是一个用于开发基于语言模型的应用程序开发框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型(LargeLanguage Model，LLM)和聊天模型提供支持的端到端应用程序的过程。
LLM：LLM是指基于深度学习技术构建的大规模语言模型，是一种强大的自然语言处理工具。LLM通常是通过在大规模文本语料库上进行预训练而构建的，在预训练阶段，LLM在无监督的条件下学习语言的统计规律和语义关系。预训练后，LLM能够获得丰富的语言知识和表示能力，能够理解和生成文本。
上下文理解：理解上下文的语义、语境和相关信息，并基于这些信息生成后续文本。
LLM可以通过上下文理解来生成连贯的文本，在问答、对话生成和自动摘要等任务中具有出色的表现，还可以用于机器翻译、情感分析、命名实体识别、对话系统等各种任务，在自动写作、语言创作和聊天机器人等场景中也有着广泛的应用。通过微调或迁移学习，LLM还可以根据具体任务进行特定领域的调整，适应多个领域的自然语言处理任务。
Prompt：Prompt是指向LLM提供的输入文本或问题，以引导其生成相应的回复或输出。Prompt是与LLM进行交互的一种方式，它可以是一个简短的句子、一个问题、一个描述或者任何其他形式的文本。
嵌入模型(embedding model)：嵌入模型是一种机器学习模型，用于将离散的符号或对象转换为连续向量表示(也称为嵌入向量或嵌入)。嵌入模型的目标是将高维、稀疏的输入空间映射到低维、稠密的嵌入空间，以捕捉输入之间的语义和关联关系。通过使用嵌入模型，我们可以将文本转化为连续向量表示，从而可以应用于文本相似性计算、文本分类、信息检索等任务中。嵌入模型的优点在于能够将语义和关联关系编码为低维向量，方便计算和应用。
提示模板(prompt template)：提示模板是用于与语言模型进行交互的一种结构化输入形式，由内容和问题两个主要组成部分组成。内容部分是与问题相关的上下文信息，可以是一段或多段文本，用于提供一些背景或前提条件，为LLM提供足够的上下文来理解问题并生成准确的回答。问题部分是用户提出的具体问题或询问，可以是一个简单的问题，也可以是一系列相关问题，用于指导LLM生成回答的方向。通过在问题部分提供明确的问题描述，模型可以更好地理解用户的意图，并提供准确的回答。
提示模板的主要目的是指导LLM生成用户期望的回答。通过明确规定内容和问题的结构，可以帮助LLM更好地理解任务和上下文，并生成符合预期的输出。此外，提示模板还可以用于控制和定制生成文本的风格、语气和格式。
目前，根据自有文件来回答问题之前，通常先将文件拆分成段或者短句，将段或短句向量化后存入数据库。当收到问题请求时，在数据库中找出与问题请求最接近的多个向量对应的段或短句，将段或短句作为提示模板的内容和问题一起输入至LLM，LLM基于对段或短句以及问题的分析理解，输出问题对应的答案。但往往存在LLM输出的答案不准确或存在遗漏的问题。
LLM作为一个通用的语言模型，不能直接进行本地迁移训练，直接微调或重新训练的成本过大。而目前，文件拆分后，往往每段或每个短句无法完整地包括原文件的所有信息，导致信息缺失或不准确。此外，段或短句的上下文信息以及段或短句之间的关联性也无法得到有效保留，导致LLM根据拆分的段或短句输出的答案也会不准确或存在遗漏。
基于上述问题，本申请提出一种问答处理方法、装置、设备及存储介质，拆分文件时按照文件的结构特征将文件拆分为多个文本，提高单个文本的信息完整度，同时将与问题最接近的文本、文本的关联文本以及文本与关联文本之间的关联关系作为提示模板的内容部分，从而提高问答模型根据内容部分给出的答案的准确度。
图1示出了本申请一实施例提供的一种问答模型问答的场景示意图。如图1所示，问答模型会收到提示模板，提示模板包括内容和问题两部分。其中，内容是与问题相关的上下文信息，可以是多个文本。问题是用户提出的具体问题或询问，可以是一个问题，也可以是多个相关的问题。问答模型根据内容理解上下文，根据问题明确用户需求，从而输出更符合用户需求且更符合上下文信息的完整准确的答案。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请中，以电子设备为执行主体，执行如下实施例的问答处理方法。具体地，该执行主体可以为电子设备的硬件装置，或者为电子设备中实现下述实施例的软件应用，或者为安装有实现下述实施例的软件应用的计算机可读存储介质，或者为实现下述实施例的软件应用的代码。
图2示出了本申请一实施例提供的一种问答处理方法的流程图。如图2所示，以电子设备为执行主体，本实施例的方法可以包括如下步骤：
S101、获取待回答问题并根据待回答问题生成问题向量。
本实施例中，电子设备获取待回答问题，可以是接收用户输入的问题文本信息，也可以是接收用户输入的问题语音信息。
根据待回答问题生成问题向量可以是使用嵌入模型将待回答问题转换为嵌入向量，便于后续进行文本与问题的相速度计算。
S102、确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量。
其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个。
例如，第一文本向量对应的文本为1.1，1.2的文本内容对1.1的文本内容的作进一步限定，则1.2为1.1的关联文本，1.2对应的文本向量为第一文本向量的关联向量，两个向量之间的关联关系为限制关系。
应当理解，第一文本向量的关联向量可以为多个。例如，对1.1进行限定的文本还有1.1.1，则1.1.1对应的文本向量也为第一文本向量的关联向量。再如，1.3的文本内容引用了1.1的文本内容，则1.3也为1.1的关联文本，1.3对应的文本向量为第一文本向量的关联向量，两个向量之间的关联关系为引用关系。
也就是说，本实施例确定的第一文本向量的关联向量可以有多个，与第一文本向量对应的文本存在关联关系的所有文本对应的向量均为关联向量。在确定关联向量时，需要遍历第一文本向量对应的文本存在任意一种关联关系的所有文本，避免遗漏关联向量。
值得注意的是，若直接将关联向量与问题向量进行相似度匹配，则可能存在某些关联向量对应的文本内容与问题相关度低，而与第一文本向量对应的文本内容相关度高，导致匹配不准确。例如，问题表述为“哪些情况下，可以实施A方法”，第一文本向量对应的文本1.1中描述了多种可实施A方法的情形，而某关联向量对应的文本1.2中表述为“1.1的情形三，在B条件下，应实施B方法”。此时若直接将问题向量与关联向量进行相似度匹配，则会认为该关联向量的相似度低，如此，最终给出的答案的完整性以及准确度都会下降。
S103、根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本。
应当理解，此处候选文本即为提示模板中的内容部分。
本实施例中，确定候选文本时，电子设备可以先将关联向量对应的文本进行概括描述再作为候选文本，如此可以避免由于该文本与问题向量间接相关而导致问答模型无法准确分析该文本。
S104、将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。
本实施例中，问答模型根据待回答问题明确用户需求，并理解分析候选文本，输出用户期望的回答。
本实施例提供的问答处理方法，通过根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本，使候选文本更准确详实，问答模型使用候选文本回答问题时，能够输出更准确完整的回答，更符合用户需求，提升了用户体验。
图3示出了本申请一实施例提供的一种问答处理方法的部分流程图。如图3所示，以电子设备为执行主体，步骤S103的具体实现方式可以包括如下步骤：
S201、计算关联向量与问题向量的第二相似度。
经图2实施例的介绍，可以理解，关联向量与问题向量的第二相似度，与第一文本向量有关。也就是说，第一文本向量与关联向量直接的关联关系直接影响第二相似度的大小。
一种示例中，步骤S201的具体实现方式可以包括如下步骤：
S2011、将关联向量按照预设关系分类。
具体地，第一文本向量的每个关联向量与第一文本向量的关联关系可以是预设关系中的任意一种。根据预设关系的不同，电子设备可以将关联向量进行分类，每类关联向量中，至少存在一个关联向量。
S2012、分别将每类关联向量对应的文本与至少一个第一文本向量对应的文本进行聚类得到聚类文本。
以一个第一文本向量为例，假设该第一文本向量的关联向量有两类。针对每类关联向量，电子设备将其对应的文本与第一文本向量对应的文本进行概括描述，例如，概括为满足预设字数限制的文本，也即聚类文本。其中，字数限制是为了控制候选文本的长度，其它的候选文本也可以预设字数限制。
例如，问题表述为“哪些情况下，可以实施A方法”，第一文本向量对应的文本1.1中描述了多种可实施A方法的情形，而某关联向量对应的文本1.2中表述为“1.1的情形三，在B条件下，应实施B方法”。此时聚类文本可以描述为“情形三中，在B条件下，不实施A方法”，如此，这一聚类文本使该关联向量与待回答问题由间接关联转为直接关联。
若一类关联向量中包含多个关联向量，则聚类时需将该类别中多个关联向量对应的文本与第一文本向量对应的文本进行聚类得到一个聚类文本，也即聚类文本的数量与关联向量的类别数量一致。
S2013、将聚类文本与待回答问题进行语义相似度计算，得到每类关联向量与问题向量的第二相似度。
具体地，语义相似度的计算可以通过语义相似度模型或算法来实现，具体可参考现有技术理解，此处不作介绍。
本示例中，电子设备计算得到每类关联向量与问题向量的第二相似度。其中，若一类关联向量中包含多个关联向量，则该多个关联向量与问题向量的第二相似度均为该类关联向量与问题向量的第二相似度。
若至少一个第一文本向量为多个第一文本向量，则针对每个第一文本向量的关联向量，均执行上述步骤，计算得到每个关联向量与问题向量的第二相似度。
S202、将第二相似度大于或等于第二预设阈值的关联向量对应的文本、第二相似度小于第二预设阈值的关联向量对应的文本的描述信息、至少一个第一文本向量对应的文本、以及至少一个第一文本向量对应的文本与关联向量对应的文本之间的关联关系信息作为候选文本。
本实施例中，若一类关联向量中包含多个关联向量，且该类关联向量与问题向量的第二相似度大于或等于第二预设阈值，则该多个关联向量对应的文本均为候选文本。
若一类关联向量中包含多个关联向量，且该类关联向量与问题向量的第二相似度小于第二预设阈值，则该多个关联向量对应的文本的描述信息均为候选文本。其中，描述信息是指电子设备将该多个关联向量对应的文本分别概括。概括内容可以是对原文本的另一种描述方式，目的是使与问题向量的第二相似度小于第二预设阈值的关联向量对应的文本更便于问答模型理解。
候选文本中，至少一个第一文本向量对应的文本与关联向量对应的文本之间的关联关系信息，其中描述的关联向量为所有关联向量，不区分第二相似度的大小。关联关系信息是指电子设备对第一文本向量对应的文本与关联向量对应的文本之间关系的概括描述内容。
本实施例提供的问答处理方法中，电子设备确定候选文本时，不仅考虑了第一文本向量对应的文本，还考虑了关联向量对应的文本，以及两种文本之间的关联关系信息。其中，对于关联向量对应的文本，电子设备还根据关联向量与问题向量的相似度，确定以原文本或对原文本的概括内容作为候选文本，增加了候选文本的完整性以及确定精度，使得问答模型根据候选文本回答问题时更准确快速。
图4示出了本申请一实施例提供的一种问答处理方法的部分流程图。如图4所示，以电子设备为执行主体，步骤S102的具体实现方式可以包括如下步骤：
S301、根据待回答问题，确定目标文本向量的数量。
具体地，可以问题中的关键字来判断目标文本向量的数量。例如，问题中包括“哪个”、“怎么做”、“操作步骤”等关键字，则可以确定目标文本向量的数量是1。问题中包括“哪些”、“全部”、“所有”等关键字，则可以确定目标文本向量的数量不为1。
S302、确定与问题向量的第一相似度大于第一预设阈值的多个第二文本向量。
在确定至少一个第一文本向量之前，可以先确定多个第二文本向量，再从第二文本向量中确定第一文本向量。
S303、若目标文本向量的数量为1，则确定第一相似度最大的第二文本向量为第一文本向量。
S304、若目标文本向量的数量不为1，则确定多个第二文本向量为第一文本向量。
可以理解，目标文本向量不为1时，多个第二文本向量均可以作为第一文本向量，无需进一步选择。
S3051、若目标文本向量的数量为1，则将多个第二文本向量按照文件分为多组。
其中，每组第二文本向量对应的文本属于同一文件。
具体地，多个文本向量对应的文本可以是由不同的文件拆分得到的。本实施例中，按照文件的不同，将多个第二文本向量进行分组。例如，确定的与问题向量的第一相似度大于第一预设阈值的第二文本向量共7个，其中，3个第二文本向量属于文件A，2个第二文本向量属于文件B，2个第二文本向量属于文件C，此时第二文本向量可以分为A、B和C三组。
S3052、确定第二文本向量数量最多的组中所有第二文本向量为第一文本向量。
也即，A组第二文本向量的数量为3，为第二文本向量数量最多的组，确定这3个第二文本向量均为第一文本向量。
本实施例中，电子设备确定第一文本向量时，可以先确定目标文本向量的数量，根据数量不同，选择不同的方式确定第一文本向量。如此，若目标文本向量的数量为1，电子设备确定一个第一文件向量后即可执行下一个步骤，提高了电子设备的处理效率。
在一些实施例中，电子设备在获取待回答问题前预先拆分预设文件得到多个文本，或者在获取到待回答问题之后，实时拆分预设文件得到多个文本。以电子设备为执行主体，具体包括如下步骤：
S401、将预设文件拆分为多个文本并确定多个文本之间的关联关系。
其中，预设文件是与待回答问题相关的文件，根据预设文件，可以确定待回答问题的答案。预设文件可以是一个，也可以是多个。
拆分预设文件时，是根据文件的结构特征进行拆分，以确保拆分的准确性和完整性。例如，对于规章制度文件，可以按照条款将其拆分为多个条款句子。
确定多个文本之间的关联关系，可以利用正则表达式或自然语言处理技术，抽取句子之间的关系，如引用关系、补充关系、限制关系等。
可选地，电子设备还可以将拆分得到的多个文本以树状图的形式进行存储，将多个文本之间的关联关系以连接边的形式添加至树状图中，便于查找关系向量。其中，多个文本之间的关联关系可以是层级关系。
例如，存储为如下树状图：
-A
|-1.1
|-1.1.1
|-1.1.2
|-1.2
|-1.2.1
|-2.1
|-2.1.1
|-2.1.2
|-2.1.3
在树状图中，每个节点表示一个句子，节点之间的连接边表示句子之间的层级关系。
S402、根据多个文本，生成多个文本向量。
具体地，生成文本向量可以是使用嵌入模型将文本转换为嵌入向量。每个文本均存在对应的文本向量，也即，树状图中每个节点均存在对应的文本向量。这些向量可以捕捉到文本的语义和特征，便于与问题向量的相似度计算。
可以理解，存在关联关系的文本互为关联文本，存在关联关系的文本对应的向量互为关联向量。
S403、将多个文本向量存储至向量数据库。
如此，步骤S102中，确定第一文本向量和第一文本向量的关联向量，即可以从向量数据库中查找所需向量。
本实施例中，电子设备将与待回答问题相关的预设文件进行按结构特征拆分、转换为向量以及存储至向量数据库等处理过程，便于相似度计算以及查找与问题向量相似度大于预设阈值的文本向量，提高了问答处理的效率，提升了用户体验。
在一些实施例中，电子设备执行步骤S401之后，还可以将向量数据库中的多个文本向量分别与树状图中的多个文本进行关联存储。
在上述实施例的基础上，步骤S102的具体实现方式包括如下步骤：
S501、确定与至少一个第一文本向量对应的文本。
在前述实施例的基础上，本实施例可以通过关联存储的向量与文本，来确定第一文本向量对应的文本。
S502、根据树状图，确定与至少一个第一文本向量对应的文本的关联文本。
其中，树状图的连接边表示文本之间的连接关系。因此根据树状图以及已经确定的第一文本向量对应的文本，可以延连接边确定关联文本。
S503、从向量数据库中，确定关联文本对应的向量为至少一个第一文本向量的关联向量。
与前述实施例类似，本实施例中也是从向量数据库确定关联向量。
本实施例中，通过将文本与文本向量进行关联存储，便于电子设备根据第一文本向量确定其对应的文本，并确定关联文本和关联文本对应的关联向量，提高了第一电子设备根据第一文本向量确定其关联向量的准确性。
图5示出了本申请一实施例提供的又一种问答处理方法的流程图。本实施例以问答处理系统为执行主体，问答处理系统包括文件拆分模块、图构建模块、向量生成模块和候选文本获取模块，其中，候选文本获取模块包括单多目标判断单元、查找单元、关系判断单元以及候选文本整合单元。
如图5所示，本实施例的方法可以包括如下步骤：
S601、文件拆分模块根据规章制度文件结构特征定义拆分方法，并按照该拆分方法将所有规章制度文件拆分为条款句子。
S602、图构建模块构建树状图，将条款句子作为节点、句子之间的关联信息作为连接边。
其中，句子所属文件也可以作为节点存储至树状图，句子条款编码也可以作为节点的部分信息存储至树状图。
S603、向量生成模块使用嵌入向量生成每个节点的句子向量，并将句子向量存储至向量数据库。
S604、向量生成模块将用户输入的问题转换为问题向量。
S605、查找单元在向量数据库中查找问题向量的相似向量；单多目标判断单元判断目标相似向量的数量。
S606、若查找到相似向量，且目标相似向量数量为1，则查找单元将相似度最大的相似向量对应的条款句子加入候选文本；若查找到相似向量，且目标相似向量数量不为1，则查找单元将相似度大于预设阈值的相似向量对应的条款句子加入候选文本。
若未查找到相似向量，则没有候选文本，直接执行步骤S609。
S607、查找单元查找候选文本中条款句子对应的相似向量的关联向量，关系判断单元确定关联文本，将关联文本或关联文本的概括信息加入候选文本。
S608、候选文本整合单元整合候选文本。
具体地，在相似文本中加入文件标题，在关联文本中加入标题和关系描述。例如，如下内容来自A规定，对B规定的2.1条进行了限制，同时被B规定的4.1条引用。
S609、候选文本整合单元将候选文本和问题加入提示模板，输入至问答模型。
本实施例提供的问答处理方法的具体实现方式和效果，可参见上述方法实施例理解，本实施例此处不再赘述。
图6示出了本申请一实施例提供的一种问答处理装置的结构示意图。如图6所示，本实施例的问答处理装置10用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的问答处理装置10包括：
获取模块101，用于获取待回答问题并根据待回答问题生成问题向量；
确定模块102，用于确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量，其中，关联向量表示与至少一个第一文本向量存在关联关系的向量，关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；
确定模块102，还用于根据问题向量、至少一个第一文本向量和至少一个第一文本向量的关联向量，确定候选文本；
处理模块103，用于将候选文本和待回答问题输入至问答模型，使问答模型输出待回答问题的答案。
在一些实施例中，确定模块102具体用于计算关联向量与问题向量的第二相似度；将第二相似度大于或等于第二预设阈值的关联向量对应的文本、第二相似度小于第二预设阈值的关联向量对应的文本的描述信息、至少一个第一文本向量对应的文本、以及至少一个第一文本向量对应的文本与关联向量对应的文本之间的关联关系信息作为候选文本。
在一些实施例中，确定模块102具体用于将关联向量按照预设关系分类；分别将每类关联向量对应的文本与至少一个第一文本向量对应的文本进行聚类得到聚类文本；将聚类文本与待回答问题进行语义相似度计算，得到每类关联向量与问题向量的第二相似度。
在一些实施例中，确定模块102具体用于根据待回答问题，确定目标文本向量的数量；确定与问题向量的第一相似度大于第一预设阈值的多个第二文本向量；若目标文本向量的数量为1，则确定第一相似度最大的第二文本向量为第一文本向量；若目标文本向量的数量不为1，则确定多个第二文本向量为第一文本向量。
在一些实施例中，确定模块102具体用于若目标文本向量的数量为1，则将多个第二文本向量按照文件分为多组，其中，每组第二文本向量对应的文本属于同一文件；确定第二文本向量数量最多的组中所有第二文本向量为第一文本向量。
在一些实施例中，处理模块103还用于将预设文件拆分为多个文本并确定多个文本之间的关联关系，其中，存在关联关系的文本互为关联文本；根据多个文本，生成多个文本向量，其中，存在关联关系的文本对应的向量互为关联向量；将多个文本向量存储至向量数据库；确定模块102用于从向量数据库中确定与问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及至少一个第一文本向量的关联向量。
在一些实施例中，确定模块102还用于将多个文本以树状图的形式进行存储，将多个文本之间的关联关系以连接边的形式添加至树状图中。
在一些实施例中，处理模块103还用于将向量数据库中的多个文本向量分别与树状图中的多个文本进行关联存储；确定模块102具体用于确定与至少一个第一文本向量对应的文本；根据树状图，确定与至少一个第一文本向量对应的文本的关联文本；从向量数据库中，确定关联文本对应的向量为至少一个第一文本向量的关联向量。
本申请实施例提供的问答处理装置10，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本实施例此处不再赘述。
图7示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图7所示，该电子设备20，用于实现上述任一方法实施例中对应于电子设备的操作，本实施例的电子设备20可以包括：存储器21，处理器22和通信接口24。
存储器21，用于存储计算机执行指令。该存储器21可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
处理器22，用于执行存储器存储的计算机执行指令，以实现上述实施例中的问答处理方法。具体可以参见前述方法实施例中的相关描述。该处理器22可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
可选地，存储器21既可以是独立的，也可以跟处理器22集成在一起。
当存储器21是独立于处理器22之外的器件时，电子设备20还可以包括总线23。该总线23用于连接存储器21和处理器22。该总线23可以是工业标准体系结构(IndustryStandard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
通信接口24，可以通过总线23与处理器22连接。处理器22可以控制通信接口24来实现信号的接收和发送的功能。
本实施例提供的电子设备20可用于执行上述的问答处理方法，其实现方式和技术效果类似，本实施例此处不再赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，计算机可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，计算机可读存储介质耦合至处理器，从而使处理器能够从该计算机可读存储介质读取信息，且可向该计算机可读存储介质写入信息。当然，计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。
具体地，该计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-AccessMemory，SRAM)，电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable read-only memory，PROM)，只读存储器(Read-OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质中读取该计算机程序，至少一个处理器执行该计算机程序使得设备实施上述的各种实施方式提供的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
其中，各个模块可以是物理上分开的，例如安装于一个的设备的不同位置，或者安装于不同的设备上，或者分布到多个网络单元上，或者分布到多个处理器上。各个模块也可以是集成在一起的，例如，安装于同一个设备中，或者，集成在一套代码中。各个模块可以以硬件的形式存在，或者也可以以软件的形式存在，或者也可以采用软件加硬件的形式实现。本申请可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种问答处理方法，其特征在于，包括：
获取待回答问题并根据所述待回答问题生成问题向量；
确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量，其中，所述关联向量表示与所述至少一个第一文本向量存在关联关系的向量，所述关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；
根据所述问题向量、所述至少一个第一文本向量和所述至少一个第一文本向量的关联向量，确定候选文本；
将所述候选文本和所述待回答问题输入至问答模型，使所述问答模型输出所述待回答问题的答案。
2.根据权利要求1所述的方法，其特征在于，所述根据所述问题向量、所述至少一个第一文本向量和所述至少一个第一文本向量的关联向量，确定候选文本，包括：
计算所述关联向量与所述问题向量的第二相似度；
将所述第二相似度大于或等于第二预设阈值的关联向量对应的文本、所述第二相似度小于所述第二预设阈值的关联向量对应的文本的描述信息、所述至少一个第一文本向量对应的文本、以及所述至少一个第一文本向量对应的文本与所述关联向量对应的文本之间的关联关系信息作为候选文本。
3.根据权利要求2所述的方法，其特征在于，所述计算所述关联向量与所述问题向量的第二相似度，包括：
将所述关联向量按照所述预设关系分类；
分别将每类所述关联向量对应的文本与所述至少一个第一文本向量对应的文本进行聚类得到聚类文本；
将所述聚类文本与所述待回答问题进行语义相似度计算，得到所述每类关联向量与所述问题向量的第二相似度。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量，包括：
根据所述待回答问题，确定目标文本向量的数量；
确定与所述问题向量的第一相似度大于第一预设阈值的多个第二文本向量；
若所述目标文本向量的数量为1，则确定第一相似度最大的第二文本向量为所述第一文本向量；
若所述目标文本向量的数量不为1，则确定所述多个第二文本向量为所述第一文本向量。
5.根据权利要求4所述的方法，其特征在于，所述确定与所述问题向量的第一相似度大于第一预设阈值的多个第二文本向量之后，还包括：
若所述目标文本向量的数量为1，则将所述多个第二文本向量按照文件分为多组，其中，每组第二文本向量对应的文本属于同一文件；
确定第二文本向量数量最多的组中所有第二文本向量为所述第一文本向量。
6.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法还包括：
将预设文件拆分为多个文本并确定所述多个文本之间的关联关系，其中，存在关联关系的文本互为关联文本；
根据所述多个文本，生成多个文本向量，其中，存在关联关系的文本对应的向量互为关联向量；
将所述多个文本向量存储至向量数据库；
所述确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量，具体为：
从所述向量数据库中确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量。
7.根据权利要求6所述的方法，其特征在于，所述将预设文件拆分为多个文本并确定所述多个文本之间的关联关系之后，还包括：
将所述多个文本以树状图的形式进行存储，将所述多个文本之间的关联关系以连接边的形式添加至所述树状图中。
8.根据权利要求7所述的方法，其特征在于，所述将所述多个文本向量存储至向量数据库之后，还包括：
将所述向量数据库中的多个文本向量分别与所述树状图中的多个文本进行关联存储；
所述确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量，具体包括：
确定与所述至少一个第一文本向量对应的文本；
根据所述树状图，确定所述与所述至少一个第一文本向量对应的文本的关联文本；
从所述向量数据库中，确定所述关联文本对应的向量为所述至少一个第一文本向量的关联向量。
9.一种问答处理装置，其特征在于，包括：
获取模块，用于获取待回答问题并根据所述待回答问题生成问题向量；
确定模块，用于确定与所述问题向量的第一相似度大于第一预设阈值的至少一个第一文本向量以及所述至少一个第一文本向量的关联向量，其中，所述关联向量表示与所述至少一个第一文本向量存在关联关系的向量，所述关联关系包括上下位关系、引用关系、补充关系和限制关系中的至少一个；
所述确定模块，还用于根据所述问题向量、所述至少一个第一文本向量和所述至少一个第一文本向量的关联向量，确定候选文本；
处理模块，用于将所述候选文本和所述待回答问题输入至问答模型，使所述问答模型输出所述待回答问题的答案。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的方法。
12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。
CN202311525430.0A 2023-11-15 2023-11-15 问答处理方法、装置、设备及存储介质 Pending CN117556012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311525430.0A CN117556012A (zh) 2023-11-15 2023-11-15 问答处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311525430.0A CN117556012A (zh) 2023-11-15 2023-11-15 问答处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117556012A true CN117556012A (zh) 2024-02-13

Family

ID=89818004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311525430.0A Pending CN117556012A (zh) 2023-11-15 2023-11-15 问答处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117556012A (zh)

Similar Documents

Publication Publication Date Title
Daelemans et al. MBT: A memory-based part of speech tagger-generator
US7295965B2 (en) Method and apparatus for determining a measure of similarity between natural language sentences
US20150095017A1 (en) System and method for learning word embeddings using neural language models
CN117235226A (zh) 一种基于大语言模型的问题应答方法及装置
CN111666758B (zh) 中文分词方法、训练设备以及计算机可读存储介质
CN112328800A (zh) 自动生成编程规范问题答案的系统及方法
JP2019082931A (ja) 検索装置、類似度算出方法、およびプログラム
US20230138014A1 (en) System and method for performing a search in a vector space based search engine
Tapsai et al. Thai Natural Language Processing: Word Segmentation, Semantic Analysis, and Application
US11822558B2 (en) Efficient index lookup using language-agnostic vectors and context vectors
CN110413779B (zh) 一种针对电力行业的词向量训练方法及其系统、介质
CN117076636A (zh) 一种智能客服的信息查询方法、系统和设备
CN116991976A (zh) 模型训练方法、装置、电子设备及可读存储介质
CN111091001A (zh) 一种词语的词向量的生成方法、装置及设备
CN110750967A (zh) 一种发音的标注方法、装置、计算机设备和存储介质
Barnett A vocal data management system
CN115600595A (zh) 一种实体关系抽取方法、系统、设备及可读存储介质
CN117556012A (zh) 问答处理方法、装置、设备及存储介质
Kan et al. Grid structure attention for natural language interface to bash commands
KR20070118154A (ko) 정보 처리 장치 및 방법, 및 프로그램 기록 매체
CN110633363B (zh) 一种基于nlp和模糊多准则决策的文本实体推荐方法
Yu Knowledge Augmented Methods for Natural Language Processing and Beyond
CN118093834B (zh) 一种基于aigc大模型的语言处理问答系统及方法
CN114676684B (zh) 一种文本纠错方法、装置、计算机设备及存储介质
Chubarian et al. Grouping Words with Semantic Diversity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination