CN118132732A - 增强式检索用户问答方法、装置、计算机设备及存储介质 - Google Patents
增强式检索用户问答方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN118132732A CN118132732A CN202410551782.1A CN202410551782A CN118132732A CN 118132732 A CN118132732 A CN 118132732A CN 202410551782 A CN202410551782 A CN 202410551782A CN 118132732 A CN118132732 A CN 118132732A
- Authority
- CN
- China
- Prior art keywords
- data
- search
- result
- information
- knowledge base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 6
- 230000003319 supportive effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了增强式检索用户问答方法、装置、计算机设备及存储介质。所述方法包括：获取用户提问的信息；将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；将所述中间数据进行相关性质量判定，以得到判定结果；剔除所述判定结果中不符合要求的数据；对剔除后的数据从支持性以及有效性的维度确定最优结果；输出所述最优结果。通过实施本发明实施例的方法可实现提高回答的准确性、可靠性和用户满意度。
Description
技术领域
本发明涉及问答方法，更具体地说是指增强式检索用户问答方法、装置、计算机设备及存储介质。
背景技术
早期的用户问答方法主要基于提前设置的规则和模板来回答用户的问题，这些系统的回答能力有限，只能解决特定类型的问题。随着自然语言处理技术的进步，逐步出现了基于规则语法、智能模型等技术的问答方法，这些方法利用语义分析、深度学习等技术理解用户问题的结构和意图，提供相应的回答，可解决问题范围和准确性有了较大的扩展，在此基础上，知识图谱、强化学习等增强方法也被广泛应用，以提供更准确和有针对性的回答。
然而，尽管上述方法在对话自由度、处理复杂问题、上下文语义理解和个性化能力等方面有一定的改进，但仍未达到理想的效果。大语言模型的出现有效地缓解了这些问题，通过利用大语言模型构建用户问答系统，系统的理解推理能力、回答准确性与流畅性以及问题处理范围等方面都得到了显著提升。但是由于大语言模型的性能取决于训练数据的质量和数量，要直接获得高质量的回答，需要收集大量高质量、多样性和多领域的数据来对模型进行训练。目前效果较好的大语言模型主要适用于通用场景，对于一些垂直领域的专业知识回答能力有限，无法满足用户的特定需求。此外，大语言模型在生成回答时可能缺乏充分的依据或明确的来源，导致回答缺乏可信度和可靠性。这可能会给用户带来困惑和不满。由于存在不准确、虚构的知识，或者相关信息缺失，模型有时可能会产生虚构的回答或包含错误信息的回答，这可能误导用户，使信息不准确，并可能损害用户对系统的信任度。
因此，有必要设计一种新的方法，实现提高回答的准确性、可靠性和用户满意度。
发明内容
本发明的目的在于克服现有技术的缺陷，提供增强式检索用户问答方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：增强式检索用户问答方法，包括：
获取用户提问的信息；
将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；
将所述中间数据进行相关性质量判定，以得到判定结果；
剔除所述判定结果中不符合要求的数据；
对剔除后的数据从支持性以及有效性的维度确定最优结果；
输出所述最优结果。
其进一步技术方案为：所述预先构建的知识库是根据业务场景收集相关的数据构建或扩充的数据库。
其进一步技术方案为：所述预先构建的搜索引擎是基于大模型进行构建的数据检索引擎，或者是使用规则匹配查询方式构建的搜索引擎。
其进一步技术方案为：所述当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据，包括:
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
其进一步技术方案为：所述将所述中间数据进行相关性质量判定，以得到判定结果，包括：
对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
其进一步技术方案为：所述对剔除后的数据从支持性以及有效性的维度确定最优结果，包括：
对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果；
根据所述评价结果确定最优结果。
本发明还提供了增强式检索用户问答装置，包括：
信息获取单元，用于获取用户提问的信息；
检索判定单元，用于将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；
检索单元，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；
相关性判定单元，用于将所述中间数据进行相关性质量判定，以得到判定结果；
剔除单元，用于剔除所述判定结果中不符合要求的数据；
结果确定单元，用于对剔除后的数据从支持性以及有效性的维度确定最优结果；
输出单元，用于输出所述最优结果。
其进一步技术方案为：所述检索单元，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将用户提问的信息输入至检索判定模型中，当需要进行知识库检索时，结合知识库检索所得的数据，进行处理后，再进行相关性质量判定，并且提出不符合要求的数据，并采用大模型从支持性以及有效性的维度确定最优结果，采用大模型、知识库以及评估环节结合的方式，实现提高回答的准确性、可靠性和用户满意度。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的增强式检索用户问答方法的应用场景示意图；
图2为本发明实施例提供的增强式检索用户问答方法的流程示意图；
图3为本发明实施例提供的增强式检索用户问答方法的子流程示意图；
图4为本发明实施例提供的增强式检索用户问答装置的示意性框图；
图5为本发明实施例提供的增强式检索用户问答装置的结果确定单元的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的增强式检索用户问答方法的应用场景示意图。图2为本发明实施例提供的增强式检索用户问答方法的示意性流程图。该增强式检索用户问答方法应用于服务器中。该服务器与终端进行数据交互，采用大模型结合知识库的模式，有效拓宽了系统知识内涵。大语言模型经过海量的训练数据，能够准确地学习到语言特征、常用表达方式以及上下文语境等，具备更全面的语言知识；而外部数据库提供了专业的行业知识，弥补了大模型的行业短板，可以更好地理解用户的问题，提供准确的回答，并降低了模型微调的数据准备、算力等成本；通过知识库结合评估环节，可以抑制模型幻想，有效排除非相关知识对模型的影响，获得更加准确的问题回答；通过评估环节，在筛掉不相关知识的同时，能够对答案中信息的进行有效的来源支撑，可以根据需求提供相关的知识、解释、背景信息等，让用户获得更全面和满意的答案。
图2是本发明实施例提供的增强式检索用户问答方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、获取用户提问的信息。
在本实施例中，信息是指用户通过终端输入的提问内容，可以是若干个段落的文本内容等。
S120、将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果。
在本实施例中，检索判定结果是指是否需要从知识库中检索对应的答案的判定结果。
在本实施例中，检索判定模型是指以大模型为基础构建的检索判定模块，对用户提问进行理解，确定大模型是否可以给出答复，即判定是否需要进行额外的知识检索，以辅助大模型进行问题回答，确定大模型不可以给出答复，则判定为需要进行额外的知识检索。
具体地，确定应用场景和需求：首先明确具体的应用场景和用户需求，了解用户提问的特点和问题类型。
选择合适的大模型：综合考虑大模型的精度、输入长度、计算速度等指标，确定适合当前场景的大模型。可以根据具体情况选择例如BERT、GPT系列、T5等不同类型的大模型。
数据准备与模型训练：准备用于训练的数据集，包括问题-答案对或相关文本数据。根据选定的大模型，对模型进行微调或迁移学习，以适应当前的应用场景。
搭建检索判定模型：利用已训练好的大模型，构建一个分类模型或判定模型，用于确定是否需要进行知识库检索。输入用户提问或查询内容，通过该模型进行判断，决定是否直接使用大模型回答问题，或者需要进行知识库检索获取更详细的信息。
模型评估与优化：对搭建的检索判定模型进行评估，检查其准确性和效率。
根据评估结果进行模型优化，调整参数或增加训练数据以提升模型性能。
部署与应用：将训练好的检索判定模型部署到实际系统中，用于实时判断是否需要进行知识库检索。在应用过程中持续监测模型表现，根据反馈进行调整和改进。
通过以上步骤，可以搭建一个检索判定模型，有效地确定是否需要进行知识库检索，从而提高系统的响应速度和效率，并根据具体情况灵活应用大模型和知识库检索技术。
若不需要检索，则由大模型直接生成问题答案，也就是检索判定模型直接生成答案，此时检索判定结果是无需进行知识库检索，而且还包括答案。
在判定是否需要进行知识库检索时，具体地根据需求构建合适的prompt提示语句，将用户问题即信息，如果是中间文本，还需要将前面的对话内容，也就是前文信息输入检索判定模型，由检索判定模型进行判定是否需要进行知识库检索，若不需要检索，则检索判定模型直接生成问题答案；若需要检索，则索相关支持数据；对于检索判定模型判定是否需要进行知识库检索时，可以直接在Promot里面问当前信息是否充足，是否能够支撑回答当前提问，如果检索判定模型说ok，那就直生成，不够那就去知识库里面再检索。
对于检索判定模型，根据需求构建相应的行业/业务数据集，对检索判定模型进行检索判定微调，以提升检索判定模型的判定准确性，具体地，根据设计的prompt构建正负训练样本对模型进行微调，本质上是微调模型进实现一个基于上下文的二分类问题。比如：
“以下信息是否包含回答问题所需信息？
问题：xxxxx；
前文信息：xxxx；
回答：“包含/不包含” 。
以构建一批这样的数据去微调检索判定模型进行二分类。
通过微调模型，可以根据特定需求定制模型，使其更加适应特定领域或业务场景的信息检索要求，从而提升模型在判定是否需要进行知识库检索时的准确性。有效的检索判定模型能够在决定是否进行知识库检索时做出快速而准确的判断。这有助于节省时间和资源，避免不必要的知识库检索操作，提高系统的效率和性能。根据具体需求构建的检索判定模型可以根据特定的上下文和语境进行定制，使其更符合特定业务场景或用户需求，从而提供更个性化的服务和答案。通过不断积累正负样本数据并对模型进行微调，可以实现持续优化和改进，逐步提高检索判定模型的准确性和效果，使其更好地适应实际应用场景的需求。准确的检索判定模型可以确保系统在回答用户问题时能够给出准确、相关的答案，从而提升用户体验，增强用户对系统的信任感和满意度。
S130、当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据。
在本实施例中，中间数据是指从知识库内检索得到的数据且经过筛选后得到的数据。
具体地，所述预先构建的知识库是根据业务场景收集相关的数据构建或扩充的数据库。
所述预先构建的搜索引擎是基于大模型进行构建的数据检索引擎，或者是使用规则匹配查询方式构建的搜索引擎。
在本实施例中，知识库是根据应用场景构建/扩充的数据库，知识库的构建不限形式，可以是关系型数据库如MYSQL等、也可以非关系型数据库如向量库、图数据库等；具体地，根据业务场景收集相关的数据，数据有很多种形式：第一类是非数据库数据：非结构化文档（如业务指导书等）、结构化文档（如业务表格）；第二类是数据库数据：行业已有的数据库数据，如知识图谱（图数据库）、关系数据库（sql数据库）、向量数据库（chroma数据库等）。收集数据后，便可以构建行业数据库，第二类的数据如果质量较高是可以直接接入使用的，如果质量不高，可能还需要进行数据库知识对齐等操作。第一类的数据需要经过一些处理形成知识库。不同的数据库的处理过程不一样，如向量数据库则需要将非结构化问题进行向量化再存入向量数据库。
另外，根据需求构建搜索引擎，可以根据需求和知识库特点选择合适的搜索引擎构建方法。如果选择基于大模型进行构建，可以将大模型作为MYSQL等数据库的数据检索引擎，通过生成SQL语句的方式对表信息进行查询。可以使用传统的规则匹配查询方式构建搜索引擎，或者结合大模型和规则匹配查询两种方式，根据用户提问情况动态选择合适的检索引擎实现知识召回。
对于搜索引擎的具体构建过程，可以包括如下步骤：
需求分析：确定具体的搜索引擎需求，包括搜索内容、用户需求、搜索结果展示等方面。
选择合适的大模型：根据需求和数据特点选择适合的大模型，例如BERT、GPT系列、T5等。
数据准备：准备用于训练和检索的数据，包括问题-答案对、相关文本数据等。
大模型微调或迁移学习：对选定的大模型进行微调，以适应当前的搜索引擎需求和数据特点。
构建搜索引擎：将大模型作为MYSQL等数据库的数据检索引擎，通过生成SQL语句的方式对表信息进行查询。实现传统的规则匹配查询等方式进行搜索引擎构建。结合大模型和规则匹配查询两种方式，根据用户提问情况动态选择合适的检索引擎实现知识召回。
模型集成与调度：设计一个调度中心，根据用户提问，判定需要使用哪些精细化的检索引擎实现知识召回。将大模型作为调度中心，根据具体情况选择合适的搜索引擎进行知识召回。
评估与优化：对搜索引擎的性能和效果进行评估，检查搜索结果的准确性和用户满意度。根据评估结果进行优化，调整模型参数或数据集，提升搜索引擎的效率和准确性。
部署与应用：将构建好的搜索引擎部署到实际系统中，用于实时响应用户的搜索请求。持续监测搜索引擎的表现，及时调整和改进，确保系统稳定运行。
通过以上步骤，可以有效地构建搜索引擎并结合大模型实现知识召回，提供更符合用户需求的搜索服务，并提升系统的检索效率和准确性。
对于上述的步骤S130，当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
具体地排序可以是似性计算与排序：利用余弦相似度等度量计算文档之间的相似性，或者使用BM25等概率检索原理进行文档和查询相关性的估计。根据相似性或相关性得分对文档进行排序，将最相关的文档排在前面。
大模型排序：编写prompt，利用大模型对文档进行相关性排序，根据模型输出的分数对文档进行排序。
二次排序（重排序）：引入更多业务规则和用户行为数据，如点击率、停留时间等指标，来优化排序结果。根据用户反馈数据，对排序结果进行调整和优化，使排序更符合用户需求。
特定领域的重排序策略：在某些领域（如在线广告），可采用更精细化的重排序策略，如多臂老虎机算法等。这些算法可以平衡探索未知文档和利用已知信息，以实现更有效的排序和展示策略。
此外，还定期评估排序效果，包括点击率、用户满意度等指标，根据反馈数据对排序算法和策略进行调整和优化。
结合不同的排序方法和策略，以提供用户更加准确、相关和个性化的排序结果。不断优化排序算法和策略，可以提升系统性能，增强用户体验，满足用户需求。
经过此步骤之后，还可以根据需求构建相应的行业/业务数据集，对所采用的大模型进行垂直领域微调，以提升检索的准确性或召回的全面性；微调时，可以根据业务需求、算力情况进行不同微调方式选择。包括无监督微调以及有监督微调；其中，无监督微调通常是指在预训练的大模型基础上，使用无标签的数据进行进一步的训练以适应特定的任务。收集垂直领域的文本数据对模型进行行业领域的知识注入。这种方法不依赖于外部提供的标签信息，如使用掩码任务，模型需要根据周围的上下文来预测被遮挡的词。这种方法允许模型在大量未标记的数据上继续学习，从而提高其在特定任务上的性能。有监督微调则是在预训练的大模型基础上，使用带有标签的数据进行训练以适应特定的任务。这种方法需要人为标注的数据集，模型通过这些标签学习如何执行特定的任务。例如，在文本分类任务中，模型通过学习将文本和相应的类别标签关联起来，从而能够对新的文本进行分类。有监督微调可以让模型更好地利用标签信息，因此在某些情况下，它可以比无监督微调获得更好的性能。
S140、将所述中间数据进行相关性质量判定，以得到判定结果。
在本实施例中，判定结果是指中间数据与问题以及前文信息的相关性判定结果。
具体地，对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
构建合适的prompt提示语句，将检索的数据与用户提问信息+前文信息组合输入大模型，大模型根据用户提问信息以及前文信息对检索的数据进行相关性判定，给出相应的标签（相关/不相关）和置信分数，如[相关/0.98]。以此生成基于标签为（相关）知识库的数据和前文信息，构成大模型生成针对用户提问的输出结果。
S150、剔除所述判定结果中不符合要求的数据。
在本实施例中，剔除低质量数据，保留高质量数据支撑大模型的答案生成。
S160、对剔除后的数据从支持性以及有效性的维度确定最优结果。
在一实施例中，请参阅图3，上述的步骤S160可包括步骤S161~S162。
S161、对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果。
在本实施例中，评价结果是指对剔除后的数据在有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度所对应的评分。
S162、根据所述评价结果确定最优结果。
具体地，采用大模型对剔除后的数据进行支持性和有效性判断，即对剔除后的数据有多少是由召回知识所包含的进行评价（支持/不支持/部分支持），对生成结果是否对用户问题有帮助、是否信息丰富进行评价，并给出相应的评分（5/4/3/2/1），如[支持/5]。根据评价标准，设计合适排序方案，输出最优的生成结果。如使用加权计算，支持-1/不支持-0，[支持/5]的分数为1*0.5+5*0.5=3。
具体地，对于大模型而言，训练其具备进行支持性和有效性判断的功能所对应步骤如下：定义评价标准：针对剔除后的数据的支持性和有效性，制定具体的评价标准，包括支持程度和信息丰富程度等方面的评价指标，如“支持/不支持/部分支持”和“5/4/3/2/1”的评分等。
标注数据集：准备一个人工标注的数据集，包括用户问题、生成结果以及相应的支持性和有效性评价标注。这些标注数据将用于训练和评估模型。
模型训练：使用标注数据集对模型进行训练，使其能够理解和判断生成结果的支持性和有效性。可以利用监督学习方法，如分类或回归模型，来训练模型以预测支持性和有效性评分。
评估模型性能：对训练好的模型进行评估，检验其在支持性和有效性判断上的准确性和可靠性。可以使用交叉验证等方法来评估模型的泛化能力和稳定性。
设计排序方案：根据评价标准，设计合适的排序方案，以输出最优的生成结果。可以考虑使用加权计算等方法，结合支持性和有效性评分来对生成结果进行排序。
排序输出：根据设计的排序方案，对生成结果进行排序，并输出排名靠前的最优结果。可以使用加权计算、排序算法等手段，将支持性和有效性评分纳入排序过程中。
持续优化：根据实际应用情况和用户反馈，不断优化评价标准、模型训练和排序方案，以提升生成结果的质量和用户满意度。
通过以上步骤，可以实现大模型对剔除后的数据进行支持性和有效性判断，并设计合适的排序方案，以输出最优的生成结果。这有助于提高生成结果的质量和相关性，满足用户需求，提升系统性能和用户体验。
S170、输出所述最优结果。
上述的增强式检索用户问答方法，综合运用大模型和知识库模型，系统的知识覆盖更全面。大语言模型通过大量训练数据学习到语言特征和上下文信息，拥有更广泛的语言知识；同时，结合外部专业知识库，弥补了模型在特定领域的不足，提供准确回答的同时降低了微调成本。其次，准确性得到提升。采用知识库和自我评估模块可以减少模型的幻想，排除非相关知识的干扰，从而提供更准确的问题解答。第三，可解释性得到增强。自我评估模块不仅能过滤无关知识，还能有效解释答案信息的来源，为用户提供更全面的答案支持，满足用户需求。此外，方法的形式更加多样化，能够处理各种类型的问题，包括开放式、封闭式和主观性问题，不受固定模板的限制。模型能够理解并回答复杂语义问题，提供相应解答。最后，语义一致性得到增强。大语言模型能够根据上下文信息连贯回答问题，在多轮对话中保持一致的语义理解和逻辑回答。通过记录和理解对话历史，系统能够提供更准确、个性化的答案。
总的来说，增强式检索用户问答方法能够提供更准确、个性化、可扩展和自适应的回答。随着技术的不断进步，大语言模型在用户问答系统中有着广阔的应用前景，将进一步提升问答系统的智能化水平和用户体验。
上述所提及的大模型可以是根据实际应用场景确定的基础大模型，也可以是引用已训练的可用于应用场景的大模型。
对于本实施例的方法，可以举一个例子：针对电力知识问答场景，选用大模型为GPT4；首先，使用gpt4作为核心构建检索判定模块；通过模型对用户的提问的内容进行理解，进行判断是否需要外部知识辅助回答问题，若需要，则转入知识检索模块进行检索；接着，构建电力行业知识数据库，具体是收集历史存储的非结构化文档，如行业标准、行业规范、执行手则、专家访谈等，解析后以分段的文本或分段文本的编码向量形式存入数据库或向量库；收集当前行业已有的关系行、非关系型数据库，如电力行业知识图谱、系统器件状态管理数据库等；其次，构建检索引擎，具体的，构建兼容型搜索系统框架，接入上述数据库；使用gpt4作为调度核心构建检索引擎路由，根据用户问题判断需要调用哪个或者哪几个知识库；针对不同的数据库类型构建不同的查询接口：针对非结构化文本数据库，使用稀疏检索和密集检索结合的方式构建检索引擎；针对关系型数据库，如mysql，通过gpt4构建text2sql查询接口，自动生成相应的sql语句并查询；针对非关系型数据库，如cypher，通过gpt4构建text2cyper查询接口，自动生成相应的cypher语句并查询；接下来，返回最想关的前k个结果；其次，以GPT4为核心构建数据评价模块，对数据的相关性进行评价，选取最相关的内容生成答案，并对生成的结果进行评价，若结果仍不能正确回答提问，则跳转检索模块进行下一轮检索。相关性判断：将用户提问+历史对话记录传入大模型，对检索到的内容进行二次相关性判定，比如prompt与输出如下：Prompt：你是一个电力业务专家，请判断用户对话与参考信息的相关性，并进行打分，打分范围0-1，0表示最不相关，1表述最相关：
用户提问：主变压器检查的要点有哪些？
历史对话记录：主变压器多久检查一次？3-6个月。
参考信息：主变压器检修守则xxxxx；
打分：xxx。
此外，对支持性和有效性判断：对大模型生成的多个结果进行不同纬度的打分和评价示例prompt与输出如下：
Prompt：你是一个电力业务专家，请根据用户提问与参考信息，对结果的支持性和有效性进行打分，支持性打分可选项支持/不支持，不支持为结果未使用检索信息，支持为结果使用了检索信息；有效性打分范围1-5，1表示结果不能有效解答提问 ，5表示结果能够有效解答提问。
用户提问：主变压器检查的要点有哪些？
历史对话记录：主变压器多久检查一次？3-6个月。
参考信息：主变压器检修守则xxxxx；
生成结果：主变压器检修的重点有xxx；
打分：支持/5。
最后，使用加权方式对大模型的多个输出进行综合评价，输出最高分答案。如，支持性和有效性各占50%，支持1分，不支持0分，打分为[支持/5]的答案最终分数为1*0.5+5*0.5=3。
上述的增强式检索用户问答方法，通过将用户提问的信息输入至检索判定模型中，当需要进行知识库检索时，结合知识库检索所得的数据，进行处理后，再进行相关性质量判定，并且提出不符合要求的数据，并采用大模型从支持性以及有效性的维度确定最优结果，采用大模型、知识库以及评估环节结合的方式，实现提高回答的准确性、可靠性和用户满意度。
图4是本发明实施例提供的一种增强式检索用户问答装置300的示意性框图。如图4所示，对应于以上增强式检索用户问答方法，本发明还提供一种增强式检索用户问答装置300。该增强式检索用户问答装置300包括用于执行上述增强式检索用户问答方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图4，该增强式检索用户问答装置300包括信息获取单元301、检索判定单元302、检索单元303、相关性判定单元304、剔除单元305、结果确定单元306以及输出单元307。
信息获取单元301，用于获取用户提问的信息；检索判定单元302，用于将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；检索单元303，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；相关性判定单元304，用于将所述中间数据进行相关性质量判定，以得到判定结果；剔除单元305，用于剔除所述判定结果中不符合要求的数据；结果确定单元306，用于对剔除后的数据从支持性以及有效性的维度确定最优结果；输出单元307，用于输出所述最优结果。
在一实施例中，所述检索单元303，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
在一实施例中，所述相关性判定单元304，用于对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
在一实施例中，如图5所示，所述结果确定单元306包括评价子单元3061以及最优结果确定子单元3062。
评价子单元3061，用于对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果；最优结果确定子单元3062，用于根据所述评价结果确定最优结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述增强式检索用户问答装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述增强式检索用户问答装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种增强式检索用户问答方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种增强式检索用户问答方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取用户提问的信息；将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；将所述中间数据进行相关性质量判定，以得到判定结果；剔除所述判定结果中不符合要求的数据；对剔除后的数据从支持性以及有效性的维度确定最优结果；输出所述最优结果。
其中，所述预先构建的知识库是根据业务场景收集相关的数据构建或扩充的数据库。
所述预先构建的搜索引擎是基于大模型进行构建的数据检索引擎，或者是使用规则匹配查询方式构建的搜索引擎。
在一实施例中，处理器502在实现所述当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据步骤时，具体实现如下步骤：
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
在一实施例中，处理器502在实现所述将所述中间数据进行相关性质量判定，以得到判定结果步骤时，具体实现如下步骤：
对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
在一实施例中，处理器502在实现所述对剔除后的数据从支持性以及有效性的维度确定最优结果步骤时，具体实现如下步骤：
对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果；根据所述评价结果确定最优结果。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取用户提问的信息；将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；将所述中间数据进行相关性质量判定，以得到判定结果；剔除所述判定结果中不符合要求的数据；对剔除后的数据从支持性以及有效性的维度确定最优结果；输出所述最优结果。
其中，所述预先构建的知识库是根据业务场景收集相关的数据构建或扩充的数据库。
所述预先构建的搜索引擎是基于大模型进行构建的数据检索引擎，或者是使用规则匹配查询方式构建的搜索引擎。
在一实施例中，所述处理器在执行所述计算机程序而实现所述当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据步骤时，具体实现如下步骤：
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述中间数据进行相关性质量判定，以得到判定结果步骤时，具体实现如下步骤：
对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对剔除后的数据从支持性以及有效性的维度确定最优结果步骤时，具体实现如下步骤：
对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果；根据所述评价结果确定最优结果。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.增强式检索用户问答方法，其特征在于，包括：
获取用户提问的信息；
将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；
将所述中间数据进行相关性质量判定，以得到判定结果；
剔除所述判定结果中不符合要求的数据；
对剔除后的数据从支持性以及有效性的维度确定最优结果；
输出所述最优结果。
2.根据权利要求1所述的增强式检索用户问答方法，其特征在于，所述预先构建的知识库是根据业务场景收集相关的数据构建或扩充的数据库。
3.根据权利要求1所述的增强式检索用户问答方法，其特征在于，所述预先构建的搜索引擎是基于大模型进行构建的数据检索引擎，或者是使用规则匹配查询方式构建的搜索引擎。
4.根据权利要求1所述的增强式检索用户问答方法，其特征在于，所述当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据，包括：
当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
5.根据权利要求1所述的增强式检索用户问答方法，其特征在于，所述将所述中间数据进行相关性质量判定，以得到判定结果，包括：
对所述中间数据结合所述信息以及相关前文信息进行相关性质量判定，以得到判定结果。
6.根据权利要求1所述的增强式检索用户问答方法，其特征在于，所述对剔除后的数据从支持性以及有效性的维度确定最优结果，包括：
对剔除后的数据从有多少是由召回知识所包含的维度、是否对用户问题有帮助、是否信息丰富的维度进行评价，以得到评价结果；
根据所述评价结果确定最优结果。
7.增强式检索用户问答装置，其特征在于，包括：
信息获取单元，用于获取用户提问的信息；
检索判定单元，用于将所述信息输入至检索判定模型中，以确定是否需要进行知识库检索，得到检索判定结果；
检索单元，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行处理，以得到中间数据；
相关性判定单元，用于将所述中间数据进行相关性质量判定，以得到判定结果；
剔除单元，用于剔除所述判定结果中不符合要求的数据；
结果确定单元，用于对剔除后的数据从支持性以及有效性的维度确定最优结果；
输出单元，用于输出所述最优结果。
8.根据权利要求7所述的增强式检索用户问答装置，其特征在于，所述检索单元，用于当所述检索判定结果是需要进行知识库检索时，根据所述信息采用预先构建的搜索引擎从预先构建的知识库中检索相关的数据，并进行排序，且筛选符合要求的数据，以得到中间数据。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410551782.1A CN118132732A (zh) | 2024-05-07 | 2024-05-07 | 增强式检索用户问答方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410551782.1A CN118132732A (zh) | 2024-05-07 | 2024-05-07 | 增强式检索用户问答方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118132732A true CN118132732A (zh) | 2024-06-04 |
Family
ID=91244365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410551782.1A Pending CN118132732A (zh) | 2024-05-07 | 2024-05-07 | 增强式检索用户问答方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118132732A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118332072A (zh) * | 2024-06-13 | 2024-07-12 | 山东浪潮科学研究院有限公司 | 一种基于rag技术的智能文档检索生成方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717433A (zh) * | 2018-05-14 | 2018-10-30 | 南京邮电大学 | 一种面向程序设计领域问答系统的知识库构建方法及装置 |
| CN113297369A (zh) * | 2021-07-26 | 2021-08-24 | 中国科学院自动化研究所 | 基于知识图谱子图检索的智能问答系统 |
| CN116910213A (zh) * | 2023-07-17 | 2023-10-20 | 上海墅字科技有限公司 | 一种基于深度强化学习的自动问答系统 |
-
2024
- 2024-05-07 CN CN202410551782.1A patent/CN118132732A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717433A (zh) * | 2018-05-14 | 2018-10-30 | 南京邮电大学 | 一种面向程序设计领域问答系统的知识库构建方法及装置 |
| CN113297369A (zh) * | 2021-07-26 | 2021-08-24 | 中国科学院自动化研究所 | 基于知识图谱子图检索的智能问答系统 |
| CN116910213A (zh) * | 2023-07-17 | 2023-10-20 | 上海墅字科技有限公司 | 一种基于深度强化学习的自动问答系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡宝顺 等: "基于句法结构特征分析及分类技术的答案提取算法", 计算机学报, no. 04, 15 April 2008 (2008-04-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118332072A (zh) * | 2024-06-13 | 2024-07-12 | 山东浪潮科学研究院有限公司 | 一种基于rag技术的智能文档检索生成方法和系统 |
| CN118332072B (zh) * | 2024-06-13 | 2024-09-06 | 山东浪潮科学研究院有限公司 | 一种基于rag技术的智能文档检索生成方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10586155B2 (en) | Clarification of submitted questions in a question and answer system | |
| US11663409B2 (en) | Systems and methods for training machine learning models using active learning | |
| US10769552B2 (en) | Justifying passage machine learning for question and answer systems | |
| US10515424B2 (en) | Machine learned query generation on inverted indices | |
| US9621601B2 (en) | User collaboration for answer generation in question and answer system | |
| US20190180196A1 (en) | Systems and methods for generating and updating machine hybrid deep learning models | |
| US9275115B2 (en) | Correlating corpus/corpora value from answered questions | |
| US20200210524A1 (en) | Analytical processing system supporting natural language analytic questions | |
| Li et al. | A hybrid recommendation system for Q&A documents | |
| Sharma et al. | NIRMAL: Automatic identification of software relevant tweets leveraging language model | |
| CN118132732A (zh) | 增强式检索用户问答方法、装置、计算机设备及存储介质 | |
| US20030212663A1 (en) | Neural network feedback for enhancing text search | |
| US20200210525A1 (en) | Predicting query language statements from natural language analytic questions | |
| CN118193714B (zh) | 一种基于层级结构和检索增强的动态适应问答系统及方法 | |
| Krishnan et al. | KnowSum: knowledge inclusive approach for text summarization using semantic allignment | |
| CN116414961A (zh) | 基于军事领域知识图谱的问答方法和系统 | |
| US20230142351A1 (en) | Methods and systems for searching and retrieving information | |
| EP4365754A1 (en) | Common question answering method and system, device and medium | |
| CN111539208B (zh) | 语句处理方法和装置、以及电子设备和可读存储介质 | |
| CN116414940A (zh) | 标准问题的确定方法、装置及相关设备 | |
| CN111897932A (zh) | 一种文本大数据的查询处理方法及系统 | |
| CN118070925B (zh) | 模型训练方法、装置、电子设备、存储介质及程序产品 | |
| US20220101094A1 (en) | System and method of configuring a smart assistant for domain specific self-service smart faq agents | |
| CN117112904A (zh) | 基于大语言模型的智能资讯推荐及资讯搜索系统 | |
| CN118643143A (zh) | 知识问答方法、系统、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |