CN117056497B - 一种基于llm的问答方法、电子设备及存储介质 - Google Patents

一种基于llm的问答方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117056497B
CN117056497B CN202311323993.1A CN202311323993A CN117056497B CN 117056497 B CN117056497 B CN 117056497B CN 202311323993 A CN202311323993 A CN 202311323993A CN 117056497 B CN117056497 B CN 117056497B
Authority
CN
China
Prior art keywords
list
candidate
target
keyword
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311323993.1A
Other languages
English (en)
Other versions
CN117056497A (zh
Inventor
王全修
靳雯
石江枫
赵洲洋
于伟
王明超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Ruian Information Technology Co ltd
Beijing Rich Information Technology Co ltd
Original Assignee
Rizhao Ruian Information Technology Co ltd
Beijing Rich Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rizhao Ruian Information Technology Co ltd, Beijing Rich Information Technology Co ltd filed Critical Rizhao Ruian Information Technology Co ltd
Priority to CN202311323993.1A priority Critical patent/CN117056497B/zh
Publication of CN117056497A publication Critical patent/CN117056497A/zh
Application granted granted Critical
Publication of CN117056497B publication Critical patent/CN117056497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于LLM的问答方法、电子设备及存储介质，涉及大规模语言模型问答领域，获取目标问题语句列表，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，获取LLM生成的新问题语句列表，计算新问题语句和目标问题语句的重复度，从而获取中间问题语句列表，获取候选问题语句列表，获取候选问题语句的重要程度，若重要程度大于预设重要程度阈值，将候选问题语句作为最终问题语句，将最终问题语句列表输入到LLM，获取每一最终问题语句的最终答案；本发明能够更加全面的获取到完成目标问题的问题语句和问题语句的答案。

Description

一种基于LLM的问答方法、电子设备及存储介质
技术领域
本发明涉及大规模语言模型问答领域，特别是涉及一种基于LLM的问答方法、电子设备及存储介质。
背景技术
目前，当想要做出一款产品时，需要分析设计任务、拆解设计目标、设计流程与方法、实验、方案细化与调整等，在初期进行分析设计任务时，通常会让产品的领域专家提出产品坐在领域内的一些常见问题语句，然而专家提出的语句可能仅仅几项，并不完整全面，不能覆盖到该产品所有的语句，因此，如何根据专家提出的解决问题的语句，产出更多该产品所在领域的相关问题，更加全面的获取到完成产品的问题语句和问题语句的答案，对于产品的完成有很大帮助。
发明内容
针对上述技术问题，本发明采用的技术方案为：一种基于LLM的问答方法，所述方法包括如下步骤：
S100，获取目标问题语句列表A={A1，A2，…，Ai，…，Am}，Ai是第i个目标问题语句，i的取值范围是1到m，m是目标问题语句的数量，所述目标问题语句为预设领域中针对处于同一级别的不同问题分别设置的语句；
S200，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，其中，n≥1；
S300，获取LLM生成的新问题语句列表B={B1，B2，…，Bj，…，Bn}，Bj是LLM生成的第j条新问题语句，j的取值范围是1到n；
S400，遍历B，计算Bj和Ai的重复度Cij，若存在Cij≥预设重复度阈值C0，将Bj从新问题语句列表B中删除，从而获取中间问题语句列表D={D1，D2，…，Dr，…，Ds}，Dr是第r个中间问题语句，r的取值范围是1到s，s是中间问题语句的数量；
S500，遍历D，若中间问题语句Dr包含子类型关键词Eg，x，将中间问题语句Dr中的Eg，x替换为Eg中除Eg，x外其它q（g）-1个子类型关键词，从而生成q（g）-1个扩充问题语句，并将扩充问题语句和中间问题语句都作为候选问题语句，从而获取候选问题语句列表F={F1，F2，…，Fy，…，Fp}，y的取值范围是1到p，p是候选问题语句的数量；
其中，预设类型关键词列表集E={E1，E2，…，Eg，…，Ez}，Eg是第g个预设类型关键词列表，Eg={Eg，1，Eg，2，…，Eg，x，…，Eg，q（g）}，Eg，x是第g个预设类型关键词列表Eg中的第x个子类型关键词，x的取值范围是1到q（g），q（g）是第g个预设类型关键词列表Eg中子类型关键词的数量，g的取值范围是1到z，z是预设类型关键词列表的数量；
S600，获取候选问题语句Fy的重要程度Wy，若Wy>预设重要程度阈值W0，将候选问题语句Fy作为最终问题语句，从而获取最终问题语句列表；其中，所述候选问题语句的重要程度基于该候选问题语句与目标问题语句以及所述预设领域的相关性确定；
S700，将最终问题语句列表输入到LLM，获取每一最终问题语句对应的最终答案。
一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的基于LLM的问答方法。
一种电子设备，包括处理器和上述的非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果：
综上，获取目标问题语句列表，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，获取LLM生成的新问题语句列表，遍历新问题语句列表，计算新问题语句和目标问题语句的重复度，若重复度不小于预设重复阈值，则将新问题语句在新问题语句列表中删除，获取中间问题语句列表，若中间问题语句包括子类型，则将子类型替换为子类型列表中的其它类型，生成扩充问题语句，从而获取候选问题语句列表，获取候选问题语句的重要程度，若重要程度＞预设重要程度阈值，将候选问题语句作为最终问题语句，并将最终问题语句输入到LLM，获取最终问题语句的最终答案；通过上述步骤，获取到目标问题的不同维度上的问题和问题的答案，从而更加全面的了解产品的各个过程，更加全面的获取到完成产品所需的问题语句和问题语句的答案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于LLM的问答方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于LLM的问答方法，如图1所示，所述方法包括如下步骤：
S100，获取目标问题语句列表A={A1，A2，…，Ai，…，Am}，Ai是第i个目标问题语句，i的取值范围是1到m，m是目标问题语句的数量，所述目标问题语句为预设领域中针对处于同一级别的不同问题分别设置的语句。
具体的，所述目标问题语句可以为预设产品所在领域的专家提出的m个关于预设产品的同一级别的问题语句。例如，所述目标问题语句为：请给出文书1的填写规范；请给出业务1的办理方式。所述目标问题语句列表至少包括预设产品所在领域的经典问题、常见问题、和其它领域有差别的问题所构成的语句。
在本发明另一实施例中，所述目标问题语句根据实际需求进行人工配置。
S200，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，其中，n≥1。
具体的，LLM即Large-scale Language Model，为大规模语言模型，是一种基于深度学习的自然语言处理模型，通常具有数十亿甚至数千亿的参数，可以实现多种自然语言处理任务，包括熟知的ChatGPT-3、BERT、XLNet等。
S300，获取LLM生成的新问题语句列表B={B1，B2，…，Bj，…，Bn}，Bj是LLM生成的第j条新问题语句，j的取值范围是1到n。
具体的，向LLM输入：参考目标问题语句列表A生成n条新问题语句，获取LLM生成的新问题语句列表。
S400，遍历B，计算Bj和Ai的重复度Cij，若存在Cij≥预设重复度阈值C0，将Bj从新问题语句列表B中删除，从而获取中间问题语句列表D={D1，D2，…，Dr，…，Ds}，Dr是第r个中间问题语句，r的取值范围是1到s，s是中间问题语句的数量。
具体的，S400中，Bj和Ai的重复度为Bj和Ai的Rouge-L距离，通过Bj和Ai的最长公共子序列获取Bj和Ai的Rouge-L距离。可以理解为，新问题语句和目标问题语句的重复度不能太高，太高的重复度可能和目标问题语句相同又增加了一些其它特征，并不是真正想要的新问题语句。
更进一步的，若存在Cij≤最小重复度阈值，将Bj从新问题语句列表B中删除。可以理解为，新问题语句和目标问题语句的重复度不能太高，也不能太低，需要有一定的相似度，但相似度不能过于高。
S500，遍历D，若中间问题语句Dr包含子类型Eg，x，将中间问题语句中的Eg，x替换为Eg中除Eg，x外其它q（g）-1个子类型关键词，从而生成q（g）-1个扩充问题语句，并将扩充问题语句和中间问题语句都作为候选问题语句，从而获取候选问题语句列表F={F1，F2，…，Fy，…，Fp}，y的取值范围是1到p，p是候选问题语句的数量。
其中，预设类型关键词列表集E={E1，E2，…，Eg，…，Ez}，Eg是第g个预设类型关键词列表，Eg={Eg，1，Eg，2，…，Eg，x，…，Eg，q（g）}，Eg，x是第g个预设类型关键词列表Eg中的第x个子类型关键词，x的取值范围是1到q（g），q（g）是第g个预设类型关键词列表Eg中子类型关键词的数量，g的取值范围是1到z，z是预设类型关键词列表的数量。
在本发明一个实施例中，所述预设类型列表E={E1，E2}，E1={E11，E12}，E2={E21，E22}，E1为设备故障类型，E2为设备型号，E11为零件1故障，E12为零件2故障，E21为型号1，E22为型号2；若中间问题语句列表D={D1，D2}，D1：请给出零件1故障时的原理，D2：请给出型号1的生产时间；D1包括子类型“零件1故障”，进行替换，获取扩充问题语句：请给出零件2故障时的原理；D2包括子类型“型号1”，进行替换，获取扩充问题语句：请给出型号2的生产时间；从而获取候选问题语句列表，候选问题语句列表包括：请给出零件1故障时的原理，请给出零件2故障时的原理，请给出型号1的生产时间，请给出型号2的生产时间。
S600，获取候选问题语句Fy的重要程度Wy，若Wy>预设重要程度阈值W0，将候选问题语句Fy作为最终问题语句，从而获取最终问题语句列表；其中，所述候选问题语句的重要程度基于该候选问题语句与目标问题语句以及所述预设领域的相关性确定。
S700，将最终问题语句列表输入到LLM，获取每一最终问题语句的最终答案。
综上，获取目标问题语句列表，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，获取LLM生成的新问题语句列表，遍历新问题语句列表，计算新问题语句和目标问题语句的重复度，若重复度不小于预设重复阈值，则将新问题语句在新问题语句列表中删除，获取中间问题语句列表，若中间问题语句包括子类型，则将子类型替换为子类型列表中的其它类型，生成扩充问题语句，从而获取候选问题语句列表，获取候选问题语句的重要程度，若重要程度＞预设重要程度阈值，将候选问题语句作为最终问题语句，并将最终问题语句输入到LLM，获取最终问题语句的最终答案；通过上述步骤，获取到目标问题的不同维度上的问题和问题的答案，从而更加全面的了解产品的各个过程，更加全面的获取到完成产品所需的问题语句和问题语句的答案。
具体的，S600中，获取候选问题语句Fy的重要程度Wy，包含如下步骤：
S1，获取第y个候选问题语句Fy对应的候选关键词列表Hy={Hy1，Hy2，…，Hyt，…，Hyα}和候选关键词列表Hy对应的候选权重列表HWy={HWy1，HWy2，…，HWyt，…，HWyα}，并基于候选权重列表HWy，计算Hy和目标领域关键词列表SF0的相关度Wy1。Hyt是Fy的第t个候选关键词，HWyt是Hyt对应的候选权重，t的取值范围是1到α，α是Fy中候选关键词的数量，目标领域关键词列表SF0中包括的目标领域关键词是所述预设领域对应的关键词。
具体的，本领域技术人员知晓，现有技术中的任何一种获取语句关键词的方法均属于本发明保护范围，此处不再赘述。
具体的，候选关键词列表对应的候选权重列表中的每一候选权重可以通过人为进行设置，也可以按照词性进行相应权重的设置，所述词性包括名词、形容词、动词等。
具体的，S1中，基于候选权重列表HWy，计算Hy和目标领域关键词列表SF0的相关度Wy1包括：
S11，若Hyt和目标领域关键词匹配成功，将Hyt作为所述预设领域的关键词。
具体的，在本发明一个实施例中，所述Hyt和目标领域关键词匹配成功，即Hyt和一目标领域关键词完全相同。
在本发明另一实施例中，所述Hyt和目标领域关键词匹配成功，即Hyt和一目标领域关键词的语义相同。
S12，获取指定领域关键词的权重，并将指定领域关键词的权重的和作为相关度Wy1。
S2，获取目标问题语句列表A的目标问题关键词列表AH，并基于候选权重列表HWy，获取Hy和目标问题关键词列表AH的相关度Wy2。
具体的，S2中基于候选权重列表HWy获取Hy和目标问题关键词列表AH的相关度Wy2包括：
S21，若Hyt和目标问题关键词匹配成功，将Hyt作为指定关键词。
具体的，在本发明一个实施例中，所述Hyt和目标问题关键词匹配成功，即Hyt和一目标问题关键词匹配成功完全相同。
在本发明另一实施例中，所述Hyt和目标问题关键词匹配成功，即Hyt和一目标问题关键词匹配成功的语义相同。
S22，获取指定关键词的权重，并将指定关键词的权重的和作为相关度Wy2。
S3，获取第y个候选问题语句Fy和目标问题语句列表A的相关度Wy3，Wy3=（1/m）∑m i= 1BM25（Fy，Ai），BM25（Fy，Ai）=∑h e=1KyeR（Fye，Ai），Fye是Fy+按照预定规则划分的第e个词语，e的取值范围是1到h，h是Fy划分的词语的数量，其中，R（Fye，Ai）=fye （k1+1）/>qfye/>（k2+1）/（fye+k1/>（1-b+b/>（dAi/avgdAi）））/（qfye+k2），k1为第一调节因子，k2为第二调节因子，b为第三调节因子，fye是Fye在Ai中的出现频率，qfye是Fye在Fy中的出现频率，dAi是Ai的字符长度，avgdAi是A1到Am的平均字符长度，Kye是Fye在A中的权重。
具体的，k1=2；b=0.75。
S4，获取候选问题语句Fy的重要程度Wy=Wy1+Wy2+Wy3。
基于S1-S4，获取第y个候选问题语句Fy的候选关键词列表和候选关键词列表对应的候选权重列表，并基于候选权重列表HWy计算Hy和目标领域关键词列表的相关度，获取目标问题语句列表A的目标问题关键词列表，并基于候选权重列表HWy获取Hy和目标问题关键词列表AH的相关度，获取第y个候选问题语句Fy和目标问题语句列表A的相关度，从而获取候选问题语句Fy的重要程度，候选问题语句的重要程度考虑了和目标问题语句的关键词、所在领域的关键词和相关性三个维度，使得最终问题语句既部分符合目标问题语句，又有一些新的问题语句出现。
进一步的，在S600后还包括以下步骤：
S601，获取第g个预设类型的预设关键词列表EKg。
具体的，所述预设关键词列表为预设类型所在领域的关键词，例如，预设类型为故障类型，所述预设关键词列表为故障类型相关的词语。
S602，使用任一最终问题语句Pu和EKg进行匹配，获取最终问题语句Pu中包含的最终词组列表WVug={WVug1，WVug2，…，WVugη，…，WVugθ}，WVugη是最终问题语句Pu中出现EKg的第η个词组，η的取值范围是1到θ，θ是共同出现的词组数量。
S603，若WVugη属于共现黑名单列表，将最终问题语句Pu在最终问题语句列表中删除，其中，所述共现黑名单列表是指不能共同出现的词组列表。
具体的，所述共现黑名单列表是指不同共同出现的词组列表，可以理解为在业务上不会同时出现的词组列表。
综上，获取预设类型的预设关键词列表，使用任一最终问题语句Pu和EKg进行匹配，获取最终问题语句Pu中包含的最终词组列表，若任一最终词组属于黑名单列表，则将该最终问题语句在最终问题语句列表中删除，排除了最终问题语句列表中不符合业务情况最终问题语句。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种基于LLM的问答方法，其特征在于，所述方法包括如下步骤：
S100，获取目标问题语句列表A={A1，A2，…，Ai，…，Am}，Ai是第i个目标问题语句，i的取值范围是1到m，m是目标问题语句的数量，所述目标问题语句为预设领域中针对处于同一级别的不同问题分别设置的语句；
S200，向LLM发出第一指令，所述第一指令为：参考目标问题语句列表A生成n条新问题语句，其中，n≥1；
S300，获取LLM生成的新问题语句列表B={B1，B2，…，Bj，…，Bn}，Bj是LLM生成的第j条新问题语句，j的取值范围是1到n；
S400，遍历B，计算Bj和Ai的重复度Cij，若存在Cij≥预设重复度阈值C0，将Bj从新问题语句列表B中删除，从而获取中间问题语句列表D={D1，D2，…，Dr，…，Ds}，Dr是第r个中间问题语句，r的取值范围是1到s，s是中间问题语句的数量；
S500，遍历D，若中间问题语句Dr包含子类型关键词Eg，x，将中间问题语句Dr中的Eg，x替换为Eg中除Eg，x外其它q（g）-1个子类型关键词，从而生成q（g）-1个扩充问题语句，并将扩充问题语句和中间问题语句都作为候选问题语句，从而获取候选问题语句列表F={F1，F2，…，Fy，…，Fp}，y的取值范围是1到p，p是候选问题语句的数量；
其中，预设类型关键词列表集E={E1，E2，…，Eg，…，Ez}，Eg是第g个预设类型关键词列表，Eg={Eg，1，Eg，2，…，Eg，x，…，Eg，q（g）}，Eg，x是第g个预设类型关键词列表Eg中的第x个子类型关键词，x的取值范围是1到q（g），q（g）是第g个预设类型关键词列表Eg中子类型关键词的数量，g的取值范围是1到z，z是预设类型关键词列表的数量；
S600，获取候选问题语句Fy的重要程度Wy，若Wy>预设重要程度阈值W0，将候选问题语句Fy作为最终问题语句，从而获取最终问题语句列表；其中，所述候选问题语句的重要程度基于该候选问题语句与目标问题语句以及所述预设领域的相关性确定；
S700，将最终问题语句列表输入到LLM，获取每一最终问题语句对应的最终答案；
其中，S600中，获取候选问题语句Fy的重要程度Wy，包含如下步骤：
S1，获取第y个候选问题语句Fy对应的候选关键词列表Hy={Hy1，Hy2，…，Hyt，…，Hyα}和候选关键词列表Hy对应的候选权重列表HWy={HWy1，HWy2，…，HWyt，…，HWyα}，并基于候选权重列表HWy，计算Hy和目标领域关键词列表SF0的相关度Wy1；
Hyt是Fy的第t个候选关键词，HWyt是Hyt对应的候选权重，t的取值范围是1到α，α是Fy中候选关键词的数量，目标领域关键词列表SF0中包括的目标领域关键词是所述预设领域对应的关键词；
S2，获取目标问题语句列表A的目标问题关键词列表AH，并基于候选权重列表HWy，获取Hy和目标问题关键词列表AH的相关度Wy2；
S3，获取第y个候选问题语句Fy和目标问题语句列表A的相关度Wy3，Wy3=（1/m）∑m i=1BM25（Fy，Ai），BM25（Fy，Ai）=∑h e=1KyeR（Fye，Ai），Fye是Fy按照预定规则划分的第e个词语，e的取值范围是1到h，h是Fy划分的词语的数量；
其中，R（Fye，Ai）=fye （k1+1）/>qfye/>（k2+1）/（fye+k1/>（1-b+b/>（dAi/avgdAi）））/（qfye+k2），k1为第一调节因子，k2为第二调节因子，b为第三调节因子，fye是Fye在Ai中的出现频率，qfye是Fye在Fy中的出现频率，dAi是Ai的字符长度，avgdAi是A1到Am的平均字符长度，Kye是Fye在A中的权重；
S4，获取候选问题语句Fy的重要程度Wy=Wy1+Wy2+Wy3。
2.根据权利要求1所述的基于LLM的问答方法，其特征在于，在S600后还包括以下步骤：
S601，获取第g个预设类型的预设关键词列表EKg；
S602，使用任一最终问题语句Pu和EKg进行匹配，获取最终问题语句Pu中包含的最终词组列表WVug={WVug1，WVug2，…，WVugη，…，WVugθ}，WVugη是最终问题语句Pu中出现EKg的第η个词组，η的取值范围是1到θ，θ是共同出现的词组数量；
S603，若WVugη属于共现黑名单列表，将最终问题语句Pu在最终问题语句列表中删除，其中，所述共现黑名单列表是指不能共同出现的词组列表。
3.根据权利要求1所述的基于LLM的问答方法，其特征在于，S400中，Bj和Ai的重复度为Bj和Ai的Rouge-L距离。
4.根据权利要求1所述的基于LLM的问答方法，其特征在于，S1中，基于候选权重列表HWy，计算Hy和目标领域关键词列表SF0的相关度Wy1包括：
S11，若Hyt和目标领域关键词匹配成功，将Hyt作为所述预设领域的关键词；
S12，获取预设领域关键词的权重，并将预设领域关键词的权重的和作为相关度Wy1。
5.根据权利要求1所述的基于LLM的问答方法，其特征在于，S2中基于候选权重列表HWy获取Hy和目标问题关键词列表AH的相关度Wy2包括：
S21，若Hyt和目标问题关键词匹配成功，将Hyt作为指定关键词；
S22，获取指定关键词的权重，并将指定关键词的权重的和作为相关度Wy2。
6.根据权利要求1所述的基于LLM的问答方法，其特征在于，k1=2。
7.根据权利要求1所述的基于LLM的问答方法，其特征在于，b=0.75。
8.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项所述的基于LLM的问答方法。
9.一种电子设备，其特征在于，包括处理器和权利要求8中所述的非瞬时性计算机可读存储介质。
CN202311323993.1A 2023-10-13 2023-10-13 一种基于llm的问答方法、电子设备及存储介质 Active CN117056497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311323993.1A CN117056497B (zh) 2023-10-13 2023-10-13 一种基于llm的问答方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311323993.1A CN117056497B (zh) 2023-10-13 2023-10-13 一种基于llm的问答方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117056497A CN117056497A (zh) 2023-11-14
CN117056497B true CN117056497B (zh) 2024-01-23

Family

ID=88663121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311323993.1A Active CN117056497B (zh) 2023-10-13 2023-10-13 一种基于llm的问答方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117056497B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415980A (zh) * 2018-02-09 2018-08-17 平安科技（深圳）有限公司 问答数据处理方法、电子装置及存储介质
WO2021068615A1 (zh) * 2019-10-12 2021-04-15 深圳壹账通智能科技有限公司 文书中问答数据获取方法、装置、计算机设备和存储介质
CN112749266A (zh) * 2021-01-19 2021-05-04 海尔数字科技(青岛)有限公司 一种工业问答方法、装置、系统、设备及存储介质
WO2021237934A1 (zh) * 2020-05-29 2021-12-02 深圳壹账通智能科技有限公司 答案选择方法、装置、计算机设备及计算机可读存储介质
CN116186658A (zh) * 2023-02-22 2023-05-30 每日互动股份有限公司 一种用户身份验证的数据处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415980A (zh) * 2018-02-09 2018-08-17 平安科技（深圳）有限公司 问答数据处理方法、电子装置及存储介质
WO2021068615A1 (zh) * 2019-10-12 2021-04-15 深圳壹账通智能科技有限公司 文书中问答数据获取方法、装置、计算机设备和存储介质
WO2021237934A1 (zh) * 2020-05-29 2021-12-02 深圳壹账通智能科技有限公司 答案选择方法、装置、计算机设备及计算机可读存储介质
CN112749266A (zh) * 2021-01-19 2021-05-04 海尔数字科技(青岛)有限公司 一种工业问答方法、装置、系统、设备及存储介质
CN116186658A (zh) * 2023-02-22 2023-05-30 每日互动股份有限公司 一种用户身份验证的数据处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汉语句子相似度计算在FAQ中的应用;裴婧;包宏;;计算机工程(17);全文 *
领域问答系统答案提取方法研究;毛存礼;余正涛;韩露;郭剑毅;李丽娜;雷雄丽;;烟台大学学报(自然科学与工程版)(03);全文 *

Also Published As

Publication number Publication date
CN117056497A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
EP4174715A1 (en) Method and apparatus for pre-training a language model, storage medium and program product
US20240062111A1 (en) Training encoder model and/or using trained encoder model to determine responsive action(s) for natural language input
Liu et al. Dynamic prefix-tuning for generative template-based event extraction
CN110110062B (zh) 机器智能问答方法、装置与电子设备
US20120262461A1 (en) System and Method for the Normalization of Text
EP3958145A1 (en) Method and apparatus for semantic retrieval, device and storage medium
US11164087B2 (en) Systems and methods for determining semantic roles of arguments in sentences
US20210248498A1 (en) Method and apparatus for training pre-trained knowledge model, and electronic device
CN110347802B (zh) 一种文本分析方法及装置
US11537790B2 (en) Word vector changing device, method, and program
CN111611807A (zh) 一种基于神经网络的关键词提取方法、装置及电子设备
US20220058349A1 (en) Data processing method, device, and storage medium
Kumar et al. Incomplete follow-up question resolution using retrieval based sequence to sequence learning
CN110019304B (zh) 扩展问答知识库的方法及存储介质、终端
CN112287085A (zh) 语义匹配方法、系统、设备及存储介质
CN117056497B (zh) 一种基于llm的问答方法、电子设备及存储介质
Murata et al. Comparison of three machine-learning methods for Thai part-of-speech tagging
CN116186219A (zh) 一种人机对话交互方法方法、系统及存储介质
CN116501864A (zh) 交叉嵌入式注意力BiLSTM多标签文本分类模型、方法及设备
CN114722153A (zh) 一种意图分类的方法和装置
CN109815323B (zh) 一种人机交互训练问答生成算法
CN117057347B (zh) 一种分词方法、电子设备及存储介质
CN111666770A (zh) 一种语义匹配方法及装置
CN113705208B (zh) 一种基于领域术语和关键句的中文问题自动生成方法及装置
JP7012811B1 (ja) 検索装置、検索方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant