CN117633174A - 一种基于多个大模型对话的表决共识系统 - Google Patents

一种基于多个大模型对话的表决共识系统 Download PDF

Info

Publication number
CN117633174A
CN117633174A CN202311561702.2A CN202311561702A CN117633174A CN 117633174 A CN117633174 A CN 117633174A CN 202311561702 A CN202311561702 A CN 202311561702A CN 117633174 A CN117633174 A CN 117633174A
Authority
CN
China
Prior art keywords
model
llm
reply
user
replies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311561702.2A
Other languages
English (en)
Other versions
CN117633174B (zh
Inventor
赵海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Omniscience Technology Co ltd
Original Assignee
Beijing Omniscience Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Omniscience Technology Co ltd filed Critical Beijing Omniscience Technology Co ltd
Priority to CN202311561702.2A priority Critical patent/CN117633174B/zh
Publication of CN117633174A publication Critical patent/CN117633174A/zh
Application granted granted Critical
Publication of CN117633174B publication Critical patent/CN117633174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及大模型对话技术领域，具体公开了一种基于多个大模型对话的表决共识系统，包括如下步骤，S1：构建模型，搭建多组LLM大语言模型，S2：用户提问，将问题传递至所有搭建好的LLM大语言模型中，各个LLM大语言模型均对用户问题进行回复，S3：模型回复打分，各个LLM大语言模型将各个回复分别传递至除自身以外的其他LLM大语言模型中，要求对方对此回复进行打分，S4：回复用户，获取最高分的回复作为最终回复反馈给用户，LLM大语言模型至少搭建有三组或三组以上，该基于多个大模型对话的表决共识系统，通过设置多个LLM大语言模型达成共识的方式，能够有效降低人工智能答非所问与一本正经胡说八道的可能性，提升用户体验。

Description

一种基于多个大模型对话的表决共识系统
技术领域
本发明涉及大模型对话技术领域，尤其涉及一种基于多个大模型对话的表决共识系统。
背景技术
大模型是大规模语言模型的简称，它被训练成理解和生成人类语言，随着人工智能技术的快速发展，大模型对话成为了自然语言处理领域的研究热点之一，大模型对话是指基于深度学习的模型，通过对海量的对话数据进行训练，使得模型能够生成具有语义和逻辑连贯性的自然语言回复。
人工智能是基于大数据统计，按照概率学来生成信息的，这也导致了人工智能在回复用户提问时难免会出现答非所问的情况，甚至还可能一本正经的胡说八道，影响用户体验，需要对此进行改进，为此，提供一种基于多个大模型对话的表决共识系统。
发明内容
本发明所要解决的技术问题在于，提供一种能够降低人工智能答非所问与一本正经胡说八道可能性，提升用户体验的基于多个大模型对话的表决共识系统。
为了实现上述目的，本发明采用了如下技术方案：一种基于多个大模型对话的表决共识系统，包括如下步骤：
S1：构建模型，搭建多组LLM大语言模型(模型A、模型B···模型N)；
S2：用户提问，将问题传递至所有搭建好的LLM大语言模型中，各个LLM大语言模型均对用户问题进行回复；
S3：模型回复打分，各个LLM大语言模型将各个回复分别传递至除自身以外的其他LLM大语言模型中，要求对方对此回复进行打分；
S4：回复用户，获取最高分的回复作为最终回复反馈给用户。
优选的，在所述S1中，LLM大语言模型至少搭建有三组或三组以上。
优选的，在所述S1中，LLM大语言模型型号不做严格要求，可设置为开源的Baichuan2-7b、ChatGLM2-6B。
优选的，在所述S3中,不支持对回复打分的LLM语言大模型通过进行认可回复，回复表达是否认可。
优选的，认可回复设置为“非常认可、认可以及不认可”三种回复方式。
优选的，统计“非常认可、认可、不认可”出现的权重分数，“非常认可＝2、认可＝1、不认可＝-1”，以最终最高分的回复作为最终回复反馈给提问用户。
综上所述，与现有技术相比，本发明的有益效果是：
1、本发明中通过设置多个LLM大语言模型达成共识的方式，可以提高对用户问题表决的精确性，从而解决传统问答系统中包含的大量错误和误解的问题，能够有效降低人工智能答非所问与一本正经胡说八道的可能性，通过提供优质的产品,提升用户体验,以增强用户粘性。
2、人工智能，本发明中特指LLM大语言模型，能够提高对用户问题表决的可信度，能帮助人类做更多事情，不仅可以提高工作效率，还可以降低人工生产力成本。
附图说明
图1为本发明各个LLM大语言模型的回复传递图；
图2为本发明的工作流程结构图；
图3为本发明的回答权重表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种基于多个大模型对话的表决共识系统，包括如下步骤：
S1：构建模型，搭建多组LLM大语言模型(模型A、模型B···模型N)；
S2：用户提问，将问题传递至所有搭建好的LLM大语言模型中，各个LLM大语言模型均对用户问题进行回复；
S3：模型回复打分，各个LLM大语言模型将各个回复分别传递至除自身以外的其他LLM大语言模型中，要求对方对此回复进行打分；
S4：回复用户，获取最高分的回复作为最终回复反馈给用户。
在所述S1中，LLM大语言模型至少搭建有三组或三组以上。
在所述S1中，LLM大语言模型型号不做严格要求，可设置为开源的Baichuan2-7b、ChatGLM2-6B。
在所述S3中,不支持对回复打分的LLM语言大模型通过进行认可回复，回复表达是否认可。
认可回复设置为“非常认可、认可以及不认可”三种回复方式。
统计“非常认可、认可、不认可”出现的权重分数，“非常认可＝2、认可＝1、不认可＝-1”，以最终最高分的回复作为最终回复反馈给提问用户。
工作原理：
使用前，搭建三组或三组以上的LLM大语言模型(模型A、模型B···模型N)，比如开源的Baichuan2-7b、ChatGLM2-6B等等，具体模型不做严格要求；
使用时，用户通过终端输入语言或者文本进行提问，问题输入方式不做具体要求，可以是多模态方式输入，用户提问后将问题传递至所有搭建好的LLM大语言模型中，各个LLM大语言模型均对用户的问题进行回复，回复后各个LLM大语言模型将各个回复分别传递至除自身以外的其他LLM大语言模型中，要求对方对此回复进行打分，设置模型A、模型B以及模型C对用户问题进行打分回复：
(1)模型A对用户问题的打分分数为100，将模型A的回复分别传递至模型B与模型C，模型B与模型C对模型A的回复打分分数为75与90，则综合得分为100+75+90＝265；
(2)模型B对用户问题的打分分数为60，将模型B的回复分别传递至模型A与模型C，型A与模型C对模型B的回复打分分数为100与95，则综合得分为60+100+95＝255；
(3)模型C对用户问题的打分分数为80，将模型C的回复分别传递至模型A与模型B，型A与模型B对模型C的回复打分分数为80与100，则综合得分为80+80+100＝280；
根据上述多组综合分数获取最高分的回复作为最终回复反馈给用户。
不支持对回复打分的LLM语言大模型通过进行认可回复，回复表达是否认可，认可回复设置为“非常认可、认可以及不认可”三种回复方式，统计“非常认可、认可、不认可”出现的权重分数“非常认可＝2、认可＝1、不认可＝-1”，以最终最高分的回复作为最终回复反馈给提问用户；
通过设置多个LLM大语言模型达成共识的方式，能够有效降低人工智能答非所问与一本正经胡说八道的可能性，提升用户体验。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于多个大模型对话的表决共识系统，其特征在于，包括如下步骤：
S1：构建模型，搭建多组LLM大语言模型（模型A、模型B···模型N）；
S2：用户提问，将问题传递至所有搭建好的LLM大语言模型中，各个LLM大语言模型均对用户问题进行回复；
S3：模型回复打分，各个LLM大语言模型将各个回复分别传递至除自身以外的其他LLM大语言模型中，要求对方对此回复进行打分；
S4：回复用户，获取最高分的回复作为最终回复反馈给用户。
2.根据权利要求1所述的一种基于多个大模型对话的表决共识系统，其特征在于，在所述S1中，LLM大语言模型至少搭建有三组或三组以上。
3.根据权利要求1所述的一种基于多个大模型对话的表决共识系统，其特征在于，在所述S1中，LLM大语言模型型号不做严格要求，可设置为开源的Baichuan2-7b、ChatGLM2-6B。
4.根据权利要求1所述的一种基于多个大模型对话的表决共识系统，其特征在于，在所述S3中,不支持对回复打分的LLM语言大模型通过进行认可回复，回复表达是否认可。
5.根据权利要求4所述的一种基于多个大模型对话的表决共识系统，其特征在于，认可回复设置为“非常认可、认可以及不认可”三种回复方式。
6.根据权利要求5所述的一种基于多个大模型对话的表决共识系统，其特征在于，统计“非常认可、认可、不认可”出现的权重分数，“非常认可=2、认可=1、不认可=-1”，以最终最高分的回复作为最终回复反馈给提问用户。
CN202311561702.2A 2023-11-22 2023-11-22 一种基于多个大模型对话的表决共识系统 Active CN117633174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311561702.2A CN117633174B (zh) 2023-11-22 2023-11-22 一种基于多个大模型对话的表决共识系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311561702.2A CN117633174B (zh) 2023-11-22 2023-11-22 一种基于多个大模型对话的表决共识系统

Publications (2)

Publication Number Publication Date
CN117633174A true CN117633174A (zh) 2024-03-01
CN117633174B CN117633174B (zh) 2024-06-25

Family

ID=90036916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311561702.2A Active CN117633174B (zh) 2023-11-22 2023-11-22 一种基于多个大模型对话的表决共识系统

Country Status (1)

Country Link
CN (1) CN117633174B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118333172A (zh) * 2024-06-12 2024-07-12 中昊芯英(杭州)科技有限公司 大型语言模型推理加速方法及相关装置
CN118467207A (zh) * 2024-06-26 2024-08-09 科大讯飞股份有限公司 大模型解码系统、方法、相关设备及计算机程序产品
US12135949B1 (en) * 2024-06-07 2024-11-05 Citibank, N.A. Layered measurement, grading and evaluation of pretrained artificial intelligence models

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12154019B1 (en) 2024-06-07 2024-11-26 Citibank, N.A. System and method for constructing a layered artificial intelligence model

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503066A (zh) * 2016-09-29 2017-03-15 北京百度网讯科技有限公司 基于人工智能的处理搜索结果方法和装置
CN111179916A (zh) * 2019-12-31 2020-05-19 广州市百果园信息技术有限公司 重打分模型训练方法、语音识别方法及相关装置
CN111177359A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 多轮对话方法和装置
CN112562640A (zh) * 2020-12-01 2021-03-26 北京声智科技有限公司 多语言语音识别方法、装置、系统及计算机可读存储介质
CN113051387A (zh) * 2021-04-30 2021-06-29 中国银行股份有限公司 答复信息的生成方法、装置、电子设备及存储介质
WO2021249528A1 (zh) * 2020-06-12 2021-12-16 支付宝(杭州)信息技术有限公司 智能对话方法、装置和电子设备
CN116561538A (zh) * 2023-04-04 2023-08-08 厦门美柚股份有限公司 问答评分方法、问答评分装置、电子设备及存储介质
CN116561278A (zh) * 2023-05-05 2023-08-08 科大讯飞股份有限公司 知识问答方法、装置、设备及存储介质
CN116610789A (zh) * 2023-07-10 2023-08-18 中科基石(湖州)信息科技有限责任公司 一种准确低成本的大语言模型使用方法及系统
CN116680384A (zh) * 2023-06-08 2023-09-01 科大讯飞股份有限公司 知识问答方法、装置、设备及存储介质
CN116842951A (zh) * 2023-06-26 2023-10-03 北京云迹科技股份有限公司 命名实体识别方法、装置、电子设备及存储介质
CN116860922A (zh) * 2023-04-28 2023-10-10 广州新华学院 一种基于指令引导大语言模型的自纠正智能教学辅助方法
CN116976306A (zh) * 2023-08-01 2023-10-31 珠海市卓轩科技有限公司 一种基于大规模语言模型的多模型协作方法
CN117033667A (zh) * 2023-10-07 2023-11-10 之江实验室 一种知识图谱构建方法、装置、存储介质及电子设备
CN117056471A (zh) * 2023-07-11 2023-11-14 数字郑州科技有限公司 知识库构建方法及基于生成式大语言模型的问答对话方法和系统
CN117057319A (zh) * 2023-08-18 2023-11-14 支付宝(杭州)信息技术有限公司 一种营销信息生成方法、装置及设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503066A (zh) * 2016-09-29 2017-03-15 北京百度网讯科技有限公司 基于人工智能的处理搜索结果方法和装置
CN111179916A (zh) * 2019-12-31 2020-05-19 广州市百果园信息技术有限公司 重打分模型训练方法、语音识别方法及相关装置
CN111177359A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 多轮对话方法和装置
WO2021249528A1 (zh) * 2020-06-12 2021-12-16 支付宝(杭州)信息技术有限公司 智能对话方法、装置和电子设备
CN112562640A (zh) * 2020-12-01 2021-03-26 北京声智科技有限公司 多语言语音识别方法、装置、系统及计算机可读存储介质
CN113051387A (zh) * 2021-04-30 2021-06-29 中国银行股份有限公司 答复信息的生成方法、装置、电子设备及存储介质
CN116561538A (zh) * 2023-04-04 2023-08-08 厦门美柚股份有限公司 问答评分方法、问答评分装置、电子设备及存储介质
CN116860922A (zh) * 2023-04-28 2023-10-10 广州新华学院 一种基于指令引导大语言模型的自纠正智能教学辅助方法
CN116561278A (zh) * 2023-05-05 2023-08-08 科大讯飞股份有限公司 知识问答方法、装置、设备及存储介质
CN116680384A (zh) * 2023-06-08 2023-09-01 科大讯飞股份有限公司 知识问答方法、装置、设备及存储介质
CN116842951A (zh) * 2023-06-26 2023-10-03 北京云迹科技股份有限公司 命名实体识别方法、装置、电子设备及存储介质
CN116610789A (zh) * 2023-07-10 2023-08-18 中科基石(湖州)信息科技有限责任公司 一种准确低成本的大语言模型使用方法及系统
CN117056471A (zh) * 2023-07-11 2023-11-14 数字郑州科技有限公司 知识库构建方法及基于生成式大语言模型的问答对话方法和系统
CN116976306A (zh) * 2023-08-01 2023-10-31 珠海市卓轩科技有限公司 一种基于大规模语言模型的多模型协作方法
CN117057319A (zh) * 2023-08-18 2023-11-14 支付宝(杭州)信息技术有限公司 一种营销信息生成方法、装置及设备
CN117033667A (zh) * 2023-10-07 2023-11-10 之江实验室 一种知识图谱构建方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANQING YANG; TAO WU; SONG GAO; JINGZONG YANG: "Dialogue Logic Aware and Key Utterance Decoupling Model for Multi-Party Dialogue Reading Comprehension", IEEE ACCESS, vol. 11, 1 February 2023 (2023-02-01) *
郭晓哲, 彭敦陆, 张亚彤, 彭学桂: "GRS: 一种面向电商领域智能客服的生成-检索式对话模型", 华东师范大学学报 (自然科学版), no. 5, 30 September 2020 (2020-09-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12135949B1 (en) * 2024-06-07 2024-11-05 Citibank, N.A. Layered measurement, grading and evaluation of pretrained artificial intelligence models
CN118333172A (zh) * 2024-06-12 2024-07-12 中昊芯英(杭州)科技有限公司 大型语言模型推理加速方法及相关装置
CN118333172B (zh) * 2024-06-12 2024-09-03 中昊芯英(杭州)科技有限公司 大型语言模型推理加速方法及相关装置
CN118467207A (zh) * 2024-06-26 2024-08-09 科大讯飞股份有限公司 大模型解码系统、方法、相关设备及计算机程序产品

Also Published As

Publication number Publication date
CN117633174B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN117633174B (zh) 一种基于多个大模型对话的表决共识系统
Wu Research on the reform of ideological and political teaching evaluation method of college English course based on “online and offline” teaching
Kramsch Discourse Analysis and Second Language Teaching. Language in Education: Theory and Practice, No. 37.
CN105138710B (zh) 一种聊天代理系统及方法
Slama-Cazacu Introduction to psycholinguistics
CN108595436A (zh) 情感对话内容的生成方法和系统、存储介质
CN101105894A (zh) 多功能语言学习机
CN117171322A (zh) 一种基于大型语言模型的智能教育聊天机器人训练方法
Bradley et al. Imagining Clovis as a cultural revitalization movement
CN117891927B (zh) 基于大语言模型的问答方法、装置、电子设备及存储介质
Kato et al. Relationships between emotional states and emoticons in mobile phone email communication in Japan
Wallmach Examining simultaneous interpreting norms and strategies in a South African legislative context: A pilot corpus analysis
CN119182748A (zh) 即时通信方法、系统及相关装置
CN117556007A (zh) 对话处理方法及装置、对话模型的训练方法及装置
Langley et al. ‘Playing’with Evidence: combining creative co-design methods with realist evidence synthesis
CN114049971A (zh) 基于医患对话的医学教学方法及医学教学装置
Ryoko et al. Does talking to a robot in a high-pitched voice create a good impression of the robot?
Hanulíková Learning phonotactically complex L3 words: Are bilinguals more successful
Patel et al. Application of voice assistant using machine learning: a comprehensive review
Dang English-Speaking Learning Strategies in University Based on Artificial Intelligence
HASNA THE ANALYSIS OF FLOUTING MAXIM IN THE ELLEN TALKSHOW WITH THE GUEST-STAR TAYLOR SWIFT
Lee Why do I feel uncomfortable when I write in a digital space?
Hill et al. Understanding echolalia
Mengyi Exploring the Teaching of New Internet Words in International Chinese Language Teaching
Lardy Mediation and AI: The Silent Revolution How Human is ChatGPT?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant