CN117112769B - 基于大语言模型的故障维修智能问答系统及方法 - Google Patents
基于大语言模型的故障维修智能问答系统及方法 Download PDFInfo
- Publication number
- CN117112769B CN117112769B CN202311373868.1A CN202311373868A CN117112769B CN 117112769 B CN117112769 B CN 117112769B CN 202311373868 A CN202311373868 A CN 202311373868A CN 117112769 B CN117112769 B CN 117112769B
- Authority
- CN
- China
- Prior art keywords
- model
- module
- question
- language model
- large language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 70
- 238000007726 management method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 241000287219 Serinus canaria Species 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000009849 deactivation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了基于大语言模型的故障维修智能问答系统及方法，属于装备智能诊断的技术领域。该系统为：用户交互模块分别与智能问答模块和模型学习模块连接，智能问答模块和模型学习模块分别与大语言模型服务模块连接。该方法为：用户交互模块的前台页面获取用户提出的问题，将问题的文本发送给智能问答模块；智能问答模块获取提问文本，调用大语言模型服务，把提问文本提交给模型服务接口；获取大语言模型服务模块对于提问文本的反馈回答，解析反馈内容。本发明能够快速回答故障诊断和维修建议提问，大幅降低了工业设备日常维护工作对人力和专家经验的依赖。
Description
技术领域
本发明涉及基于大语言模型的故障维修智能问答系统及方法，属于智能信息处理的技术领域。
背景技术
大语言模型是指用大量文本数据训练，模型参数达到百亿甚至千亿量级的深度学习模型，可以处理多种类型的自然语言任务，如文本分类、内容生成、对话等任务。
智能问答系统是一种接受使用者以自然语言形式描述问题，从大量的异构数据中查到或者推理出答案的系统，相比于传统的文本检索，智能问答系统减少了用户在大量文档中提取问题相关知识和推理的过程，能够显著提升用户获取知识的效率，节约人力成本。目前工业智能问答系统的技术路线通常会选择基于知识图谱的问答系统，但知识图谱构建过程中需要提取实体信息和目标关系，图谱构建和维护成本较高。
目前工业设备的故障诊断和维修决策问题，主要还是依赖专家经验和人工服务，以至于在工业设备的维护工作中，咨询、故障诊断、维修决策、售后服务耗费了大量的人力和时间。而现有的为此类问题设计的智能问答系统，则存在构建困难、后期自学习维护成本较高以及不能连续对话的问题。
发明内容
为了解决上述存在的问题，本发明公开了基于大语言模型的故障维修智能问答系统及方法，其具体技术方案如下：
基于大语言模型的故障维修智能问答系统，包括：
用户交互模块，提供智能问答系统的前台界面，将用户提出的问题传输给智能问答模块，并将智能问答模块反馈的故障诊断结论和维修建议展示在前台界面；提供上传新的故障诊断和维修报告文本文件的前台入口，将新的故障诊断和维修报告文本文件发送到模型学习模块；
模型学习模块，将用户交互模块传输来的新文本进行数据清洗、分析、结构化一系列处理，使用处理后的文本微调现有大语言模型的模型参数，从而优化大语言模型的推理效果；
智能问答模块，调用大语言模型服务模块提供的模型服务对用户提出的故障诊断和维修决策问题进行分析，并将反馈回答传输给用户交互模块；
大语言模型服务模块，对模型学习模块、智能问答模块与大语言模型服务的连接状态进行管理，保证智能问答模块对服务进行调用时的连接稳定性和可靠性，当大语言模型的参数发生微调时对智能问答模块服务进行平滑切换。
进一步的，所述大语言模型服务模块使用的大语言模型是以经过大量公开语料训练的大语言模型为基础，使用私有故障诊断和维修决策文本进行参数微调训练后得到的私有模型，所述私有模型运行在本地容器云平台上，智能问答模块调用的模型服务是私有模型提供的服务。
进一步的，还包括数据存储模块，数据存储模块与用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块之间均存在数据传输接口，负责存储用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块发生的数据，其中：用户交互模块需要保存的数据为用户与系统的问答记录数据；模型学习模块需要保存的数据为训练文本数据、模型训练记录和训练日志、模块运行日志；智能问答模块和大语言模型服务模块需要保存的数据为模块运行日志。
进一步的，所述大语言模型服务模块划分成以下几个单元：
模型运行单元：负责保持大语言模型的持续正常运行，当模型因为程序异常或其他问题停止运行时，在服务器正常运转的条件下，模型运行单元负责立即重启模型运行的容器；
模型服务接口管理单元：负责管理大语言模型服务模块对外暴露的问答接口和训练接口，管理内容包括接口的访问权限和出入策略；
模型训练单元：负责根据模型学习模块发送的定时任务配置在指定时间启动模型训练的任务，调度模型训练资源，记录训练日志；
模型版本迭代管理单元：负责管理各版本模型的记录，包括：模型名称、模型版本、模型描述、模型训练时间；负责管理新模型的金丝雀发布和旧模型的逐步停用。
基于大语言模型的故障维修智能问答系统的智能问答方法，包括以下步骤：
步骤1：用户交互模块的前台页面获取用户提出的问题，将问题的文本发送给智能问答模块；
步骤2：智能问答模块获取提问文本，调用大语言模型服务，把提问文本提交给模型服务接口；
步骤3：获取大语言模型服务模块对于提问文本的反馈回答，解析反馈内容，如果反馈内容显示做出了回答，则将回答内容的文本发送到前台交互模块，如果反馈内容显示无法做出回答，则将无法回答的信息码发送到前台交互模块，前台页面显示无法回答的提示信息。
进一步的，所述步骤2中有多个用户同时提问，则根据问题的优先级和时间戳来进行排序和回答。
进一步的，还包括模型学习过程，具体为：
步骤（1）：用户交互模块的前台页面获取用户上传的故障诊断与维修决策的文本文件，将文本文件的内容发送给模型学习模块；
步骤（2）：模型学习模块的数据清洗单元对新获取的新文本内容进行数据清洗，删除文本中的低信息内容，数据结构化单元则从文本中提取标题、主题和内容；
步骤（3）：模型学习模块的语料生成单元从处理后的文本中生成问题并生成对应回答，将问题和回答写入训练语料文件，另外再生成一些干扰数据作为对抗训练的样本加入训练语料文件中；
步骤（4）：模型学习模块添加一个定时任务，定时原则是系统使用人数较少的时段进行模型训练，然后在指定时间，模型学习模块调用大语言模型服务模块的训练服务，将训练语料文件提交给服务接口开始训练模型，微调模型参数；
步骤（5）：大语言模型模型参数微调完成后向大语言模型服务模块发送完成指令，指令内容包含当前模型名称和版本信息，大语言模型服务将当前使用的模型替换为新版本的模型。
进一步的，所述大语言模型的构建方法如下：
步骤1）：获取基础大语言模型的模型，该模型已经经过大量语料文本训练，具备基础长对话能力；
步骤2）：准备若干条条故障诊断和维修报告的文本，删除文本内的低信息内容，低信息内容设定为包括文本：“另见”、“参考文献”、“外部链接”、“进一步阅读”、“脚注”、“参考书目”、“来源”、“引文”、“文献”、“脚注”、“注释和参考文献”、“图片库”、“引用作品”、“照片”、“图片库”、“注释”、“参考资料和来源”、“参考资料及注释”；
步骤3）：对于清洗后的报告文本数据，将文本信息划分为主题、标题和内容三部分内容，使用python语言的第三方库openai提供的相关功能，基于主题、标题和内容三个部分内容生成提问和对应的回答，整理成问答训练语料，将训练语料划分成训练集和测试集；
步骤4）：分别在训练集和测试集中制造一些反面问答数据，创建方法是：（1）将数据集中的问题和回答随机打乱配对；（2）向数据集中添加一些与故障诊断和维修无关的问题或回答，与原有的问题和回答配对；制造反面数据的目的是为了训练一个判别器模型，用来帮助系统判别根据当前知识是否可以回答用户提出的问题；
步骤5）：使用步骤4）生成的训练集训练步骤1）获取的基础大语言模型，由于基础大语言模型的参数达到百亿级别，因此步骤2）进行的专项文本训练对于大语言模型参数调整的量级相对来说是非常小的，称作参数微调，微调过程结束后即可获取基于大语言模型的问答模型和判别器模型；
步骤6）：测试当前模型，查看微调后的问答模型是否可以回答提出的故障诊断问题，以及判别器模型是否能判断出提问和答案对应的合理性；
步骤7）：模型通过测试后，将问答模型、判别器模型和将参数微调后的大语言模型部署在容器云平台上，使用大语言模型服务管理单元对其进行管理，向智能问答模块提供问答服务接口，向模型学习模块提供微调接口。
进一步的，所述步骤3之前还进行了大语言模型服务反馈的信息接收，反馈的内容包括问答模型对提问的回答和判别器模型对回答匹配程度的判断，对以上内容进行解析，对本次问答进行记录；
判别器模型给出的判定结果，确认大语言模型是否对本次提问做出回答，若判定问答文本之间的匹配度数值低于阈值，则认为大语言模型没有对本次提问做出回答，反之则认为模型对本次提问做出了回答。
进一步的，所述步骤3还包括：前台接收智能问答模块输出的回答信息，根据信息码的值在问答框中显示对应的内容，信息码为1，显示对应的回答文本；信息码为0则显示“本系统目前无法回答这个问题”。
本发明的有益效果是：
本发明以预训练大语言模型为基础，使用特定设备故障诊断和维修报告的文本进行参数微调训练，获取能够结合上下文，快速回答特定设备故障诊断和维修建议提问的私有大语言模型，大幅降低了工业设备日常维护工作对人力和专家经验的依赖。
本发明相对现有工业设备故障诊断和维修过程，能够以智能问答的形式，基于设备历史故障和维修信息，为使用者快速检索设备故障现象及其原因，并提供对应的探查路径和维修建议，从而降低工业设备维护的人力成本，实现故障诊断维修智能化。与现有基于知识图谱的智能对话系统相比，本发明具有上下文结合的能力，可以与用户进行连续问答而非单次问答，并且数据处理流程简单，模型维护成本低。
附图说明
图1为本发明的框架示意图；
图2为本发明的详细示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
结合附图1可见，本发明系统包括用户交互模块、智能问答模块、模型学习模块和大语言模型服务模块。如图1框架图示意，用户交互模块分别与智能问答模块和模型学习模块连接，智能问答模块和模型学习模块分别与大语言模型服务模块连接。
同时，本发明系统还包括数据存储模块，数据存储模块与用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块之间均存在数据传输接口，负责存储用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块发生的数据，其中：用户交互模块需要保存的数据为用户与系统的问答记录数据；模型学习模块需要保存的数据为训练文本数据、模型训练记录和训练日志、模块运行日志；智能问答模块和大语言模型服务模块需要保存的数据为模块运行日志。
下面以雷达的故障诊断和维修建议智能问答为例，展示本发明方法，首先构建大语言模型，具体过程为：
步骤1：获取基础大语言模型模型，此模型由大语言模型厂商提供，已经经过大量语料文本训练，具备基础长对话能力。
步骤2：准备500条雷达故障诊断和维修报告的文本，删除文本内的低信息内容，低信息内容设定为包含下述词语的文本：“另见”、“参考文献”、“外部链接”、“进一步阅读”、“脚注”、“参考书目”、“来源”、“引文”、“文献”、“脚注”、“注释和参考文献”、“图片库”、“引用作品”、“照片”、“图片库”、“注释”、“参考资料和来源”、“参考资料及注释”。
步骤3：对于清洗后的雷达报告文本数据，将文本信息划分为主题、标题和内容三部分内容，使用python语言的第三方库openai提供的相关功能，基于上述三个部分内容生成提问和对应的回答，整理成问答训练语料，将训练语料划分成训练集和测试集。
步骤4：分别在训练集和测试集中制造一些反面问答数据，创建方法是：（1）将数据集中的问题和回答随机打乱配对；（2）向数据集中添加一些与雷达故障诊断和维修无关的问题或回答，与原有的问题和回答配对；制造这些反面数据的目的是为了训练一个判别器模型，用来帮助系统判别根据当前知识是否可以回答用户提出的问题。
步骤5：使用步骤4生成的训练集训练步骤1获取的大语言模型，由于基础大语言模型的参数达到百亿级别，因此本发明进行的专项文本训练对于模型参数调整的量级相对来说是非常小的，称作参数微调，微调过程结束后即可获取基于大语言模型的问答模型和判别器模型。
步骤6：测试当前模型，查看微调后的问答模型是否可以回答提出的雷达故障诊断问题，以及判别器是否能判断出提问和答案对应的合理性。
步骤7：模型通过测试后，将问答模型和将参数微调后的模型部署在本系统的容器云平台上，使用模型服务管理单元对其进行管理，向智能问答模块提供问答服务接口，向模型学习模块提供微调接口。
本发明的系统智能问答和模型学习的过程如图2所示。
其中，大语言模型服务模块的功能可以划分成以下几个单元：
模型运行单元：负责保持大语言模型的持续正常运行，当模型因为程序异常或其他问题停止运行时，在服务器正常运转的条件下，模型运行单元负责立即重启模型运行的容器。
模型服务接口管理单元：负责管理大语言模型服务模块对外暴露的问答接口和训练接口，管理内容包括接口的访问权限和出入策略。
模型训练单元：负责根据模型学习模块发送的定时任务配置在指定时间启动模型训练的任务，调度模型训练资源，记录训练日志。
模型版本迭代管理单元：负责管理各版本模型的记录，包括：模型名称、模型版本、模型描述、模型训练时间；负责管理新模型的金丝雀发布和旧模型的逐步停用。
其中，智能问答流程包括以下几个步骤：
步骤1：用户在前台智能问答页面提问，用户前台交互模块将提问文本的字符串发送给智能问答模块。
步骤2：智能问答模块收到前台下发的提问文本，向大语言模型服务模块发送请求，调用其推理服务；此时如果有多个用户同时提问，则根据问题的优先级和时间戳来进行排序和回答。
步骤3：接收大语言模型服务反馈的信息，反馈的内容包括问答模型对提问的回答和判别器模型对回答匹配程度的判断，对以上内容进行解析，对本次问答进行记录。
步骤4：根据判别器模型给出的判定结果，确认大语言模型是否对本次提问做出回答，若判定问答文本之间的匹配度数值低于阈值，则认为大语言模型没有对本次提问做出回答，反之则认为模型对本次提问做出了回答。
步骤5：向前台发送回答的内容，如果模型做出了本次提问的回答，发送内容包含模型回答的文本和一个值为1的信息码，如果没有做出回答，则只发送一个值为0的信息码；
步骤6：前台接收智能问答模块输出的回答信息，根据信息码的值在问答框中显示对应的内容，信息码为1，显示对应的回答文本；信息码为0则显示“本系统目前无法回答这个问题！”
其中，模型学习流程包括以下几个步骤：
步骤1：用户在用户前台交互模块的模型学习页面上传的故障诊断与维修决策的文本文件，前台模块读取文本文件的内容，将内容发送给模型学习模块。
步骤2：接收到用户前台交互模块发送的文本内容，模型学习模块的数据清洗单元对新获取的新文本内容进行数据清洗，删除数据中的低信息内容，低信息内容设定为包含下述词语的文本：“另见”、“参考文献”、“外部链接”、“进一步阅读”、“脚注”、“参考书目”、“来源”、“引文”、“文献”、“脚注”、“注释和参考文献”、“图片库”、“引用作品”、“照片”、“图片库”、“注释”、“参考资料和来源”、“参考资料及注释”；然后数据结构化单元从文本中提取主题、标题和内容三个部分数据。
步骤3：基于步骤2提取到的文本主题、标题和内容，模型学习模块的语料生成单元生成若干个（通常是3至5个）问题并生成对应回答，将问题和回答写入训练语料文件；
另外再生成一些反面问答数据，创建方法是：（1）将数据集中的问题和回答随机打乱配对；（2）向数据集中添加一些与雷达故障诊断和维修无关的问题或回答，与原有的问题和回答配对。
步骤4：模型学习模块添加一个定时任务，定时原则是系统使用人数较少的时段进行模型训练，定时任务的内容包括：任务编号、训练时间、训练语料文件名称、训练语料文件位置、新模型名称、新模型版本；
步骤5：大语言模型服务模块接收到模型学习模块发送的定时任务配置信息，利用容器云平台的定时任务调度功能按照定时任务配置信息中的要求配置该任务并在指定时间开始训练，训练过程中记录本次训练日志。
步骤6：模型参数微调完成后按照定时任务配置信息中的新模型名称和版本纳入大语言模型服务模块的版本管理，在模型服务接口管理单元的调配下对智能问答模块暴露服务，经过用户前台测试确认后，利用容器云平台的金丝雀发布模式在不影响用户使用的情况下逐渐替代前一个版本的模型。
本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (5)
1.基于大语言模型的故障诊断和维修建议智能问答系统，其特征在于，包括：
用户交互模块，提供智能问答系统的前台界面，将用户提出的问题传输给智能问答模块，并将智能问答模块反馈的故障诊断结论和维修建议展示在前台界面；提供上传新的故障诊断和维修报告文本文件的前台入口，将新的故障诊断和维修报告文本文件发送到模型学习模块；
模型学习模块，将用户交互模块传输来的新文本进行数据清洗、分析、结构化一系列处理，使用处理后的文本微调现有大语言模型的模型参数，从而优化大语言模型的推理效果；
智能问答模块，调用大语言模型服务模块提供的模型服务对用户提出的故障诊断和维修决策问题进行分析，并将反馈回答传输给用户交互模块；
大语言模型服务模块，对模型学习模块、智能问答模块与大语言模型服务的连接状态进行管理，保证智能问答模块对服务进行调用时的连接稳定性和可靠性，当大语言模型的参数发生微调时，对智能问答模块服务进行平滑切换；
所述大语言模型服务模块使用的大语言模型是以经过大量公开语料训练的大语言模型为基础，使用私有故障诊断和维修决策文本进行参数微调训练后得到的私有模型，所述私有模型运行在本地容器云平台上，智能问答模块调用的模型服务是私有模型提供的服务；
所述大语言模型服务模块划分成以下几个单元：
模型运行单元：负责保持大语言模型的持续正常运行，当模型因为程序异常或其他问题停止运行时，在服务器正常运转的条件下，模型运行单元负责立即重启模型运行的容器；
模型服务接口管理单元：负责管理大语言模型服务模块对外暴露的问答接口和训练接口，管理内容包括接口的访问权限和出入策略；
模型训练单元：负责根据模型学习模块发送的定时任务配置在指定时间启动模型训练的任务，调度模型训练资源，记录训练日志；
模型版本迭代管理单元：负责管理各版本模型的记录，包括：模型名称、模型版本、模型描述、模型训练时间；负责管理新模型的金丝雀发布和旧模型的逐步停用；
所述大语言模型的构建方法如下：
步骤1）：获取基础大语言模型，该模型已经经过大量语料文本训练，具备基础长对话能力；
步骤2）：准备若干条故障诊断和维修报告的文本，删除文本内的低信息内容，低信息内容设定为包括文本：“另见”、“参考文献”、“外部链接”、“进一步阅读”、“脚注”、“参考书目”、“来源”、“引文”、“文献”、“脚注”、“注释和参考文献”、“图片库”、“引用作品”、“照片”、“图片库”、“注释”、“参考资料和来源”、“参考资料及注释”；
步骤3）：对于清洗后的报告文本数据，将文本信息划分为主题、标题和内容三部分内容，使用python语言的第三方库openai提供的相关功能，基于主题、标题和内容三个部分内容生成提问和对应的回答，整理成问答训练语料，将训练语料划分成训练集和测试集；
步骤4）：分别在训练集和测试集中制造一些反面问答数据，创建方法是：（1）将数据集中的问题和回答随机打乱配对；（2）向数据集中添加一些与故障诊断和维修无关的问题或回答，与原有的问题和回答配对；制造反面数据的目的是为了训练一个判别器模型，用来帮助系统判别根据当前知识是否可以回答用户提出的问题；
步骤5）：使用步骤4）生成的训练集训练步骤1）获取的基础大语言模型，由于基础大语言模型的参数达到百亿级别，因此步骤2）进行的专项文本训练对于大语言模型参数调整的量级相对来说是非常小的，称作参数微调，微调过程结束后即可获取基于大语言模型的问答模型和判别器模型；
步骤6）：测试当前模型，查看微调后的问答模型是否可以回答提出的故障诊断问题，以及判别器模型是否能判断出提问和答案对应的合理性；
步骤7）：模型通过测试后，将问答模型、判别器模型和将参数微调后的大语言模型部署在容器云平台上，使用大语言模型服务管理单元对其进行管理，向智能问答模块提供问答服务接口，向模型学习模块提供微调接口。
2.根据权利要求1所述的基于大语言模型的故障诊断和维修建议智能问答系统，其特征在于，还包括数据存储模块，数据存储模块与用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块之间均存在数据传输接口，负责存储用户交互模块、模型学习模块、智能问答模块、大语言模型服务模块发生的数据，其中：用户交互模块需要保存的数据为用户与系统的问答记录数据；模型学习模块需要保存的数据为训练文本数据、模型训练记录和训练日志、模块运行日志；智能问答模块和大语言模型服务模块需要保存的数据为模块运行日志。
3.基于权利要求1-2任一所述的基于大语言模型的故障诊断和维修建议智能问答系统的智能问答方法，其特征在于，包括以下步骤：
步骤1：用户交互模块的前台页面获取用户提出的问题，将问题的文本发送给智能问答模块；
步骤2：智能问答模块获取提问文本，调用大语言模型服务，把提问文本提交给模型服务接口；
进行大语言模型服务反馈的信息接收，反馈的内容包括问答模型对提问的回答和判别器模型对回答匹配程度的判断，对以上内容进行解析，对本次问答进行记录；
判别器模型给出的判定结果，确认大语言模型是否对本次提问做出回答，若判定问答文本之间的匹配度数值低于阈值，则认为大语言模型没有对本次提问做出回答，反之则认为模型对本次提问做出了回答；
步骤3：获取大语言模型服务模块对于提问文本的反馈回答，解析反馈内容，如果反馈内容显示做出了回答，则将回答内容的文本发送到前台交互模块，如果反馈内容显示无法做出回答，则将无法回答的信息码发送到前台交互模块，前台页面显示无法回答的提示信息；
还包括模型学习过程，具体为：
步骤（1）：用户交互模块的前台页面获取用户上传的故障诊断与维修决策的文本文件，将文本文件的内容发送给模型学习模块；
步骤（2）：模型学习模块的数据清洗单元对新获取的新文本内容进行数据清洗，删除文本中的低信息内容，数据结构化单元则从文本中提取标题、主题和内容；
步骤（3）：模型学习模块的语料生成单元从处理后的文本中生成问题并生成对应回答，将问题和回答写入训练语料文件，另外再生成一些干扰数据作为对抗训练的样本加入训练语料文件中；
步骤（4）：模型学习模块添加一个定时任务，定时原则是系统使用人数较少的时段进行模型训练，然后在指定时间，模型学习模块调用大语言模型服务模块的训练服务，将训练语料文件提交给服务接口开始训练模型，微调模型参数；
步骤（5）：大语言模型模型参数微调完成后向大语言模型服务模块发送完成指令，指令内容包含当前模型名称和版本信息，大语言模型服务将当前使用的模型替换为新版本的模型。
4.根据权利要求3所述的基于大语言模型的故障诊断和维修建议智能问答系统的智能问答方法，其特征在于，所述步骤2中有多个用户同时提问，则根据问题的优先级和时间戳来进行排序和回答。
5.根据权利要求3所述的基于大语言模型的故障诊断和维修建议智能问答系统的智能问答方法，其特征在于，所述步骤3还包括：前台接收智能问答模块输出的回答信息，根据信息码的值在问答框中显示对应的内容，信息码为1，显示对应的回答文本；信息码为0则显示“本系统目前无法回答这个问题”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311373868.1A CN117112769B (zh) | 2023-10-23 | 2023-10-23 | 基于大语言模型的故障维修智能问答系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311373868.1A CN117112769B (zh) | 2023-10-23 | 2023-10-23 | 基于大语言模型的故障维修智能问答系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117112769A CN117112769A (zh) | 2023-11-24 |
| CN117112769B true CN117112769B (zh) | 2024-04-09 |
Family
ID=88809470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311373868.1A Active CN117112769B (zh) | 2023-10-23 | 2023-10-23 | 基于大语言模型的故障维修智能问答系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117112769B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117453895B (zh) * | 2023-12-20 | 2024-03-01 | 苏州元脑智能科技有限公司 | 一种智能客服应答方法、装置、设备及可读存储介质 |
| CN118035425A (zh) * | 2024-04-12 | 2024-05-14 | 清华大学 | 基于自然语言模型的交互方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114691831A (zh) * | 2022-03-31 | 2022-07-01 | 彩虹无线（北京）新技术有限公司 | 一种基于知识图谱的任务型汽车故障智能问答系统 |
| CN116450833A (zh) * | 2022-12-31 | 2023-07-18 | 西南交通大学 | 一种复杂装备知识图谱构建系统 |
| CN116484262A (zh) * | 2023-05-06 | 2023-07-25 | 南通大学 | 一种基于文本分类对纺织设备故障辅助处理方法 |
| CN116775911A (zh) * | 2023-08-22 | 2023-09-19 | 北京六元空间信息科技有限责任公司 | 基于问卷和大模型的医学队列随访对话辅助方法及系统 |
-
2023
- 2023-10-23 CN CN202311373868.1A patent/CN117112769B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114691831A (zh) * | 2022-03-31 | 2022-07-01 | 彩虹无线（北京）新技术有限公司 | 一种基于知识图谱的任务型汽车故障智能问答系统 |
| CN116450833A (zh) * | 2022-12-31 | 2023-07-18 | 西南交通大学 | 一种复杂装备知识图谱构建系统 |
| CN116484262A (zh) * | 2023-05-06 | 2023-07-25 | 南通大学 | 一种基于文本分类对纺织设备故障辅助处理方法 |
| CN116775911A (zh) * | 2023-08-22 | 2023-09-19 | 北京六元空间信息科技有限责任公司 | 基于问卷和大模型的医学队列随访对话辅助方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117112769A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117112769B (zh) | 基于大语言模型的故障维修智能问答系统及方法 | |
| Evans et al. | A holistic view of the knowledge life cycle: the knowledge management cycle (KMC) model | |
| Evans et al. | A holistic view of the knowledge life cycle: the knowledge management cycle (KMC) model | |
| CN110008322A (zh) | 多轮对话场景下的话术推荐方法和装置 | |
| CN110825858A (zh) | 一种应用于客户服务中心的智能交互机器人系统 | |
| CN105704400A (zh) | 一种基于多平台终端和云服务的学习系统及其运行方法 | |
| CN103425640A (zh) | 一种多媒体问答系统及方法 | |
| Delen et al. | A holistic framework for knowledge discovery and management | |
| CN109688046A (zh) | 问题管理方法、装置、设备及存储介质 | |
| CN115619383A (zh) | 一种基于知识图谱的故障诊断方法、装置及计算设备 | |
| CN113760464A (zh) | 一种基于深度学习的人工智能模型开发平台 | |
| CN112667909A (zh) | 一种智能家居中推荐场景的方法和装置 | |
| CN117331730A (zh) | 故障诊断方法、装置、电子设备及存储介质 | |
| CN117149988B (zh) | 基于教育数字化的数据管理处理方法及系统 | |
| Farr et al. | Documenting the modeling process with a standardized data structure described and implemented in DynamicVu | |
| CN101377772B (zh) | 用于全球化支持操作的系统和方法 | |
| US20220406210A1 (en) | Automatic generation of lectures derived from generic, educational or scientific contents, fitting specified parameters | |
| CN108062333B (zh) | 劣质题目数据的处理方法和装置 | |
| CN113963578A (zh) | 一种面向知识服务与技能演练的自适应培训系统及培训方法 | |
| CN112633919A (zh) | 一种智能客服的实现方法及系统 | |
| CN112287104A (zh) | 一种自然语言处理方法和装置 | |
| CN110147980A (zh) | 工单处理方法及装置 | |
| Tunnicliffe et al. | Knowlege elicitation in design | |
| CN110297916A (zh) | 一种网络教学系统的交互控制方法 | |
| CN109545285A (zh) | 一种核反应堆数字实验平台的知识使用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |