CN118114889A - 危化品应急辅助救援决策系统的构建方法及系统 - Google Patents
危化品应急辅助救援决策系统的构建方法及系统 Download PDFInfo
- Publication number
- CN118114889A CN118114889A CN202410536157.XA CN202410536157A CN118114889A CN 118114889 A CN118114889 A CN 118114889A CN 202410536157 A CN202410536157 A CN 202410536157A CN 118114889 A CN118114889 A CN 118114889A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- constructing
- emergency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000126 substance Substances 0.000 title claims abstract description 61
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 78
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 239000000779 smoke Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 16
- 235000002198 Annona diversifolia Nutrition 0.000 description 9
- 241000282842 Lama glama Species 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000001257 hydrogen Substances 0.000 description 6
- 229910052739 hydrogen Inorganic materials 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012824 chemical production Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000383 hazardous chemical Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001416177 Vicugna pacos Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000005829 chemical entities Chemical class 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000009428 plumbing Methods 0.000 description 1
- 238000001907 polarising light microscopy Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于化工园区应急管理技术领域，具体涉及一种危化品应急辅助救援决策系统的构建方法及系统。该构建方法，包括如下步骤：构建包括预处理安全事故应急预案的训练数据集；通过高效微调训练方法构建由大语言模型和Lora模型组成的应急辅助决策模型并微调训练；所述应急辅助决策模型对于输入的自然语言事故描述，进行决策或应急辅助救援决策信息生成。本发明可以帮助园区应急救援系统更快速、准确地响应突发事件，并传递出相应建议。
Description
技术领域
本发明属于化工园区应急管理技术领域，具体涉及一种危化品应急辅助救援决策系统的构建方法及系统。
背景技术
化工园区应急管理系统是为了提高应对化学事故的能力和减轻化学事故的危害而设计的一种信息化系统。它主要包括事故监测预警、事故模拟与评估、应急资源调度和应急方案生成等模块。该应用目前一般具有如下功能：
监测预警功能：化工园区内的各类传感器和监测设备实时收集数据，通过网络传输至应急救援辅助决策系统中，实现对园区内各类危险化学品的监测和预警。
事故模拟与评估：在发生事故时，系统可以快速运用数学模型进行事故扩散的模拟，预测事故可能带来的危害范围和程度，为救援工作提供科学依据。
应急资源调度：系统具备资源管理和调度功能，能够实时查询、分析和调度应急救援资源，提高应急救援的响应速度和效率。
应急方案生成：根据事故发生的类型和程度，系统能够快速生成相应的应急预案，指导现场救援人员采取正确的救援措施。
化工园区的辅助决策模型常常需要对大量的文本信息进行处理和分析，包括企业安全管理方案、现场监测数据、应急预案、地图等诸多文件。当前技术存在的问题如下：
（1）消耗人力资源：如果要手工实现对这些信息的提取，分类，归档，显然需要大量的人力投入，效率低下，效果不佳。
（2）容易产生人为错误：由于大量信息的细节稍纵即逝，繁琐机械的人工操作容易产生判读错误，给化工园区安全管理工作带来不可预测的安全隐患。
（3）信息提取效率低、决策制定不准确：现有技术的信息提取效率往往较低，可能导致遗漏重要信息或对紧急事件的反应过慢，给化工园区历史留下伤痕或安全风险。
（4）不能自动处理海量文本数据：将文本信息转为机器可读的数据非常困难，大量的文本数据将难以被系统处理，可能导致混乱的信息处理和不安全的决策制定。
总体而言，现有的化工园区辅助决策模型可能面临人力不足、错误率高、信息提取效率低和不准确等问题。如何提高模型的效率、准确性和安全性帮助化工园区辅助决策模型快速解析、处理、理解和提取这些文件中的重要信息是亟需解决的问题。
发明内容
本发明的发明目的是提供一种危化品应急辅助救援决策系统的构建方法及系统，可以帮助园区应急救援系统更快速、准确地响应突发事件，并传递出相应建议。
为实现上述发明目的，本发明的技术方案如下：
一种危化品应急辅助救援决策系统的构建方法，包括如下步骤：
构建包括预处理安全事故应急预案的训练数据集；
通过高效微调训练方法构建由大语言模型和Lora模型组成的应急辅助决策模型并微调训练；
所述应急辅助决策模型对于输入的自然语言事故描述，进行应急辅助救援决策信息生成。
大语言模型（Large Language Model，简称LLM）是一类采用深度学习技术训练的、具有大量参数和大规模数据集的自然语言处理（NLP）模型。这些模型的目标是理解和生成自然语言，以实现各种语言任务，如机器翻译、文本摘要、问答模型、情感分析等。大语言模型的关键技术是Transformer架构，这是一种在自然语言处理领域具有革命性意义的神经网络结构。Transformer具有更好的性能和更高的计算效率，包括自注意力机制、多头自注意力、位置编码和残差连接与层归一化。自注意力机制可以捕捉输入序列中的长距离依赖关系，对每个词汇的表示都考虑了其在整个序列中的上下文，这使得模型可以更好地理解和表示语言结构；多头自注意力可以同时学习不同层次和方面的依赖关系，提高模型的表达能力，由于Transformer没有循环结构，需要通过位置编码来给模型提供单词在序列中的位置信息；残差连接与层归一化：这两个技术可以加速模型训练，提高模型性能。
基于大语言模型的自然语言处理技术可以为应急救援提供智能化支持，提高救援效果，潜在应用场景如下：
实时信息处理：大语言模型可以对实时产生的文本信息进行快速处理，如从社交媒体、新闻报道等获取现场情况，帮助应急救援人员更好地了解事故发展。
事故报告分析：大语言模型可以用于自动分析历史事故报告，提取关键信息，为制定应急预案和防范措施提供数据支持。
智能问答模型：基于大语言模型的智能问答模型可以为现场救援人员提供实时的专家建议和指导，帮助他们在紧急情况下做出正确决策。
自动化应急方案生成：结合大语言模型和专家知识库，可以自动生成针对特定事故类型的应急方案，提高应急救援的响应速度和效率。
跨部门协同与信息共享：大语言模型可以帮助实现不同部门和机构间的信息自动提取与整合，加强跨部门协同和信息共享，提高应急救援的整体效果。
培训与模拟：应用大语言模型，可以为化工园区从业人员提供虚拟实景模拟训练，帮助他们更好地理解和应对各种事故情况。
预警系统：利用大语言模型，可以建立智能预警系统，对园区内的各类文本信息进行实时监控，及时发现潜在的安全隐患和异常情况。
大语言模型在化工园区应急管理方面具有广泛的应用潜力。然而对化工园区危险化学品生产安全事故应急预案文档进行分析，文档内容主要分为文字段落数据和和表格数据两种，表格通常包含各种明细数据，如园区管廊公司各用户管道明细、化学事故应急救援总指挥部成员联络表、企业应急救援物资一览表、主要危险化学品单位概况和企业基本信息一览表等；文字段落则要复杂很多，例如包括目录层次分析、命名实体识别，语义角色标注。而大语言模型不具备中文理解和对话能力，因此需要使用预处理安全事故应急预案的训练数据集进行训练；为使最终的模型满足使用要求，还需要使用高效微调训练方法进行训练和模型构建。
在上述的危化品应急辅助救援决策系统的构建方法中，还包括传感器数据处理模块，原始传感器输入的各种数据，通过传感器数据处理模块的运算，转化为自然语言事故描述。
预训练的大语言模型不具备中文理解和对话能力，因此需要使用中文通用领域知识数据集进行训练；为使最终的问答模型满足专业领域的要求，还需要使用专业领域的知识数据集进行训练。
在上述的危化品应急辅助救援决策系统的构建方法中，所述构建训练数据集包括：
对安全事故应急预案文档进行分析得到文字段落数据和表格数据两类，
对此两类数据进行处理构建训练数据集，训练大语言模型的数据集格式为自然语言事故描述-决策/信息格式。
对化工园区危险化学品生产安全事故应急预案文档进行分析，文档内容主要分为文字段落数据和和表格数据两种。表格通常包含各种明细数据，如园区管廊公司各用户管道明细、化学事故应急救援总指挥部成员联络表、企业应急救援物资一览表、主要危险化学品单位概况和企业基本信息一览表等。对于表格数据，直接使用大模型API进行处理。对于文字段落的处理，则要复杂很多，例如包括目录层次分析、命名实体识别，语义角色标注和大模型API处理等步骤。
训练集不仅仅包括自然语言事故描述，还包括由自然语言描述的各种需要模型掌握的信息，如化工园区危化品、管理者、地理信息等。
在上述的危化品应急辅助救援决策系统的构建方法中，所述高效微调训练方法包括如下步骤：
S1 构建通用知识与专业知识的联合中文数据集，
S2 构建大语言模型网络结构，导入大语言模型预训练权重，
S3 构建可支持低秩自适应高效微调训练的低秩自适应高效微调模型，
S4 以低秩自适应高效微调方法训练联合模型，
S5 测试联合模型，获得应急辅助决策模型。
预训练与微调（Pre-training and Fine-tuning）是大语言模型训练过程中的一种重要策略。具体分为以下两个阶段：
预训练：模型在大规模无标注文本数据上进行无监督学习，目标是学习语言的通用知识和语义结构。预训练任务通常采用自回归（如GPT系列）或者掩码语言模型（如BERT系列）的方式。
微调：模型在特定任务的有标签数据上进行有监督学习，调整模型权重以适应具体任务的需求。微调过程可以看作是在预训练好的模型基础上进行“任务定制”。本申请可以使用预训练完成的大模型，也可以使用对安全事故应急预案文档处理后得到的数据集进行预训练。而对于微调阶段，本发明提出了以上流程。其中：
S1 构建通用知识与专业知识的联合中文数据集，预训练大语言模型不具备中文理解和对话能力，因此需要使用中文通用领域知识数据集进行训练；为使最终的问答模型满足专业领域的要求，还需要使用专业领域的知识数据集进行训练。训练大语言模型的数据集格式为指令-答案格式。
S2 构建大语言模型网络结构，导入大语言模型预训练权重，定义和搭建大语言模型的网络结构，导入研究人员在大量语料数据集上，使用大规模GPU服务器集群训练得到的预训练权重。
S3 构建可支持低秩自适应高效微调训练的低秩自适应高效微调模型，构建低秩自适应高效微调模型包括以下步骤：
S3-1设置低秩自适应高效微调的参数，包括Lora的网络层维度、Lora的网络层缩放因子、Lora的doupout比率等，构建Lora旁路网络；
S3-2将大语言模型转换为可支持int8精度训练的模型；
S3-3将转换后的模型与Lora旁路网络联结起来，组成可支持低秩自适应高效微调训练的模型。
低秩自适应高效微调（Lora）方法可以使大语言模型高效适应各种专业应用领域，而无需微调模型的所有参数。在原始的预训练大语言模型旁边增加一个旁路网络，训练的时候固定原始的预训练大语言模型的参数，只训练旁路网络的参数。联合模型前向推理时将Lora旁路网络与原始的预训练大语言模型的参数叠加。
S4以低秩自适应高效微调方法训练联合模型；
S4-1将联合模型传入训练设备，可设置单颗GPU训练或者多颗GPU并行训练；
S4-2设置训练批次大小、小批次大小、训练总轮次、初始学习率、训练数据token截断长度、验证集大小、优化器、模型验证和保存间隔、抑制过拟合方法等训练参数；
S4-3调用tranformers库中的train函数进行联合模型的训练。
S5测试模型。输入指令，测试模型输出与正确答案的匹配度。
在上述的危化品应急辅助救援决策系统的构建方法中，所述传感器数据处理包括以下步骤：
需求分析：确定传感器数据处理模块的目标和范围，定义需要处理的传感器数据类型，确定事故描述的格式和内容；
数据清洗和预处理：确保传感器数据质量，去除异常值和噪声；
数据整合和关联：将来自不同传感器的数据整合在一起，并关联位置坐标信息；
事件检测和分类：识别可能的事故发生，标记事件；
时间信息提取：从时间戳中提取各个时间信息；
事故描述生成：根据触发的事件和时间信息生成符合预定格式的事故描述。
开始传感器输入的各种数据（位置坐标、温度、压力、声音、光电信号、烟雾火焰、气体泄漏等等），通过传感器数据处理模块的处理，转化为类似于“2023年1月3日14点20分，在(30.7461, 120.7795)发生火灾！”的直观的事故描述。
在上述的危化品应急辅助救援决策系统的构建方法中，所述事件检测和分类中利用规则引擎和/或机器学习进行事故识别和标记，具体如下：
利用规则引擎检测事件，包括当温度超过设定阈值、或者探测到烟雾、气体泄漏时触发事件；
机器学习：采用机器学习算法进行数据之间存在复杂关联的情况下的事件分类。
利用规则引擎检测事件，例如当温度超过设定阈值、或者探测到烟雾、气体泄漏等情况时触发事件。这种方法适用于简单且明确定义的规则，易于解释和调整。
机器学习则针对更复杂的情况，采用机器学习算法进行事件分类。这种方法在处理大量传感器数据、数据之间存在复杂关联时表现优异，能够适应较为模糊或不清晰的事故发生规律。机器学习的优势在于：机器学习能够有效地应对大量传感器数据输入，尤其在数据之间存在复杂关联的情况下表现卓越，相比于基于规则的方法，能更好地适应动态环境和变化的数据模式。
规则引擎和机器学习方法可以根据不同的需求和数据情境相互补充，形成一个综合而强大的事件检测和分类系统。这样的系统在灵活性、适应性和准确性方面都能够取得较好的平衡。
在上述的危化品应急辅助救援决策系统的构建方法中，所述自然语言事故描述包括由传感器数据处理模块处理原始传感器数据生成或者由人工观测描述生成。
传感器数据处理模块自动处理原始数据并生成事故描述，与人工观测生成是并列关系，二者有其一即可运行后续模块。例如，除了传感器报警，还可以人类直接描述“某时某地发生了某某事故，输入系统，得到辅助决策信息”。在上述的危化品应急辅助救援决策系统的构建方法中，所述数据集扩展和迭代包括：
累积应急辅助决策模型生成的决策或信息形成系统历史运行数据，
将系统历史运行数据输入人类反馈纠错模块处理，处理后的数据加入训练数据集。
优选地，系统历史运行累计一定的数据后，经过人工筛选和纠错，加入历史累积数据集参与模型的微调训练。
本发明还提供了一种基于大语言模型的危化品应急辅助救援决策系统，该系统由上述任意一项所述的危化品应急辅助救援决策系统的构建方法构建。
通过将大语言模型与现有的应急救援系统相结合，可以为化工园区应急救援提供更高效的支持，可以帮助园区应急救援系统更快速、准确地响应突发事件，并传递出相应建议。
与现有技术相比，本发明的有益效果体现在：
（1）本发明提供的危化品应急辅助救援决策系统的构建方法可以为应急救援提供智能化支持，提高救援效果。包括利用构建的系统进行实时信息处理、事故报告分析、智能问答模型、自动化应急方案生成、跨部门协同与信息共享以及建立智能预警系统，对园区内的各类文本信息进行实时监控，及时发现潜在的安全隐患和异常情况。
（2）本发明提供的危化品应急辅助救援决策系统的构建方法可以帮助化工园区辅助决策模型快速解析、处理、理解和提取大量的文本信息中的重要信息。人力资源需求小，信息提取效率高还能提供精准的决策，提高了模型的效率、准确性和安全性。
（3）本发明提供的基于大语言模型的危化品应急辅助救援决策系统可以与化工园区应急救援系统结合使用，提高园区应急救援响应速度和效率，规范化应急救援流程，并提高园区的应急救援水平。
（4）本发明提供的应急辅助决策模型能够迅速回答各种应急问题，快速定位问题的关键内容，帮助救援人员更快地了解情况，有针对性地进行应对处理；还可以规范应急救援流程，提高救援效率和成功率，避免不必要的时间和物力浪费。
（5）本发明提供的应急辅助决策模型在人工应急救援系统处于高峰时，模型可以迅速分析和响应，为救援人员提供有效帮助，快速提供有效应急方案，提高应急救援响应速度和效率。与人机交互更好的实现。
（6）本发明提供的应急辅助决策模型可以帮助化工企业和救援人员学习实用的防止化学事故的知识，并培养应急反应能力，提高整个园区的安全意识；还可以用于培训官方救援人员与化工企业员工，大多数事件可以自动分类并提供可靠的指导方针。它可以规范应急救援流程，提高救援效率和成功率，避免不必要的时间和物力浪费。
附图说明
图1为本发明基于大语言模型的危化品应急救援辅助决策系统的结构示意图；
图2为本发明高效微调训练方法步骤示意图。
具体实施方式
下面列举具体实施方式对本发明的技术方案做进一步详细说明。
实施例1
本实施例提供了一种危化品应急辅助救援决策系统的构建方法，以大语言模型LLaMA-7B为例，LLaMA是2023年由MetaAI提出的一个基础语言模型集合，参数范围从7B到65B。在数万亿token上训练模型，并表明有可能只使用公开可用的数据集来训练最先进的模型，而不求助于专有和不可访问的数据集。特别是，LLaMA-13B在大多数基准上优于GPT-3(175B)， LLaMA-65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。开源的LLaMA模型是最受研究者欢迎的大语言模型之一。基于Transformer架构的LLaMA在以下方面作了卓有成效的改进：训练数据的选择与清洗、每个Transformer子层的归一化、SwiGLU激活函数替换了ReLU、Rotary Embeddings方法、重新设计的高效训练方法。以上的创新使得LLaMA在多个任务和数据集上的评测结果达到了最优的性能。
如图1和图2所示，本实施例的实施流程如下：
一、配置深度学习项目的虚拟环境。
使用conda创建虚拟环境，命名为llama。Python版本为3.9.16，pytorch版本为2.0.0。除了transformers包和peft包之外，其他所需包按照运行LLaMA-7B模型的要求使用pip install命令进行安装。对于transformers包和peft包，则需要进行本地安装，首先分别克隆其开源项目，再分别运行其项目中包含的setup.py程序进行安装。
二、构建专业领域知识中文数据集。
根据危险化学品生产安全事故应急预案构建化工园区应急管理知识数据集。基于大语言模型的危化品应急辅助救援决策系统所需的数据集格式为指令-答案的格式。因此需要将应急预案中的段落和表格转化为指令-答案格式。表格因其结构性强，处理较为简单，编写简单的python程序即可将表格中的知识转化为指令-答案的格式，再存入json文件。对于段落的处理，利用大语言模型ChatGPT的强大语言理解能力，输入段落，使其按照所需求的格式输出涵盖段落知识内容的指令-答案数据，存入json文件。本实施例中，专业知识数据集数据量约400条。专业知识数据集数据样例示意表1：
表1 专业知识数据集数据样例示意表
三、构建通用知识与专业知识的联合中文数据集。
构建联合数据集时，通用知识只选取一遍，专业领域知识重复选取5次，以此强化模型对专业领域知识的学习。通用知识中文数据集来自开源项目https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM。该开源项目发布的alpaca_gpt4_data_zh数据集包含了52000条中文指令-答案的数据，涵盖常见的领域和知识。构建通用领域知识与专业领域知识的联合中文数据集，而不是仅仅使用专业领域知识中文数据集的原因在于，LLaMA系列模型预训练的语料数据集未包含中文，因此中文理解和对话能力欠缺。仅使用上述构建的小规模专业知识中文数据集训练LLaMA系列模型，无法使其具备基本的中文理解和对话能力。
四、构建LLaMa-7B网络结构，导入预训练的网络权重。
具体为利用transformers包中的LlamaForCausalLM方法构建LLaMa-7B网络结构。以8比特精度导入预训练的LLaMa-7B网络权重。
五、设置低秩自适应高效微调的参数，构建Lora旁路网络。
低秩自适应高效微调(Lora) 方法可以使预训练语言模型高效适应各种下游应用程序，而无需微调模型的所有参数。微调大型 PLM 的成本通常高得令人望而却步。在这方面，Lora仅微调少量（额外）模型参数，从而大大降低了计算和存储成本。本实施例中，Lora的attention维度设置为16，Lora缩放因子设置为16，dropout设置为0.1。
六、低秩自适应高效微调训练前的准备。
开源项目https://github.com/huggingface/peft为Lora提供了一些工具类方法。
1、首先从peft导入LoraConfig、get_peft_model、get_peft_model_state_dict、prepare_model_for_int8_training、set_peft_model_state_dict方法。
2、基于上述步骤五的参数，使用LoraConfig方法获得可供低秩自适应高效微调使用的config参数：
config = LoraConfig(r=16,Lora_alpha=16,target_modules=Lora_target_modules,Lora_dropout=0.1,bias="none",task_type="CAUSAL_LM")
3、将LLaMA模型转化为可以支持int8精度训练的模型：
model = prepare_model_for_int8_training(model)
4、基于2)中的参数config，使用get_peft_model方法，将Lora旁路网络与3中转换后的LLaMA模型联结起来，转换为peft支持的模型：
model = get_peft_model(model, config)
5、将模型传入训练设备，可以选择单颗GPU训练或者多颗GPU并行训练；
七、构建低秩自适应高效微调训练器trainer和训练方法train：
开始训练，此部分内容参考了开源项目https://github.com/tloen/alpaca-Lora。包括以下步骤：
1、设置基础大语言模型为LLaMA；
2、设置训练数据集为通用知识与专业知识的联合中文数据集；
3、设置训练检查点和模型保存路径；
4、设置训练批次大小batch_size为128；
5、设置小批次大小micro_batch_size为4；
6）设置训练总轮次num_epochs为6；
7、设置初始学习率为3e-4；
8、设置训练语料token的截断长度为512；
9、设置验证集大小为2000；
10、设置每颗GPU上的批次大小per_device_train_batch_size为4；
11、设置梯度加速步数gradient_accumulation_steps=batch_size // micro_batch_size，即为32；
12、设置学习率在达到最大值前的“热身步数”warmup_steps为100；
13、设置训练优化器为adamw_torch；
14、设置训练过程中每隔200步验证和保存一次模型；
15、为了抑制神经网络训练的过拟合现象，设置L2正则化中的参数weight_decay为0.01。
16、调用训练器trainer中的train方法进行训练。
八、模型训练完成后，对基于大语言模型的危化品应急辅助救援决策系统进行测试，方法为传入事故描述，得到应急辅助决策。测试结果示例如下表2和表3。
表2 测试结果示例表一
表3 测试结果示例表二
九、从原始传感器数据得到事故描述的具体方法举例如下：
1、假设有以下原始数据：传感器编号、传感器类型、传感器位置坐标、传感器具体位置、时间戳、传感器读数,其中氢气浓度单位为PPM，读数范围为0-1000，超过200PPM视为泄露事件；传感器相应参数和传感器读数分别参见表4和表5。
表4 传感器表
表5 传感器读数表
2、数据清洗和预处理：本实施例中处理、记录异常读数的方式如下：
invalid_readings = sensor_readings[(sensor_readings['reading'].isnull())]
if not invalid_readings.empty:
# 输出异常传感器ID、位置和企业园区名称
print(f"异常读数的传感器ID：{invalid_readings['sensor_id'].tolist()}")
print(f"对应位置：{list(zip(sensor_info['latitude'], sensor_info['longitude']))}")
print(f"对应企业园区名称：{sensor_info['specific_location'].tolist()}")
3、将传感器的数据整合在一起，确保每个数据点都有对应的位置坐标信息和对应企业园区名称信息：本实施例中整合数据的方式如下：
merged_data = pd.merge(sensor_readings, sensor_info[['sensor_id', 'latitude', 'longitude', 'specific_location']], on='sensor_id', how='left')
4、利用规则引擎或机器学习算法进行事件检测，当氢气浓度超过报警阈值（200PPM）时标记为氢气泄漏事件。本实施例中使用规则引擎检测氢气泄漏事件的方式如下：
merged_data['hydrogen_leak_event'] = (merged_data['sensor_type']== 'Hydrogen')&(merged_data['reading']>200)
5、从时间戳中提取年、月、日、时和分的信息。
6、结合事件标记、时间信息和位置坐标，生成符合格式的事故描述。本实施例中生成事故描述的方式如下：
event_data = merged_data[merged_data['hydrogen_leak_event']].iloc[0]
# 假设只有一个事件
accident_description = f"{event_data['year']}年{event_data['month']}月{event_data['day']}日"\f"{event_data['hour']}点{event_data['minute']}分，" \f"在{event_data['specific_location']}的位置发生氢气泄漏事件！"
本实施例仅是一个简化的模拟过程。在实际应用中，会涉及到更多的数据特征、更复杂的处理逻辑。
本发明旨在赋予化工园区应急管理系统以自然语言处理能力和特定的专业知识，从而快速定位问题的关键内容，提供规范可靠的指导方针，帮助救援人员在规范的应急救援流程指导下，有针对性地进行应对处理。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组（例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互）的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种危化品应急辅助救援决策系统的构建方法，其特征在于：包括如下步骤：
构建包括预处理安全事故应急预案的训练数据集；
通过高效微调训练方法构建由大语言模型和Lora模型组成的应急辅助决策模型并微调训练；
所述应急辅助决策模型对于输入的自然语言事故描述，进行决策或信息生成。
2.如权利要求1所述的危化品应急辅助救援决策系统的构建方法，其特征在于：还包括传感器数据处理模块，原始传感器输入的各种数据，通过传感器数据处理模块的运算，转化为自然语言事故描述。
3.如权利要求1所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述构建训练数据集包括：
对安全事故应急预案文档进行分析得到文字段落数据和表格数据两类，
对此两类数据进行处理构建训练数据集，训练大语言模型的数据集格式为自然语言描述-决策/信息格式。
4.如权利要求1所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述高效微调训练方法包括如下步骤：
S1 构建通用知识与专业知识的联合中文数据集，
S2 构建大语言模型网络结构，导入大语言模型预训练权重，
S3 构建可支持低秩自适应高效微调训练的低秩自适应高效微调模型，
S4 以低秩自适应高效微调方法训练联合模型，
S5 测试联合模型，获得应急辅助决策模型。
5.如权利要求2所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述传感器数据处理包括以下步骤：
需求分析：确定传感器数据处理模块的目标和范围，定义需要处理的传感器数据类型，确定事故描述的格式和内容；
数据清洗和预处理：确保传感器数据质量，去除异常值和噪声；
数据整合和关联：将来自不同传感器的数据整合在一起，并关联位置坐标信息；
事件检测和分类：识别可能的事故发生，标记事件；
时间信息提取：从时间戳中提取各个时间信息；
事故描述生成：根据触发的事件和时间信息生成符合预定格式的事故描述。
6.如权利要求5所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述事件检测和分类中利用规则引擎和/或机器学习进行事故识别和标记，具体如下：
利用规则引擎检测事件，包括当温度超过设定阈值、或者探测到烟雾、气体泄漏时触发事件；
机器学习：采用机器学习算法进行数据之间存在复杂关联的情况下的事件分类。
7.如权利要求2所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述自然语言事故描述包括由传感器数据处理模块处理原始传感器数据生成或者由人工观测描述生成。
8.如权利要求1所述的危化品应急辅助救援决策系统的构建方法，其特征在于：还包括数据集扩展和迭代，系统历史运行累计一定的数据后，经过人工筛选和纠错，加入历史累积数据集参与模型的微调训练。
9.如权利要求8所述的危化品应急辅助救援决策系统的构建方法，其特征在于：所述数据集扩展和迭代包括：
累积应急辅助决策模型生成的决策或信息形成系统历史运行数据，
将系统历史运行数据输入人类反馈纠错模块处理，处理后的数据加入训练数据集。
10.一种危化品应急辅助救援决策系统，其特征在于：该系统由权利要求1-9中任意一项所述的危化品应急辅助救援决策系统的构建方法构建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410536157.XA CN118114889A (zh) | 2024-04-30 | 2024-04-30 | 危化品应急辅助救援决策系统的构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410536157.XA CN118114889A (zh) | 2024-04-30 | 2024-04-30 | 危化品应急辅助救援决策系统的构建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118114889A true CN118114889A (zh) | 2024-05-31 |
Family
ID=91210930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410536157.XA Pending CN118114889A (zh) | 2024-04-30 | 2024-04-30 | 危化品应急辅助救援决策系统的构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118114889A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945534A (zh) * | 2012-11-26 | 2013-02-27 | 魏增辉 | 基于智能花盆的植物种植方法及装置 |
| US20210209310A1 (en) * | 2020-01-06 | 2021-07-08 | International Business Machines Corporation | Sensor data collection control based on natural language interaction |
| CN115907410A (zh) * | 2022-12-13 | 2023-04-04 | 山东合创安华智能科技有限公司 | 针对重大危险源应急处置的资源匹配方法、终端设备及可读存储介质 |
| CN115982578A (zh) * | 2022-12-23 | 2023-04-18 | 上海集成电路研发中心有限公司 | 故障定位方法、装置、电子设备及存储介质 |
| US20240046719A1 (en) * | 2022-08-05 | 2024-02-08 | Alfred McZeal, Jr. | Solar Powered Multilingual Emergency Response Robot And Interactive Artificial Intelligence System For Detecting Hazardous Conditions Within a Motor Vehicle For Prevention of Vehicle Related Deaths. |
| CN117668258A (zh) * | 2024-01-31 | 2024-03-08 | 浪潮软件科技有限公司 | 一种基于通用大语言模型的行业知识大模型构建方法 |
| CN117668155A (zh) * | 2023-11-22 | 2024-03-08 | 深蓝感知(杭州)物联科技有限公司 | 基于大语言模型的突发事件应急预案生成系统及生成方法 |
-
2024
- 2024-04-30 CN CN202410536157.XA patent/CN118114889A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945534A (zh) * | 2012-11-26 | 2013-02-27 | 魏增辉 | 基于智能花盆的植物种植方法及装置 |
| US20210209310A1 (en) * | 2020-01-06 | 2021-07-08 | International Business Machines Corporation | Sensor data collection control based on natural language interaction |
| US20240046719A1 (en) * | 2022-08-05 | 2024-02-08 | Alfred McZeal, Jr. | Solar Powered Multilingual Emergency Response Robot And Interactive Artificial Intelligence System For Detecting Hazardous Conditions Within a Motor Vehicle For Prevention of Vehicle Related Deaths. |
| CN115907410A (zh) * | 2022-12-13 | 2023-04-04 | 山东合创安华智能科技有限公司 | 针对重大危险源应急处置的资源匹配方法、终端设备及可读存储介质 |
| CN115982578A (zh) * | 2022-12-23 | 2023-04-18 | 上海集成电路研发中心有限公司 | 故障定位方法、装置、电子设备及存储介质 |
| CN117668155A (zh) * | 2023-11-22 | 2024-03-08 | 深蓝感知(杭州)物联科技有限公司 | 基于大语言模型的突发事件应急预案生成系统及生成方法 |
| CN117668258A (zh) * | 2024-01-31 | 2024-03-08 | 浪潮软件科技有限公司 | 一种基于通用大语言模型的行业知识大模型构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kirwan | The development of a nuclear chemical plant human reliability management approach: HRMS and JHEDI | |
| Ren et al. | Semantic rule-based construction procedural information extraction to guide jobsite sensing and monitoring | |
| Seong et al. | Advanced MMIS toward substantial reduction in human errors in NPPs | |
| Morais et al. | Analysis and estimation of human errors from major accident investigation reports | |
| Zhen et al. | Quantitative risk modelling of maintenance work on major offshore process equipment | |
| Kim | Considerations for generating meaningful HRA data: Lessons learned from HuREX data collection | |
| Guo et al. | Text quality analysis of emergency response plans | |
| Forcina et al. | Exploring Industry 4.0 technologies to improve manufacturing enterprise safety management: A TOPSIS-based decision support system and real case study | |
| Xue et al. | Risk assessment of utility tunnels through risk interaction-based deep learning | |
| Luo et al. | Convolutional neural network algorithm–based novel automatic text classification framework for construction accident reports | |
| CN116881395A (zh) | 一种舆情信息检测方法和装置 | |
| CN118114889A (zh) | 危化品应急辅助救援决策系统的构建方法及系统 | |
| Guo et al. | Human reliability quantification in flight through a simplified CREAM method | |
| Singh et al. | Data–information–knowledge hierarchy based decision support system for risk based inspection analysis | |
| O'Hara et al. | Identification and evaluation of human factors issues associated with emerging nuclear plant technology | |
| Kuka et al. | Quality matters: supporting quality-aware pervasive applications by probabilistic data stream management | |
| Yin et al. | Using idheas to analyze incident reports in nuclear power plant commissioning: a case study | |
| Park et al. | Verification strategy for artificial intelligence components in nuclear plant instrumentation and control systems | |
| Nizami et al. | ARTIFICIAL INTELLIGENCE IN CLINICAL DATA MANAGEMENT: A REVIEW OF CURRENT APPLICATION AND FUTURE DIRECTIONS | |
| Wei et al. | Research and Application of Intelligent Inspection System | |
| Romeo | Assessing Current & Future Infrastructure Hazards | |
| Starace et al. | Can Large Language Models Automatically Generate GIS Reports? | |
| Liu et al. | [Retracted] Census and Inventory Method of Pollution Sources Based on Big Data Technology under Machine Learning | |
| Ma et al. | BLSTM-based source code vulnerability detection visualization system | |
| Varde et al. | Human Reliability |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |