CN117095257A - 多模态大模型微调方法、装置、计算机设备及存储介质 - Google Patents

多模态大模型微调方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117095257A
CN117095257A CN202311334239.8A CN202311334239A CN117095257A CN 117095257 A CN117095257 A CN 117095257A CN 202311334239 A CN202311334239 A CN 202311334239A CN 117095257 A CN117095257 A CN 117095257A
Authority
CN
China
Prior art keywords
model
data
result
expansion
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311334239.8A
Other languages
English (en)
Inventor
豆泽阳
甘家旭
庞磊
蒋阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhugao Intelligent Technology Shenzhen Co ltd
Original Assignee
Zhugao Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhugao Intelligent Technology Shenzhen Co ltd filed Critical Zhugao Intelligent Technology Shenzhen Co ltd
Priority to CN202311334239.8A priority Critical patent/CN117095257A/zh
Publication of CN117095257A publication Critical patent/CN117095257A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了多模态大模型微调方法、装置、计算机设备及存储介质。所述方法包括：获取设备缺陷、环境隐患、人员违规监测相关的训练数据；对所述训练数据进行处理和分析，以得到处理结果；对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；利用所述检测模型进行测试和推理。通过实施本发明实施例的方法可实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，成本低，效率高。

Description

多模态大模型微调方法、装置、计算机设备及存储介质
技术领域
本发明涉及模型调整方法，更具体地说是指多模态大模型微调方法、装置、计算机设备及存储介质。
背景技术
近年来，多模态生成式大模型在机器学习领域引起了广泛的关注和研究，并取得了显著的突破，已广泛应用于各行各业。当前真正落地的多模态生成式大模型多为通用大模型，通过使用大量公开数据集训练使其具备较为严密的逻辑推理能力，但缺乏垂直领域知识，直接应用于垂直领域时，其性能无法满足业务需求，需要使用垂直领域的数据进行微调，提升大模型对于垂直领域应用的性能。然而，由于垂直领域的有效数据较少，使用少量数据对多模态生成式大模型进行微调会破坏生成式大模型原有的逻辑推理能力，产生严重的模型幻想问题。模型幻想是指模型对数据进行推理归纳时，会输出数据中不存在的信息，这种现象严重阻碍了生成式大模型在现实场景中的应用。
现有的解决方案有两种，一种是将产生了幻想的数据样本加入到模型进行训练更新，让模型修正自己的输出，然而，这种方法需要人工不断收集数据，耗费大量人力物力，效率较低；第二种是在模型输入层面，对指令输入进行限定，明确要求生成式大模型不要生成和数据无关的内容，然而，指令限定通常对通用领域生成式大模型有效，由于垂直领域大模型需要对模型参数微调，参数微调会极大降低指令的效果，无法减缓模型幻想的问题。
因此，有必要设计一种新的方法，实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，成本低，效率高。
发明内容
本发明的目的在于克服现有技术的缺陷，提供多模态大模型微调方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：多模态大模型微调方法，包括：
获取设备缺陷、环境隐患、人员违规监测相关的训练数据；
对所述训练数据进行处理和分析，以得到处理结果；
对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；
采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；
利用所述检测模型进行测试和推理。
其进一步技术方案为：所述对所述训练数据进行处理和分析，以得到处理结果，包括：
对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；
对标注结果按照不同维度进行统计分析，以得到处理结果。
其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果，包括：
对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；
将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：
对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；
将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：
对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
其进一步技术方案为：所述采用扩充结果对多模态大模型进行训练和微调，以得到检测模型，包括：
构建多模态大模型以及教师模型；
采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；
其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
其进一步技术方案为：所述采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型，包括：
将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出；
在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；
使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
本发明还提供了多模态大模型微调装置，包括：
训练数据获取单元，用于获取设备缺陷检测、环境隐患监测、人员违规监测相关的训练数据；
处理单元，用于对所述训练数据进行处理和分析，以得到处理结果；
扩充单元，用于对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；
微调训练单元，用于采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；
测试单元，用于利用所述检测模型进行测试和推理。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对于分布不均衡且数量不符合要求的训练数据进行数据扩充，使用生成式数据扩充方法，对容易产生模型幻觉的场景进行数据扩充，在模型微调层面，引入近邻学习，实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，不需要不断收集数据，成本低，效率高。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多模态大模型微调方法的应用场景示意图；
图2为本发明实施例提供的多模态大模型微调方法的流程示意图；
图3为本发明实施例提供的多模态大模型微调方法的子流程示意图；
图4为本发明实施例提供的多模态大模型微调方法的子流程示意图；
图5为本发明实施例提供的多模态大模型微调方法的子流程示意图；
图6为本发明实施例提供的多模态大模型微调方法的子流程示意图；
图7为本发明实施例提供的多模态大模型微调方法的子流程示意图；
图8为本发明实施例提供的多模态大模型微调装置的示意性框图；
图9为本发明实施例提供的多模态大模型微调装置的处理单元的示意性框图；
图10为本发明实施例提供的多模态大模型微调装置的扩充单元的示意性框图；
图11为本发明实施例提供的多模态大模型微调装置的数据扩充子单元的示意性框图；
图12为本发明实施例提供的多模态大模型微调装置的微调训练单元的示意性框图；
图13为本发明实施例提供的多模态大模型微调装置的微调子单元的示意性框图；
图14为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的多模态大模型微调方法的应用场景示意图。图2为本发明实施例提供的多模态大模型微调方法的示意性流程图。该多模态大模型微调方法应用于服务器中。该服务器与终端进行数据交互，实现从终端获取设备缺陷检测、环境隐患监测、人员违规监测的相关训练数据，以环境隐患监测为例，上述的训练数据包括不含有火焰烟雾的正常图片和含有火焰烟雾的异常图片等，采用对训练数据进行处理和统计等分析，在对不满足要求的数据扩充，利用扩充结果结合教师模型对多模态大模型进行训练和微调，并将最终的模型进行测试和推理，在数据层面，针对于目前已有的训练样本，使用生成式数据扩充方法，对容易产生模型幻觉的场景进行数据扩充，增加对应的样本量与样本丰富度，让生成式大模型见到更多的易错场景，从而减轻模型幻觉。在模型微调层面，引入近邻学习，在给生成式大模型注入领域知识的同时，让其保留严密的逻辑性，从而降低微调时带来的模型幻觉。
图2是本发明实施例提供的多模态大模型微调方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。
S110、获取设备缺陷检测、环境隐患监测、人员违规监测相关的训练数据。
在本实施例中，获取的训练数据可以是设备缺陷检测相关的正常和异常图像、环境隐患监测相关的正常和异常图像、人员违规监测相关的正常和异常图像；每个不同监测的训练数据经过后续的处理都可以得到对应的检测模型。
S120、对所述训练数据进行处理和分析，以得到处理结果。
在本实施例中，处理结果是指对训练数据进行标注和分类统计形成的结果。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121~S122。
S121、对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果。
在本实施例中，标注结果是指按照设定的标注规范对训练数据进行标记后形成的结果。而且这个标注规范是按照具体任务的要求进行制定的。
S122、对标注结果按照不同维度进行统计分析，以得到处理结果。
在本实施例中，处理结果是指按照不同维度分别统计标注结果形成的内容。
具体地，通过实际任务按照不同维度对标注结果进行分析，不同维度包括图片大小的分布、火焰烟雾目标在图片中的相对大小分布、火焰烟雾目标在图片中的位置分布等。这些维度分布不均衡的场景即为容易引发生成式模型的模型幻想的场景，也就是将上述维度中分布不均匀的训练数据容易引发生成式模型的模型幻想。
S130、对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果。
在本实施例中，扩充结果是指对分布不均匀的标注结果进行扩充后与未扩充的标注结果组合形成的数据集。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131~S132。
S131、对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
在本实施例中，扩充数据生成结果是指对分布不均衡且数量不符合要求比如低于设定阈值的训练数据进行扩充后形成的数据集。
在一实施例中，请参阅图5，上述的步骤S131可包括步骤S1311~ S1312。
S1311、对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果。
在本实施例中，描述结果是指基于文本描述对应的场景形成的结果。
S1312、将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
具体地，基于文本描述直接生成数据进行数据扩充，使用文本描述该场景，将场景描述放入如扩散模型（stable diffusion模型）、生成对抗模型（GAN模型）等文字生成数据的模型中，生成对应的场景数据。比如含有小型火苗和烟雾的图像数据较少，则将火焰、烟雾的文本描述直接输入stable-diffusion模型，使用文本生成图像的模式来生成含有小型火苗和烟雾的图像数据。
在另一实施例中，上述的步骤S131可具体包括：
对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
在该实施例中，对已有训练数据进行修正，形成新的生成数据，从而对数据进行扩充，具体地，对分布不均衡且数量不符合要求的标记结果以手工、人机交互、自动化的方式对数据进行修正，得到扩充数据生成结果，比如使用包括但不限于Photoshop、自动P图算法、文字指令对已有图像进行修正，生成对应的场景数据。在环境检测场景中，含有小型火苗和烟雾的图像数据较少，则先随机抽取一张不含有火焰烟雾的图片，然后将火焰、烟雾的文本描述和不含火焰烟雾的图片一起放到stable-diffusion模型，使用文本与图像结合的方式生成图像的模式，来生成含有小型火苗和烟雾的图像数据。
基于生成式数据扩充方法，可以极大的提高训练数据质量，使得数据分布更加均衡。
S132、将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
在本实施例中，对扩充数据生成结果进行标注，该标注过程与上述的步骤S120一致，与原有的处理结果混合在一起形成扩充结果加入训练。
S140、采用扩充结果对多模态大模型进行训练和微调，以得到检测模型。
在本实施例中，检测模型是指利用扩充结果对多模态大模型进行训练和微调后的结果。
微调包括但不限于对多模态大模型的所有参数微调、对多模态大模型的部分参数微调；在多模态大模型微调时，在多模态大模型的原有损失函数的基础上再增加一个近邻损失，以保证微调后，多模态大模型依然保留原有的逻辑推理能力。利用在大模型微调时，引入近邻学习的方法，可以有效的降低微调带来的模型幻觉，从而提高模型性能。
在一实施例中，请参阅图6，上述的步骤S140可包括步骤S141~S142。
S141、构建多模态大模型以及教师模型。
在本实施例中，教师模型可以是通用生成式大模型，也可以是其他能力更强的大模型。
S142、采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
在一实施例中，请参阅图7，上述的步骤S142可包括步骤S1421~S1423。
S1421、将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出；
S1422、在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；
S1423、使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
在本实施例中，输入所述扩充结果中的样本，该样本同时经过教师模型和多模态大模型，得到教师模型的输出和多模态大模型的输出。教师模型的输出可以经过另外的网络例如全连接层网络，将该网络中最后一层的输出维度固定为多模态大模型输出的向量总维度，从而实现维度对齐，得到最终的输出，最终的输出要保证多模态大模型输出的向量总维度一致，在这种情况下，将最终的输出作为教师模型的输出。
在多模态大模型原有的损失函数的基础上，增加教师模型的输出与带微调模型输出的损失函数：Loss(teacher_output, model_output)。其中teacher_output是教师模型输出，model_output是待微调模型输出。Loss种类包括但不限于MSE函数、KL divergence函数等。
将所有的损失函数即多模态大模型原有的损失函数、教师模型的输出与带微调模型输出的损失函数进行合并，合并方式包括但不限于相加、相乘等，得到总损失函数。使用总损失函数对所述多模态大模型进行微调训练，得到最终的检测模型。
在另一实施例中，上述的步骤S140可具体包括：
输入所述扩充结果的样本，该样本经过所述多模态大模型，输出前向传播结果；对前向传播结果与对应的标注内容构建损失函数loss1；使用教师模型的权重与所述多模态大模型的权重构建近邻损失函数Loss(teacher_weights, model_weights)。其中teacher_weights是教师模型的部分或全部参数，model_weights是所述多模态大模型的部分或全部参数，Loss类型包括但不限于MSE函数、KL divergence函数等。将loss1和近邻损失函数合并，合并方式包括但不限于相加、相乘等，得到总损失函数；利用总损失函数对所述多模态大模型进行训练，得到最终的对所述多模态大模型进行模型。
在多模态大模型微调时，引入近邻学习的方法，可以有效的降低微调带来的模型幻觉，从而提高模型性能。
S150、利用所述检测模型进行测试和推理。
本实施例的方法在数据层面，针对于目前已有的训练样本，使用生成式数据扩充方法，对容易产生模型幻觉的场景进行数据扩充，增加对应的样本量与样本丰富度，让生成式大模型见到更多的易错场景，从而减轻模型幻觉。在模型微调层面，引入近邻学习，在给生成式大模型注入领域知识的同时，让其保留严密的逻辑性，从而降低微调时带来的模型幻觉。
上述的多模态大模型微波方法，通过对于分布不均衡且数量不符合要求的训练数据进行数据扩充，使用生成式数据扩充方法，对容易产生模型幻觉的场景进行数据扩充，在模型微调层面，引入近邻学习，实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，不需要不断收集数据，成本低，效率高。
图8是本发明实施例提供的一种多模态大模型微调装置300的示意性框图。如图8所示，对应于以上多模态大模型微调方法，本发明还提供一种多模态大模型微调装置300。该多模态大模型微调装置300包括用于执行上述多模态大模型微调方法的单元，该装置可以被配置于服务器中。具体地，请参阅图8，该多模态大模型微调装置300包括训练数据获取单元301、处理单元302、扩充单元303、微调训练单元304以及测试单元305。
训练数据获取单元301，用于获取设备缺陷检测、环境隐患监测、人员违规监测相关的训练数据；处理单元302，用于对所述训练数据进行处理和分析，以得到处理结果；扩充单元303，用于对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；微调训练单元304，用于采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；测试单元305，用于利用所述检测模型进行测试和推理。
在一实施例中，如图9所示，所述处理单元302包括标注子单元3021以及统计子单元3022。
标注子单元3021，用于对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；统计子单元3022，用于对标注结果按照不同维度进行统计分析，以得到处理结果。
在一实施例中，如图10所示，所述扩充单元303包括数据扩充子单元3031以及组合子单元3032。
数据扩充子单元3031，用于对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；组合子单元3032，用于将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
在一实施例中，如图11所示，所述数据扩充子单元3031包括描述模块30311以及数据生成模块30312。
描述模块30311，用于对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；数据生成模块30312，用于将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
在一实施例中，所述数据扩充子单元3031，用于对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
在一实施例中，如图12所示，所述微调训练单元304包括构建子单元3041以及微调子单元3042。
构建子单元3041，用于构建多模态大模型以及教师模型；微调子单元3042，用于采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
在一实施例中，如图13所示，所述微调子单元3042包括输入模块30421、合并模块30422以及微调训练模块30423。
输入模块30421，用于将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出； 合并模块30422，用于在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；微调训练模块30423，用于使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述****装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述多模态大模型微调装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图14所示的计算机设备上运行。
请参阅图14，图14是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图14，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种多模态大模型微调方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种多模态大模型微调方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取设备缺陷、环境隐患、人员违规监测相关的训练数据；对所述训练数据进行处理和分析，以得到处理结果；对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；利用所述检测模型进行测试和推理。
在一实施例中，处理器502在实现所述对所述训练数据进行处理和分析，以得到处理结果步骤时，具体实现如下步骤：
对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；对标注结果按照不同维度进行统计分析，以得到处理结果。
在一实施例中，处理器502在实现所述对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
在一实施例中，处理器502在实现所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
在一实施例中，处理器502在实现所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
在一实施例中，处理器502在实现所述采用扩充结果对多模态大模型进行训练和微调，以得到检测模型步骤时，具体实现如下步骤：
构建多模态大模型以及教师模型；采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；
其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
在一实施例中，处理器502在实现所述采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型步骤时，具体实现如下步骤：
将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出； 在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
应当理解，在本申请实施例中，处理器502可以是中央处理单元302 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取设备缺陷、环境隐患、人员违规监测相关的训练数据；对所述训练数据进行处理和分析，以得到处理结果；对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；利用所述检测模型进行测试和推理。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述训练数据进行处理和分析，以得到处理结果步骤时，具体实现如下步骤：
对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；对标注结果按照不同维度进行统计分析，以得到处理结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果步骤时，具体实现如下步骤：
对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用扩充结果对多模态大模型进行训练和微调，以得到检测模型步骤时，具体实现如下步骤：
构建多模态大模型以及教师模型；采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；
其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型步骤时，具体实现如下步骤：
将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出； 在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元302中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.多模态大模型微调方法，其特征在于，包括：
获取设备缺陷、环境隐患、人员违规监测相关的训练数据；
对所述训练数据进行处理和分析，以得到处理结果；
对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；
采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；
利用所述检测模型进行测试和推理。
2.根据权利要求1所述的多模态大模型微调方法，其特征在于，所述对所述训练数据进行处理和分析，以得到处理结果，包括：
对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；
对标注结果按照不同维度进行统计分析，以得到处理结果。
3.根据权利要求1所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果，包括：
对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；
将所述扩充数据生成结果与所述处理结果结合形成扩充结果。
4.根据权利要求3所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：
对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；
将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果。
5.根据权利要求3所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：
对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果。
6.根据权利要求1所述的多模态大模型微调方法，其特征在于，所述采用扩充结果对多模态大模型进行训练和微调，以得到检测模型，包括：
构建多模态大模型以及教师模型；
采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；
其中，在微调时，对所述多模态大模型的损失函数增加近邻损失。
7.根据权利要求6所述的多模态大模型微调方法，其特征在于，所述采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型，包括：
将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出；
在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；
使用总损失函数对所述多模态大模型进行微调训练，得到检测模型。
8.多模态大模型微调装置，其特征在于，包括：
训练数据获取单元，用于获取设备缺陷检测、环境隐患监测、人员违规监测相关的训练数据；
处理单元，用于对所述训练数据进行处理和分析，以得到处理结果；
扩充单元，用于对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；
微调训练单元，用于采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；
测试单元，用于利用所述检测模型进行测试和推理。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202311334239.8A 2023-10-16 2023-10-16 多模态大模型微调方法、装置、计算机设备及存储介质 Pending CN117095257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311334239.8A CN117095257A (zh) 2023-10-16 2023-10-16 多模态大模型微调方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311334239.8A CN117095257A (zh) 2023-10-16 2023-10-16 多模态大模型微调方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN117095257A true CN117095257A (zh) 2023-11-21

Family

ID=88775615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311334239.8A Pending CN117095257A (zh) 2023-10-16 2023-10-16 多模态大模型微调方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117095257A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688164A (zh) * 2024-02-03 2024-03-12 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、系统以及存储介质
CN118015402A (zh) * 2024-04-10 2024-05-10 传申弘安智能(深圳)有限公司 小样本迁移目标检测模型训练方法、装置及计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005357A1 (en) * 2017-06-28 2019-01-03 Applied Materials, Inc. Classification, search and retrieval of semiconductor processing metrology images using deep learning/convolutional neural networks
CN112487899A (zh) * 2020-11-19 2021-03-12 武汉高德飞行器科技有限公司 基于无人机的目标识别方法、系统、存储介质及电子设备
CN113128588A (zh) * 2021-04-16 2021-07-16 深圳市腾讯网域计算机网络有限公司 模型训练方法、装置、计算机设备及计算机存储介质
CN113344119A (zh) * 2021-06-28 2021-09-03 南京邮电大学 工业物联网复杂环境下的小样本烟雾监测方法
US20210365640A1 (en) * 2020-05-19 2021-11-25 Samsung Sds Co., Ltd. Method and apparatus for customizing natural language processing model
CN114863248A (zh) * 2022-03-02 2022-08-05 武汉大学 一种基于深监督自蒸馏的图像目标检测方法
US20220366675A1 (en) * 2020-07-23 2022-11-17 Urbanbase, Inc. Apparatus and method for developing style analysis model based on data augmentation
CN115526259A (zh) * 2022-09-29 2022-12-27 清华大学 一种多模态预训练模型的训练方法和装置
CN116012395A (zh) * 2023-02-07 2023-04-25 昆明理工大学 一种基于深度可分离卷积的多尺度融合烟雾分割方法
CN116152658A (zh) * 2023-01-06 2023-05-23 北京林业大学 一种基于域对抗特征融合网络的林火烟雾检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005357A1 (en) * 2017-06-28 2019-01-03 Applied Materials, Inc. Classification, search and retrieval of semiconductor processing metrology images using deep learning/convolutional neural networks
US20210365640A1 (en) * 2020-05-19 2021-11-25 Samsung Sds Co., Ltd. Method and apparatus for customizing natural language processing model
US20220366675A1 (en) * 2020-07-23 2022-11-17 Urbanbase, Inc. Apparatus and method for developing style analysis model based on data augmentation
CN112487899A (zh) * 2020-11-19 2021-03-12 武汉高德飞行器科技有限公司 基于无人机的目标识别方法、系统、存储介质及电子设备
CN113128588A (zh) * 2021-04-16 2021-07-16 深圳市腾讯网域计算机网络有限公司 模型训练方法、装置、计算机设备及计算机存储介质
CN113344119A (zh) * 2021-06-28 2021-09-03 南京邮电大学 工业物联网复杂环境下的小样本烟雾监测方法
CN114863248A (zh) * 2022-03-02 2022-08-05 武汉大学 一种基于深监督自蒸馏的图像目标检测方法
CN115526259A (zh) * 2022-09-29 2022-12-27 清华大学 一种多模态预训练模型的训练方法和装置
CN116152658A (zh) * 2023-01-06 2023-05-23 北京林业大学 一种基于域对抗特征融合网络的林火烟雾检测方法
CN116012395A (zh) * 2023-02-07 2023-04-25 昆明理工大学 一种基于深度可分离卷积的多尺度融合烟雾分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688164A (zh) * 2024-02-03 2024-03-12 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、系统以及存储介质
CN117688164B (zh) * 2024-02-03 2024-05-17 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、系统以及存储介质
CN118015402A (zh) * 2024-04-10 2024-05-10 传申弘安智能(深圳)有限公司 小样本迁移目标检测模型训练方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN117095257A (zh) 多模态大模型微调方法、装置、计算机设备及存储介质
CN106776842B (zh) 多媒体数据检测方法及装置
CN110766080B (zh) 一种标注样本确定方法、装置、设备及存储介质
CN109697468B (zh) 样本图像的标注方法、装置及存储介质
CN107864405B (zh) 一种收视行为类型的预测方法、装置及计算机可读介质
JP2010002370A (ja) パターン抽出プログラム、方法及び装置
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN110634471B (zh) 一种语音质检方法、装置、电子设备和存储介质
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN109529329B (zh) 游戏特效处理方法及装置
CN109063732B (zh) 基于特征交互和多任务学习的图像排序方法及系统
CN115082435B (zh) 一种基于自监督动量对比的缺陷检测方法
CN112967190A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111666985B (zh) 一种基于dropout的深度学习对抗样本图像分类防御方法
CN114840421A (zh) 日志数据处理方法及装置
CN114546804A (zh) 信息推送的效应评估方法、装置、电子设备和存储介质
CN113139563B (zh) 一种图像分类模型的优化方法及装置
CN114170271A (zh) 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质
CN112783799A (zh) 软件守护测试方法及装置
CN110321257A (zh) 异形屏兼容性测试方法、装置、计算机设备和存储介质
CN115953715B (zh) 一种视频检测方法、装置、设备及存储介质
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质
CN117457017B (zh) 语音数据的清洗方法及电子设备
CN117312855A (zh) 用于选择训练数据的方法、装置、电子设备和介质
Musmeci et al. MARMnet: On the Application of AI to Video Quality Control for Broadcasting Companies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination