CN117349027B - 一种降低算力需求的多模态大模型构建系统和方法 - Google Patents
一种降低算力需求的多模态大模型构建系统和方法 Download PDFInfo
- Publication number
- CN117349027B CN117349027B CN202311638867.5A CN202311638867A CN117349027B CN 117349027 B CN117349027 B CN 117349027B CN 202311638867 A CN202311638867 A CN 202311638867A CN 117349027 B CN117349027 B CN 117349027B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- module
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 68
- 238000004364 calculation method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000004140 cleaning Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及多模态模型构建系统的技术领域，提供了一种降低算力需求的多模态大模型构建系统和方法，其系统包括数据终端、算力终端、模型终端和应用终端。数据终端用于收集和整理多模态数据；多模态数据包括图像数据、文本数据和音频数据；算力终端用于进行模型训练；模型终端用于存储和管理构建的模型；应用终端用于将构建的模型应用至对应的场景中。本发明具有降低算力要求和提高多模态模型构建质量的效果。
Description
技术领域
本发明涉及多模态模型构建系统的技术领域，具体涉及一种降低算力需求的多模态大模型构建系统和方法。
背景技术
随着人工智能和深度学习的迅速发展，多模态大模型在计算机视觉、自然语言处理和语音处理等领域得到了广泛的应用。这些大模型不仅可以处理多模态数据，还可以实现图像分类、文本生成、语音识别等多种任务。然而，构建和训练这些大模型需要大量的算力资源，导致成本和时间的增加。多模态大模型系统是一种用于构建和应用多种类型数据的大型模型的系统。
现在已经开发出了很多多模态模型构建系统，经过我们大量的检索与参考，发现现有技术的多模态模型构建系统有如公开号为CN115035366A、CN115128959A、CN107480194A、EP4080419A1、US20220044105A1所公开的多模态模型构建系统，这些多模态模型构建系统一般包括：数据整理终端、模型构建终端和应用终端；数据整理终端用于获取并整理用于构建多模态模型的原始数据；模型构建终端用于根据原始数据进行模型训练；应用终端用于将构建的模型应用至对应的场景。由于上述多模态模型构建系统的数据整理方式较为单一，构建过程所需的算力要求较高，造成了多模态模型构建质量下降的缺陷。
发明内容
本发明的目的在于，针对上述多模态模型构建系统存在的不足，提出一种降低算力需求的多模态大模型构建系统和方法。
本发明采用如下技术方案：
一种降低算力需求的多模态大模型构建系统，包括数据终端、算力终端、模型终端和应用终端；所述数据终端用于收集和整理多模态数据；所述多模态数据包括图像数据、文本数据和音频数据；所述算力终端用于进行模型训练；所述模型终端用于存储和管理构建的模型；所述应用终端用于将构建的模型应用至对应的场景中；
所述数据终端包括数据清洗模块、数据标准化模块、特征提取模块和数据编码模块；所述数据清洗模块用于对原始数据进行清洗操作，去除原始数据的噪声、异常值和缺失值；所述数据标准化模块用于对不同模态的数据进行标准化操作；所述特征提取模块用于对被清洗和标准化后的数据进行特征提取操作；所述数据编码模块用于对数据特征进行数据编码操作；
所述算力终端包括本地服务器模块和云服务器模块；所述云服务器模块用于根据数据编码操作处理后的数据进行云端模型训练，生成模型构建辅助信息；所述本地服务器模块用于根据数据编码操作处理后的数据进行本地模型训练，生成模型构建本地信息。
可选的，所述模型终端包括模型接收模块、存储模块和管理模块；所述模型接收模块用于接收模型构建本地信息和模型构建辅助信息，将模型构建本地信息和模型构建辅助信息整合成对应的多模态模型信息；所述存储模块用于对多模态模型信息进行存储；所述管理模块用于根据多模态模型信息运营并管理对应的多模态模型。
可选的，所述数据终端还包括图像数据冗余清理模块；所述图像数据冗余清理模块用于对图像数据进行清理冗余操作；所述图像数据冗余清理模块包括图像分类子模块、图像相似度计算子模块和冗余清理子模块；所述图像分类子模块用于对原始数据中的图像进行图像分类；所述图像相似度计算子模块用于计算各项分类中图像之间的图像相似度；所述冗余清理子模块用于根据图像相似度对各项分类中图像相似度达标的图像进行删除。
可选的，所述图像相似度计算子模块包括参照图选择指数计算单元、参照图选定单元和图像相似度计算单元；所述参照图选择指数计算单元用于计算同类图像中各图像的参照图选择指数；所述参照图选定单元用于根据参照图选择指数选择对应的图像作为参照图；所述图像相似度计算单元用于根据参照图计算同类图像中各图像与参照图的图像相似度；
当所述参照图选择指数计算单元计算时，满足以下式子：
；
；
其中，表示同类图像中对应图像的参照图选择指数；/>表示基于图像曝光种类的系数选择函数；/>表示图像曝光种类为正常曝光；/>表示图像曝光种类为过曝；/>表示图像曝光种类为欠曝；/>、/>和/>分别表示不同的指数值转换系数，均由管理员根据经验设定；/>表示基准距离值；/>表示图像中主体对象的中心点与图像中心像素点的距离数值；/>表示图像中主体对象的总像素点数量；/>表示图像中主体对象与图像对焦区域的像素点重合数量；所述参照图选定单元选择同类图像中参照图选择指数最大的对应图像作为参照图；
当所述图像相似度计算单元计算时，满足以下式子：
；
其中，表示对应图像与参照图进行对比的图像相似度；/>表示参照图的灰度值矩阵中位置/>处的像素灰度值；/>表示同类图像中对应图像的灰度值矩阵中位置/>处的像素灰度值；/>表示图像的宽度，即：对应图像的横向长度方向上的像素个数；/>表示图像的高度，即：对应图像的纵向长度方向上的像素个数；
当时，表示对应图像的图像相似度达标，所述冗余清理子模块将图像相似度达标的图像进行删除；/>表示清理阈值，由管理员根据经验设定。
可选的，所述本地服务器模块包括软硬件配置子模块、本地模型训练子模块和模型构建本地信息生成子模块；所述软硬件配置子模块用于对本地服务器模块中的硬件和软件进行配置；所述本地模型训练子模块用于为所述云服务器模块分配训练任务；所述本地模型训练子模块用于根据训练任务分配情况对原始数据进行模型训练；所述模型构建本地信息生成子模块用于根据模型训练情况生成对应的模型构建本地信息。
可选的，所述云服务器模块包括训练任务接收子模块、模型构建辅助信息生成子模块和至少两个云端模型训练子模块；所述训练任务接收子模块用于接收来自所述本地模型训练子模块的训练任务；所述训练任务接收子模块用于根据训练任务调用云端模型训练子模块；所述云端模型训练子模块用于根据原始数据进行模型训练；所述模型构建辅助信息生成子模块用于根据模型训练情况生成对应的模型构建辅助信息。
一种降低算力需求的多模态大模型构建方法，应用于如上述的一种降低算力需求的多模态大模型构建系统，所述多模态大模型构建方法包括：
S1，收集和整理多模态数据；
S2，进行模型训练；
S3，存储和管理构建的模型；
S4，将构建的模型应用至对应的场景中。
本发明所取得的有益效果是：
1、数据终端、算力终端、模型终端和应用终端的设置和数据清洗模块、数据标准化模块、特征提取模块和数据编码模块的设置有利于提高数据预处理过程和模型构建过程的效率，通过对原始数据进行预处理，提高了原始数据的准确性同时减少了原始数据的总体存储大小，进而减小算力要求，从而有利于提高多模态模型构建质量；
2、本地服务器模块和云服务器模块的设置有利于进一步减小本地服务器模块的算力要求，从而有利于提高多模态模型构建质量；
3、模型接收模块、存储模块和管理模块的设置有利于提高模型构建本地信息和模型构建辅助信息的整合效率，使得多模态模型构建过程更加高效和准确，从而进一步提高系统的多模态模型构建质量；
4、图像数据冗余清理模块及其图像分类子模块、图像相似度计算子模块和冗余清理子模块的设置，有利于进一步减少图像数据冗余，以便于通过较小的算力，降低了算力要求同时提高了数据处理的准确性，从而有利于提高系统的多模态模型构建质量；
5、参照图选择指数计算单元、参照图选定单元和图像相似度计算单元的设置配合参照图选择指数算法以及图像相似读算法，有利于通过准确的参照图选择指数高效地选出参照图，进而提高了图像相似度的准确性，使得图像数据冗余清理过程更加准确和高效，从而提高了系统的多模态模型构建质量；
6、软硬件配置子模块、本地模型训练子模块和模型构建本地信息生成子模块的设置有利于提高本体服务器模块与云服务器模块的协同合作能力，进而提高了系统的模型训练效率；
7、训练任务接收子模块、模型构建辅助信息生成子模块和至少两个云端模型训练子模块的设置，有利于进一步降低本地模型训练子模块的算力要求；
8、调用单元包括调用指数计算子单元和调用选择子单元的设置配合调用指数算法，有利于提高调用指数的准确性和计算及时性，进而有利于在多模态模型构建任务中最合理地调用对应数量的云端模型训练子模块进行协同训练，从而大大地降低算力要求，同时提高了系统的多模态模型构建质量。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1为本发明的整体结构示意图；
图2为本发明中图像数据冗余清理模块的结构示意图；
图3为本发明中本地服务器模块的结构示意图；
图4为本发明中云服务器模块的连接结构示意图；
图5为本发明一种降低算力需求的多模态大模型构建方法的方法流程示意图；
图6为本发明中训练任务接收子模块的结构示意图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸描绘，事先声明。以下实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
实施例一：本实施例提供了一种降低算力需求的多模态大模型构建系统。结合图1所示，一种降低算力需求的多模态大模型构建系统，包括数据终端、算力终端、模型终端和应用终端；所述数据终端用于收集和整理多模态数据；所述多模态数据包括图像数据、文本数据和音频数据；所述算力终端用于进行模型训练；所述模型终端用于存储和管理构建的模型；所述应用终端用于将构建的模型应用至对应的场景中；
所述数据终端包括数据清洗模块、数据标准化模块、特征提取模块和数据编码模块；所述数据清洗模块用于对原始数据进行清洗操作，去除原始数据的噪声、异常值和缺失值；所述数据标准化模块用于对不同模态的数据进行标准化操作；所述特征提取模块用于对被清洗和标准化后的数据进行特征提取操作；所述数据编码模块用于对数据特征进行数据编码操作。
所述算力终端包括本地服务器模块和云服务器模块；所述云服务器模块用于根据数据编码操作处理后的数据进行云端模型训练，生成模型构建辅助信息；所述本地服务器模块用于根据数据编码操作处理后的数据进行本地模型训练，生成模型构建本地信息。
可选的，所述模型终端包括模型接收模块、存储模块和管理模块；所述模型接收模块用于接收模型构建本地信息和模型构建辅助信息，将模型构建本地信息和模型构建辅助信息整合成对应的多模态模型信息；所述存储模块用于对多模态模型信息进行存储；所述管理模块用于根据多模态模型信息运营并管理对应的多模态模型。
可选的，所述数据终端还包括图像数据冗余清理模块；所述图像数据冗余清理模块用于对图像数据进行清理冗余操作；结合图2所示，所述图像数据冗余清理模块包括图像分类子模块、图像相似度计算子模块和冗余清理子模块；所述图像分类子模块用于对原始数据中的图像进行图像分类；所述图像相似度计算子模块用于计算各项分类中图像之间的图像相似度；所述冗余清理子模块用于根据图像相似度对各项分类中图像相似度达标的图像进行删除。
可选的，所述图像相似度计算子模块包括参照图选择指数计算单元、参照图选定单元和图像相似度计算单元；所述参照图选择指数计算单元用于计算同类图像中各图像的参照图选择指数；所述参照图选定单元用于根据参照图选择指数选择对应的图像作为参照图；所述图像相似度计算单元用于根据参照图计算同类图像中各图像与参照图的图像相似度；
当所述参照图选择指数计算单元计算时，满足以下式子：
；
；
其中，表示同类图像中对应图像的参照图选择指数；/>表示基于图像曝光种类的系数选择函数；/>表示图像曝光种类为正常曝光；/>表示图像曝光种类为过曝；/>表示图像曝光种类为欠曝；/>、/>和/>分别表示不同的指数值转换系数，均由管理员根据经验设定；/>表示基准距离值；/>表示图像中主体对象的中心点与图像中心像素点的距离数值；/>表示图像中主体对象的总像素点数量；/>表示图像中主体对象与图像对焦区域的像素点重合数量；所述参照图选定单元选择同类图像中参照图选择指数最大的对应图像作为参照图；
当所述图像相似度计算单元计算时，满足以下式子：
；
其中，表示对应图像与参照图进行对比的图像相似度；/>表示参照图的灰度值矩阵中位置/>处的像素灰度值；所述灰度值矩阵是指以图像灰度化之后全部像素点作为元素的灰度值矩阵；/>表示同类图像中对应图像的灰度值矩阵中位置/>处的像素灰度值；/>表示图像的宽度，即：对应图像的横向长度方向上的像素个数；/>表示图像的高度，即：对应图像的纵向长度方向上的像素个数；
当时，表示对应图像的图像相似度达标，所述冗余清理子模块将图像相似度达标的图像进行删除；/>表示清理阈值，由管理员根据经验设定。
可选的，结合图3所示，所述本地服务器模块包括软硬件配置子模块、本地模型训练子模块和模型构建本地信息生成子模块；所述软硬件配置子模块用于对本地服务器模块中的硬件和软件进行配置；所述本地模型训练子模块用于为所述云服务器模块分配训练任务；所述本地模型训练子模块用于根据训练任务分配情况对原始数据进行模型训练；所述模型构建本地信息生成子模块用于根据模型训练情况生成对应的模型构建本地信息。
可选的，结合图4所示，所述云服务器模块包括训练任务接收子模块、模型构建辅助信息生成子模块和至少两个云端模型训练子模块；所述训练任务接收子模块用于接收来自所述本地模型训练子模块的训练任务；所述训练任务接收子模块用于根据训练任务调用云端模型训练子模块；所述云端模型训练子模块用于根据原始数据进行模型训练；所述模型构建辅助信息生成子模块用于根据模型训练情况生成对应的模型构建辅助信息。
一种降低算力需求的多模态大模型构建方法，应用于如上述的一种降低算力需求的多模态大模型构建系统，结合图5所示，所述多模态大模型构建方法包括：
S1，收集和整理多模态数据；
S2，进行模型训练；
S3，存储和管理构建的模型；
S4，将构建的模型应用至对应的场景中。
实施例二：本实施例包含了实施例一的全部内容，提供了一种降低算力需求的多模态大模型构建系统，结合图6所示，所述训练任务接收子模块包括接收单元和调用单元；所述接收单元用于接收来自所述本地模型训练子模块的训练任务；所述调用单元用于根据训练任务调用对应数量的云端模型训练子模块。
所述调用单元包括调用指数计算子单元和调用选择子单元；所述调用指数计算子单元用于根据数据编码操作处理后的原始数据的情况和各个云端模型训练子模块的状态计算调用指数；所述调用选择子单元用于根据调用指数选用对应数量的云端模型训练子模块。
当所述调用指数计算子单元计算时，满足以下式子：
；
其中，表示当前一次多模态模型构建任务的关于云端模型训练子模块的调用指数；/>和/>分别表示第一指数值转化系数和第二指数值转化系数，均由管理员根据经验设定；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据中图像数据的储存容量大小数值；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据的图像数据中图像总数量；/>表示图像参考比值，由管理员根据经验设定；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据中文本数据的储存容量大小数值；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据的文本数据中文本文件总数量；/>表示文本参考比值，由管理员根据经验设定；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据中声音数据的储存容量大小数值；/>表示在当前一次多模态模型构建任务内经过数据编码操作处理后的原始数据的声音数据中声音文件总数量；/>表示声音参考比值，由管理员根据经验设定；/>表示全部云端模型训练子模块中第/>个云端模型训练子模块在当前任务前一周内的停机次数；/>表示全部云端模型训练子模块中第/>个云端模型训练子模块在当前任务前一周内的维修次数。
所述调用选择子单元工作时，满足以下式子：
；
其中，表示基于调用指数的关于云端模型训练子模块的调用比例选择函数；/>、/>和/>分别表示不同的选择阈值，均由管理员根据经验设定；/>表示调用的云端模型训练子模块数量为全部云端模型训练子模块总数中的/>；/>表示调用的云端模型训练子模块数量为全部云端模型训练子模块总数中的/>；表示调用的云端模型训练子模块数量为全部云端模型训练子模块。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素是可以更新的。
Claims (4)
1.一种降低算力需求的多模态大模型构建系统，其特征在于，包括数据终端、算力终端、模型终端和应用终端；所述数据终端用于收集和整理多模态数据；所述多模态数据包括图像数据、文本数据和音频数据；所述算力终端用于进行模型训练；所述模型终端用于存储和管理构建的模型；所述应用终端用于将构建的模型应用至对应的场景中；
所述数据终端包括数据清洗模块、数据标准化模块、特征提取模块和数据编码模块；所述数据清洗模块用于对原始数据进行清洗操作，去除原始数据的噪声、异常值和缺失值；所述数据标准化模块用于对不同模态的数据进行标准化操作；所述特征提取模块用于对被清洗和标准化后的数据进行特征提取操作；所述数据编码模块用于对数据特征进行数据编码操作；
所述算力终端包括本地服务器模块和云服务器模块；所述云服务器模块用于根据数据编码操作处理后的数据进行云端模型训练，生成模型构建辅助信息；所述本地服务器模块用于根据数据编码操作处理后的数据进行本地模型训练，生成模型构建本地信息；
所述模型终端包括模型接收模块、存储模块和管理模块；所述模型接收模块用于接收模型构建本地信息和模型构建辅助信息，将模型构建本地信息和模型构建辅助信息整合成对应的多模态模型信息；所述存储模块用于对多模态模型信息进行存储；所述管理模块用于根据多模态模型信息运营并管理对应的多模态模型；
所述数据终端还包括图像数据冗余清理模块；所述图像数据冗余清理模块用于对图像数据进行清理冗余操作；所述图像数据冗余清理模块包括图像分类子模块、图像相似度计算子模块和冗余清理子模块；所述图像分类子模块用于对原始数据中的图像进行图像分类；所述图像相似度计算子模块用于计算各项分类中图像之间的图像相似度；所述冗余清理子模块用于根据图像相似度对各项分类中图像相似度达标的图像进行删除；
所述图像相似度计算子模块包括参照图选择指数计算单元、参照图选定单元和图像相似度计算单元；所述参照图选择指数计算单元用于计算同类图像中各图像的参照图选择指数；所述参照图选定单元用于根据参照图选择指数选择对应的图像作为参照图；所述图像相似度计算单元用于根据参照图计算同类图像中各图像与参照图的图像相似度；
当所述参照图选择指数计算单元计算时，满足以下式子：
；
；
其中，表示同类图像中对应图像的参照图选择指数；/>表示基于图像曝光种类的系数选择函数；/>表示图像曝光种类为正常曝光；/>表示图像曝光种类为过曝；/>表示图像曝光种类为欠曝；/>、/>和/>分别表示不同的指数值转换系数；/>表示基准距离值；/>表示图像中主体对象的中心点与图像中心像素点的距离数值；/>表示图像中主体对象的总像素点数量；/>表示图像中主体对象与图像对焦区域的像素点重合数量；所述参照图选定单元选择同类图像中参照图选择指数最大的对应图像作为参照图；
当所述图像相似度计算单元计算时，满足以下式子：
；
其中，表示对应图像与参照图进行对比的图像相似度；/>表示参照图的灰度值矩阵中位置/>处的像素灰度值；/>表示同类图像中对应图像的灰度值矩阵中位置处的像素灰度值；/>表示图像的宽度；/>表示图像的高度；
当时，表示对应图像的图像相似度达标，所述冗余清理子模块将图像相似度达标的图像进行删除；/>表示清理阈值。
2.如权利要求1所述的一种降低算力需求的多模态大模型构建系统，其特征在于，所述本地服务器模块包括软硬件配置子模块、本地模型训练子模块和模型构建本地信息生成子模块；所述软硬件配置子模块用于对本地服务器模块中的硬件和软件进行配置；所述本地模型训练子模块用于为所述云服务器模块分配训练任务；所述本地模型训练子模块用于根据训练任务分配情况对原始数据进行模型训练；所述模型构建本地信息生成子模块用于根据模型训练情况生成对应的模型构建本地信息。
3.如权利要求2所述的一种降低算力需求的多模态大模型构建系统，其特征在于，所述云服务器模块包括训练任务接收子模块、模型构建辅助信息生成子模块和至少两个云端模型训练子模块；所述训练任务接收子模块用于接收来自所述本地模型训练子模块的训练任务；所述训练任务接收子模块用于根据训练任务调用云端模型训练子模块；所述云端模型训练子模块用于根据原始数据进行模型训练；所述模型构建辅助信息生成子模块用于根据模型训练情况生成对应的模型构建辅助信息。
4.一种降低算力需求的多模态大模型构建方法，应用于如权利要求3所述的一种降低算力需求的多模态大模型构建系统，其特征在于，所述多模态大模型构建方法包括：
S1，收集和整理多模态数据；
S2，进行模型训练；
S3，存储和管理构建的模型；
S4，将构建的模型应用至对应的场景中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638867.5A CN117349027B (zh) | 2023-12-04 | 2023-12-04 | 一种降低算力需求的多模态大模型构建系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311638867.5A CN117349027B (zh) | 2023-12-04 | 2023-12-04 | 一种降低算力需求的多模态大模型构建系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117349027A CN117349027A (zh) | 2024-01-05 |
| CN117349027B true CN117349027B (zh) | 2024-02-23 |
Family
ID=89357860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311638867.5A Active CN117349027B (zh) | 2023-12-04 | 2023-12-04 | 一种降低算力需求的多模态大模型构建系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117349027B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029662A1 (ja) * | 2010-08-31 | 2012-03-08 | 国立大学法人熊本大学 | 画像処理方法および画像処理装置 |
| CN114445334A (zh) * | 2021-12-22 | 2022-05-06 | 新瑞鹏宠物医疗集团有限公司 | 图像分析的方法、装置、设备及存储介质 |
| JP2022068282A (ja) * | 2017-07-05 | 2022-05-09 | キヤノン株式会社 | ホワイトバランス調整装置、フォーカス制御装置、露出制御装置、ホワイトバランス調整方法、フォーカス制御方法、露出制御方法、及びプログラム |
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
| CN116340778A (zh) * | 2023-05-25 | 2023-06-27 | 智慧眼科技股份有限公司 | 基于多模态的医疗大模型构建方法及其相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116507260A (zh) * | 2020-11-27 | 2023-07-28 | 松下知识产权经营株式会社 | 齿列图像摄影系统及齿列图像摄影方法 |
-
2023
- 2023-12-04 CN CN202311638867.5A patent/CN117349027B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029662A1 (ja) * | 2010-08-31 | 2012-03-08 | 国立大学法人熊本大学 | 画像処理方法および画像処理装置 |
| JP2022068282A (ja) * | 2017-07-05 | 2022-05-09 | キヤノン株式会社 | ホワイトバランス調整装置、フォーカス制御装置、露出制御装置、ホワイトバランス調整方法、フォーカス制御方法、露出制御方法、及びプログラム |
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
| CN114445334A (zh) * | 2021-12-22 | 2022-05-06 | 新瑞鹏宠物医疗集团有限公司 | 图像分析的方法、装置、设备及存储介质 |
| CN116340778A (zh) * | 2023-05-25 | 2023-06-27 | 智慧眼科技股份有限公司 | 基于多模态的医疗大模型构建方法及其相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117349027A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN113392960B (zh) | 一种基于混合空洞卷积金字塔的目标检测网络及方法 | |
| CN112990219B (zh) | 用于图像语义分割的方法和装置 | |
| CN111274987B (zh) | 人脸表情识别方法及人脸表情识别装置 | |
| CN111738169A (zh) | 一种基于端对端网络模型的手写公式识别方法 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN113673613A (zh) | 基于对比学习的多模态数据特征表达方法、装置及介质 | |
| CN115618051A (zh) | 一种基于互联网的智慧校园监控视频存储方法 | |
| CN111145277A (zh) | 一种深度语义感知与bpg压缩工具的图像压缩方法 | |
| CN114529750A (zh) | 图像分类方法、装置、设备及存储介质 | |
| CN117349027B (zh) | 一种降低算力需求的多模态大模型构建系统和方法 | |
| CN114640669A (zh) | 边缘计算方法及装置 | |
| CN116704506A (zh) | 一种基于交叉环境注意力的指代图像分割方法 | |
| CN111047657A (zh) | 图片压缩方法、装置、介质及电子设备 | |
| Li et al. | Fast portrait segmentation with highly light-weight network | |
| CN116542311A (zh) | 神经网络模型压缩方法和系统 | |
| CN112804446A (zh) | 基于云平台大数据的大数据处理方法及装置 | |
| CN111401317A (zh) | 视频分类方法、装置、设备及存储介质 | |
| CN115102852B (zh) | 物联网业务开通方法、装置、电子设备及计算机介质 | |
| CN114758128B (zh) | 基于受控像素嵌入表征显式交互的场景全景分割方法及系统 | |
| Zhou et al. | Lightweight Self-Attention Network for Semantic Segmentation | |
| US20230177806A1 (en) | Method, computer program product and apparatus for visual searching | |
| CN115361584B (zh) | 一种视频数据处理方法、装置、电子设备及可读存储介质 | |
| Ciolino | Image Compression and Actionable Intelligence With Deep Neural Networks | |
| CN110633663B (zh) | 一种手语视频中自动裁剪多模态数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |