CN117132591A - 一种基于多模态信息的电池数据处理方法和系统 - Google Patents
一种基于多模态信息的电池数据处理方法和系统 Download PDFInfo
- Publication number
- CN117132591A CN117132591A CN202311379290.0A CN202311379290A CN117132591A CN 117132591 A CN117132591 A CN 117132591A CN 202311379290 A CN202311379290 A CN 202311379290A CN 117132591 A CN117132591 A CN 117132591A
- Authority
- CN
- China
- Prior art keywords
- battery
- information
- battery data
- data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 29
- 230000000052 comparative effect Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000013499 data model Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000002829 reductive effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
- G01R31/367—Software therefor, e.g. for battery testing using modelling or look-up tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供的基于多模态信息的电池数据处理模型的训练方法，通过大模型，基于多模态信息的电池数据进行电池状态预测，结合多模态信息的融合以及对比学习完成对大模型的无监督训练。该模型可以获取电池的潜在信息，并生成电池数据的嵌入式表示，为下游任务提供精准有效的数据基础。在面对不同任务时，只需对模型进行微调训练即可，从而极大的简化了模型，降低了模型复杂性。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种基于多模态信息的电池数据处理方法、系统、电子设备和存储介质。
背景技术
电池数据包括电池的容量、续航距离、可用寿命，以及与电池相关的换电工单信息等。利用电池数据进行大数据分析，可以为外卖、共享单车等行业提供积极有效的数据支持；
电池数据的嵌入式表示是一种将电池数据映射到低维向量空间的技术，以便计算机可以更好地理解和处理这些数据。电池数据可以包括电池的充电状态、温度、电压、容量、循环次数等信息。嵌入式表示可以用于电池健康监测、故障检测、性能预测等应用。
在相关技术中，主要是单独任务单独建模，容量预估模型单独进行建模；寿命预测模型就单独进行建模预测。由于不同模型之间是互相独立的，进而会导致模型的训练过程繁琐，特别是当有很多预测任务的时候，需要训练多个复杂的预测模型；另外，由于每个预测模型都是较为复杂的，在使用的时候，会导致多个模型在运行，从而占据了大量的计算性能。
发明内容
本申请实施例提供了一种基于多模态信息的电池数据处理模型的训练方法、装置、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中针对不同任务需要分别训练模型进而导致模型复杂的问题。
第一方面，本申请实施例提供了一种基于多模态信息的电池数据处理模型的训练方法，所述方法包括：
大模型训练流程，包括：获取原始电池数据和对比电池数据，其中，所述对比电池数据基于所述原始电池获取，所述原始电池数据和所述对比电池数据均包括多模态的电池状态信息，
通过特征处理模块，分别对所述原始电池数据和所述对比电池数据进行特征提取，得到第一融合特征和第二融合特征，
通过对比学习模块，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据所述潜在信息和所述交叉隐变量信息得到所述原始电池数据的嵌入式表示；
大模型优化流程，包括：基于所述第一融合特征和所述第二融合特征确定损失函数，并基于所述损失函数对所述大模型进行优化训练，得到训练好的电池数据处理模型。
在其中一些实施例中，所述多模态信息包括电池文本信息、电池图像信息和电池序列化信息，对所述原始电池数据和所述对比电池数据进行特征提取包括：
分别通过文本特征提取模块、图像特征提取模块和序列化特征提取模块，对所述电池文本信息、电池图像信息和电池序列化信息进行特征提取，分别得到电池文本特征、电池图像特征和电池序列化特征；
基于所述原始电池数据的电池文本特征、电池图像特征和电池序列化特征进行基于注意力机制的加权特征融合，得到第一融合特征；
基于所述对比电池数据的电池文本特征、电池图像特征和电池序列化特征进行基于注意力机制的加权特征融合，得到第二融合特征。
在其中一些实施例中，所述方法还包括：
所述文本特征提取模块的Transformer网络，获取所述电池文本信息中的上下文关联信息和语义信息，得到所述电池文本特征；
所述图像特征提取模块的CNN网络，对所述电池图像信息进行卷积和池化操作，得到所述电池图像特征；
所述序列化特征提取模块的Transformer网络，获取所述电池序列化信息中的时序关系和上下文信息，得到所述电池序列化特征。
在其中一些实施例中，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息包括：
基于所述第一融合特征，进行自我比对学习，获取电池数据自身的潜在信息；
通过将所述第一融合特征与所述第二融合特征进行比较学习，获取特征不同特征之间的相似性和差异性，得到所述交叉隐变量信息。
在其中一些实施例中，基于第一融合特征和所述第二融合特征，通过如下公式获取所述损失函数：；/>
其中，L是所述损失函数，、/>、/>分别是基于第一融合特征进行自我比对学习得到的文本预测损失参量、重构图片损失参量和时序序列预测参量，/>是基于所述第一融合特征和第二融合特征进行对比学习，得到的样本对比损失，/>分别是权重参数， />表示所述电池文本信息中被mask的单词的数量，/>是通过文本解码器预测的被mask的单词的概率，/>是所述电池图像信息，/>是通过图片解码器基于所述原始电池数据的嵌入式表示获取的电池图像信息，/>是下一时间步的电池状态，是通过时间预测解码器基于所述原始电池数据的嵌入式表示获取的下一时间步的电池状态。
在其中一些实施例中，所述对比电池数据包括正样本数据和负样本数据，所述方法还包括：
对目标原始电池数据进行随机扰动，得到与所述目标原始电池数据具备相似性的正样本数据；
随机选取与目标原始电池数据不同序列的原始电池数据，得到与所述目标原始电池数据具备差异性的负样本数据。
第二方面，本申请实施例提供了一种基于多模态模型的电池数据处理方法，所述方法包括：
获取目标环境下的实时电池数据；
根据与所述实时电池数据对应的电池数据处理任务，对基于第一方面训练得到的电池数据处理模型进行微调；
基于所述微调之后的电池数据模型对所述实时电池数据进行预测，得到与所述实时电池数据对应的电池嵌入式表示。
第三方面，本申请实施例提供了一种基于多模态信息的电池数据模型的训练系统，所述系统包括：大模型训练模块和大模型优化模块，其中，
所述大模型训练模块用于：
获取原始电池数据和对比电池数据，其中，所述对比电池数据基于所述原始电池获取，所述原始电池数据和所述对比电池数据均包括多模态的电池状态信息，
通过特征处理模块，分别对所述原始电池数据和所述对比电池数据进行特征提取，得到第一融合特征和第二融合特征，
通过对比学习模块，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据所述潜在信息和所述交叉隐变量信息得到所述原始电池数据的嵌入式表示；
所述优化模块用于：
基于所述第一融合特征和所述第二融合特征确定损失函数，并基于所述损失函数对大模型进行优化训练，得到训练好的电池数据处理模型。
第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面和第二方面所述的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面和第二方面所述的方法。
相比于相关技术，本申请实施例提供的基于多模态信息的电池数据处理模型的训练方法，通过大模型，基于多模态信息的电池数据进行电池状态预测，结合多模态信息的融合以及对比学习完成对大模型的无监督训练。该模型可以获取电池的潜在信息，并生成电池数据的嵌入式表示，为下游任务提供精准有效的数据基础。在面对不同任务时，只需对模型进行微调训练即可，从而极大的简化了模型，降低了模型复杂性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于多模态信息的电池数据处理模型的训练方法的流程图；
图2是根据本申请实施例的进行电池特征提取及处理的流程图；
图3是根据本申请实施例的一种基于多模态信息进行特征处理的示意图；
图4是根据本申请实施例的一种基于多模态信息的电池数据处理方法的流程图；
图5是根据本申请实施例的种基于多模态信息的电池数据处理模型的训练系统的结构框图；
图6是根据本申请是实力的基于多模态信息的电池数据处理系统的结构框图；
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
电池标注数据往往是稀缺的，特别是对于一些新型电池或特殊应用场景，且电池数据还常常受到噪声的影响，这可能导致传统模型训练和预测的不准确性。另外，部分技术方案需要较长的时间来收集和处理电池的历史数据，然后进行预测，这种延迟可能不适合实时应用场景，无法及时提供关键的决策支持。进一步的，传统模型可能无法适应各种型号和品牌的电池以及无法适应不同的下游任务，导致在不同电池上的适用性有限。由于每种电池的特性和性能以及任务性质各不相同，传统模型往往需要重新训练才能适应不同的电池及应用场景，这限制了其灵活性。
基于上述情况，本申请实施例提供了一种准确性高、实时性强且具有灵活性的电池向量化表示方法，可以对电池数据进行实时处理和分析，以提取出电池的关键潜在信息，且具有灵活性能够满足实时不同应用场景的需求。
第一方面，本申请实施例提供了一种基于多模态信息的电池数据处理模型的训练，图1是根据本申请实施例的基于多模态信息的电池数据处理模型的训练方法的流程图，如图1所示，该方法通过预先构建的大模型实现，包括如下步骤：
S101，通过接收模块，获取原始电池数据和对比电池数据，其中，对比电池数据基于电池得到，原始电池数据和对比电池数据均包括多模态信息；
需要说明的是，本申请实施例中的电池是用于电动车续航供电的电池；大模型是指深度学习或机器学习中具有大量参数和复杂结构的模型，这些大模型通常在大规模数据集上进行训练，以实现卓越的性能。
进一步的，在步骤S201之前，需要获取原始电池数据和对比电池数据，具体包括如下步骤：
Step1，提取电池文本信息；
其中，该文本信息主要来源于电池的说明书文档，每个电池的主要信息包括：最大骑行距离、单位SOC骑行距离（1% SOC 对应的骑行距离，等于总骑行距离除以总消耗的SOC）、单位电压骑行距离（消耗1v电压对应的骑行距离，等于总骑行距离除以总消耗的电压）、最大骑行速度；
需要说明的是，还可以对该文本信息中的部分内容进行掩码操作，以选择性地隐藏或强调数据的特定部分；可以理解，在本实施例中掩码操作的目的是增强或者隐藏电池文本信息中部分内容。具体的，掩码通常是一个二进制数组，其中的值为1表示要保留的部分，值为0表示要屏蔽或隐藏的部分。
Step2，提取电池图像信息；
其中，可以在获取原始电池图像之后，通过将电池图像进行灰度转换、清除噪声等预处理步骤之后，使用图像增强技术对图像进行改善之后，得到可用的电池图像信息。
进一步的，可以采用形态学操作（如腐蚀和膨胀），去除图像中小的噪声点或填补图像中的空洞。
需要说明的是，上述对原始电池图像进行预处理的具体手段仅为一种具体的示例性表述，应该理解，提取电池图像信息的方式并不局限上述方式。
Step3，提取电池序列信息；
该电池序列特征包括取电池的时刻，以及取电池之后相应的电池的电压V、电量SOC、电流I、容量C；
可以理解，在外卖骑手换电过程、或者共享单车行业，每次换电或骑行行为发生的时刻，以及该时刻下电池的信息即为上述电池序列信息。
进一步的，综合电池文本信息、提取电池图像信息/>和提取电池序列信息得到原始电池数据/>。
基于该原始电池数据进行随机扰动变换，得到对比电池数据，可选的，包括如下步骤：
Step1，将进行部分文本内容剔除、文本内容修改等；
Step2，对于进行图片旋转、裁剪等操作,；
Step3，对于进行部分时序内容倒排等；
通过上述步骤Step1-Step3，得到相应的正样本。
Step4，通过随机选取与原始样本X的不同的电池，作为相应的负样本；
综合上述原始数据、正样本和负样本得到用于比对的样本电池数据。同样，需要说明的是，上述获取对比电池数据的方式仅为一种具体示例。
S102，通过特征处理模块，分别对原始电池数据和对比电池数据的进行特征提取，得到第一融合特征和第二融合特征；
可以理解，在大模型的结构中，特征提取模块共有三个特征提取子模块，通过三个子模块分别实现对不同模态信息的特征提取；
具体的，图2是根据本申请实施例的进行电池特征提取及处理的流程图，如图2所示，该步骤包括如下步骤：
S201，分别通过文本特征提取模块、图像特征提取模块和序列化特征提取模块，对电池文本信息、电池图像信息和电池序列化信息进行特征提取，得到电池文本特征、电池图像特征和电池序列化特征；
具体的，在步骤S201中，可以通过预先构建Transformer网络对电池的文本数据进行特征提取，得到电池文本/>；
其中，相比较于传统的循环神经网络或卷积神经网络，通过transformer 的自注意力机制，在输入序列的不同位置上分配不同的注意力权重，以及有效地捕捉到电池文档中的上下文依赖关系和语义信息，从而提取出电池文本数据最为重要的信息；
在步骤S201中，使用卷积神经网络（CNN）对电池相关图片进行特征提取，得到表示图片信息的特征向量/>。需要说明的是，通过CNN的卷积和池化操作，可以有效地捕捉到图片中的视觉特征，如形状、颜色和纹理等，从而提升模型的训练效果；
在步骤S201中，通过Transformer网络，对电池相关的序列信息进行特征提取，以及编码和解码，得到电池序列特征/>。电池相关的序列信息包括电池的充放电记录、电流电压变化、电流波形等；
S202，在分别得到电池文本特征、电池图像特征和电池序列特征之后，通过特征融合模块，将上述不同模态的电池特征融入，得到融合特征，
具体的，由于不同模态的电池数据的重要性程度不同，例如，在换电领域，时序特征的重要性大于电池文本特征和图像特征，因此，本实施例中，通过如下公式引入注意力机制，将不同模态的重要特征进行加权组合得到融合特征：
其中，
可以理解，由于对比电池数据包括正样本和度样本，因此，第二融合特征同样包括正样本特征和负样本特征，其中，正样本特征是与第一电池特征具备相似性的特征，负样本特征是与第一融合电池特征具备差异性的特征。
图3是根据本申请实施例的一种基于多模态信息进行特征处理的示意图，如图3所示，在一个示例性实施例中，将原始电池数据X、正样本电池数据和负样本电池数据输出大模型，其中，模型的文本处理模块/>、图形特征提取模块/>和序列特征提取模块/>分别对电池文本数据/>、电池图形数据/>和电池序列化数据/>进行特征提取，得到电池文本特征/>、电池图像特征/>和电池序列化特征/>；
进一步的，将上述三类特征融合得到融合特征E，该融合特征可以综合反映电池相关的文本信息、图像信息/>、时序的频谱信息/>，以及通过对比学习的获取的潜在信息/>，其中，图3中时序的频谱信息/>中虚线框表示预测的频谱与实际频谱的对比状态。
S103，通过对比学习模块，基于第一融合特征和第二融合特征获取电池特征自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据潜在信息和交叉隐变量信息得到电池数据的嵌入式表示；
本步骤中，正样本是具有相似特征的样本对，而负样本是具有不同特征的样本对。在电池数据的情境下，正样本可以是相同类型或规格的电池，而负样本可以是不同类型或规格的电池。
可以理解，本实施例中，通过对一个特征相似的正样本电池特征和具备差异的负样本电池特征进行比对学习，可以自动发现电池之间的相似性和差异性（即上述交叉隐变量信息）。
另外，需要说明的是，对比学习是一种用于自监督学习和表示学习的方法，其主要目标是通过将相似性和差异性的概念引入模型，从而在无监督情况下学习有意义的表示。对比学习的主要思想是通过比较数据点之间的相似性来学习数据表示，并最终输出原始电池数据的低维维嵌入式表示。
S104，基于第一融合特征和第二融合特征确定损失函数，基于损失函数对大模型进行优化训练，得到训练好的电池数据处理模型。
其中，确定损失函数具体包括如下步骤：
Step1，对比方式主要通过图片重构、时间序列预测来学习自身的重要信息，
其中，对于电池文本特征，获取对应的文本预测损失参量，，/>表示被mask的单词集合，/>表示mask的单词的数量；
对于电池图像特征，获取对应的重构图片损失参量，，其中表示图片解码器，其由多层卷积神经网络（CNN）构成。计算相应的均方差损失；
对于电池时序特征，通过预测下一时间步的电池状态，，其中表示时间预测解码器，计算相应的均方差损失/>，得到对应的时序序列损失参量。
Step2，样本对比损失：
通过将一个基于原始电池数据提取的第一融合特征，与通过对比电池数据提取的一个第二融合电池特征进行比较，发现它们之间的相似性和差异性。具体的，；
Step3，基于上述权重参量，通过如下公式，得到最后的用于模型优化的损失函数，；/>
其中，L是所述损失函数，、/>、/>分别是基于第一融合特征进行自我比对学习得到的文本预测损失参量、重构图片损失参量和时序序列预测参量，/>是基于所述第一融合特征和第二融合特征进行对比学习，得到的样本对比损失，/>分别是权重参数，/> 表示所述电池文本信息中被mask的单词的数量，/>是通过文本解码器预测被mask的单词的概率，/>是所述电池图像信息，/>是通过图片解码器基于所述原始电池数据的嵌入式表示获取的电池图像信息，/>是下一时间步的电池状态，是通过时间预测解码器基于所述原始电池数据的嵌入式表示获取的下一时间步的电池状态。
通过上述步骤S104，在基于原始电池数据和对比电池数据之后，通过基于模态信息确定的损失函数，持续执行步骤S101至S103，以实现对大模型的优化训练，持续优化大模型的参数直至模型收敛，得到最后可以用于实际部署的电池数据处理模型。
通过上述步骤S101至S104，相比较于相关技术中的获取电池嵌入式表示的方法，本申请方案利用大模型，基于多模态信息的电池数据进行电池状态预测，结合多模态信息的融合以及对比学习完成对大模型的无监督训练。该模型可以获取电池的潜在信息，并生成电池数据的嵌入式表示，为下游任务提供精准有效的数据基础。
本申请中，由于大模型通常具有更多的参数和更强大的学习能力，能够更好地处理多种信息的结合，具有更高的灵活性和表示能力。同时，可能提升电池状态预测的准确性和多模态能力，综合考虑了更多的特征和因素，相较于传统模型的局限性更小，准确性也更高。
另外，本方法利用电池的历史信息进行无监督训练。这意味着不需要依赖大量标记的训练数据，仅仅通过电池的历史信息就可以进行训练和预测。从而减少数据收集和标注的工作量；进一步的，由于本申请应用的大模型相比较于传统模型具备更多的参数量，因此，可以更好地处理多种信息的结合，从而提升预测的准确性和多模态能力。
第二方面，本申请方案还提供了一种基于多模态模型的电池数据处理方法，图4是根据本申请实施例的一种基于多模态信息的电池数据处理方法的流程图，如图4所示，该流程包括如下步骤：
S401，获取目标环境下的实时电池数据；
其中，该实时电池数据包括但不限于是当前场景下的电池剩余续航里程、电池单位SOC、单位电压续航距离和电池容量等。具体的，该信息包括文本信息、图像形式和时序数据形式。
S402，根据实时电池数据，对通过上述步骤S101至S104训练得到的电池数据处理模型进行微调；
在一个具体的微调任务中，在Lora微调的过程中，首先构建Lora旁路，其由编码器/>以及解码器/>。
根据具体的任务进行微调，Lora微调不会更新大模型中的参数，只会调整Lora旁路/>中的参数，最终进行具体预测任务时，电池数据的嵌入式表示变为。
S403，基于微调之后的电池数据模型对实时电池数据进行预测，得到与实时电池数据对应的电池嵌入式表示；
其中，微调之后的模型可以应用于多种下游任务，包括但不限于包括是：容量预测、SOC预测、续航预测和剩余循环次数预测等任务。
通过上述步骤S401至S403，将训练完成的大模型部署在各种应用场景，可以灵活适用于多种类型的下游任务预测，可能提升电池状态预测的准确性和多模态能力，综合考虑了更多的特征和因素，相较于传统模型的局限性更小。
第二方面，本申请实施例还提供了一种基于多模态信息的电池数据处理模型的训练系统，图5是根据本申请实施例的种基于多模态信息的电池数据处理模型的训练系统的结构框图，如图5所示，该系统包括：模型训练模块50和模型优化模块51，其中，
模型训练模块50用于：
获取原始电池数据和对比电池数据，其中，对比电池数据基于原始电池获取，原始电池数据和对比电池数据均包括多模态的电池状态信息，
通过特征处理模块，分别对原始电池数据和对比电池数据进行特征提取，得到第一融合特征和第二融合特征，
通过对比学习模块，基于第一融合特征和第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据潜在信息和交叉隐变量信息得到原始电池数据的嵌入式表示；
模型优化模块51用于：
基于第一融合特征和第二融合特征确定损失函数，并基于损失函数对大模型进行优化训练，得到训练好的电池数据处理模型。
通过上述系统，基于多模态信息的电池数据进行电池状态预测，结合多模态信息的融合以及对比学习完成对大模型的无监督训练。该模型可以获取电池的潜在信息，并生成电池数据的嵌入式表示，为下游任务提供精准有效的数据基础。由于模型通常具有更多的参数和更强大的学习能力，能够更好地处理多种信息的结合，具有更高的灵活性和表示能力。同时，可能提升电池状态预测的准确性和多模态能力，综合考虑了更多的特征和因素，相较于传统模型的局限性更小，准确性也更高。
此外，图6是根据本申请是实力的基于多模态信息的电池数据处理系统的结构框图。
在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统的运行提供环境，计算机程序被处理器执行时以实现一种基于多模态信息的电池数据处理方法，数据库用于存储数据。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多模态信息的电池数据处理模型的训练方法，其特征在于，所述方法包括：
大模型训练流程，包括：获取原始电池数据和对比电池数据，其中，所述对比电池数据基于所述原始电池获取，所述原始电池数据和所述对比电池数据均包括多模态的电池状态信息，
通过特征处理模块，分别对所述原始电池数据和所述对比电池数据进行特征提取，得到第一融合特征和第二融合特征，
通过对比学习模块，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据所述潜在信息和所述交叉隐变量信息得到所述原始电池数据的嵌入式表示；
大模型优化流程，包括：基于所述第一融合特征和所述第二融合特征确定损失函数，并基于所述损失函数对所述大模型进行优化训练，得到训练好的电池数据处理模型。
2.根据权利要求1所述的方法，其特征在于，所述多模态信息包括电池文本信息、电池图像信息和电池序列化信息，对所述原始电池数据和所述对比电池数据进行特征提取包括：
分别通过文本特征提取模块、图像特征提取模块和序列化特征提取模块，对所述电池文本信息、电池图像信息和电池序列化信息进行特征提取，分别得到电池文本特征、电池图像特征和电池序列化特征；
基于所述原始电池数据的电池文本特征、电池图像特征和电池序列化特征进行基于注意力机制的加权特征融合，得到第一融合特征；
基于所述对比电池数据的电池文本特征、电池图像特征和电池序列化特征进行基于注意力机制的加权特征融合，得到第二融合特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述文本特征提取模块的Transformer网络，获取所述电池文本信息中的上下文关联信息和语义信息，得到所述电池文本特征；
所述图像特征提取模块的CNN网络，对所述电池图像信息进行卷积和池化操作，得到所述电池图像特征；
所述序列化特征提取模块的Transformer网络，获取所述电池序列化信息中的时序关系和上下文信息，得到所述电池序列化特征。
4.根据权利要求1所述的方法，其特征在于，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息包括：
基于所述第一融合特征，进行自我比对学习，获取电池数据自身的潜在信息；
通过将所述第一融合特征与所述第二融合特征进行比较学习，获取特征不同特征之间的相似性和差异性，得到所述交叉隐变量信息。
5.根据权利要求4所述的方法，其特征在于，基于第一融合特征和所述第二融合特征，通过如下公式获取所述损失函数：
；/>
其中，L是所述损失函数，、/>、/>分别是基于第一融合特征进行自我比对学习得到的文本预测损失参量、重构图片损失参量和时序序列预测参量，/>是基于所述第一融合特征和第二融合特征进行对比学习，得到的样本对比损失，/>、/>、/>、/>分别是权重参数， />表示所述电池文本信息中被mask的单词的数量，/>是通过文本解码器预测的被mask的单词的概率，/>是所述电池图像信息，/>是通过图片解码器基于所述原始电池数据的嵌入式表示获取的电池图像信息，/>是下一时间步的电池状态，/>是通过时间预测解码器基于所述原始电池数据的嵌入式表示获取的下一时间步的电池状态。
6.根据权利要求1所述的方法，其特征在于，所述对比电池数据包括正样本数据和负样本数据，所述方法还包括：
对目标原始电池数据进行随机扰动，得到与所述目标原始电池数据具备相似性的正样本数据；
随机选取与目标原始电池数据不同序列的原始电池数据，得到与所述目标原始电池数据具备差异性的负样本数据。
7.一种基于多模态模型的电池数据处理方法，其特征在于，所述方法包括：
获取目标环境下的实时电池数据；
根据与所述实时电池数据对应的电池数据处理任务，对所述权利要求1-6训练得到的电池数据处理模型进行微调；
基于所述微调之后的电池数据模型对所述实时电池数据进行预测，得到与所述实时电池数据对应的电池嵌入式表示。
8.一种基于多模态信息的电池数据模型的训练系统，其特征在于，所述系统包括：大模型训练模块和大模型优化模块，其中，
所述大模型训练模块用于：
获取原始电池数据和对比电池数据，其中，所述对比电池数据基于所述原始电池获取，所述原始电池数据和所述对比电池数据均包括多模态的电池状态信息，
通过特征处理模块，分别对所述原始电池数据和所述对比电池数据进行特征提取，得到第一融合特征和第二融合特征，
通过对比学习模块，基于所述第一融合特征和所述第二融合特征获取电池数据自身的潜在信息，以及不同电池特征之间交叉隐变量信息，根据所述潜在信息和所述交叉隐变量信息得到所述原始电池数据的嵌入式表示；
所述优化模块用于：
基于所述第一融合特征和所述第二融合特征确定损失函数，并基于所述损失函数对大模型进行优化训练，得到训练好的电池数据处理模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379290.0A CN117132591B (zh) | 2023-10-24 | 2023-10-24 | 一种基于多模态信息的电池数据处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379290.0A CN117132591B (zh) | 2023-10-24 | 2023-10-24 | 一种基于多模态信息的电池数据处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132591A true CN117132591A (zh) | 2023-11-28 |
| CN117132591B CN117132591B (zh) | 2024-02-06 |
Family
ID=88854852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311379290.0A Active CN117132591B (zh) | 2023-10-24 | 2023-10-24 | 一种基于多模态信息的电池数据处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132591B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436500A (zh) * | 2023-12-19 | 2024-01-23 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591902A (zh) * | 2021-06-11 | 2021-11-02 | 中国科学院自动化研究所 | 基于多模态预训练模型的跨模态理解与生成方法和装置 |
| CN115272230A (zh) * | 2022-07-27 | 2022-11-01 | 西安电子科技大学 | 一种基于多模态监督对比学习的头颈癌局部复发信息获取方法 |
| US20230081171A1 (en) * | 2021-09-07 | 2023-03-16 | Google Llc | Cross-Modal Contrastive Learning for Text-to-Image Generation based on Machine Learning Models |
| US20230105659A1 (en) * | 2021-10-05 | 2023-04-06 | Neumora Therapeutics, Inc. | Machine learning systems for processing multi-modal patient data |
| CN116206688A (zh) * | 2023-03-02 | 2023-06-02 | 南华大学 | 一种用于dta预测的多模态信息融合模型及方法 |
| CN116304984A (zh) * | 2023-03-14 | 2023-06-23 | 烟台大学 | 基于对比学习的多模态意图识别方法及系统 |
| CN116401420A (zh) * | 2023-01-05 | 2023-07-07 | 拉扎斯网络科技（上海）有限公司 | 基于多模态特征融合的搜索方法、装置、介质及设备 |
| CN116861995A (zh) * | 2023-07-10 | 2023-10-10 | 京东科技信息技术有限公司 | 多模态预训练模型的训练及多模态数据处理方法和装置 |
| CN116879761A (zh) * | 2023-09-06 | 2023-10-13 | 杭州宇谷科技股份有限公司 | 基于多模态的电池内短路检测方法、系统、装置及介质 |
-
2023
- 2023-10-24 CN CN202311379290.0A patent/CN117132591B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591902A (zh) * | 2021-06-11 | 2021-11-02 | 中国科学院自动化研究所 | 基于多模态预训练模型的跨模态理解与生成方法和装置 |
| US20230081171A1 (en) * | 2021-09-07 | 2023-03-16 | Google Llc | Cross-Modal Contrastive Learning for Text-to-Image Generation based on Machine Learning Models |
| US20230105659A1 (en) * | 2021-10-05 | 2023-04-06 | Neumora Therapeutics, Inc. | Machine learning systems for processing multi-modal patient data |
| CN115272230A (zh) * | 2022-07-27 | 2022-11-01 | 西安电子科技大学 | 一种基于多模态监督对比学习的头颈癌局部复发信息获取方法 |
| CN116401420A (zh) * | 2023-01-05 | 2023-07-07 | 拉扎斯网络科技（上海）有限公司 | 基于多模态特征融合的搜索方法、装置、介质及设备 |
| CN116206688A (zh) * | 2023-03-02 | 2023-06-02 | 南华大学 | 一种用于dta预测的多模态信息融合模型及方法 |
| CN116304984A (zh) * | 2023-03-14 | 2023-06-23 | 烟台大学 | 基于对比学习的多模态意图识别方法及系统 |
| CN116861995A (zh) * | 2023-07-10 | 2023-10-10 | 京东科技信息技术有限公司 | 多模态预训练模型的训练及多模态数据处理方法和装置 |
| CN116879761A (zh) * | 2023-09-06 | 2023-10-13 | 杭州宇谷科技股份有限公司 | 基于多模态的电池内短路检测方法、系统、装置及介质 |
Non-Patent Citations (2)
| Title |
|---|
| THONG NGUYEN 等: "Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions", ARXIV, pages 1 - 12 * |
| 焦萌: "基于神经网络的锂电池SOC估计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 03, pages 042 - 1330 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436500A (zh) * | 2023-12-19 | 2024-01-23 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
| CN117436500B (zh) * | 2023-12-19 | 2024-03-26 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132591B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105960647B (zh) | 紧凑人脸表示 | |
| CN113593611B (zh) | 语音分类网络训练方法、装置、计算设备及存储介质 | |
| CN117132591B (zh) | 一种基于多模态信息的电池数据处理方法和系统 | |
| US11544542B2 (en) | Computing device and method | |
| CN110827297A (zh) | 基于改进的条件生成对抗网络的绝缘子分割方法 | |
| CN111224805A (zh) | 一种网络故障根因检测方法、系统及存储介质 | |
| CN115754107B (zh) | 用于六氟磷酸锂制备的自动化采样分析系统及其方法 | |
| CN117117859B (zh) | 基于神经网络的光伏发电功率预测方法及系统 | |
| CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN113743277A (zh) | 一种短视频分类方法及系统、设备和存储介质 | |
| CN111626058B (zh) | 基于cr2神经网络的图像-文本双编码实现方法及系统 | |
| CN116995673A (zh) | 电力负荷预测方法、电力负荷预测模型训练方法和装置 | |
| CN113569704B (zh) | 分割点判断方法、系统、存储介质及电子设备 | |
| CN115017990B (zh) | 一种交通流量预测方法、装置、设备及存储介质 | |
| CN113742525A (zh) | 自监督视频哈希学习方法、系统、电子设备及存储介质 | |
| CN114418111A (zh) | 标签预测模型训练及样本筛选方法、装置、存储介质 | |
| CN117436500B (zh) | 一种基于对比学习的电池数据处理模型的无监督训练方法 | |
| CN113344260B (zh) | 一种基于数据融合的太阳能光伏功率的预测方法 | |
| Liu et al. | Tower masking mim: A self-supervised pretraining method for power line inspection | |
| CN116957135A (zh) | 考虑突发气象灾害的电力应急物资需求预测方法及系统 | |
| CN115760901A (zh) | 图像处理方法、电子装置及芯片 | |
| CN115272825A (zh) | 神经网络结构搜索方法、装置、设备及存储介质 | |
| CN114329174A (zh) | 数据召回方法及装置 | |
| CN117013534A (zh) | 发电功率预测方法、功率预测模型训练方法、装置和设备 | |
| CN117911919A (zh) | 一种基于开放世界多模态记忆学习的视频描述生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |