CN117453921B - 一种大语言模型的数据信息标签处理方法 - Google Patents

一种大语言模型的数据信息标签处理方法 Download PDF

Info

Publication number
CN117453921B
CN117453921B CN202311774579.2A CN202311774579A CN117453921B CN 117453921 B CN117453921 B CN 117453921B CN 202311774579 A CN202311774579 A CN 202311774579A CN 117453921 B CN117453921 B CN 117453921B
Authority
CN
China
Prior art keywords
data
module
label
unit
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311774579.2A
Other languages
English (en)
Other versions
CN117453921A (zh
Inventor
阎星娥
严荣明
杨昆
张�林
刘慰慰
赵万亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huafei Data Technology Co ltd
Original Assignee
Nanjing Huafei Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huafei Data Technology Co ltd filed Critical Nanjing Huafei Data Technology Co ltd
Priority to CN202311774579.2A priority Critical patent/CN117453921B/zh
Publication of CN117453921A publication Critical patent/CN117453921A/zh
Application granted granted Critical
Publication of CN117453921B publication Critical patent/CN117453921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/358—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种大语言模型的数据信息标签处理方法，涉及数据信息处理技术领域，解决了传统数据信息标签处理方法中理解性差、可信度低、局限性强和准确性差的限制的缺点；本发明通过迁移学习模块使模型在初级任务上学习到上下文的特征；通过词嵌入方法丰富文本的语义信息；通过基于机器学习的标签分类算法，可以对生成的标签按照类型或目的进行分类；通过关键词提取模型去除无关标签，提升标签的准确性和相关性；通过多模态数据融合系统将文本数据与图像、音频和视频数据融合，提升模型的上下文理解能力；通过解释性可视化模块显示模型在推理过程中的重要特征、关注点和决策依据，增强了模型的可解释性。

Description

一种大语言模型的数据信息标签处理方法
技术领域
本发明涉及数据信息处理技术领域，且更具体地涉及一种大语言模型的数据信息标签处理方法。
背景技术
在当前互联网时代，数据的快速增长和信息的爆炸式增加给人们带来了前所未有的挑战和机遇。大数据的应用已经渗透到各个领域，并为决策制定、商业发展和科学研究等提供了重要支持。然而，随着数据规模的扩大和复杂性的增加，如何从海量的数据中准确地提取有效的信息并进行理解和解释成为了新的问题。
在过去，机器学习和深度学习等技术的迅速发展使得建立高性能的预测和分类模型成为可能。然而，这些黑盒模型的高度复杂性和非线性特征使得模型的解释性和可理解性成为一个严峻的挑战。对于许多关键应用领域，如金融、医疗和司法等，仅仅拥有准确的预测结果是不够的，还需要清晰地了解模型是如何做出决策的，以便能够解释和验证这些结果是否合理和可靠；为了解决这一问题，数据信息标签处理方法应运而生。随着大语言模型的发展和广泛应用，数据信息标签处理方法在自然语言处理、文本分类、情感分析等领域也得到了广泛应用。然而，传统的数据信息标签处理方法仍有一些缺点：
首先，传统方法中，标签分类可能缺乏组织性和可理解性，导致标签的应用受限；其次，传统方法中，对于多模态数据的处理可能存在局限性，无法充分利用不同数据源的特征；其次，大语言模型通常是黑盒模型，难以解释其决策过程和推理逻辑；这使得用户很难理解模型为何做出特定的预测或标签，从而降低了对模型结果的可信度和可解释性；另外，传统方法中，标签的准确性和完整性可能存在问题；最后，大语言模型训练于海量的文本数据，其中可能存在偏见和刻板印象；这会导致处理标签数据时出现不公平或不准确的标签推断结果；特别是在处理含有歧义、复杂逻辑或含有多重上下文的句子时，模型可能会出现困惑或产生错误的标签；
因此，为了解决传统数据信息标签处理方法中理解性差、可信度低、局限性强和准确性差的限制的缺点，本发明公开一种大语言模型的数据信息标签处理方法。
发明内容
针对现有技术的不足，本发明公开了一种大语言模型的数据信息标签处理方法，本发明通过数据清洗、去除噪音、标记化和分词等预处理步骤，可以提高数据的质量，减少噪音干扰，使得后续处理更加可靠和准确；通过迁移学习模块进行预训练，可以使模型在初级任务上学习到上下文的特征，提升了模型的理解能力和泛化能力；通过词嵌入方法将文本转化为向量表示，并结合知识图谱、外部资源和启发式规则，可以丰富文本的语义信息，提高标签的相关性和准确性；通过基于机器学习的标签分类算法，可以对生成的标签按照类型或目的进行分类，使得标签更加有组织性和可理解性，方便后续应用；通过关键词提取模型，可以对生成的标签进行过滤和筛选，去除无关标签，提升标签的准确性和相关性；过多模态数据融合系统，将文本数据与图像、音频和视频数据融合，可以提升模型的上下文理解能力，使得模型对多样化数据的处理更加全面和综合；通过解释性可视化模块和知识图谱，可以显示模型在推理过程中的重要特征、关注点和决策依据，增强了模型的可解释性，并提供了更丰富的语义背景；通过半监督学习器对生成的标签进行修正和补充，可以进一步提高标签的准确性和完整性，使得标签更符合实际需求，并提升后续应用的效果。
为了实现上述技术效果，本发明采用以下技术方案：
一种大语言模型的数据信息标签处理方法，其中所述方法包括：
作为本发明进一步的技术方案，包括以下步骤：
步骤一、数据预处理，通过预处理云平台对待标签的数据集进行至少包括数据清洗、去除噪音、标记化和分词操作；
步骤二、上下文建模，通过迁移学习模块在数据信息标签处理的初级任务上进行预训练；
步骤三、标签提取，通过词嵌入方法将文本转化为向量表示，并通过知识图谱、外部资源和启发式规则对每个文本生成一个或多个相关标签；
步骤四、标签分类，通过基于机器学习的标签分类算法对生成的标签按照类型或目的进行分类；
步骤五、标签过滤，通过关键词提取模型对生成的标签进行过滤和筛选，所述关键词提取模型通过文本挖掘和信息检索方法去除无关标签；
步骤六、进行多模态融合，通过多模态数据融合系统将文本数据与图像、音频和视频数据融合形成不同数据源特征以提升模型的上下文理解能力；
步骤七、标签关联，通过解释性可视化模块显示模型在推理过程中的重要特征、关注点和决策依据，所述解释性可视化模块通过知识图谱对生成的标签进行关联和连接；
步骤八、标签修正，通过半监督学习器对生成的标签进行修正和补充。
作为本发明进一步的技术方案，所述预处理云平台包括数据清洗模块、标签提取模块、标签转换模块、数据切割模块、数据平衡模块、数据编码模块、数据归一化模块和去噪处理模块；所述数据清洗模块通过自然语言处理工具识别并处理文本中的特殊字符；所述标签提取模块通过关键词提取算法从文本中提取标签信息；所述标签转换模块通过数值编码器将文本类别标签转换为二进制编码，对于多标签任务，所述标签转换模块通过独热编码器将文本类别标签表示为多列二进制编码向量；所述数据切割模块通过随机划分方法将数据集划分为训练集、验证集和测试集；所述数据平衡模块通过欠采样、过采样和合成样本方法平衡不同种类的样本数量；所述数据编码模块通过词嵌入模型将文本转换为密集向量的表示形式；并通过字符编码将文本拆分为字符以进行编码表示；所述数据归一化模块通过最小最大缩放法将数据特征进行缩放，以消除不同特征间的尺度差异；所述去噪处理模块通过离群点检测算法识别并处理异常值；所述数据清洗模块的输出端与所述标签提取模块的输入端连接；所述标签提取模块的输出端与所述标签转换模块的输入端连接、所述标签转换模块的输出端与所述数据切割模块的输入端连接；所述数据切割模块的输出端与所述数据平衡模块的输入端连接；所述数据平衡模块的输出端与所述数据编码模块的输入端连接；所述数据编码模块的输出端与所述数据归一化模块的输入端连接；所述数据归一化模块的输出端与所述去噪处理模块的输入端连接。
作为本发明进一步的技术方案，所述迁移学习模块包括预训练单元、特征提取单元、模型微调单元和参数共享单元；其中，所述预训练单元通过生成对抗网络方法在大规模通用语料上进行预训练，以学习语言模型的参数和通用语言表示能力；基于预训练模型数据，所述特征提取单元通过卷积神经网络提取文本特征用于目标任务；在目标任务的有标签数据上，所述模型微调单元通过梯度下降法对预训练模型进行模型参数调整以适应不同任务情况；在调整之后，所述迁移学习模块通过参数共享单元固定部分预训练模型参数，所述参数共享单元通过分层优化方法优化与目标任务相关层的参数，以保留预训练模型所学到的通用特征。
作为本发明进一步的技术方案，所述基于机器学习的标签分类算法通过数据样本中的内在信息进行训练，并通过概率分布函数定义数据集，以获得数据样本的信息分布概率，概率分布函数表达式为：
（1）
在公式（1）中，表示概率分布函数；N表示原始数据样本；t表示变换后的数据；d表示概率分布的权重；/>为与原始文本数据相关正样本；在获得概率分布后，自监督学习算法通过条件概率函数对所有样本求和，以实现在给定原始数据样本的情况下预测辅助目标概率；条件概率函数公式表达式为：
（2）
在公式（2）中，表示条件概率函数；/>表示给定原始文本数据时预测辅助目标的概率；b则表示模型对原始文本数据的预测输出；i表示用于对比的目标样本；z表示概率预测输出与对比目标之间的相似性；通过条件概率函数获得数据标签的概率定义信息数据，通过最大化似然函数对信息数据进行预训练，并将条件概率改写为最大化证据下界生成目标数据标签，并通过掩码填充学习目标中的语义信息，其中，似然函数的公式表达式为：
（3）
在公式（3）中，表示似然函数；/>表示聚合输出密度参数；/>表示特征值分层统计自由度；/>表示聚合误差校正参数；/>表示信息熵平均值；/>表示信息熵分层特征预测误差；表示重建损失误差；/>表示对抗损失误差。
作为本发明进一步的技术方案，所述词嵌入方法的工作方式步骤为：
（S1）数据预处理，通过正则表达式和自然语言处理库进行至少包括数据的清洗、去重、分词和词性标注操作；
（S2）构建词汇表，根据预处理得到的分词结果，通过索引数据结构构建词汇表；
（S3）训练词嵌入模型，通过词向量转换工具GV在上下文中的共现关系中生成嵌入向量；所述词向量转换工具GV通过全局词频信息计算单词之间的关系；
（S4）生成词嵌入表示，对于每个单词或子词，通过科学计算库NP查询训练好的词嵌入模型，获取对应的向量表示；
（S5）标签提取和分类，通过交叉熵损失函数计算词嵌入向量之间的相似度，将生成的词嵌入向量用于标签提取和分类任务；所述交叉熵损失函数的公式表达式为：
（4）
在公式（4）中，表示交叉熵损失函数；/>表示真实标签；/>表示模型的预测概率；/>表示真实标签的第 />个元素；/>表示模型的预测概率的第/>个元素；/>表示随机常数。
作为本发明进一步的技术方案，所述多模态数据融合系统包括特征提取模块、模态特征编码模块、特征融合模块和联合学习模块；所述特征提取模块包括图像信息提取单元和音频信息提取单元，所述图像信息提取单元通过卷积神经网络进行特征提取；所述音频信息提取单元通过梅尔频谱方法进行特征提取；所述模态特征编码模块通过全连接网络将特征信息转化为二进制向量表示形式；所述特征融合模块通过多视角融合算法将不同模态的特征进行整合和融合；所述联合学习模块通过多模态分类器对整合后的多模态特征进行模型训练；所述特征提取模块的输出端与所述模态特征编码模块的输入端连接；所述模态特征编码模块的输出端与所述特征融合模块的输入端连接；所述特征融合模块的输出端与所述联合学习模块的输入端连接。
作为本发明进一步的技术方案，所述半监督学习器包括数据预处理单元、特征提取单元、特征生成单元、标签预测单元和标签修正单元；所述半监督学习器通过数据预处理单元对原始文本数据进行预处理；所述数据预处理单元通过正则表达式和自然语言处理库对标签数据进行预处理；所述半监督学习器通过特征提取单元提取特征表示，所述特征提取单元通过词袋模型将文本数据转换为向量表示；所述特征生成单元通过变分自编码器从数据中挖掘相关数据；所述标签预测单元通过聚类分析方法对标签内容进行预测；所述标签修正单元通过信息聚合方法将预测标签与真实标签进行融合。
作为本发明进一步的技术方案，所述关键词提取模型包括关键词抽取模块、标签匹配模块和标签生成模块；所述关键词抽取模块包括词频统计单元、词性标注单元和停用词过滤单元；所述词频统计单元通过使用文本挖掘方法对输入的数据信息进行预处理，并统计每个单词在整个数据集中的出现次数；所述词性标注单元通过自然语言处理方法对输入的数据信息进行词性标注；所述停用词过滤单元通过信息检索方法从关键词列表中去除无关词汇；所述标签匹配模块包括标签规则匹配单元和标签相似度匹配单元；所述标签规则匹配单元通过规则引擎将与标签无关的关键词进行过滤；所述标签相似度匹配单元通过文本相似度计算方法衡量关键词和标签之间的语义相似性；所述标签生成模块包括标签合并单元和标签评估单元；所述标签合并单元通过字符串匹配方法合并相似关键词；所述标签评估单元通过标签频率、标签关联度和标签信息熵指标对生成的标签进行评估，以过滤效果不佳的标签。
作为本发明进一步的技术方案，所述解释性可视化模块包括特征映射单元、注意力可视化单元、决策解释单元和关联展示单元；所述特征映射单元通过卷积神经网络可视化模型内部的卷积层的激活图像和特征图，以显示模型在推理过程中对输入数据的特征提取情况；所述注意力可视化单元通过自注意力机制计算输入位置对于输出预测的重要性，以显示模型在推理过程中的关注点和重要区域；所述决策解释单元通过梯度类别激活映射方法将模型输出与输入之间的梯度信息可视化，以显示模型关注区域；所述关联展示单元通过知识图谱展示模型在推理过程中的信息；所述知识图谱通过图数据库存储和管理标签、属性和标签属性间的关系；所述知识图谱通过语义链接将不同实体之间的关系进行建模和表示。
本发明积极有益效果在于：
本发明通过数据清洗、去除噪音、标记化和分词等预处理步骤，可以提高数据的质量，减少噪音干扰，使得后续处理更加可靠和准确；通过迁移学习模块进行预训练，可以使模型在初级任务上学习到上下文的特征，提升了模型的理解能力和泛化能力；通过词嵌入方法将文本转化为向量表示，并结合知识图谱、外部资源和启发式规则，可以丰富文本的语义信息，提高标签的相关性和准确性；通过基于机器学习的标签分类算法，可以对生成的标签按照类型或目的进行分类，使得标签更加有组织性和可理解性，方便后续应用；通过关键词提取模型，可以对生成的标签进行过滤和筛选，去除无关标签，提升标签的准确性和相关性；过多模态数据融合系统，将文本数据与图像、音频和视频数据融合，可以提升模型的上下文理解能力，使得模型对多样化数据的处理更加全面和综合；通过解释性可视化模块和知识图谱，可以显示模型在推理过程中的重要特征、关注点和决策依据，增强了模型的可解释性，并提供了更丰富的语义背景；通过半监督学习器对生成的标签进行修正和补充，可以进一步提高标签的准确性和完整性，使得标签更符合实际需求，并提升后续应用的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
图1为本发明的流程步骤示意图；
图2为本发明的标签处理云平台框架图；
图3为本发明的半监督学习器框架图；
图4为本发明的词嵌入方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图4所示，一种大语言模型的数据信息标签处理方法,包括以下步骤:
步骤一、数据预处理，通过预处理云平台对待标签的数据集进行至少包括数据清洗、去除噪音、标记化和分词操作；
步骤二、上下文建模，通过迁移学习模块在数据信息标签处理的初级任务上进行预训练；
步骤三、标签提取，通过词嵌入方法将文本转化为向量表示，并通过知识图谱、外部资源和启发式规则对每个文本生成一个或多个相关标签；
步骤四、标签分类，通过基于机器学习的标签分类算法对生成的标签按照类型或目的进行分类；
步骤五、标签过滤，通过关键词提取模型对生成的标签进行过滤和筛选，所述关键词提取模型通过文本挖掘和信息检索方法去除无关标签；
步骤六、进行多模态融合，通过多模态数据融合系统将文本数据与图像、音频和视频数据融合形成不同数据源特征以提升模型的上下文理解能力；
步骤七、标签关联，通过解释性可视化模块显示模型在推理过程中的重要特征、关注点和决策依据，所述解释性可视化模块通过知识图谱对生成的标签进行关联和连接；
步骤八、标签修正，通过半监督学习器对生成的标签进行修正和补充。
在上述实施例中，所述预处理云平台包括数据清洗模块、标签提取模块、标签转换模块、数据切割模块、数据平衡模块、数据编码模块、数据归一化模块和去噪处理模块；所述数据清洗模块通过自然语言处理工具识别并处理文本中的特殊字符；所述标签提取模块通过关键词提取算法从文本中提取标签信息；所述标签转换模块通过数值编码器将文本类别标签转换为二进制编码，对于多标签任务，所述标签转换模块通过独热编码器将文本类别标签表示为多列二进制编码向量；所述数据切割模块通过随机划分方法将数据集划分为训练集、验证集和测试集；所述数据平衡模块通过欠采样、过采样和合成样本方法平衡不同种类的样本数量；所述数据编码模块通过词嵌入模型将文本转换为密集向量的表示形式；并通过字符编码将文本拆分为字符以进行编码表示；所述数据归一化模块通过最小最大缩放法将数据特征进行缩放，以消除不同特征间的尺度差异；所述去噪处理模块通过离群点检测算法识别并处理异常值；所述数据清洗模块的输出端与所述标签提取模块的输入端连接；所述标签提取模块的输出端与所述标签转换模块的输入端连接、所述标签转换模块的输出端与所述数据切割模块的输入端连接；所述数据切割模块的输出端与所述数据平衡模块的输入端连接；所述数据平衡模块的输出端与所述数据编码模块的输入端连接；所述数据编码模块的输出端与所述数据归一化模块的输入端连接；所述数据归一化模块的输出端与所述去噪处理模块的输入端连接。
在具体实施例中，数据清洗模块通过应用文本清洗技术，例如正则表达式和停用词过滤，去除数据中的噪声、无用字符或特殊符号。这些步骤包括去除HTML标签、删除URL链接、排除标点符号和数字。接下来，标签提取模块利用自然语言处理和信息抽取技术从文本数据中提取关键信息或特定标签。其中，通过使用命名实体识别（NER）技术可以提取句子中的人名、地名、组织名等实体标签。然后，标签转换模块将提取到的标签转换为模型可接收的格式。这通过建立映射表或使用独热编码（One-Hot Encoding），以便模型能够对这些标签进行处理。接着，数据切割模块根据任务需求将数据集划分为训练集、验证集和测试集。这一步通常采用随机划分或按照特定比例进行划分，以确保数据集的多样性和可靠性。
针对不平衡数据集，数据平衡模块采用欠采样或过采样技术来调整样本数量，使其更加均衡。欠采样可能通过随机或有选择性地删除一些样本来减少多数类样本，而过采样则通过复制或合成新的样本来增加少数类样本。数据编码模块将文本数据转换为模型可接收的输入表示形式。常见的方法包括词袋模型（Bag-of-Words）和词嵌入（WordEmbedding），用于将文本转换为向量表示。
数据归一化模块对特征进行归一化处理，消除不同特征尺度之间的差异。常用的方法有标准化（Standardization）和最大最小值缩放（Min-Max Scaling）。这样做可以保证不同特征在数值上具有相似的范围。最后，去噪处理模块通过文本去噪技术提高数据质量和可靠性。通过去除重复数据、处理缺失值以及进行降噪过滤，包括去除异常值等操作。
在上述实施例中，所述迁移学习模块包括预训练单元、特征提取单元、模型微调单元和参数共享单元；其中，所述预训练单元通过生成对抗网络方法在大规模通用语料上进行预训练，以学习语言模型的参数和通用语言表示能力；基于预训练模型数据，所述特征提取单元通过卷积神经网络提取文本特征用于目标任务；在目标任务的有标签数据上，所述模型微调单元通过梯度下降法对预训练模型进行模型参数调整以适应不同任务情况；在调整之后，所述迁移学习模块通过参数共享单元固定部分预训练模型参数，所述参数共享单元通过分层优化方法优化与目标任务相关层的参数，以保留预训练模型所学到的通用特征。
在具体实施例中，迁移学习模块通过预训练和微调技术来实现知识的迁移。在具体实施中，迁移学习允许我们从一个任务或领域中学习到的知识和表示迁移到另一个相关任务或领域中。在大语言模型中，迁移学习可以用来提取普适的语言知识，并将其应用于特定的数据信息标签处理任务。具体的实践中，迁移学习模块通常基于大数据模型进行预训练，例如GPT-3模型，在大量未标记的文本数据上进行预训练。这个预训练过程旨在使模型学会对语言的通用理解和表示。
一旦预训练完成，迁移学习模块会针对特定的数据信息标签处理任务对预训练的模型进行微调。微调过程中会使用有标签的训练数据，其中包含了特定任务所需的标签。通过在这些有标签的数据上进行训练，模型可以调整自身的参数，以适应特定任务的要求。在文本处理任务中，迁移学习模块可以基于原始文本数据生成掩码填充任务。它将输入的文本序列进行掩码操作，将其中的某些词或字符隐藏起来，然后要求模型根据上下文推断被掩码的词或字符。通过这样的预测任务，模型可以学习到文本序列中词与词之间的关系和语义信息，从而提升后续文本标签处理任务的效果，同时，在微调过程中通过反向传播算法和梯度下降优化使模型根据标签数据不断调整参数，提高对特定任务的表现。
在上述实施例中，所述基于机器学习的标签分类算法通过数据样本中的内在信息进行训练，并通过概率分布函数定义数据集，以获得数据样本的信息分布概率，概率分布函数表达式为：
（1）
在公式（1）中，表示概率分布函数；N表示原始数据样本；t表示变换后的数据；d表示概率分布的权重；/>为与原始文本数据相关正样本；在获得概率分布后，自监督学习算法通过条件概率函数对所有样本求和，以实现在给定原始数据样本的情况下预测辅助目标概率；条件概率函数公式表达式为：
（2）
在公式（2）中，表示条件概率函数；/>表示给定原始文本数据时预测辅助目标的概率，b则表示模型对原始文本数据的预测输出；i表示用于对比的目标样本；z表示概率预测输出与对比目标之间的相似性；通过条件概率函数获得数据标签的概率定义信息数据，通过最大化似然函数对信息数据进行预训练，并将条件概率改写为最大化证据下界生成目标数据标签，并通过掩码填充学习目标中的语义信息，其中，似然函数的公式表达式为：
（3）
在公式（3）中，表示似然函数；/>表示聚合输出密度参数；/>表示特征值分层统计自由度；/>表示聚合误差校正参数；/>表示信息熵平均值；/>表示信息熵分层特征预测误差；表示重建损失误差；/>表示对抗损失误差。
在具体实施例中，假设我们使用一种大语言模型来生成电影评论的标签。生成的标签包括情感类别（如正面、负面、中性）、剧情类别（如爱情、动作、喜剧）和评分类别（如一星到五星）。我们可以利用机器学习的标签分类算法对这些标签进行分类。
m1. 数据准备：首先，我们需要准备一组已经被人工标注好的电影评论标签数据。数据包括电影评论文本和对应的标签类别。例如，评论文本：“这部电影太精彩了！”对应的标签类别可能是正面、剧情类别是动作、评分类别是五星。
m2. 特征提取：接下来，我们需要从电影评论文本中提取特征，以便让机器学习算法能够理解和区分不同的类别。常见的特征提取方法包括词袋模型、TF-IDF等。
m3. 训练模型：使用已经标注好的数据集，我们可以训练一个机器学习模型，例如朴素贝叶斯分类器、支持向量机（SVM）或者深度学习模型如卷积神经网络（CNN）或循环神经网络（RNN）。训练过程中，模型会根据特征和标签之间的关系进行学习和调整模型参数。
m4. 标签分类：在训练完成后，我们可以将生成的标签输入到已经训练好的模型中进行分类。模型会根据输入的特征，利用之前学习到的关系，预测出每个标签的类别。例如，对于一个电影评论的标签，模型可以判断其情感类别为正面，剧情类别为动作，评分类别为五星。
在一种大语言模型的数据信息标签处理方法中，基于机器学习的标签分类算法可以实现对生成的标签自动分类，减少了人工操作的工作量。另外，通过充分利用已经标注好的数据集进行训练，机器学习模型可以学习到标签与特征之间的复杂关系，从而提高分类准确性。同时，该算法可以适用于不同类型的标签分类任务，只需准备相应的数据集进行训练，便可应用于其他领域的标签分类问题。其次，一旦模型训练完成，对新生成的标签进行分类的过程通常很快，可以实现快速响应和处理。
在具体实施中，基于机器学习的标签分类算法和传统算法在不同参数设置下的性能表现如数据表格1所示：
表1基于机器学习的标签分类算法数据对比表
在数据表格1中，特征提取方法指从文本中提取特征的方法，常见的方法包括词袋模型、TF-IDF和Word2Vec等。训练集大小指训练机器学习模型所使用的数据集大小。准确性指模型在分类任务中的准确性，即正确预测标签类别的比例。处理速度指模型对新生成的标签进行分类的速度。扩展性指模型是否能够适用于不同类型的标签分类任务，并具有良好的泛化能力。自动化处理指模型是否能够自动进行标签分类，减少人工操作的工作量。
在一种大语言模型的数据信息标签处理方法中，基于机器学习的标签分类算法的硬件环境包括一台具备足够计算资源的服务器或云平台，包括高性能的CPU和内存。另外可以使用GPU加速计算的显卡，以提高算法的训练和推理速度。同时需要存储空间足够大以容纳模型和数据集。
在具体实施中，标签分类算法的运行过程如下所示：
数据准备：将原始文本数据转换为机器学习算法可处理的格式，通常是将文本表示为数值向量，如词袋模型、TF-IDF向量或词嵌入向量。划分数据集为训练集和测试集，确保训练和评估的独立性。
特征工程：根据具体任务和数据特点进行特征工程，例如提取文本的词频、文本长度、情感特征等。对特征进行预处理，如归一化、标准化或降维等。
模型选择与训练：选择合适的机器学习算法，如支持向量机（SVM）、朴素贝叶斯（Naive Bayes）、逻辑回归（Logistic Regression）等。使用训练集对模型进行训练，学习特征与标签之间的关系。通过交叉验证和调参等方法，优化模型性能。
模型评估与优化：使用测试集对训练好的模型进行评估，计算分类准确度、精确度、召回率、F1值等指标。根据评估结果进行模型的优化和调整，如调整超参数、增加训练数据量、改变特征选择方法等。
模型应用：使用优化后的模型对新的文本数据进行分类预测。将文本数据输入到模型中，模型会根据学习到的特征与标签之间的关系，预测文本所属的标签类别。
在上述实施例中，所述词嵌入方法的工作方式步骤为：
（S1）数据预处理，通过正则表达式和自然语言处理库进行至少包括数据的清洗、去重、分词和词性标注操作；
（S2）构建词汇表，根据预处理得到的分词结果，通过索引数据结构构建词汇表；
（S3）训练词嵌入模型，通过词向量转换工具GV在上下文中的共现关系中生成嵌入向量；所述词向量转换工具GV通过全局词频信息计算单词之间的关系；
（S4）生成词嵌入表示，对于每个单词或子词，通过科学计算库NP查询训练好的词嵌入模型，获取对应的向量表示；
（S5）标签提取和分类，通过交叉熵损失函数计算词嵌入向量之间的相似度，将生成的词嵌入向量用于标签提取和分类任务；所述交叉熵损失函数的公式表达式为：
（4）
在公式（4）中，表示交叉熵损失函数，/>表示真实标签，/>表示模型的预测概率，/>表示真实标签的第 />个元素，/>表示模型的预测概率的第/>个元素，/>表示随机常数。
在具体实施例中，在一种大语言模型的数据信息标签处理方法中，词嵌入方法用于将文本转化为向量表示。词嵌入是一种将单词映射到连续向量空间的技术，它可以捕捉单词之间的语义和上下文关系。
具体实施例中，词嵌入方法首先收集数据集中的所有单词，并构建一个词汇表。词汇表是包含数据集中所有单词的集合。然后，使用词嵌入模型（例如Word2Vec、GloVe或BERT）对词汇表中的每个单词进行训练，生成对应的词向量。词向量是具有固定维度的实数向量，每个维度代表着某种语义特征。接着，对于给定的文本，将其中的每个单词替换为对应的词向量。可以通过简单地将各个单词的词向量相加、取平均或使用其他聚合方法来获得整个文本的向量表示。这将文本从一个离散的符号序列转换为一个连续的向量表示。最后，利用知识图谱、外部资源和启发式规则，对每个文本生成一个或多个相关标签。这些标签可以是预定义的类别、主题关键词或其他与文本内容相关的信息。
在大语言模型的数据信息标签处理中，词嵌入方法可以捕捉到单词之间的语义相似性，即语义上相似的单词在向量空间中距离较近。这样，在生成标签时可以更好地理解文本的含义和上下文。另外，词嵌入方法考虑了单词在句子或文本中的上下文关系，因此能够更好地理解单词的含义。通过将上下文信息编码为向量表示，可以更准确地生成与文本相关的标签。其次，词嵌入方法将高维的离散符号序列转换为低维的连续向量表示，从而减少了特征空间的维度。这样可以降低计算复杂度，并且使得后续标签生成的任务更加高效。同时，通过使用预训练的词嵌入模型，可以将已经学习到的语义知识迁移到新的任务中。这种迁移学习可以提高标签生成的准确性和效率。
在上述实施例中，所述多模态数据融合系统包括特征提取模块、模态特征编码模块、特征融合模块和联合学习模块；所述特征提取模块包括图像信息提取单元和音频信息提取单元，所述图像信息提取单元通过卷积神经网络进行特征提取；所述音频信息提取单元通过梅尔频谱方法进行特征提取；所述模态特征编码模块通过全连接网络将特征信息转化为二进制向量表示形式；所述特征融合模块通过多视角融合算法将不同模态的特征进行整合和融合；所述联合学习模块通过多模态分类器对整合后的多模态特征进行模型训练；所述特征提取模块的输出端与所述模态特征编码模块的输入端连接；所述模态特征编码模块的输出端与所述特征融合模块的输入端连接；所述特征融合模块的输出端与所述联合学习模块的输入端连接。
在具体实施例中，多模态数据融合系统通过特征提取模块从不同模态的数据源中提取特征。对于文本数据，通过使用方法如词嵌入、TF-IDF等技术，将文本转化为稠密的向量表示。对于图像数据，通过使用卷积神经网络（CNN）来提取图像的高级特征。对于音频数据，通过使用声谱图或Mel频谱图等方法将音频转换为可用的特征。同时，多模态数据融合系统通过模态特征编码模块从不同模态中提取的特征进行编码。通过编码，通过将特征映射到相同的特征空间中，以便后续的融合和学习操作。常见的编码器包括自编码器、循环神经网络（RNN）和Transformer等模型。这些模型通过无监督训练的方式，将输入的特征映射到一个更紧凑、有意义的表示上。另外，多模态数据融合系统通过特征融合模块将不同模态的特征进行融合，以获取融合后的多模态表示。融合策略通过根据任务需求和数据特点来选择，常用的方法有加权求和、拼接、注意力机制等。例如，通过使用加权求和的方法，通过为每个模态赋予适当的权重来融合特征。另一种方法是使用注意力机制，根据不同模态之间的关联性自适应地学习融合权重。通过联合学习模块在融合后的多模态数据上进行联合学习，以完成具体的任务。通过使用各种机器学习或深度学习模型，如多层感知机（MLP）、卷积神经网络（CNN）或循环神经网络（RNN）等，对融合后的特征进行进一步建模和分类。通过联合学习，模型通过利用多模态信息之间的关联性和互补性，从而提高性能并更好地理解数据。
在上述实施例中，所述半监督学习器包括数据预处理单元、特征提取单元、特征生成单元、标签预测单元和标签修正单元；所述半监督学习器通过数据预处理单元对原始文本数据进行预处理；所述数据预处理单元通过正则表达式和自然语言处理库对标签数据进行预处理；所述半监督学习器通过特征提取单元提取特征表示，所述特征提取单元通过词袋模型将文本数据转换为向量表示；所述特征生成单元通过变分自编码器从数据中挖掘相关数据；所述标签预测单元通过聚类分析方法对标签内容进行预测；所述标签修正单元通过信息聚合方法将预测标签与真实标签进行融合。
在具体实施例中，如图3所示，半监督学习器通过数据预处理单元清洗和准备原始数据。包括去除噪声、处理缺失值、数据归一化等操作，以提高数据的质量和一致性。同时，通过特征提取单元用于从原始数据中提取有意义的特征表示，以便之后的学习和推断。这通过传统的特征提取方法（如词袋模型、TF-IDF、n-gram等）或深度学习方法（如卷积神经网络、循环神经网络等）来实现。特征提取单元的目标是将原始数据转化为机器学习算法通过理解和处理的数值特征。然后，通过特征生成单元采用无监督学习方法，通过对特征进行聚类、降维或生成新特征等技术，扩展原始特征的表达能力。例如，通过使用聚类算法将相似的样本聚类到同一簇中，或者使用主成分分析（PCA）进行特征降维以提取更抽象、更有意义的特征表示。在具体实施中，半监督学习器通过标签生成单元利用弱监督学习方法推断或生成样本的标签，以推断或生成样本的标签信息，辅助于缺乏准确标签的情况下进行学习和推断。在弱监督学习中，标签的获得通常是通过一些启发式规则或领域知识来实现。例如，通过使用正则表达式、关键词匹配等方法从文本中推断标签。在具体实施中，利用远距离监督技术，通过利用已有的弱标签、外部知识库或对齐的数据源来生成标签。最后，通过标签整合单元负责整合不同来源的标签信息，以获取最终的标签标注结果。这通过投票、置信度加权、一致性检测等方法来实现。标签整合单元的目标是整合不同来源的标签信息，提高标签的质量和准确性，从而为后续的学习和预测提供可靠的标签结果。所以，半监督学习器通过不同的技术和方法，处理原始数据并生成有意义的特征和标签信息，从而提供更好的训练数据和标签信息，进一步用于模型的学习和推断。
在上述实施例中，所述关键词提取模型包括关键词抽取模块、标签匹配模块和标签生成模块；所述关键词抽取模块包括词频统计单元、词性标注单元和停用词过滤单元；所述词频统计单元通过使用文本挖掘方法对输入的数据信息进行预处理，并统计每个单词在整个数据集中的出现次数；所述词性标注单元通过自然语言处理方法对输入的数据信息进行词性标注；所述停用词过滤单元通过信息检索方法从关键词列表中去除无关词汇；所述标签匹配模块包括标签规则匹配单元和标签相似度匹配单元；所述标签规则匹配单元通过规则引擎将与标签无关的关键词进行过滤；所述标签相似度匹配单元通过文本相似度计算方法衡量关键词和标签之间的语义相似性；所述标签生成模块包括标签合并单元和标签评估单元；所述标签合并单元通过字符串匹配方法合并相似关键词；所述标签评估单元通过标签频率、标签关联度和标签信息熵指标对生成的标签进行评估，以过滤效果不佳的标签。
在具体实施例中，关键词抽取模块通过分析文本中的词语频率、词语权重或上下文关系等信息，确定哪些词汇在文本中具有重要性。常见的关键词抽取算法包括：
- TF-IDF（Term Frequency-Inverse Document Frequency）：根据词语在文本中的频率和在整个语料库中的重要性来计算每个词语的权重。频率高、但在整个语料库中出现次数较少的词语会被认为是关键词。
- TextRank：将文本看作一个图结构，利用图算法中的PageRank算法来评估词语的重要性。词语之间的连接关系由共现、语义相似度等因素决定，重要的词语会在图结构中获得较高的权重。
- LDA（Latent Dirichlet Allocation）：概率模型用于识别文本中的潜在主题，将具有相似主题的词语聚类在一起，并将这些聚类视为关键词。
标签匹配模块将抽取出来的关键词与预先定义好的标签进行匹配，以确定适合该文本的标签。匹配方法可以根据具体需求进行选择：
规则匹配：通过制定一系列规则和模式，例如正则表达式、关键词列表或基于词性等限定条件，来确定哪些关键词与标签匹配。
机器学习模型：通过对大量的标注数据进行训练，构建分类模型，如朴素贝叶斯分类器、支持向量机或深度神经网络等，来学习并预测文本与标签之间的关系。
标签生成模块在匹配结果的基础上，进一步处理生成最终的标签。这包括：
合并：将相关的标签合并为一个更全面和准确的标签，以更好地表示文本的内容。切分：将一个包含多个主题或特征的标签细分为单独的子标签，以提供更精细的描述。过滤：根据预设的过滤条件，筛选掉不符合要求的标签，以确保生成的标签质量和准确性。
综合上述工作方式原理，关键词提取模型能够自动从文本中提取关键信息，并通过匹配和生成标签的过程，为数据添加准确、丰富的标签，从而帮助用户更快速、准确地搜索和利用数据。在具体实施中，通过关键词提取和标签化，可以使数据更易于分类、搜索和索引，提高信息检索的效率和准确性。另外，标签化可以为文本数据添加语义标记，丰富数据的描述，提供更详细、全面的信息，使数据更具可理解性和可发现性。其次，通过对标签化数据的分析和挖掘，可以实现智能推荐和个性化服务，为用户提供更符合其需求和兴趣的内容。最后，通过标签化数据，可以更好地进行数据汇总、统计和分析，辅助决策制定和洞察业务趋势。
在上述实施例中，所述解释性可视化模块包括特征映射单元、注意力可视化单元、决策解释单元和关联展示单元；所述特征映射单元通过卷积神经网络可视化模型内部的卷积层的激活图像和特征图，以显示模型在推理过程中对输入数据的特征提取情况；所述注意力可视化单元通过自注意力机制计算输入位置对于输出预测的重要性，以显示模型在推理过程中的关注点和重要区域；所述决策解释单元通过梯度类别激活映射方法将模型输出与输入之间的梯度信息可视化，以显示模型关注区域；所述关联展示单元通过知识图谱展示模型在推理过程中的信息；所述知识图谱通过图数据库存储和管理标签、属性和标签属性间的关系；所述知识图谱通过语义链接将不同实体之间的关系进行建模和表示。
在具体实施例中，解释性可视化模块通过特征映射单元中技术如主成分分析（PCA）方法将输入数据映射到一个低维空间，并使用可视化手段展示不同特征之间的关系和数据的分布情况。这可以帮助我们理解模型对输入特征的重要性和相互作用。
注意力可视化单元通过注意力机制在语言模型中广泛应用，它可以将模型对输入序列中不同位置的关注程度可视化。通过将注意力权重与输入序列对应的单词或标记进行可视化，我们可以了解模型在生成输出时对不同部分的关注程度。这有助于解释模型的推断过程和决策依据。
决策解释单元则通常通过生成文本或图像来解释模型的预测结果。例如，针对特定输入，生成一段解释性文本描述模型是如何得出具体预测结果的，或者通过生成类似热图的可视化图像来展示模型对不同输入特征的重要性。这有助于理解模型的决策逻辑和原因。
在强化学习任务中，关联展示单元帮助我们理解模型的策略选择和行为决策。通过可视化模型与环境的交互过程、奖励函数的变化以及模型对不同动作的偏好，我们可以深入了解模型是如何学习和改进策略的。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (9)

1.一种大语言模型的数据信息标签处理方法，其特征在于：包括以下步骤：
步骤一、数据预处理；
通过预处理云平台对待标签的数据集进行至少包括数据清洗、去除噪音、标记化和分词操作；
步骤二、上下文建模；
通过迁移学习模块在数据信息标签处理的初级任务上进行预训练；
步骤三、标签提取；
通过词嵌入方法将文本转化为向量表示，并通过知识图谱、外部资源和启发式规则对每个文本生成一个或多个相关标签；
步骤四、标签分类；
通过基于机器学习的标签分类算法对生成的标签按照类型或目的进行分类；
步骤五、标签过滤；
通过关键词提取模型对生成的标签进行过滤和筛选，所述关键词提取模型通过文本挖掘和信息检索方法去除无关标签；
步骤六、进行多模态融合；
通过多模态数据融合系统将文本数据与图像、音频和视频数据融合形成不同数据源特征以提升模型的上下文理解能力；
步骤七、标签关联；
通过解释性可视化模块显示模型在推理过程中的重要特征、关注点和决策依据，所述解释性可视化模块通过知识图谱对生成的标签进行关联和连接；
步骤八、标签修正；
通过半监督学习器对生成的标签进行修正和补充。
2.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述预处理云平台包括数据清洗模块、标签提取模块、标签转换模块、数据切割模块、数据平衡模块、数据编码模块、数据归一化模块和去噪处理模块；所述数据清洗模块通过自然语言处理工具识别并处理文本中的特殊字符；所述标签提取模块通过关键词提取算法从文本中提取标签信息；所述标签转换模块通过数值编码器将文本类别标签转换为二进制编码，对于多标签任务，所述标签转换模块通过独热编码器将文本类别标签表示为多列二进制编码向量；所述数据切割模块通过随机划分方法将数据集划分为训练集、验证集和测试集；所述数据平衡模块通过欠采样、过采样和合成样本方法平衡不同种类的样本数量；所述数据编码模块通过词嵌入模型将文本转换为密集向量的表示形式；并通过字符编码将文本拆分为字符以进行编码表示；所述数据归一化模块通过最小最大缩放法将数据特征进行缩放，以消除不同特征间的尺度差异；所述去噪处理模块通过离群点检测算法识别并处理异常值；所述数据清洗模块的输出端与所述标签提取模块的输入端连接；所述标签提取模块的输出端与所述标签转换模块的输入端连接、所述标签转换模块的输出端与所述数据切割模块的输入端连接；所述数据切割模块的输出端与所述数据平衡模块的输入端连接；所述数据平衡模块的输出端与所述数据编码模块的输入端连接；所述数据编码模块的输出端与所述数据归一化模块的输入端连接；所述数据归一化模块的输出端与所述去噪处理模块的输入端连接。
3.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述迁移学习模块包括预训练单元、特征提取单元、模型微调单元和参数共享单元；其中所述预训练单元通过生成对抗网络方法在大规模通用语料上进行预训练，以学习语言模型的参数和通用语言表示能力；基于预训练模型数据，所述特征提取单元通过卷积神经网络提取文本特征用于目标任务；在目标任务的有标签数据上，所述模型微调单元通过梯度下降法对预训练模型进行模型参数调整以适应不同任务情况；在调整之后，所述迁移学习模块通过参数共享单元固定部分预训练模型参数，所述参数共享单元通过分层优化方法优化与目标任务相关层的参数，以保留预训练模型所学到的通用特征。
4.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述基于机器学习的标签分类算法通过数据样本中的内在信息进行训练，并通过概率分布函数定义数据集，以获得数据样本的信息分布概率，概率分布函数表达式为：
（1）
在公式（1）中，表示概率分布函数；N表示原始数据样本；t表示变换后的数据；d表示概率分布的权重；/>为与原始文本数据相关正样本；在获得概率分布后，自监督学习算法通过条件概率函数对所有样本求和，以实现在给定原始数据样本的情况下预测辅助目标概率；条件概率函数公式表达式为：
（2）
在公式（2）中，表示条件概率函数；/>表示给定原始文本数据时预测辅助目标的概率；b则表示模型对原始文本数据的预测输出；i表示用于对比的目标样本；z表示概率预测输出与对比目标之间的相似性；通过条件概率函数获得数据标签的概率定义信息数据，通过最大化似然函数对信息数据进行预训练，并将条件概率改写为最大化证据下界生成目标数据标签，并通过掩码填充学习目标中的语义信息，其中，似然函数的公式表达式为：
（3）
在公式（3）中，表示似然函数；/>表示聚合输出密度参数；/>表示特征值分层统计自由度；/>表示聚合误差校正参数；/>表示信息熵平均值；/>表示信息熵分层特征预测误差；/>表示重建损失误差；/>表示对抗损失误差。
5.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述词嵌入方法的工作方式步骤为：
（S1）数据预处理；
通过正则表达式和自然语言处理库进行至少包括数据的清洗、去重、分词和词性标注操作；
（S2）构建词汇表；
根据预处理得到的分词结果，通过索引数据结构构建词汇表；
（S3）训练词嵌入模型；
通过词向量转换工具GV在上下文中的共现关系中生成嵌入向量；所述词向量转换工具GV通过全局词频信息计算单词之间的关系；
（S4）生成词嵌入表示；
对于每个单词或子词，通过科学计算库NP查询训练好的词嵌入模型，获取对应的向量表示；
（S5）标签提取和分类；
通过交叉熵损失函数计算词嵌入向量之间的相似度，将生成的词嵌入向量用于标签提取和分类任务；所述交叉熵损失函数的公式表达式为：
（4）
在公式（4）中，表示交叉熵损失函数；/>表示真实标签；/>表示模型的预测概率；/>表示真实标签的第 />个元素；/>表示模型的预测概率的第/>个元素；/>表示随机常数。
6.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述多模态数据融合系统包括特征提取模块、模态特征编码模块、特征融合模块和联合学习模块；所述特征提取模块包括图像信息提取单元和音频信息提取单元，所述图像信息提取单元通过卷积神经网络进行特征提取；所述音频信息提取单元通过梅尔频谱方法进行特征提取；所述模态特征编码模块通过全连接网络将特征信息转化为二进制向量表示形式；所述特征融合模块通过多视角融合算法将不同模态的特征进行整合和融合；所述联合学习模块通过多模态分类器对整合后的多模态特征进行模型训练；所述特征提取模块的输出端与所述模态特征编码模块的输入端连接；所述模态特征编码模块的输出端与所述特征融合模块的输入端连接；所述特征融合模块的输出端与所述联合学习模块的输入端连接。
7.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述半监督学习器包括数据预处理单元、特征提取单元、特征生成单元、标签预测单元和标签修正单元；所述半监督学习器通过数据预处理单元对原始文本数据进行预处理；所述数据预处理单元通过正则表达式和自然语言处理库对标签数据进行预处理；所述半监督学习器通过特征提取单元提取特征表示，所述特征提取单元通过词袋模型将文本数据转换为向量表示；所述特征生成单元通过变分自编码器从数据中挖掘相关数据；所述标签预测单元通过聚类分析方法对标签内容进行预测；所述标签修正单元通过信息聚合方法将预测标签与真实标签进行融合。
8.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述关键词提取模型包括关键词抽取模块、标签匹配模块和标签生成模块；所述关键词抽取模块包括词频统计单元、词性标注单元和停用词过滤单元；所述词频统计单元通过使用文本挖掘方法对输入的数据信息进行预处理，并统计每个单词在整个数据集中的出现次数；所述词性标注单元通过自然语言处理方法对输入的数据信息进行词性标注；所述停用词过滤单元通过信息检索方法从关键词列表中去除无关词汇；所述标签匹配模块包括标签规则匹配单元和标签相似度匹配单元；所述标签规则匹配单元通过规则引擎将与标签无关的关键词进行过滤；所述标签相似度匹配单元通过文本相似度计算方法衡量关键词和标签之间的语义相似性；所述标签生成模块包括标签合并单元和标签评估单元；所述标签合并单元通过字符串匹配方法合并相似关键词；所述标签评估单元通过标签频率、标签关联度和标签信息熵指标对生成的标签进行评估，以过滤效果不佳的标签。
9.根据权利要求1所述的一种大语言模型的数据信息标签处理方法，其特征在于：所述解释性可视化模块包括特征映射单元、注意力可视化单元、决策解释单元和关联展示单元；所述特征映射单元通过卷积神经网络可视化模型内部的卷积层的激活图像和特征图，以显示模型在推理过程中对输入数据的特征提取情况；所述注意力可视化单元通过自注意力机制计算输入位置对于输出预测的重要性，以显示模型在推理过程中的关注点和重要区域；所述决策解释单元通过梯度类别激活映射方法将模型输出与输入之间的梯度信息可视化，以显示模型关注区域；所述关联展示单元通过知识图谱展示模型在推理过程中的信息；所述知识图谱通过图数据库存储和管理标签、属性和标签属性间的关系；所述知识图谱通过语义链接将不同实体之间的关系进行建模和表示。
CN202311774579.2A 2023-12-22 2023-12-22 一种大语言模型的数据信息标签处理方法 Active CN117453921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311774579.2A CN117453921B (zh) 2023-12-22 2023-12-22 一种大语言模型的数据信息标签处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311774579.2A CN117453921B (zh) 2023-12-22 2023-12-22 一种大语言模型的数据信息标签处理方法

Publications (2)

Publication Number Publication Date
CN117453921A CN117453921A (zh) 2024-01-26
CN117453921B true CN117453921B (zh) 2024-02-23

Family

ID=89591470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311774579.2A Active CN117453921B (zh) 2023-12-22 2023-12-22 一种大语言模型的数据信息标签处理方法

Country Status (1)

Country Link
CN (1) CN117453921B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896388A (zh) * 2022-03-07 2022-08-12 武汉理工大学 一种基于混合注意力的层级多标签文本分类方法
CN115392251A (zh) * 2022-09-01 2022-11-25 广东工业大学 一种互联网金融业务的实体实时识别方法
CN117076693A (zh) * 2023-07-11 2023-11-17 华中师范大学 一种数字人教师多模态大语言模型预训练学科语料库的构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176188B2 (en) * 2017-01-11 2021-11-16 Siemens Healthcare Gmbh Visualization framework based on document representation learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896388A (zh) * 2022-03-07 2022-08-12 武汉理工大学 一种基于混合注意力的层级多标签文本分类方法
CN115392251A (zh) * 2022-09-01 2022-11-25 广东工业大学 一种互联网金融业务的实体实时识别方法
CN117076693A (zh) * 2023-07-11 2023-11-17 华中师范大学 一种数字人教师多模态大语言模型预训练学科语料库的构建方法

Also Published As

Publication number Publication date
CN117453921A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN111753060B (zh) 信息检索方法、装置、设备及计算机可读存储介质
Zhang et al. Taxogen: Unsupervised topic taxonomy construction by adaptive term embedding and clustering
Snyder et al. Interactive learning for identifying relevant tweets to support real-time situational awareness
Gomes et al. Bug report severity level prediction in open source software: A survey and research opportunities
US20190188564A1 (en) Methods and apparatus for asynchronous and interactive machine learning using attention selection techniques
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN113312480A (zh) 基于图卷积网络的科技论文层级多标签分类方法及设备
CN113705238A (zh) 基于bert和方面特征定位模型的方面级情感分析方法及模型
CN116842194A (zh) 一种电力语义知识图谱系统及方法
CN114676346A (zh) 新闻事件处理方法、装置、计算机设备和存储介质
Baboo et al. Sentiment analysis and automatic emotion detection analysis of twitter using machine learning classifiers
CN117453921B (zh) 一种大语言模型的数据信息标签处理方法
Ataman et al. Transforming large-scale participation data through topic modelling in urban design processes
CN114896387A (zh) 军事情报分析可视化方法、装置以及计算机可读存储介质
Ali et al. Classification of Software Systems attributes based on quality factors using linguistic knowledge and machine learning: A review.
Parkar et al. A survey paper on the latest techniques for sarcasm detection using BG method
US11574017B2 (en) Sub-question result merging in question and answer (QA) systems
Thakur et al. A Systematic Review on Explicit and Implicit Aspect Based Sentiment Analysis
Venkatesh Accelerating Information Retrieval using Natural Language Processing
El Mir et al. A Hybrid Learning Approach for Text Classification Using Natural Language Processing
Gao A combined rule-based and machine learning approach for blackout analysis using natural language processing
Schwartz et al. Machine learning methods
Chen Embedding Concepts and Documents in One Space
Yu et al. A knowledge-graph based text summarization scheme for mobile edge computing
Swapnika et al. Event Detection and Classification Using Deep Compressed Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant