CN116702839A - 一种基于卷积神经网络的模型训练方法及应用系统 - Google Patents

一种基于卷积神经网络的模型训练方法及应用系统 Download PDF

Info

Publication number
CN116702839A
CN116702839A CN202310962586.9A CN202310962586A CN116702839A CN 116702839 A CN116702839 A CN 116702839A CN 202310962586 A CN202310962586 A CN 202310962586A CN 116702839 A CN116702839 A CN 116702839A
Authority
CN
China
Prior art keywords
data
model
neural network
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310962586.9A
Other languages
English (en)
Inventor
刘继前
张朋
杨训
刘松
石志康
吕仲恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Hangchen Information Technology Co ltd
Original Assignee
Anhui Hangchen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hangchen Information Technology Co ltd filed Critical Anhui Hangchen Information Technology Co ltd
Priority to CN202310962586.9A priority Critical patent/CN116702839A/zh
Publication of CN116702839A publication Critical patent/CN116702839A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的模型训练方法及应用系统,涉及人工智能技术领域,包括:将数据集中的数据进行数据预处理;构建卷积神经网络模型;对所述卷积神经网络模型进行训练;使用验证数据集进行模型评估:在每个训练周期结束后,使用验证集来评估模型的性能,并根据性能参数选择模型;保存模型参数、损失值和验证结果,所述验证结果包括用于评估模型的性能的参数。通过对网络模型的训练和优化,将该模型应用于大数据监控的系统,提高了数据监控的效率和精确度。

Description

一种基于卷积神经网络的模型训练方法及应用系统
技术领域
本发明涉及人工智能技术领域,特别涉及一种基于卷积神经网络的模型训练方法及应用系统。
背景技术
利用人工智能和大数据技术,通过自动化和智能化的方式实现了对大量数据的监控和反馈,为各行各业带来了低成本的解决方案。然而,为了保持系统的高效运行,实现高精确度的数据分析和处理需要不断对算法和模型进行优化。
发明内容
本发明提供一种基于卷积神经网络的模型训练方法及应用系统,通过对网络模型的训练和优化,将该模型应用于大数据监控的系统,提高了数据监控的效率和精确度。
根据本公开的一方面,提供了一种基于卷积神经网络的模型训练方法,其特征在于,所述方法包括:
将数据集中的数据进行数据预处理;
构建卷积神经网络模型;
对所述卷积神经网络模型进行训练,包括:
定义损失函数,选择优化器,所述优化器用于更新所述模型的参数使得损失函数的值最小化,将数据集划分为训练数据集和测试数据集,将训练集分成小批量数据,通过前向传播计算损失函数的值,然后进行反向传播更新梯度,优化所述模型的参数;
使用验证数据集进行模型评估:在每个训练周期结束后,使用验证集来评估模型的性能,并根据性能参数选择模型;
保存模型参数、损失值和验证结果,所述验证结果包括用于评估模型的性能的参数。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整所述模型的深度,所述模型的深度包括所述模型的层数。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整批归一化层的数量和位置;
通过对卷积神经网络模型的测试,调整学习率大小,所述学习率的大小会直接影响模型的训练速度和收敛效果。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:对所述测试数据集进行数据增强处理,所述数据增强处理包括旋转、翻转、裁剪;
在损失函数后增加L1正则化项或L2正则化项,用于限制所述模型参数的大小,防止过拟合。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
将数据集进行分组得到多个数据组;
计算每个数据组中的数据的中位数;
遍历所述数据集,判断每个数据是否是缺失值,包括:根据每个数据组对应的中位数,遍历所述数据组,判断数据组中每个数据是否是缺失值;
在数据是缺失值的情况下,用数据组对应的中位数代替所述缺失值。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
根据数据集中的数据的分布情况,将数据集中的数据乘以大小不同的权重,得到新数据集;计算新数据集中的数据的中位数;
遍历所述新数据集,判断每个数据是否是缺失值。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
遍历数据集中的缺失数据的各个位置;
根据K最邻近算法预测数据集中的各个位置的预测缺失值;
将所述测缺失值填充到对应的位置。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
根据数据集的大小,确定插值窗口的大小,所述插值窗口用于确定与缺失数据的点相邻的数据点;
计算插值窗口内的每个数据点与所述缺失数据的点之间的距离;
根据所述距离确定对应的权重值;
将所述插值窗口内的每个数据点乘以对应的权重之后计算加权和;
将所述加权和除以所有权重的和,得到加权中位数;
将所述加权中位数填充至缺失数据的点。
在一种可能的实现方式中,构建卷积神经网络模型,包括:
定义卷积层:使用卷积核进行特征提取,通过多个卷积核提取不同特征;
定义池化层:用于降低特征图的尺寸;
添加批归一化层:将数据转换至[0,1]或[-1,1]之间的范围;
添加激活函数:用于引入非线性特征;
展平操作:将最后一个池化层的输出展平成一维向量;
添加全连接层:用于将卷积层提取的特征映射到目标标签空间;
输出层:使用归一化指数函数输出分类概率。
根据本公开的另一方面,提出了一种基于数据监控的自动反馈识别应用系统,所述系统包括收发器,存储器,显示装置,处理器;处理器分别于所述收发器,存储器及显示装置连接,配置为执行存储器上的计算机可执行指令,控制所述收发器的数据接收和发送,并实现权利要求1-9任一项所述的卷积神经网络的模型;所述收发器用于接收待监控的数据,以及将所述处理器的识别结果发送至显示装置。
与现有技术相比,本发明的有益效果是:
通过本公开实施例的基于卷积神经网络的模型训练方法,不断对构建的卷积数据网络模型进行优化,不断对算法进行优化以及对模型的参数进行修改进而进行训练实现高精确度的数据分析和处理。在该模型成熟后,就可以进行随后的产业化开发了,比如将该模型进行接口封装,供使用者调用。
在基于数据监控的自动反馈识别应用系统中,人工智能和大数据技术发挥着重要作用。通过大数据技术,系统可以收集、存储和处理来自多个来源的大量数据,包括实时数据流、历史数据等。这些数据可以来自传感器、用户行为、设备输出等。然后,人工智能技术可以通过分析这些数据来识别模式、发现异常、预测未来情况等。通过机器学习和深度学习等技术,系统可以逐步改进自己的表现,并在处理复杂任务时变得越来越精准。
经济性:该系统相对于传统的人工监控和反馈方法,具有明显的经济优势。传统上,为了实现有效的数据监控和反馈,往往需要大量的人力资源,例如专业人员对数据进行实时监控和分析。这不仅需要高额的薪资开支,还可能因人为因素导致错误和延迟。而基于数据监控的自动反馈识别系统,则可以通过自动化和智能化的方式,大大降低运营成本。一旦建立和部署,系统可以自动处理数据,减少对人力的依赖,从而提高效率并节省资源。
精确度:尽管追求经济性很重要,但系统的精确度也是至关重要的。如果系统的识别能力不足,误报和漏报可能会导致严重后果。因此,在设计该系统时,需要充分考虑如何在经济性和精确度之间取得平衡。系统可以通过不断学习和改进来提高自己的精确度,确保能够准确地识别各种情况,并在必要时发出及时反馈。
中位数填充的优点是不会引入过多的噪声,因为中位数比均值更加鲁棒,对异常值不敏感。同时,中位数填充可以保留原始数据的分布特征,不会改变数据的整体形态。
附图说明
图1示出本公开一实施例的一种基于卷积神经网络的模型训练方法的流程图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
基于数据监控的自动反馈识别系统的实现如下:
具体工作流程包括:加载数据:首先需要加载用于训练和测试的数据集,数据集中应该包含反馈内容以及对应的标签(例如,积极、中性或消极等标签)。
需要准备历史数据集。这些历史数据可以包含过去的生产记录、操作参数、传感器数据等。这些数据将成为我们训练模型的基础。收集来自各种数据源的历史数据,确保数据的完整性和准确性。这些数据可以来自数据库、日志文件、传感器等。
数据预处理:将输入特征和标签分别存储到 X 和 y 变量中,以便进行训练和测试。通常需要对输入特征进行一些预处理操作,如去除停用词、标准化、向量化等。对采集到的数据进行预处理,包括数据清洗、去除异常值、处理缺失值等。确保数据的质量符合模型训练的要求。在机器学习中,数据预处理就是为了让计算机能够更好地学习和理解数据。
输入特征和标签:输入特征可以想象成是要学习的知识点,而标签就是希望学会的答案。我们把这些知识点和答案分别放在两个盒子里,一个盒子里放知识点(输入特征X),另一个盒子里放答案(标签 y)。训练模型之前,需要对数据进行特征工程,选择合适的特征并进行数据转换和归一化,以便更好地训练模型。
去除停用词:有些常用词像“是”、“的”、“有”等,对于理解并没有太多帮助。在机器学习中,也需要把这些不太重要的词去掉,让计算机专注于重要的信息。
标准化:在机器学习中,有时候数据的范围差异很大,为了让计算机更好地学习,我们会把数据的范围调整到一个统一的标准,就像把所有身高都用厘米来表示,这样计算机更容易理解。
向量化:计算机只能处理数字,不能理解文字的意思。在机器学习中,也需要把文字转换成数字,就像用数字来代表不同的东西。这样计算机就可以更好地理解数据了。
划分训练集和测试集:将数据集划分为训练集和测试集,通常使用交叉验证等技术来评估模型性能。
训练模型:使用训练集对模型进行训练,通常使用机器学习算法或深度学习模型来构建模型。利用机器学习算法和人工智能技术对预处理后的历史数据进行训练。可以采用监督学习、无监督学习或深度学习等方法来构建合适的模型。
模型评估:对训练出的模型进行评估,通过验证集或交叉验证等方法,评估模型的性能和准确度。可以测试集评估模型的性能,通常使用评价指标如准确率、召回率、精度等来评估模型性能。
图1示出本公开一实施例的一种基于卷积神经网络的模型训练方法的流程图,如图1所示,所述方法包括:
步骤S1,将数据集中的数据进行数据预处理;例如,包括数据清洗、去除异常值、处理缺失值等,确保数据的质量符合模型训练的要求;
步骤S2,构建卷积神经网络模型;
步骤S3,对所述卷积神经网络模型进行训练,包括:
定义损失函数,选择优化器,所述优化器用于更新所述模型的参数使得损失函数的值最小化,将数据集划分为训练数据集和测试数据集,将训练集分成小批量数据,通过前向传播计算损失函数的值,然后进行反向传播更新梯度,优化所述模型的参数;
步骤S4,使用验证数据集进行模型评估:在每个训练周期结束后,使用验证集来评估模型的性能,并根据性能参数选择模型;
步骤S5,保存模型参数、损失值和验证结果,所述验证结果包括用于评估模型的性能的参数。
当训练深度学习模型时,通常需要保存一些重要的信息,以便于后续的分析、调试和展示。这些信息可以帮助了解模型在训练过程中的表现以及模型的效果。下面说明一些常见的信息保存方式:
保存模型参数:在训练过程中,我们可以定期保存模型的参数,以便在训练过程中发生意外情况时可以继续训练,或者在训练结束后用于推断新样本。保存模型参数的方式通常有两种:
保存完整的模型:将整个模型结构和所有参数保存为一个文件,常见的文件格式有.h5、.pt等,具体格式取决于使用的深度学习框架。
保存参数字典:只保存模型的参数值,而不包含模型结构信息。这样可以节省存储空间,并且在加载参数时需要重新定义模型结构。
保存损失值和验证结果:在训练过程中,通常会记录每个训练周期(epoch)的损失值和验证结果,以便后续绘制学习曲线或进行分析。可以将损失值和验证结果保存在一个文件中,每行对应一个训练周期,并记录损失值和验证结果的数值。例如,表1 示出了损失值和验证结果,保存损失值和验证结果的如表1所示。
表1 损失值和验证结果
使用TensorBoard进行可视化:
TensorBoard是TensorFlow提供的一个用于可视化训练过程和模型性能的工具。通过TensorBoard,我们可以将训练过程中的损失值、验证结果、模型结构等信息可视化展示,从而更直观地了解模型的训练情况。
例如,我们可以在TensorBoard中查看损失值随着训练周期的变化趋势,验证结果的变化情况,以及模型参数的分布等。
这些保存和可视化方法可以帮助我们更好地监控模型的训练过程,并对模型的表现进行分析和优化。在实际应用中,根据具体的任务和需求,可以选择适合的信息保存和可视化方式。
举例来说,通常使用交叉熵损失函数用于多类别分类任务。选择优化器:如Adam、SGD等,用于更新模型的参数以最小化损失函数。划分训练集和验证集:用于监控模型的训练情况,并进行模型选择。进行批量训练:将训练集分成小批量数据,通过前向传播计算损失,然后进行反向传播更新梯度,优化模型参数。使用验证集进行模型评估:在每个训练周期结束后,使用验证集来评估模型的性能,并选择性能最好的模型。设置训练停止条件:可以根据验证集的性能来决定是否停止训练,以避免过拟合。记录训练过程:可以保存模型参数、损失值和验证结果等信息,便于后续分析和展示。
通过本公开实施例的基于卷积神经网络的模型训练方法,不断对构建的卷积数据网络模型进行优化,不断对算法进行优化以及对模型的参数进行修改进而进行训练实现高精确度的数据分析和处理。在该模型成熟后,就可以进行随后的产业化开发了,比如将该模型进行接口封装,供使用者调用。
在一种可能的实现方式中,构建卷积神经网络模型,包括:
定义卷积层:使用卷积核进行特征提取,通过多个卷积核提取不同特征;
定义池化层:用于降低特征图的尺寸;
添加批归一化层:将数据转换至[0,1]或[-1,1]之间的范围;
添加激活函数:用于引入非线性特征;
展平操作:将最后一个池化层的输出展平成一维向量;
添加全连接层:用于将卷积层提取的特征映射到目标标签空间;
输出层:使用归一化指数函数输出分类概率。
例如,使用卷积核进行特征提取,可选择多个卷积核提取不同特征。定义池化层用于降低特征图的尺寸,常用的有最大池化或平均池化。添加批归一化层:有助于加速模型训练,并提高模型的泛化能力。添加激活函数:如ReLU激活函数,用于引入非线性。展平操作:将最后一个池化层的输出展平成一维向量。添加全连接层:用于将卷积部分提取的特征映射到目标标签空间。输出层:使用适当的激活函数(如Softmax)输出分类概率。
卷积神经网络(CNN)常用于图像分类和目标检测任务,如VGG、ResNet、Inception、MobileNet等。循环神经网络(RNN)常用于序列数据的处理,如自然语言处理、语音识别等,如LSTM、GRU等。转移学习模型利用预先训练好的模型进行迁移学习,如在自然语言处理任务中使用BERT、GPT等模型。生成对抗网络(GAN)用于生成新的数据,如图像生成、音频生成等,如DCGAN、WGAN等。卷积神经网络(Convolutional Neural Networks,CNN)是一种用于处理具有网格状拓扑结构的数据的深度神经网络,被广泛应用于图像和视频处理领域。本公开实施例使用目前比较主流的ResNet算法建构训练模型。
ResNet是一种深度残差网络,该模型通过添加“残差块”来解决深度CNN模型训练过程中出现的梯度消失和梯度爆炸问题,主要是通过引入跨层连接来解决深层网络中的梯度消失问题,从而实现更深层次的神经网络。ResNet中使用的主要是Residual Block的公式,公式描述如下:
y=H(x)+F(x) (1)
其中:y是Residual Block的输出特征图。H(x)是残差映射函数,表示学习到的残差部分。它用于将输入x映射为最优的输出y。F(x)是输入x的恒等映射函数,即没有进行任何显式的变换,直接将输入x传递到输出。
通过这个公式,我们将原始输入x与学习到的残差部分H(x)相加,得到输出y。这样的结构允许网络学习差异性(残差),而不是要求完全重建输出。如果H(x)学习为零映射(即恒等映射),那么网络仍然可以输出F(x),从而保持信息传递。
在实际使用中,通常在Residual Block中引入一个激活函数,比如ReLU(Linearrectification function,线性整流函数),又称修正线性单元,以确保学习到非线性特征。
综合来说,ResNet中的主要公式可以总结为:
y=ReLU(Conv(BatchNorm(x))+x) (2)
x 表示输入特征图。
BatchNorm 表示批量归一化层,用于加速训练过程和改善梯度传播。Conv 表示卷积层,用于特征提取。ReLU 表示修正线性单元激活函数,用于引入非线性特征。Conv(BatchNorm(x)) 表示学习到的残差映射 H(x)。在这里,输入x经过批量归一化和卷积层,学习得到残差特征。+ 表示张量的逐元素相加操作,将学习到的残差映射 H(x) 与输入 x相加。y 表示Residual Block的输出特征图。
ResNet中使用的损失函数公式:
ResNet中使用的损失函数公式通常是交叉熵损失函数(cross-entropy lossfunction),它可以用于多分类问题。
假设有N个训练样本,每个样本的标签用一个K维的向量表示,其中一个元素为1,其他为0。对于第i个样本,它的预测结果为一个K维的向量,记作,则交叉熵损失函数可以表示为:/>(3)
其中,是第i个样本的第j个标签元素,/>是模型对第i个样本的第j个标签的预测概率。
然后,对所有的训练样本的损失取平均,得到总体的损失函数:(4)
在ResNet中,通常还会加上L2正则化项来防止过拟合。因此,总的损失函数可以表示为:(5)
其中,λ是正则化系数,是第i个参数。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整所述模型的深度,所述模型的深度包括所述模型的层数。
尝试增加ResNet的深度,从而增加模型的表达能力。但是,深度过大可能导致模型的训练和收敛困难,需要结合实际情况进行调整。
我们通过模拟发现,对于较为简单的图像分类任务,ResNet-18和ResNet-34已经足够,对于更复杂的任务则使用更深的ResNet,如ResNet-50、ResNet-101、ResNet-152等。但是深度增加会导致训练时间和计算成本的增加,同时还会出现梯度消失和梯度爆炸等问题,因此需要适当平衡深度和性能。
目前我们通过权衡成本与精度的权衡,基本上使用ResNet-50的深度网络,其性能表现比ResNet-34好,而训练时间和计算成本相对于更深的ResNet则较低。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整批归一化层的数量和位置。
通过增加或减少批归一化层的数量和位置,从而影响模型的收敛速度和泛化能力。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整学习率大小,所述学习率的大小会直接影响模型的训练速度和收敛效果。
学习率过大,会导致模型在训练初期无法收敛,甚至发散;学习率过小,会导致模型训练速度过慢,需要更多的迭代次数才能收敛到较好的结果。我们目前使用一个较小的学习率0.001进行训练,如果收敛速度较慢,再逐步增大学习率,以加快训练速度。
在一种可能的实现方式中,所述对所述卷积神经网络模型进行训练,还包括:对所述测试数据集进行数据增强处理,所述数据增强处理包括旋转、翻转、裁剪;从而增加训练数据的多样性和数量,提高模型的泛化能力。
在损失函数后增加L1正则化项或L2正则化项,用于限制所述模型参数的大小,防止过拟合。
在所述卷积神经网络模型训练和测试之后,需要实时监控反馈数据 对其进行自动分类。可以使用一些轮询技术来实现自动监控,如定时轮询、事件驱动轮询等。在每次新的反馈数据到达时,使用训练好的模型进行预测,并将预测结果保存到反馈数据集中。
该系统的实现原理可以扩展到更复杂的场景中,如自然语言处理、图像识别、语音识别等。在实现时需要根据具体场景选择合适的算法或模型,并对数据进行充分的预处理和特征提取。
一种基于数据监控的自动反馈识别应用系统,所述系统包括收发器,存储器,显示装置,处理器;处理器分别于所述收发器,存储器及显示装置连接,配置为执行存储器上的计算机可执行指令,控制所述收发器的数据接收和发送,并实现所试集评估模型的性能,述的卷积神经网络的模型;所述收发器用于接收待监控的数据,以及将所述处理器的识别结果发送至显示装置。
例如,基于数据监控的自动反馈识别应用系统的应用场景可以涵盖多个领域,举例来说,工业生产监控与优化:在制造业和工业生产中,该系统可以监控关键工作参数、设备状态和传感器数据,预测设备故障和生产异常,及时发现并反馈问题,以优化生产效率和质量。
基于数据监控的自动反馈识别应用系统还可以应用于机房动环监控:用于实时监控机房情况,并采取相应的控制措施来预警或者调节机房环境。
基于数据监控的自动反馈识别应用系统还可以应用于用于实时监控患者的生理数据、医疗设备状态,检测异常情况,及时预警医护人员,提供更安全和高效的医疗服务。
基于数据监控的自动反馈识别应用系统还可以环境监测与治理:用于监控大气、水质、噪音等环境数据,识别环境污染源和异常情况,有助于环境保护和治理工作。
基于数据监控的自动反馈识别应用系统还可以智能家居与物联网:用于智能家居设备的状态监测和控制,提高家居安全性和舒适性,实现智能化的家居管理。
在基于数据监控的自动反馈识别应用系统中,人工智能和大数据技术发挥着重要作用。通过大数据技术,系统可以收集、存储和处理来自多个来源的大量数据,包括实时数据流、历史数据等。这些数据可以来自传感器、用户行为、设备输出等。然后,人工智能技术可以通过分析这些数据来识别模式、发现异常、预测未来情况等。通过机器学习和深度学习等技术,系统可以逐步改进自己的表现,并在处理复杂任务时变得越来越精准。
经济性:该系统相对于传统的人工监控和反馈方法,具有明显的经济优势。传统上,为了实现有效的数据监控和反馈,往往需要大量的人力资源,例如专业人员对数据进行实时监控和分析。这不仅需要高额的薪资开支,还可能因人为因素导致错误和延迟。而基于数据监控的自动反馈识别系统,则可以通过自动化和智能化的方式,大大降低运营成本。一旦建立和部署,系统可以自动处理数据,减少对人力的依赖,从而提高效率并节省资源。
精确度:尽管追求经济性很重要,但系统的精确度也是至关重要的。如果系统的识别能力不足,误报和漏报可能会导致严重后果。因此,在设计该系统时,需要充分考虑如何在经济性和精确度之间取得平衡。系统可以通过不断学习和改进来提高自己的精确度,确保能够准确地识别各种情况,并在必要时发出及时反馈。
数据预处理是数据分析和机器学习中非常重要的一步,可以对数据进行清洗、转换、标准化、归一化、特征提取等操作,以提高数据的质量和模型的性能。本公开的实施例中使用以下数据预处理算法和技术。
缺失值填充:在实际数据分析和建模中,经常会遇到数据缺失的情况,这时需要对缺失值进行填充。常用的方法包括均值填充、中位数填充、众数填充、随机填充等。
数据标准化:数据标准化是将数据转换为均值为0,方差为1的分布,可以使得数据在相同尺度下进行比较。 常用的方法包括Z-score标准化、Min-Max标准化等。
数据归一化:数据归一化是将数据转换为[0,1]或[-1,1]之间的范围,可以消除不同特征之间的量纲差异。常用的方法包括Min-Max归一化、Z-score归一化等。
特征选择:特征选择是从原始特征中选择最有用的特征进行建模,可以提高模型的精度和效率。 常用的方法包括相关系数分析、方差分析、主成分分析等。
文本预处理:文本数据预处理是对文本数据进行清洗、分词、去停用词、词干化等操作,以便后续的文本分析和建模。常用的方法包括正则表达式、NLTK、Spacy等。
以上算法和技术都可以使用Python实现,也有很多第三方库和工具可供使用,如Numpy、Pandas、Scikit-learn等。需要根据具体问题选择合适的预处理方法和技术,并进行适当的参数调整和优化,以提高预处理的效果和模型的性能。
在这里我们通过权衡开发难度,成本和精度,采用了中位数填充的方法来进行缺失值补充。计算每个特征的中位数和绝对中位差(MAD)。
对于缺失值的样本,根据其特征值与中位数的偏差和MAD来估计缺失值,并进行填充。
现有技术中的中位数填充包括以下步骤:计算数据集中的数据的中位数;
遍历所述数据集,判断每个数据是否是缺失值;
在数据是缺失值的情况下,用所述中位数代替所述缺失值。
中位数是一种处理缺失值的方法,通过取数据的中间值来填充缺失的数据,确保数据集的完整性和准确性。
现有技术中使用了NumPy库中的nanmedian函数来计算中位数,isnan函数来判断数据是否为缺失值,然后用中位数填充缺失值。
中位数填充的公式比较简单,只需要计算数据的中位数,然后将缺失值用中位数代替即可。因此,中位数填充的结果受到中位数的影响。如果数据集比较小,中位数可能会受到极端值的影响,导致填充结果不准确。
中位数填充的方式比较简单,只需要计算数据的中位数,然后将缺失值用中位数代替即可。因此,中位数填充的结果受到中位数的影响。如果数据集比较小,中位数可能会受到极端值的影响,导致填充结果不准确。
为了解决这个问题,本公开提出中位数填充的新的方式,以获得更加精确的结果。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:将数据集进行分组得到多个数据组;计算每个数据组中的数据的中位数遍历所述数据集,判断每个数据是否是缺失值,包括:根据每个数据组对应的中位数,遍历所述数据组,判断数据组中每个数据是否是缺失值;在数据是缺失值的情况下,用数据组对应的中位数代替所述缺失值。
这种方法可以减小极端值的影响,提高填充结果的精度。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
根据数据集中的数据的分布情况,将数据集中的数据乘以大小不同的权重,得到新数据集;计算新数据集中的数据的中位数;
遍历所述新数据集,判断每个数据是否是缺失值。
这种方法可以对不同的数据点赋予不同的重要性,提高填充结果的精度。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
遍历数据集中的缺失数据的各个位置;
根据K最邻近算法预测数据集中的各个位置的预测缺失值;
将所述测缺失值填充到对应的位置。
利用KNN(k-Nearest Neighbor,K最邻近)算法来预测缺失值。KNN算法是一种基于相似性的算法,可以根据数据集中其他数据点的相似性来预测缺失值。这种方法可以利用数据集中的信息来预测缺失值,提高填充结果的精度。
在一种可能的实现方式中,所述将数据集中的数据进行数据预处理,包括:
根据数据集的大小,确定插值窗口的大小,所述插值窗口用于确定与缺失数据的点相邻的数据点;
计算插值窗口内的每个数据点与所述缺失数据的点之间的距离;
根据所述距离确定对应的权重值;
将所述插值窗口内的每个数据点乘以对应的权重之后计算加权和;
将所述加权和除以所有权重的和,得到加权中位数;
将所述加权中位数填充至缺失数据的点。
应用示例
假设我们有一个一维数据集D,其中包含n个数据点。现在要填充第i个数据点D[i],它是缺失或损坏的。
插值窗口:
首先,需要确定一个插值窗口的大小,用于在已有数据中寻找与缺失点D[i]相邻的数据点。可以根据实际情况选择窗口大小,通常在数据点的分布较为稠密的情况下,选择较小的窗口大小。
计算权重:
对于插值窗口内的每个数据点,计算其与D[i]之间的距离。然后,可以使用一些函数(如高斯函数或反比例函数)将距离转换为权重。常见的权重计算方式是,距离越近的点被赋予较大的权重,距离越远的点则被赋予较小的权重。
计算加权中位数:
将插值窗口内的每个数据点乘以对应的权重,然后将所有加权数据点求和得到一个加权和。然后,将这个加权和除以所有权重的和,得到加权中位数。
加权中位数 = sum(权重数据点)/sum(权重),其中sum表示求和。
填充缺失值:
将计算得到的加权中位数作为缺失点D[i]的填充值。
重复上述步骤:重复上述计算步骤,直到所有缺失点都被填充为止。
插值填充方法利用已知数据点之间的线性或非线性关系来预测缺失值。这种方法可以利用数据集中的信息来预测缺失值,提高填充结果的精度。
这些方法都需要一定的计算量和算法复杂度,需要根据具体情况来选择合适的填充方法。在实际应用中,我们通过验证,判断出根据数据集的大小、缺失值的分布情况、数据的特点等因素来选择适合填充的方法。
小型数据集(少于100个数据点):对于小型数据集,中位数填充是一种简单而有效的方法。如果数据集中存在一些极端值,可以使用加权中位数填充来调整中位数填充的结果。另外,如果数据集中有时间序列数据,可以使用插值填充来填充缺失值。
中型数据集(100-10,000个数据点):对于中型数据集,KNN填充是一种适用的方法。KNN填充可以利用数据集中的信息来预测缺失值,相对于简单的中位数填充,更加精确。
大型数据集(10,000个数据点以上):对于大型数据集,分组填充和插值填充是比较常用的方法。分组填充可以将数据集分成若干组,每组计算中位数,并对每组数据进行填充,以减小极端值的影响。插值填充可以利用已知数据点之间的线性或非线性关系来预测缺失值,相对于简单的中位数填充,更加精确。此外,对于大型数据集,还可以使用深度学习模型来预测缺失值。
对于小型数据集,由于数据点数量较少,填充算法的选择对结果的影响不会很大。简单的中位数填充或者加权中位数填充都能够得到较好的结果。因此,采用不同的填充算法对结果的改变不会太大。
对于中型数据集,数据点数量已经比较大,此时选择合适的填充算法就更加重要了。使用KNN填充相比于简单的中位数填充可以提高精度,但在某些数据集中可能会存在一些噪声数据,会对结果产生一些干扰。
对于大型数据集,由于数据点数量很大,分组填充和插值填充相比于简单的中位数填充能够得到更加精确的结果。此外,对于大型数据集,深度学习模型也可以被用来填充缺失值,通常能够得到更好的结果。
中位数填充的优点是不会引入过多的噪声,因为中位数比均值更加鲁棒,对异常值不敏感。同时,中位数填充可以保留原始数据的分布特征,不会改变数据的整体形态。
总体而言,基于卷积神经网络的模型适用于需要实时监控、识别异常、预测趋势并进行自动反馈的各种领域。通过结合大数据和人工智能技术,它可以提供高效、精确、经济的解决方案,为企业和组织带来巨大的效益和竞争优势。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本公开所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory ,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本公开实施例进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于卷积神经网络的模型训练方法,其特征在于,所述方法包括:
将数据集中的数据进行数据预处理;
构建卷积神经网络模型;
对所述卷积神经网络模型进行训练,包括:
定义损失函数,选择优化器,所述优化器用于更新所述模型的参数使得损失函数的值最小化,将数据集划分为训练数据集和测试数据集,将训练集分成小批量数据,通过前向传播计算损失函数的值,然后进行反向传播更新梯度,优化所述模型的参数;
使用验证数据集进行模型评估:在每个训练周期结束后,使用验证集来评估模型的性能,并根据性能参数选择模型;
保存模型参数、损失值和验证结果,所述验证结果包括用于评估模型的性能的参数。
2.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整所述模型的深度,所述模型的深度包括所述模型的层数。
3.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述对所述卷积神经网络模型进行训练,还包括:通过对卷积神经网络模型的测试,调整批归一化层的数量和位置;
通过对卷积神经网络模型的测试,调整学习率大小,所述学习率的大小会直接影响模型的训练速度和收敛效果。
4.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述对所述卷积神经网络模型进行训练,还包括:对所述测试数据集进行数据增强处理,所述数据增强处理包括旋转、翻转、裁剪;
在损失函数后增加L1正则化项或L2正则化项,用于限制所述模型参数的大小,防止过拟合。
5.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述将数据集中的数据进行数据预处理,包括:
将数据集进行分组得到多个数据组;
计算每个数据组中的数据的中位数;
遍历所述数据集,判断每个数据是否是缺失值,包括:根据每个数据组对应的中位数,遍历所述数据组,判断数据组中每个数据是否是缺失值;
在数据是缺失值的情况下,用数据组对应的中位数代替所述缺失值。
6.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述将数据集中的数据进行数据预处理,包括:
根据数据集中的数据的分布情况,将数据集中的数据乘以大小不同的权重,得到新数据集;计算新数据集中的数据的中位数;
遍历所述新数据集,判断每个数据是否是缺失值。
7.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述将数据集中的数据进行数据预处理,包括:
遍历数据集中的缺失数据的各个位置;
根据K最邻近算法预测数据集中的各个位置的预测缺失值;
将所述测缺失值填充到对应的位置。
8.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,所述将数据集中的数据进行数据预处理,包括:
根据数据集的大小,确定插值窗口的大小,所述插值窗口用于确定与缺失数据的点相邻的数据点;
计算插值窗口内的每个数据点与所述缺失数据的点之间的距离;
根据所述距离确定对应的权重值;
将所述插值窗口内的每个数据点乘以对应的权重之后计算加权和;
将所述加权和除以所有权重的和,得到加权中位数;
将所述加权中位数填充至缺失数据的点。
9.根据权利要求1所述的基于卷积神经网络的模型训练方法,其特征在于,构建卷积神经网络模型,包括:
定义卷积层:使用卷积核进行特征提取,通过多个卷积核提取不同特征;
定义池化层:用于降低特征图的尺寸;
添加批归一化层:将数据转换至[0,1]或[-1,1]之间的范围;
添加激活函数:用于引入非线性特征;
展平操作:将最后一个池化层的输出展平成一维向量;
添加全连接层:用于将卷积层提取的特征映射到目标标签空间;
输出层:使用归一化指数函数输出分类概率。
10.一种基于数据监控的自动反馈识别应用系统,所述系统包括收发器,存储器,显示装置,处理器;处理器分别于所述收发器,存储器及显示装置连接,配置为执行存储器上的计算机可执行指令,控制所述收发器的数据接收和发送,并实现权利要求1-9任一项所述的卷积神经网络的模型;所述收发器用于接收待监控的数据,以及将所述处理器的识别结果发送至显示装置。
CN202310962586.9A 2023-08-02 2023-08-02 一种基于卷积神经网络的模型训练方法及应用系统 Pending CN116702839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310962586.9A CN116702839A (zh) 2023-08-02 2023-08-02 一种基于卷积神经网络的模型训练方法及应用系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310962586.9A CN116702839A (zh) 2023-08-02 2023-08-02 一种基于卷积神经网络的模型训练方法及应用系统

Publications (1)

Publication Number Publication Date
CN116702839A true CN116702839A (zh) 2023-09-05

Family

ID=87831459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310962586.9A Pending CN116702839A (zh) 2023-08-02 2023-08-02 一种基于卷积神经网络的模型训练方法及应用系统

Country Status (1)

Country Link
CN (1) CN116702839A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118408734A (zh) * 2024-07-04 2024-07-30 杭州企茏电子科技有限公司 高精度呼吸阀检测仪基数校准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200203017A1 (en) * 2017-06-09 2020-06-25 Alerte Digital Sport Pty Ltd Systems and methods of prediction of injury risk with a training regime
CN113505927A (zh) * 2021-07-14 2021-10-15 广东工业大学 太阳能驱鸟设备电池容量选型方法、装置、设备和介质
CN113836819A (zh) * 2021-10-14 2021-12-24 华北电力大学 一种基于时序关注的床温预测方法
CN115186904A (zh) * 2022-07-13 2022-10-14 清华大学 基于Transformer的工业设备故障预测方法及装置
US20230074074A1 (en) * 2021-09-02 2023-03-09 Southwest Petroleum University Intelligent recognition method for while-drilling safety risk based on convolutional neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200203017A1 (en) * 2017-06-09 2020-06-25 Alerte Digital Sport Pty Ltd Systems and methods of prediction of injury risk with a training regime
CN113505927A (zh) * 2021-07-14 2021-10-15 广东工业大学 太阳能驱鸟设备电池容量选型方法、装置、设备和介质
US20230074074A1 (en) * 2021-09-02 2023-03-09 Southwest Petroleum University Intelligent recognition method for while-drilling safety risk based on convolutional neural network
CN113836819A (zh) * 2021-10-14 2021-12-24 华北电力大学 一种基于时序关注的床温预测方法
CN115186904A (zh) * 2022-07-13 2022-10-14 清华大学 基于Transformer的工业设备故障预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
保罗·加莱奥内: "《TensorFlow 2.0神经网络实践》", 机械工业出版社, pages: 132 - 134 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118408734A (zh) * 2024-07-04 2024-07-30 杭州企茏电子科技有限公司 高精度呼吸阀检测仪基数校准方法

Similar Documents

Publication Publication Date Title
US11650968B2 (en) Systems and methods for predictive early stopping in neural network training
US11585918B2 (en) Generative adversarial network-based target identification
CN111144548B (zh) 抽油机井工况的识别方法及装置
Ayodeji et al. Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction
CN113486578A (zh) 一种工业过程中设备剩余寿命的预测方法
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN113988215B (zh) 一种配电网计量柜状态检测方法及系统
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN116501444B (zh) 智能网联汽车域控制器虚拟机异常云边协同监测和恢复系统及方法
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
CN116702839A (zh) 一种基于卷积神经网络的模型训练方法及应用系统
CN112580798A (zh) 基于多输入多输出ResNet的设备智能预警方法
CN114897274A (zh) 一种提升时间序列预测效果的方法和系统
Li et al. Knowledge enhanced ensemble method for remaining useful life prediction under variable working conditions
CN116910573B (zh) 异常诊断模型的训练方法及装置、电子设备和存储介质
CN117951646A (zh) 一种基于边缘云的数据融合方法及系统
CN117708756A (zh) 一种基于机器学习的数据挖掘建模平台
CN117251817A (zh) 雷达故障检测方法、装置、设备和存储介质
CN117521063A (zh) 基于残差神经网络并结合迁移学习的恶意软件检测方法及装置
CN117154256A (zh) 锂电池的电化学修复方法
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN115423091A (zh) 一种条件对抗神经网络训练方法、场景生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230905