CN119849680A - 一种原料品质智能筛检优化系统 - Google Patents

一种原料品质智能筛检优化系统 Download PDF

Info

Publication number
CN119849680A
CN119849680A CN202411907306.5A CN202411907306A CN119849680A CN 119849680 A CN119849680 A CN 119849680A CN 202411907306 A CN202411907306 A CN 202411907306A CN 119849680 A CN119849680 A CN 119849680A
Authority
CN
China
Prior art keywords
feature
data
weight
model
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411907306.5A
Other languages
English (en)
Inventor
吴学东
李丹琳
高苗苗
耿亚娥
王庆
赵沐雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhou Oudi Pet Food Co ltd
Original Assignee
Shenzhou Oudi Pet Food Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhou Oudi Pet Food Co ltd filed Critical Shenzhou Oudi Pet Food Co ltd
Priority to CN202411907306.5A priority Critical patent/CN119849680A/zh
Publication of CN119849680A publication Critical patent/CN119849680A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及质量控制技术领域,具体为一种原料品质智能筛检优化系统,系统包括:初步特征筛选模块从原料检测数据库中提取样本的湿度、蛋白质含量、脂肪比例数据,计算每项数据的均值和标准差。本发明中,通过对原料的湿度、蛋白质含量和脂肪比例进行细致的筛选和分析,识别影响产品质量的关键特征,对特征权重进行动态调整,依据特征在预测中的表现和误差进行实时优化,提升了模型的反应速度和准确性,清除数据集中的异常数据点,优化数据质量,进一步提高处理效率和预测准确度,利用实时生产数据调整和重新组合特征,使特征配置更加贴合实际生产需求,通过多模型融合技术增强预测的稳定性和准确性,从而提高整体生产效率和产品质量。

Description

一种原料品质智能筛检优化系统
技术领域
本发明涉及质量控制技术领域,尤其涉及一种原料品质智能筛检优化系统。
背景技术
质量控制技术领域是一个涉及多个工业和商业领域的广泛技术,专注于确保产品和服务的质量达到或超过预定的标准。在现代工业生产和服务提供中,质量控制系统利用自动化和智能化技术,如传感器技术、数据分析和机器学习算法,以提高检测效率和精确度。这些技术可以实时监控生产过程中的各种参数,自动检测产品缺陷、原料不合格等问题,并提供决策支持,以减少废品率和提高生产效率。智能质量控制系统的发展不仅优化了生产流程,还通过预测维护帮助企业节约成本并保持竞争力。
其中,宠物食品原料品质智能筛检优化系统是指使用智能技术来检测和优化宠物食品生产中原料的质量。这个系统的主要用途是通过高级算法和传感器技术来自动化原料的检测过程,确保所有用于生产宠物食品的原料符合安全和质量标准。这种系统可以减少人为错误,加快筛检过程,并通过连续监控和实时数据分析,对原料品质进行更准确的评估,从而提高整体生产效率和产品质量。这对宠物食品行业来说至关重要,因为高质量的原料直接影响到最终产品的安全性和营养价值。
现有技术在数据处理效率和模型适应性方面存在不足。尽管自动化程度较高,但数据利用效率和深度挖掘能力有限。在生产线原料或环境变化时,传统模型需要较长时间适应这些变化,影响生产效率。此外,现有系统在处理离群数据时可能不够精确,导致数据集中存在噪声,这直接影响到预测模型的准确性和可靠性。这些问题可能导致生产成本上升,产品质量不稳定,损害企业的市场竞争力和品牌声誉。
发明内容
本发明的目的是解决现有技术中存在的缺点,而提出的一种原料品质智能筛检优化系统。
为了实现上述目的,本发明采用了如下技术方案:一种原料品质智能筛检优化系统包括:
初步特征筛选模块从原料检测数据库中提取样本的湿度、蛋白质含量、脂肪比例数据,计算每项数据的均值和标准差,通过计算多项数据的变异系数,筛选变异系数高于设定阈值的特征,生成筛选特征集;
动态权重调整模块对所述筛选特征集中的特征进行权重调整,根据特征的预测误差和对结果的贡献进行权重更新,通过权重调整优化模型响应速度,生成优化特征权重;
异常数据识别模块利用所述优化特征权重,识别和分离数据集中的离群样本,清除离群数据点,生成筛选数据集;
特征优化整合模块使用所述筛选数据集,重新评估和组合特征,根据实时生产数据调整特征关键性和组合方式,生成整合特征配置;
质量预测集成模块基于所述整合特征配置进行品质预测,采用多模型融合技术,评估每个模型的预测结果,根据每个模型的表现动态调整预测权重,生成品质控制预测值。
所述筛选特征集包括湿度、蛋白质含量、脂肪比例,所述优化特征权重具体指权重调整、模型响应速度优化,所述筛选数据集包括清除离群数据点后的剩余数据,所述整合特征配置包括特征关键性、特征组合方式,所述品质控制预测值具体为多模型融合技术、模型预测结果评估、预测权重动态调整。
作为本发明的进一步方案,所述筛选特征集的获取步骤具体为:
从原料检测数据库中提取湿度数据、蛋白质含量数据和脂肪比例数据,生成原始数据记录;
对所述原始数据记录中的每项数据进行均值和标准差的计算,采用公式:
计算得到均值记录和标准差记录;
其中,xi代表单个数据点,n代表数据点总数,μ代表均值,σ代表标准差;
基于所述均值记录和标准差记录,采用变异系数公式:
计算每项数据的变异系数,生成变异系数记录;
其中,α是调整系数,用以参照标准差的平方影响,CV代表变异系数,用于度量数据点离散程度的统计指标;
从所述变异系数记录中筛选变异系数高于预设阈值的数据,确定具有高变异性的特征,生成筛选特征集。
作为本发明的进一步方案,所述优化特征权重的获取步骤具体为:
从所述筛选特征集中抽取每个特征的预测误差与对模型结果的贡献度,生成误差数据和贡献数据;
基于所述误差数据和贡献数据,采用公式:
计算生成更新后的权重;
其中,wnew,i表示第i个特征的更新后的权重,是基于特征的预测误差和贡献度经过调整后计算得到的新权重,ei表示第i个特征的预测误差,ci表示第i个特征的贡献度,λ是一个正则化参数,γ是一个比例调节系数,max(cj)选择所有特征贡献度中的最大值;
将所述更新后的权重应用于模型的调整中,进行模拟运行,评估模型响应速度,生成性能评估记录;
根据所述性能评估记录中的数据,调整模型中多个特征的权重,进行特征关键性分析,识别多个特征对模型性能的贡献,生成优化特征权重。
作为本发明的进一步方案,所述筛选数据集的获取步骤具体为:
利用所述优化特征权重,对数据集中每个样本的权重进行评分,通过计算加权分数,生成样本权重分数列表;
根据所述样本权重分数列表,设定阈值,采用公式:
参照整体权重的分布对个别样本权重的影响,生成标准化权重分数列表;
其中,Si代表第i个样本的标准化权重分数,wi代表第i个样本的权重,n是样本总数,wj代表第j个样本的权重;
基于所述标准化权重分数列表,通过比较每个样本的标准化权重分数与设定的分数阈值,识别那些分数低于阈值的离群样本,生成离群样本列表;
基于所述离群样本列表,从数据集中剔除所有识别的离群样本,保留其他样本,生成筛选数据集。
作为本发明的进一步方案,所述整合特征配置的获取步骤具体为:
从所述筛选数据集中提取每个特征的实时生产数据表现和统计属性,生成特征分析结果;
基于所述特征分析结果,重新评估每个特征的贡献度和关键性,采用公式:
生成特征关键性调整结果;
其中,Rf代表特征的重新评估分数,用于衡量特征在参照变异性后的关键性,fi是第i个特征的原始贡献度,反映特征对生产过程的直接影响力,vi是特征的变异系数,衡量特征在差异化生产批次中表现的一致性或稳定性,n是特征的总数,表示在分析中参照的特征数量;
使用所述特征关键性调整结果中的数据优化特征组合,根据实时数据执行特征选择、特征交叉、特征扩展,针对数据的相关性和冗余性进行筛选和重组,生成整合特征配置。
作为本发明的进一步方案,所述品质控制预测值的获取步骤具体为:
基于所述整合特征配置,应用多模型融合技术进行品质预测,通过比对多个模型在训练数据集上的性能,得到初步的模型性能指标;
基于所述初步的模型性能指标,对每个模型的预测结果进行分析,计算准确率和误差,根据准确率和误差计算每个模型的贡献权重,采用公式:
生成模型权重结果;
其中,Wm代表模型m的权重,权重用于确定模型在预测中的贡献大小,Em表示模型m的预测误差,λ是一个正的调节系数,用于调整误差对权重的影响程度,n代表模型的总数,Ei代表第i个模型的预测误差;
利用所述模型权重结果,动态调整多个模型对预测值的影响,使用最优模型组合预测产品品质,生成品质控制预测值。
与现有技术相比,本发明的优点和积极效果在于:
本发明中,通过对原料的关键质量指标如湿度、蛋白质含量和脂肪比例进行细致的筛选和分析,精准识别出影响产品质量的关键特征。对特征权重进行动态调整,依据特征在预测中的表现和误差进行实时优化,提升了模型的反应速度和准确性。清除数据集中的异常数据点,优化数据质量,进一步提高处理效率和预测准确度。利用实时生产数据调整和重新组合特征,使特征配置更加贴合实际生产需求,通过多模型融合技术增强预测的稳定性和准确性,从而提高整体生产效率和产品质量。
附图说明
图1为本发明的系统流程图;
图2为本发明筛选特征集的获取步骤流程图;
图3为本发明优化特征权重的获取步骤流程图;
图4为本发明筛选数据集的获取步骤流程图;
图5为本发明整合特征配置的获取步骤流程图;
图6为本发明品质控制预测值的获取步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例一
请参阅图1,一种原料品质智能筛检优化系统包括:
初步特征筛选模块从原料检测数据库中提取样本的湿度、蛋白质含量、脂肪比例数据,计算每项数据的均值和标准差,通过计算多项数据的变异系数,筛选变异系数高于设定阈值的特征,生成筛选特征集;
动态权重调整模块对筛选特征集中的特征进行权重调整,根据特征的预测误差和对结果的贡献进行权重更新,通过权重调整优化模型响应速度,生成优化特征权重;
异常数据识别模块利用优化特征权重,识别和分离数据集中的离群样本,清除离群数据点,生成筛选数据集;
特征优化整合模块使用筛选数据集,重新评估和组合特征,根据实时生产数据调整特征关键性和组合方式,生成整合特征配置;
质量预测集成模块基于整合特征配置进行品质预测,采用多模型融合技术,评估每个模型的预测结果,根据每个模型的表现动态调整预测权重,生成品质控制预测值。
筛选特征集包括湿度、蛋白质含量、脂肪比例,优化特征权重具体指权重调整、模型响应速度优化,筛选数据集包括清除离群数据点后的剩余数据,整合特征配置包括特征关键性、特征组合方式,品质控制预测值具体为多模型融合技术、模型预测结果评估、预测权重动态调整。
请参阅图2,筛选特征集的获取步骤具体为:
从原料检测数据库中提取湿度数据、蛋白质含量数据和脂肪比例数据,生成原始数据记录;
从原料检测数据库中提取湿度数据、蛋白质含量数据和脂肪比例数据的过程不仅涉及数据库的查询操作,还需要对数据质量进行初步筛选,以确保数据的准确性和可靠性,对数据库中的原始数据进行检查,剔除数据不全或异常值,对数据的完整性和一致性进行验证,以保证后续计算的准确性,通过此系列数据处理步骤,生成原始数据记录。
对原始数据记录中的每项数据进行均值和标准差的计算,采用公式:
计算得到均值记录和标准差记录;
其中,xi代表单个数据点,n代表数据点总数,μ代表均值,σ代表标准差;
进行均值和标准差计算涉及的包括对每个数据点的值进行累加和求平均值,以得到均值,标准差的计算则需要对每个数据点的值与均值的差的平方进行累加,再除以数据点数量减一,得到数据的分散程度,这些统计学操作确保了对数据波动和离散程度的评估,通过这些步骤,计算得到每种数据的均值和标准差,生成均值记录和标准差记录。
基于均值记录和标准差记录,采用变异系数公式:
计算每项数据的变异系数,生成变异系数记录;
其中,α是调整系数,用以参照标准差的平方影响,CV代表变异系数,用于度量数据点离散程度的统计指标;
公式:
公式的有益之处在于:通过参照标准差及其平方相对于均值的影响,增强了变异系数的敏感性和描述精度,使得公式能够更有效地识别和区分差异化波动性的数据特征,适用于在数据特征的非均匀分布中捕捉异常或变异显著的特征。
公式详解和公式计算推导过程:
设置有数据点集合为x1,x2,…,xn,均值μ计算为标准差σ计算为设定调整系数α的初值为0.1(基于先前数据的波动分析得出此初值,此后可根据实际数据调整此值),对于样本数据xi
45,55,50,60,40,计算均值μ=50,标准差σ≈7.07,则变异系数CV:
结果表明:所得变异系数反映数据点之间的相对波动性和分散性,且数值结果能有效指导后续数据分析过程,识别高变异性的数据特征。
从变异系数记录中筛选变异系数高于预设阈值的数据,确定具有高变异性的特征,生成筛选特征集。
筛选变异系数高于预设阈值的数据,包括比较每个变异系数值与阈值的大小,阈值的设定基于数据的波动情况和实际应用需求设定,取变异系数的75%分位数作为阈值,通过这种方式,识别并选出those数据特征,这些数据特征在统计上显示出高度的波动性或不稳定性,从而确定具有高变异性的特征,生成筛选特征集。
请参阅图3,优化特征权重的获取步骤具体为:
从筛选特征集中抽取每个特征的预测误差与对模型结果的贡献度,生成误差数据和贡献数据;
误差数据包括每个特征在模型预测中的误差值,贡献数据包括每个特征对模型结果的贡献比例,这些数据通过统计分析和数据挖掘技术获取,通过监控模型的输出与实际值之间的差异来计算预测误差,通过分析多特征权重对模型输出变化的影响评估其贡献度,数据分析师会使用数据来调整模型参数,优化模型的整体性能,确保特征的权重分布合理地反映其对模型结果的真实影响。
基于误差数据和贡献数据,采用公式:
计算生成更新后的权重;
其中,wnew,i表示第i个特征的更新后的权重,是基于特征的预测误差和贡献度经过调整后计算得到的新权重,ei表示第i个特征的预测误差,ci表示第i个特征的贡献度,λ是一个正则化参数,γ是一个比例调节系数,max(cj)选择所有特征贡献度中的最大值;
公式:
公式的有益之处在于:通过引入正则化参数λ和归一化贡献度γ,增强了模型对特征误差小但贡献大的特征的敏感度,同时减轻了那些误差大的特征的权重,从而在保持模型稳定性的同时提升了预测的准确性。
公式详解和公式计算推导过程:
设定λ=0.05,γ=1.2,设置特征i的预测误差ei=0.03,特征i的贡献度ci=0.4,所有特征的最大贡献度max(cj)=0.5,则:
1.计算误差调节项:
2.计算贡献调节项:
然后乘以γ得到
0.8×1.2=0.96
3.计算
wnew,i=12.5+0.96=13.46
结果表明:通过上述计算,得到了特征i的新权重为13.46,这反映在给定的误差和贡献度下,特征i对模型的关键性,权重将被用于模型中,以调整其对结果的贡献,提高预测精度。
将更新后的权重应用于模型的调整中,进行模拟运行,评估模型响应速度,生成性能评估记录;
通过动态模拟和性能监测技术,模拟运行中,记录模型在新权重下的响应时间和处理速度,分析新权重对模型效率的影响,性能记录数据通过实时数据捕捉和后期数据分析获得,确保了结果的准确性和操作的可行性,此过程中的关键是对模型调整前后的性能数据进行对比,分析新权重如何影响到模型的响应速度和准确性。
根据性能评估记录中的数据,调整模型中多个特征的权重,进行特征关键性分析,识别多个特征对模型性能的贡献,生成优化特征权重。
根据性能评估记录中的数据,首先需要对模型的多个特征进行权重调整,通过分析每个特征对模型输出的贡献程度,识别最为关键的特征,在此基础上进行加权调整。首先,对所有特征进行初步评估,收集并整理来自性能评估记录的数据,确保数据的准确性和完整性。在此基础上,利用基于信息增益、卡方检验,来量化每个特征的贡献度。此过程中,特征的关键性可以通过计算对模型预测精度的影响确定。若某特征与预测目标之间的关联性较高,其权重应当相对增加,若关联性较低,则相对减少其权重。接下来,运用加权平均方法,将多个特征的贡献度与对应权重结合,重新调整模型的特征输入,得出优化后的特征权重。根据差异化特征对模型性能的影响,还可通过交叉验证等方法对调整后的权重进行验证和优化,确保模型在多个性能指标上都有所提升。
请参阅图4,筛选数据集的获取步骤具体为:
利用优化特征权重,对数据集中每个样本的权重进行评分,通过计算加权分数,生成样本权重分数列表;
利用优化特征权重进行样本评分的过程中,首先需要获取数据集中每个样本的特征数据,这些数据由多种传感器或者日志文件收集得到,接着对每个样本的多特征进行加权处理,其中权重值是基于之前步骤通过数据分析所确定的优化特征权重,此步骤关键在于如何将这些优化特征权重应用到样本特征上,每个样本的权重分数通过将其特征值与对应权重值进行乘积并求和得到的,此过程确保了每个样本的权重分数能够真实反映其在数据集中的关键性,生成的样本权重分数列表通过将每个样本的加权分数进行排列形成的。
根据样本权重分数列表,设定阈值,采用公式:
参照整体权重的分布对个别样本权重的影响,生成标准化权重分数列表;
其中,Si代表第i个样本的标准化权重分数,wi代表第i个样本的权重,n是样本总数,wj代表第j个样本的权重;
公式:
公式的有益之处在于通过引入根号和绝对值操作,这种方式参照所有样本权重的集合影响,使得即使在个别权重值极端高或低的情况下,也能有效地进行标准化处理,从而保证了计算的公平性和稳定性。
公式详解和公式计算推导过程:
设置有一个小数据集的权重分布为:w=[0.2,0.3,0.5],计算每个样本的标准化权重分数的步骤如下:
1.计算权重的绝对值之和的平方根:
2.计算每个样本的标准化权重分数:
这些计算结果展示了每个样本相对于总体的权重占比。
结果表明权重分数能够有效反映每个样本在整个数据集中的相对关键性,其中高权重分数的样本是关键数据点,而低分数的是离群点或不那么关键的监控值。
基于标准化权重分数列表,通过比较每个样本的标准化权重分数与设定的分数阈值,识别那些分数低于阈值的离群样本,生成离群样本列表;
根据标准化权重分数列表,设定一个阈值确定哪些样本被视为离群样本,此阈值根据数据集的特性和分布来设定,一种常见的方法是设置阈值为分数的下10%或下25%,从而筛选那些对模型性能产生负面影响的离群点,此筛选过程涉及比较每个样本的分数与阈值的关系,并标记那些低于阈值的样本为离群样本,生成的离群样本列表为数据清洗和预处理提供了依据,确保了数据的质量和模型的准确性。
基于离群样本列表,从数据集中剔除所有识别的离群样本,保留其他样本,生成筛选数据集。
剔除识别的离群样本后,余下的样本构成了清洗后的数据集,这些数据将用于迭代分析和模型训练,清洗过程中不仅参照样本的权重分数,还涉及其他的数据质量指标,包括完整性、一致性和当前分析任务的关联性,此步确保数据集中的每个样本都是对建模和决策过程有贡献的,从而生成的筛选数据集具有较高的可靠性和代表性,为后续的数据分析和机器学习模型训练奠定了坚实的基础。
请参阅图5,整合特征配置的获取步骤具体为:
从筛选数据集中提取每个特征的实时生产数据表现和统计属性,生成特征分析结果;
从筛选数据集中提取特征时,分析多特征的实时表现和统计属性,此过程涉及批量数据的分类和预处理,其中数据预处理包括缺失值处理、异常值识别和替换,这些操作确保了数据的准确性和适用性,为生成可靠的特征分析结果提供了基础数据支持,通过这些细化的数据处理步骤,得到的特征分析结果能准确反映每个特征在实际生产中的表现和其统计特性。
基于特征分析结果,重新评估每个特征的贡献度和关键性,采用公式:
生成特征关键性调整结果;
其中,Rf代表特征的重新评估分数,用于衡量特征在参照变异性后的关键性,fi是第i个特征的原始贡献度,反映特征对生产过程的直接影响力,vi是特征的变异系数,衡量特征在差异化生产批次中表现的一致性或稳定性,n是特征的总数,表示在分析中参照的特征数量;
公式:
公式的有益之处在于,通过结合特征的贡献度和变异系数,对特征的关键性进行重新评估,这样不仅参照特征的贡献,还参照其稳定性,从而更合理地调整特征的权重。
公式详解和公式计算推导过程:
设置有三个特征,贡献度分别为f1=0.5,f2=0.3,f3=0.2,变异系数分别为v1=0.1,v2=0.3,v3=0.6,则:
结果表明,综合特征的贡献度和变异系数后,得到一个更加科学的特征关键性评分,这有助于在面对实际生产数据时,更精确地进行特征的选择和权重分配。
使用特征关键性调整结果中的数据优化特征组合,根据实时数据执行特征选择、特征交叉、特征扩展,针对数据的相关性和冗余性进行筛选和重组,生成整合特征配置。
在特征关键性调整过程中,首先会对数据集进行多维分析,确定每个特征在目标任务中的关键性,并结合实时数据来进行特征选择,涉及从数据集中提取有代表性、信息量丰富的特征。首先进行特征筛选,利用统计分析、信息增益、卡方检验的方法剔除冗余和无关特征,然后对剩余特征进行交叉组合,生成当前特征,通过对应特征工程技术提升特征的表达能力。特征交叉和特征扩展的关键在于捕捉匹配的组合方式,利用二阶交叉特征将两个独立的特征组合为一个当前特征,从而捕捉更复杂的非线性关系。在此过程中,使用的数据标准化、归一化技术确保了差异化尺度的特征能够在同一框架内合理比较。对于冗余性的处理,可以利用关联性分析来剔除高度关联的特征,这样可以规避多重共线性问题的产生,从而提升模型的预测能力。通过循环调整和优化这些特征组合,构建出一个能够有效反映数据中内在规律的特征集。
请参阅图6,品质控制预测值的获取步骤具体为:
基于整合特征配置,应用多模型融合技术进行品质预测,通过比对多个模型在训练数据集上的性能,得到初步的模型性能指标;
基于整合特征配置的多模型融合技术进行品质预测的过程中,通过对训练数据集上多个模型性能的综合评估来进行,此步骤依靠数据驱动的方法,通过收集和整理质量数据,每个模型的性能指标包括准确率和响应时间都被计算出来,并进行排序,确定哪些模型表现较好,适合进入融合模型的范围,这种方法可以在不增加额外成本的情况下,最大化利用现有数据资源,提高预测模型的可靠性和精确度。
基于初步的模型性能指标,对每个模型的预测结果进行分析,计算准确率和误差,根据准确率和误差计算每个模型的贡献权重,采用公式:
生成模型权重结果;
其中,Wm代表模型m的权重,权重用于确定模型在预测中的贡献大小,Em表示模型m的预测误差,λ是一个正的调节系数,用于调整误差对权重的影响程度,n代表模型的总数,Ei代表第i个模型的预测误差;
公式:
公式的有益之处在于,通过引入指数衰减因子λ和模型误差Em,有效地调整了多个模型在预测时的权重分配,使得误差较小的模型具有更高的权重,从而提高整体预测的准确性。
公式详解和公式计算推导过程:
设置有三个模型的预测误差分别为0.1,0.2,0.3,λ设为1,根据公式计算多个模型权重:
结果表明,模型1由于误差最小,因此获得了最高的权重,从而主导了预测结果,这体现了通过动态调整权重优化模型输出的策略。
利用模型权重结果,动态调整多个模型对预测值的影响,使用最优模型组合预测产品品质,生成品质控制预测值。
动态调整多个模型权重优化品质预测的过程包括监控实时生产数据,分析多数据点的质量控制参数变化,将这些实时数据与之前数据模式进行比较,计算得到的权重结果被用来更新预测模型,确保模型输出始终反映当前的生产状态和品质趋势,此外,系统还可以自动识别需要重新训练的模型,并提示进行模型再训练或参数调整,以此维护整个预测系统的高效运行和高准确度。
以上,仅是本发明的较佳实施例而已,并非对本发明作其他形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (7)

1.一种原料品质智能筛检优化系统,其特征在于,所述系统包括:
初步特征筛选模块从原料检测数据库中提取样本的湿度、蛋白质含量、脂肪比例数据,计算每项数据的均值和标准差,通过计算多项数据的变异系数,筛选变异系数高于设定阈值的特征,生成筛选特征集;
动态权重调整模块对所述筛选特征集中的特征进行权重调整,根据特征的预测误差和对结果的贡献进行权重更新,通过权重调整优化模型响应速度,生成优化特征权重;
异常数据识别模块利用所述优化特征权重,识别和分离数据集中的离群样本,清除离群数据点,生成筛选数据集;
特征优化整合模块使用所述筛选数据集,重新评估和组合特征,根据实时生产数据调整特征关键性和组合方式,生成整合特征配置;
质量预测集成模块基于所述整合特征配置进行品质预测,采用多模型融合技术,评估每个模型的预测结果,根据每个模型的表现动态调整预测权重,生成品质控制预测值。
2.根据权利要求1所述的原料品质智能筛检优化系统,其特征在于,所述筛选特征集包括湿度、蛋白质含量、脂肪比例,所述优化特征权重具体指权重调整、模型响应速度优化,所述筛选数据集包括清除离群数据点后的剩余数据,所述整合特征配置包括特征关键性、特征组合方式,所述品质控制预测值具体为多模型融合技术、模型预测结果评估、预测权重动态调整。
3.根据权利要求2所述的原料品质智能筛检优化系统,其特征在于,所述筛选特征集的获取步骤具体为:
从原料检测数据库中提取湿度数据、蛋白质含量数据和脂肪比例数据,生成原始数据记录;
对所述原始数据记录中的每项数据进行均值和标准差的计算,采用公式:
计算得到均值记录和标准差记录;
其中,xi代表单个数据点,n代表数据点总数,μ代表均值,σ代表标准差;
基于所述均值记录和标准差记录,采用变异系数公式:
计算每项数据的变异系数,生成变异系数记录;
其中,α是调整系数,用以参照标准差的平方影响,CV代表变异系数,用于度量数据点离散程度的统计指标;
从所述变异系数记录中筛选变异系数高于预设阈值的数据,确定具有高变异性的特征,生成筛选特征集。
4.根据权利要求3所述的原料品质智能筛检优化系统,其特征在于,所述优化特征权重的获取步骤具体为:
从所述筛选特征集中抽取每个特征的预测误差与对模型结果的贡献度,生成误差数据和贡献数据;
基于所述误差数据和贡献数据,采用公式:
计算生成更新后的权重;
其中,wnew,i表示第i个特征的更新后的权重,是基于特征的预测误差和贡献度经过调整后计算得到的新权重,ei表示第i个特征的预测误差,ci表示第i个特征的贡献度,λ是一个正则化参数,γ是一个比例调节系数,max(cj)选择所有特征贡献度中的最大值;
将所述更新后的权重应用于模型的调整中,进行模拟运行,评估模型响应速度,生成性能评估记录;
根据所述性能评估记录中的数据,调整模型中多个特征的权重,进行特征关键性分析,识别多个特征对模型性能的贡献,生成优化特征权重。
5.根据权利要求4所述的原料品质智能筛检优化系统,其特征在于,所述筛选数据集的获取步骤具体为:
利用所述优化特征权重,对数据集中每个样本的权重进行评分,通过计算加权分数,生成样本权重分数列表;
根据所述样本权重分数列表,设定阈值,采用公式:
参照整体权重的分布对个别样本权重的影响,生成标准化权重分数列表;
其中,Si代表第i个样本的标准化权重分数,wi代表第i个样本的权重,n是样本总数,wj代表第j个样本的权重;
基于所述标准化权重分数列表,通过比较每个样本的标准化权重分数与设定的分数阈值,识别那些分数低于阈值的离群样本,生成离群样本列表;
基于所述离群样本列表,从数据集中剔除所有识别的离群样本,保留其他样本,生成筛选数据集。
6.根据权利要求5所述的原料品质智能筛检优化系统,其特征在于,所述整合特征配置的获取步骤具体为:
从所述筛选数据集中提取每个特征的实时生产数据表现和统计属性,生成特征分析结果;
基于所述特征分析结果,重新评估每个特征的贡献度和关键性,采用公式:
生成特征关键性调整结果;
其中,Rf代表特征的重新评估分数,用于衡量特征在参照变异性后的关键性,fi是第i个特征的原始贡献度,反映特征对生产过程的直接影响力,vi是特征的变异系数,衡量特征在差异化生产批次中表现的一致性或稳定性,n是特征的总数,表示在分析中参照的特征数量;
使用所述特征关键性调整结果中的数据优化特征组合,根据实时数据执行特征选择、特征交叉、特征扩展,针对数据的相关性和冗余性进行筛选和重组,生成整合特征配置。
7.根据权利要求6所述的原料品质智能筛检优化系统,其特征在于,所述品质控制预测值的获取步骤具体为:
基于所述整合特征配置,应用多模型融合技术进行品质预测,通过比对多个模型在训练数据集上的性能,得到初步的模型性能指标;
基于所述初步的模型性能指标,对每个模型的预测结果进行分析,计算准确率和误差,根据准确率和误差计算每个模型的贡献权重,采用公式:
生成模型权重结果;
其中,Wm代表模型m的权重,权重用于确定模型在预测中的贡献大小,Em表示模型m的预测误差,λ是一个正的调节系数,用于调整误差对权重的影响程度,n代表模型的总数,Ei代表第i个模型的预测误差;
利用所述模型权重结果,动态调整多个模型对预测值的影响,使用最优模型组合预测产品品质,生成品质控制预测值。
CN202411907306.5A 2024-12-24 2024-12-24 一种原料品质智能筛检优化系统 Pending CN119849680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411907306.5A CN119849680A (zh) 2024-12-24 2024-12-24 一种原料品质智能筛检优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411907306.5A CN119849680A (zh) 2024-12-24 2024-12-24 一种原料品质智能筛检优化系统

Publications (1)

Publication Number Publication Date
CN119849680A true CN119849680A (zh) 2025-04-18

Family

ID=95371987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411907306.5A Pending CN119849680A (zh) 2024-12-24 2024-12-24 一种原料品质智能筛检优化系统

Country Status (1)

Country Link
CN (1) CN119849680A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120893631A (zh) * 2025-09-25 2025-11-04 西安理工大学 一种基于机器学习的智能活性包装优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490496A (zh) * 2019-06-19 2019-11-22 中南大学 一种基于分步约简筛选复杂工业过程中影响产品质量的敏感变量的方法
CN111797928A (zh) * 2017-09-08 2020-10-20 第四范式(北京)技术有限公司 生成机器学习样本的组合特征的方法及系统
CN114970690A (zh) * 2022-05-12 2022-08-30 中国矿业大学 一种基于多层架构的液态牛奶品牌鉴别模型融合方法
CN118035848A (zh) * 2024-04-10 2024-05-14 深圳市博硕科技股份有限公司 一种电子元件智能老化测试系统
WO2024180648A1 (ja) * 2023-02-28 2024-09-06 日本電気株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797928A (zh) * 2017-09-08 2020-10-20 第四范式(北京)技术有限公司 生成机器学习样本的组合特征的方法及系统
CN110490496A (zh) * 2019-06-19 2019-11-22 中南大学 一种基于分步约简筛选复杂工业过程中影响产品质量的敏感变量的方法
CN114970690A (zh) * 2022-05-12 2022-08-30 中国矿业大学 一种基于多层架构的液态牛奶品牌鉴别模型融合方法
WO2024180648A1 (ja) * 2023-02-28 2024-09-06 日本電気株式会社 情報処理装置、情報処理方法、プログラム
CN118035848A (zh) * 2024-04-10 2024-05-14 深圳市博硕科技股份有限公司 一种电子元件智能老化测试系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120893631A (zh) * 2025-09-25 2025-11-04 西安理工大学 一种基于机器学习的智能活性包装优化方法及系统
CN120893631B (zh) * 2025-09-25 2026-02-06 西安理工大学 一种基于机器学习的智能活性包装优化方法及系统

Similar Documents

Publication Publication Date Title
CN115630839B (zh) 一种基于数据挖掘的生产智能反馈调控系统
CN115511398A (zh) 一种基于时间敏感网络的焊接质量智能检测方法及系统
CN120086993B (zh) 基于应用分析主轴的寿命预测方法及系统
CN111967717A (zh) 一种基于信息熵值的数据质量评价方法
CN118915677B (zh) 一种数控机床铸件生产过程监控方法
CN119529997A (zh) 一种增香复合发酵剂的智能优化控制系统
CN120448799B (zh) 一种结合指纹图谱与有限元分析的粮食残次品检测方法
CN120338618B (zh) 基于实时数据驱动的动态关键区域过程检验方法和系统
CN118709124B (zh) 筋膜球隔热性能检测自动化系统
CN118037137A (zh) 一种基于卷积神经网络的产品质量事故数量的确定方法
CN115659271A (zh) 传感器异常检测方法、模型训练方法、系统、设备及介质
CN118228130A (zh) 一种基于设备健康状态的监测方法、系统和存储介质
CN119849680A (zh) 一种原料品质智能筛检优化系统
CN116365519A (zh) 一种电力负荷预测方法、系统、存储介质及设备
CN118550573A (zh) It运维管理方法及it运维管理装置
CN119089249A (zh) 基于多源数据融合的在线户变关系识别方法及系统
CN120654566A (zh) 基于自学习反馈参数修正的涂布配方计算方式及系统
CN118605185B (zh) 一种基于智能调控的天敌昆虫孵化培养方法及系统
CN120045216A (zh) 可视化设备元件配置系统
CN113205274A (zh) 一种施工质量定量化排名方法
CN114625781A (zh) 一种基于商品住房价值的批量评估方法
CN114971408A (zh) 一种实时质量控制纠偏方法、装置、设备及程序产品
CN120197407B (zh) 一种除草剂悬浮剂分散稳定性预估优化方法及系统
CN120470549B (zh) 一种水泥负压筛析仪筛余量动态预测方法
CN119915833B (zh) 一种针对汽车零部件清洁度的智能检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination