CN117312623B - 一种塑料制品研发数据处理系统 - Google Patents
一种塑料制品研发数据处理系统 Download PDFInfo
- Publication number
- CN117312623B CN117312623B CN202311602932.9A CN202311602932A CN117312623B CN 117312623 B CN117312623 B CN 117312623B CN 202311602932 A CN202311602932 A CN 202311602932A CN 117312623 B CN117312623 B CN 117312623B
- Authority
- CN
- China
- Prior art keywords
- data
- plastic product
- development
- research
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012827 research and development Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 39
- 239000000463 material Substances 0.000 claims description 23
- 238000012795 verification Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 13
- 238000012356 Product development Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000001746 injection moulding Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 19
- 238000003066 decision tree Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000009472 formulation Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种塑料制品研发数据处理系统，涉及云计算技术领域，通过安装传感器在机械设备、生产线和实验设备上，实时监测和采集与塑料制品研发相关的数据，并将模拟信号转换为数字信号，利用哈希查找和分治搜索，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，通过对塑料制品研发数据的集中存储和协同处理，将采集到的数据存储在云平台，构建随机森立模型帮助研发人员迅速找到塑料制品研发数据关键因素和规律，减少试错和重复试验的次数，使用神经网络算法进行塑料制品质量等级的预测，通过LOF算法，计算每个数据点的局部密度和相对于其邻域点的离群程度，判断数据点是否为异常值。
Description
技术领域
本发明涉及云计算技术领域，更具体地说，本发明涉及一种塑料制品研发数据处理系统。
背景技术
随着工业化和消费水平提高，塑料制品在人们的日常生活中扮演了越来越重要的角色。从简单的一次性餐具到复杂的汽车内饰件，绝大多数可见的物品都至少有一部分是由塑料制成。如今，塑料制品的研发变得更加重要，因为消费者需要更加环保和可持续的产品，而且市场竞争也越来越激烈。
塑料制品研发涉及到多个环节和多个部门，不同部门之间的数据共享和协作可能面临一些困难。此外，获取足够多的数据可能具有一定挑战性，因为数据的获取通常需要高昂的成本和时间投入。合理处理塑料制品研发数据可以帮助研发人员更快速地找到关键因素和规律，并优化塑料配方、材料选择或加工工艺，从而减少试错和重复试验的次数。这将有效降低研发成本和时间，提高研发效率。
发明内容
本发明针对现有技术中存在的技术问题，提供一种塑料制品研发数据处理系统，使用哈希函数查询塑料制品研发数据，提高塑料制品研发数据查询效率，以解决上述背景技术中提出的问题。
本发明解决上述技术问题的技术方案如下：一种塑料制品研发数据处理系统，具体包括数据采集模块、数据查询模块、数据存储模块、数据分析模块，质量等级预测模块，以及异常检测模块；
数据采集模块：采集塑料制品研发数据，并将模拟信号转换为数字信号；
数据查询模块：使用哈希函数查询塑料制品研发数据，提高塑料制品研发数据查询效率；
数据存储模块：通过对塑料制品研发数据的集中存储和协同处理，将采集到的数据存储在云平台；
数据分析模块：对塑料制品研发数据进行分析，找出规律，减少试错和重复试验的次数；
质量等级预测模块：对塑料制品质量等级进行预测，提高产品质量；
异常检测模块：根据LOF值检测塑料制品研发数据是否存在异常值。
在一个优选地实施方式中，所述数据采集模块，通过安装传感器在机械设备、生产线和实验设备上，实时监测和采集与塑料制品研发相关的数据，包括温度、材料的厚度，以及长度数据，并将模拟信号转换为计算机可识别的数字信号，进行实时采集和存储，具体包括以下内容：
S1、数据采集：通过线性位移传感器、温度传感器测量塑料制品材料的温度变化，利用电压传感器得到机械设备的的电压值，根据位移计算得到热膨胀系数和热导率，具体步骤如下：
步骤1、热膨胀系数：将线性位移传感器安装在塑料制品上，使用温度传感器测量材料的温度变化，通过测量位移计算得到热膨胀系数，具体计算公式如下：
其中，为热膨胀系数，/>为长度变化，/>为初始长度，/>为温度变化；
步骤2、热导率：使用热传导传感器测量塑料制品表面和内部的温度差异，通过测量的温度差和已知的热流量，计算出热导率，具体计算公式如下：
其中，λ表示热导率，Q表示单位时间内通过材料的热流量，A表示材料的横截面积，表示热流入口和出口之间的温度差，d表示材料的厚度，L表示热传播的长度；
S2、数据转换：利用模数转换器将连续模拟信号转换为离散数字信号，将模拟输入信号的电压值映射为等效的二进制数字输出，具体计算公式如下：
其中，表示模拟输入信号的电压值，/>表示ADC所能测量的最大电压值，n表示ADC的位数。
在一个优选地实施方式中，所述数据查询模块，使用哈希函数查询塑料制品研发数据，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，提高塑料制品研发数据查询效率，具体包括以下内容：
S1、哈希查找：将原始数据划分为多个子数据集，每个子数据集包含部分数据，按照塑料制品的名称、编号以及时间范围进行划分，使用哈希函数查询塑料制品研发数据，具体步骤如下：
步骤1、将选定的关键属性作为输入Key，使用哈希函数进行计算，得到对应的哈希值，具体计算公式如下：
其中，a和b表示哈希函数的参数，N表示哈希表的大小；
步骤2、使用计算得到的哈希值作为索引，通过链地址法在哈希表中查找对应的数据，具体包括：
位置为空，表示哈希表中不存在与给定关键属性值匹配的数据；
位置不为空，通过遍历链表，逐个比较节点中存储的关键属性值与给定的关键属性值，找到匹配的数据，返回查询结果；
位置不为空，通过遍历链表，仍未找到匹配的数据，表示哈希表中不存在与给定关键属性值匹配的数据；
S2、分治搜索：将哈希表分割成多个子区域，并将每个子区域分配给不同的处理单元，并同时对这些处理单元进行查询，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，提高查询效率，具体计算公式如下：
其中，表示在非并行计算情况下的总执行时间，/>表示在并行计算情况下的总执行时间，/>表示并行计算相对于非并行计算的加速比，数值越大表示加速效果越明显。
在一个优选地实施方式中，所述数据存储模块，借助云计算技术和云服务提供商，建立数据云平台，将采集到的数据存储在云端，通过云平台，实现对塑料制品研发数据的集中存储和协同处理，具体包括以下内容：
S1、集中存储：注册并创建一个云平台账户，在云平台中选择数据库存储服务，创建存储桶用于组织和管理数据，使用API进行上传操作，具体包括以下步骤：
步骤1、发送请求：终端使用API接口发送请求到云平台，请求需要指定获取塑料制品研发数据的相关参数，包括热膨胀系数、导热系数；
步骤3、数据处理：云平台接收到请求之后，根据请求的参数进行查询操作，返回符合请求条件的塑料制品研发数据；
步骤4、返回数据：云平台将处理后的塑料制品研发数据作为API响应返回给终端，终端通过解析API响应来提取所需的塑料制品研发数据，完成数据传输；
S2、协同处理：塑料制品研发涉及到多个环节和多个部门，利用异步处理算法，实现不同部门之间的数据共享和协作，利用数据集成工具和算法，将不同部门的数据连接在一起，具体步骤如下：
步骤1、提取：使用编程语言建立到数据源的连接，从云平台中增量提取数据，初始化一个增量值，用于记录上一次提取的位置，将其设置为数据源中特定时间点，根据增量字段的值，执行增量查询操作，仅提取数据源中大于上一次增量值的新记录，在每次增量提取完成后，将增量值更新为当前提取的最新值；
步骤2、转换：提取数据后进行大小写转换、去除空格以及提取子串操作，将字符串数值转换为布尔值表示，提高塑料制品研发数据检索的速度和效率，具体计算公式如下：
其中，表示B时钟周期的深度，/>表示读时钟频率，X和Y表示时钟周期，/>表示写时钟频率。
在一个优选地实施方式中，所述数据分析模块，通过构建随机森立模型帮助研发人员迅速找到塑料制品研发数据关键因素和规律，并优化塑料配方、材料选择以及注塑参数，减少试错和重复试验的次数，具体步骤如下：
步骤1、收集数据集：收集包含多个样本和特征的数据集，确保数据集包含目标变量塑料制品性能和输入变量塑料配方、材料选择以及注塑参数；
步骤2、随机选择特征子集：从所有特征中，随机选择一个子集用于构建每棵决策树；
步骤3、构建决策树：对于每棵树，使用CART算法构建决策树，利用基尼指数评估决策树的特征，具体计算公式如下：
其中，表示第i个类别在数据集中的占比，基尼指数的取值范围为/>；
当基尼指数为0，表示数据集中只包含单一类别的样本，数据集完全纯净；
当基尼指数为1，表示数据集中包含的样本类别均匀分布，数据集不纯；
步骤4、重复步骤2和3：重复步骤2和3，构建多棵决策树，形成随机森林；
步骤5、预测结果：对于新的样本数据，通过让每棵树分别对该样本进行预测，并采用计算每棵树预测值的平均值来确定最终的预测结果，计算公式如下：
其中，Y表示平均值，表示每棵树预测值的总和，N表示数量。
在一个优选地实施方式中，所述所述质量等级预测模块，基于采集到的塑料制品研发数据，将数据集划分为训练集、验证集和测试集，使用神经网络算法进行塑料制品质量等级的预测，具体包括以下内容：
S1、数据准备：基于数据采集模块，收集与塑料制品质量等级相关的特征数据和标签数据，包括热膨胀系数、热导率，确保数据的质量和完整性；
S2、数据集划分：将数据集划分为训练集、验证集和测试集，采用交叉验证进行划分，确保模型的泛化能力和评估模型的准确性，具体步骤如下：
步骤1、将数据集随机分成K个大小相似的互斥子集；
步骤2、对于每个子集i，将第i个子集作为验证集，其余K-1个子集作为训练集；
步骤3、在每次迭代中，使用K-1个子集的数据进行模型训练，并使用第i个子集进行模型验证；
步骤4、重复上述步骤K次，每次选取不同的验证集；
步骤5、计算每次验证的性能指标均方误差，取K次验证结果的平均值作为模型的性能评估，具体计算公式如下：
其中，MSE表示均方误差，n表示样本数量，表示第i个观测值的真实值，/>表示第i个观测值的模型预测值；
S3、数值映射：用训练集对神经网络进行训练，优化神经元的参数，将预测的数值映射回质量等级，输入新的塑料制品研发数据，通过模型进行预测，并对预测结果进行分析和解释，具体步骤如下：
步骤1、定义一个映射表，将数值与质量等级对应起来，建立一个字典，键是数值，值是质量等级，利用映射表将预测的数值转换为质量等级；
步骤2、利用梯度下降法优化神经元的参数，参数更新计算公式如下：
其中，θ表示要更新的参数向量，表示控制每次更新的步长，/>表示损失函数，/>表示对参数向量θ的梯度。
在一个优选地实施方式中，所述异常检测模块，基于数据采集模块的塑料制品研发数据，通过LOF算法，计算每个数据点的局部密度和相对于其邻域点的离群程度，判断数据点是否为异常值，具体包括以下内容：
S1、计算局部密度：对每个数据点，通过距离度量函数计算邻域，根据邻域内的数据点数量来反映其局部密度，对于数据点x，邻域内的数据点数量表示为N(x)，具体计算公式如下：
其中，表示邻域内的数据点数量，/>表示数据点x和数据点y之间的欧氏距离；
S2、计算离群程度：对每个数据点，计算其相对于邻域内其他数据点的离群程度LOF值，具体步骤如下：
步骤1、对于每个数据点x，计算其邻域内每个数据点y的局部可达密度，具体计算公式如下：
其中，表示数据点y的局部可达密度，/>表示数据点y与数据点x之间的可达距离，K表示选择的邻域大小；
步骤2、计算数据点x相对于其邻域内其他数据点的离群程度LOF值，具体计算公式为：
其中，、/>分别表示数据点x、y的局部可达密度，Σ表示对邻域内所有数据点求和，K表示选择的邻域大小；
LOF值越大表示数据点越异常，根据数据点相对于其邻域内其他数据点的离群程度，判断数据点是否为异常值；
当某个数据点被判定为异常，触发相应的处理措施，包括报警、停止生产，以及调整工艺参数，防止异常数据进一步影响产品质量。
本发明的有益效果是：通过安装传感器在机械设备、生产线和实验设备上，实时监测和采集与塑料制品研发相关的数据，并将模拟信号转换为数字信号，利用哈希查找和分治搜索，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，通过对塑料制品研发数据的集中存储和协同处理，将采集到的数据存储在云平台，构建随机森立模型帮助研发人员迅速找到塑料制品研发数据关键因素和规律，减少试错和重复试验的次数，使用神经网络算法进行塑料制品质量等级的预测，通过LOF算法，计算每个数据点的局部密度和相对于其邻域点的离群程度，判断数据点是否为异常值，通过塑料制品研发数据的处理和分析，推动塑料制品行业朝着更可持续的方向发展。
附图说明
图1为本发明的系统流程图；
图2为本发明的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
实施例1
本实施例提供了如图2所示一种塑料制品研发数据处理系统，具体包括数据采集模块、数据查询模块、数据存储模块、数据分析模块，质量等级预测模块，以及异常检测模块；
数据采集模块：采集塑料制品研发数据，并将模拟信号转换为数字信号；
数据查询模块：使用哈希函数查询塑料制品研发数据，提高塑料制品研发数据查询效率；
数据存储模块：通过对塑料制品研发数据的集中存储和协同处理，将采集到的数据存储在云平台；
数据分析模块：对塑料制品研发数据进行分析，找出规律，减少试错和重复试验的次数；
质量等级预测模块：对塑料制品质量等级进行预测，提高产品质量；
异常检测模块：根据LOF值检测塑料制品研发数据是否存在异常值。
本实施例中，具体需要说明的是数据采集模块，所述数据采集模块，通过安装传感器在机械设备、生产线和实验设备上，实时监测和采集与塑料制品研发相关的数据，包括温度、材料的厚度，以及长度数据，并将模拟信号转换为计算机可识别的数字信号，进行实时采集和存储，具体包括以下内容：
S1、数据采集：通过线性位移传感器、温度传感器测量塑料制品材料的温度变化，利用电压传感器得到机械设备的的电压值，根据位移计算得到热膨胀系数和热导率，具体步骤如下：
步骤1、热膨胀系数：将线性位移传感器安装在塑料制品上，使用温度传感器测量材料的温度变化，通过测量位移计算得到热膨胀系数，具体计算公式如下：
其中，为热膨胀系数，/>为长度变化，/>为初始长度，/>为温度变化；
步骤2、热导率：使用热传导传感器测量塑料制品表面和内部的温度差异，通过测量的温度差和已知的热流量，计算出热导率，具体计算公式如下：
其中，λ表示热导率，Q表示单位时间内通过材料的热流量，A表示材料的横截面积，表示热流入口和出口之间的温度差，d表示材料的厚度，L表示热传播的长度；
S2、数据转换：利用模数转换器将连续模拟信号转换为离散数字信号，将模拟输入信号的电压值映射为等效的二进制数字输出，具体计算公式如下：
其中，表示模拟输入信号的电压值，/>表示ADC所能测量的最大电压值，n表示ADC的位数。
本实施例中，具体需要说明的是数据查询模块，所述数据查询模块，使用哈希函数查询塑料制品研发数据，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，提高塑料制品研发数据查询效率，具体包括以下内容：
S1、哈希查找：将原始数据划分为多个子数据集，每个子数据集包含部分数据，按照塑料制品的名称、编号以及时间范围进行划分，使用哈希函数查询塑料制品研发数据，具体步骤如下：
步骤1、将选定的关键属性作为输入Key，使用哈希函数进行计算，得到对应的哈希值，具体计算公式如下：
其中，a和b表示哈希函数的参数，N表示哈希表的大小；
步骤2、使用计算得到的哈希值作为索引，通过链地址法在哈希表中查找对应的数据，具体包括：
位置为空，表示哈希表中不存在与给定关键属性值匹配的数据；
位置不为空，通过遍历链表，逐个比较节点中存储的关键属性值与给定的关键属性值，找到匹配的数据，返回查询结果；
位置不为空，通过遍历链表，仍未找到匹配的数据，表示哈希表中不存在与给定关键属性值匹配的数据；
S2、分治搜索：将哈希表分割成多个子区域，并将每个子区域分配给不同的处理单元，并同时对这些处理单元进行查询，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，提高查询效率，具体计算公式如下：
其中，表示在非并行计算情况下的总执行时间，/>表示在并行计算情况下的总执行时间，/>表示并行计算相对于非并行计算的加速比，数值越大表示加速效果越明显。
本实施例中，具体需要说明的是数据存储模块，所述数据存储模块，借助云计算技术和云服务提供商，建立数据云平台，将采集到的数据存储在云端，通过云平台，实现对塑料制品研发数据的集中存储和协同处理，具体包括以下内容：
S1、集中存储：注册并创建一个云平台账户，在云平台中选择数据库存储服务，创建存储桶用于组织和管理数据，使用API进行上传操作，具体包括以下步骤：
步骤1、发送请求：终端使用API接口发送请求到云平台，请求需要指定获取塑料制品研发数据的相关参数，包括热膨胀系数、导热系数；
步骤3、数据处理：云平台接收到请求之后，根据请求的参数进行查询操作，返回符合请求条件的塑料制品研发数据；
步骤4、返回数据：云平台将处理后的塑料制品研发数据作为API响应返回给终端，终端通过解析API响应来提取所需的塑料制品研发数据，完成数据传输；
S2、协同处理：塑料制品研发涉及到多个环节和多个部门，利用异步处理算法，实现不同部门之间的数据共享和协作，利用数据集成工具和算法，将不同部门的数据连接在一起，具体步骤如下：
步骤1、提取：使用编程语言建立到数据源的连接，从云平台中增量提取数据，初始化一个增量值，用于记录上一次提取的位置，将其设置为数据源中特定时间点，根据增量字段的值，执行增量查询操作，仅提取数据源中大于上一次增量值的新记录，在每次增量提取完成后，将增量值更新为当前提取的最新值；
步骤2、转换：提取数据后进行大小写转换、去除空格以及提取子串操作，将字符串数值转换为布尔值表示，提高塑料制品研发数据检索的速度和效率，具体计算公式如下：
其中，表示B时钟周期的深度，/>表示读时钟频率，X和Y表示时钟周期，/>表示写时钟频率。
本实施例中，具体需要说明的是数据分析模块，所述数据分析模块，通过构建随机森立模型帮助研发人员迅速找到塑料制品研发数据关键因素和规律，并优化塑料配方、材料选择以及注塑参数，减少试错和重复试验的次数，具体步骤如下：
步骤1、收集数据集：收集包含多个样本和特征的数据集，确保数据集包含目标变量塑料制品性能和输入变量塑料配方、材料选择以及注塑参数；
步骤2、随机选择特征子集：从所有特征中，随机选择一个子集用于构建每棵决策树；
步骤3、构建决策树：对于每棵树，使用CART算法构建决策树，利用基尼指数评估决策树的特征，具体计算公式如下：
其中，表示第i个类别在数据集中的占比，基尼指数的取值范围为/>；
当基尼指数为0，表示数据集中只包含单一类别的样本，数据集完全纯净；
当基尼指数为1，表示数据集中包含的样本类别均匀分布，数据集不纯；
步骤4、重复步骤2和3：重复步骤2和3，构建多棵决策树，形成随机森林；
步骤5、预测结果：对于新的样本数据，通过让每棵树分别对该样本进行预测，并采用计算每棵树预测值的平均值来确定最终的预测结果，计算公式如下：
其中，Y表示平均值，表示每棵树预测值的总和，N表示数量。
本实施例中，具体需要说明的是质量等级预测模块，所述质量等级预测模块，基于采集到的塑料制品研发数据，将数据集划分为训练集、验证集和测试集，使用神经网络算法进行塑料制品质量等级的预测，具体包括以下内容：
S1、数据准备：基于数据采集模块，收集与塑料制品质量等级相关的特征数据和标签数据，包括热膨胀系数、热导率，确保数据的质量和完整性；
S2、数据集划分：将数据集划分为训练集、验证集和测试集，采用交叉验证进行划分，确保模型的泛化能力和评估模型的准确性，具体步骤如下：
步骤1、将数据集随机分成K个大小相似的互斥子集；
步骤2、对于每个子集i，将第i个子集作为验证集，其余K-1个子集作为训练集；
步骤3、在每次迭代中，使用K-1个子集的数据进行模型训练，并使用第i个子集进行模型验证；
步骤4、重复上述步骤K次，每次选取不同的验证集；
步骤5、计算每次验证的性能指标均方误差，取K次验证结果的平均值作为模型的性能评估，具体计算公式如下：
其中，MSE表示均方误差，n表示样本数量，表示第i个观测值的真实值，/>表示第i个观测值的模型预测值；
S3、数值映射：用训练集对神经网络进行训练，优化神经元的参数，将预测的数值映射回质量等级，输入新的塑料制品研发数据，通过模型进行预测，并对预测结果进行分析和解释，具体步骤如下：
步骤1、定义一个映射表，将数值与质量等级对应起来，建立一个字典，键是数值，值是质量等级，利用映射表将预测的数值转换为质量等级；
步骤2、利用梯度下降法优化神经元的参数，参数更新计算公式如下：
其中，θ表示要更新的参数向量，表示控制每次更新的步长，/>表示损失函数，/>表示对参数向量θ的梯度。
本实施例中，具体需要说明的是异常检测模块，所述异常检测模块，基于数据采集模块的塑料制品研发数据，通过LOF算法，计算每个数据点的局部密度和相对于其邻域点的离群程度，判断数据点是否为异常值，具体包括以下内容：
S1、计算局部密度：对每个数据点，通过距离度量函数计算邻域，根据邻域内的数据点数量来反映其局部密度，对于数据点x，邻域内的数据点数量表示为N(x)，具体计算公式如下：
其中，表示邻域内的数据点数量，/>表示数据点x和数据点y之间的欧氏距离；
S2、计算离群程度：对每个数据点，计算其相对于邻域内其他数据点的离群程度LOF值，具体步骤如下：
步骤1、对于每个数据点x，计算其邻域内每个数据点y的局部可达密度，具体计算公式如下：
其中，表示数据点y的局部可达密度，/>表示数据点y与数据点x之间的可达距离，K表示选择的邻域大小；
步骤2、计算数据点x相对于其邻域内其他数据点的离群程度LOF值，具体计算公式为：
其中，、/>分别表示数据点x、y的局部可达密度，Σ表示对邻域内所有数据点求和，K表示选择的邻域大小；
LOF值越大表示数据点越异常，根据数据点相对于其邻域内其他数据点的离群程度，判断数据点是否为异常值；
当某个数据点被判定为异常，触发相应的处理措施，包括报警、停止生产，以及调整工艺参数，防止异常数据进一步影响产品质量。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (4)
1.一种塑料制品研发数据处理系统，其特征在于，具体包括数据采集模块、数据查询模块、数据存储模块、数据分析模块，质量等级预测模块，以及异常检测模块；
数据采集模块：采集塑料制品研发数据，并将模拟信号转换为数字信号；包括：通过安装传感器在实验设备上，实时监测和采集与塑料制品研发相关的数据，包括温度、材料的厚度，以及长度数据，通过线性位移传感器、温度传感器测量塑料制品材料的温度变化，根据位移计算得到热膨胀系数和热导率，并将模拟信号转换为计算机可识别的数字信号，进行实时采集和存储，具体计算公式如下：；其中，/>为热膨胀系数，/>为长度变化，/>为初始长度，/>为温度变化；
所述根据位移计算得到热膨胀系数和热导率，使用热传导传感器测量塑料制品表面和内部的温度差异，通过测量的温度差和已知的热流量，计算出热导率，具体计算公式如下：；其中，/>表示热导率，/>表示单位时间内通过材料的热流量，A表示材料的横截面积，/>表示热流入口和出口之间的温度差，d表示材料的厚度，L表示热传播的长度；
数据查询模块：使用哈希函数查询塑料制品研发数据，提高塑料制品研发数据查询效率；
所述模拟信号转换为计算机可识别的数字信号，利用电压传感器得到机械设备的的电压值，进行实时采集和存储，具体计算公式如下：；其中，表示模拟输入信号的电压值，/>表示ADC所能测量的最大电压值，n表示ADC的位数；
数据存储模块：通过对塑料制品研发数据的集中存储和协同处理，将采集到的数据存储在云平台；包括：借助云计算技术和云服务提供商，建立数据云平台，在云平台中选择数据库存储服务，利用异步处理算法，实现不同部门之间的数据共享和协作，具体计算公式如下：；其中，/>表示B时钟周期的深度，/>表示读时钟频率，X和Y表示时钟周期，/>表示写时钟频率；
数据分析模块：对塑料制品研发数据进行分析，找出规律，减少试错和重复试验的次数；包括：
通过构建随机森林模型帮助研发人员迅速找到塑料制品研发数据关键因素和规律，并优化塑料配方、材料选择以及注塑参数，减少试错和重复试验的次数，具体计算公式如下：；其中，/>表示第i个类别在数据集中的占比，基尼指数的取值范围为/>；
质量等级预测模块：对塑料制品质量等级进行预测，提高产品质量；
异常检测模块：根据LOF值检测塑料制品研发数据是否存在异常值。
2.根据权利要求1所述的一种塑料制品研发数据处理系统，其特征在于，所述数据查询模块，利用哈希查找和分治搜索，通过并行执行查询每个处理单元，减小每个处理单元需要搜索的数据量，具体计算公式如下：；其中，a和b表示哈希函数的参数，N表示哈希表的大小。
3.根据权利要求1所述的一种塑料制品研发数据处理系统，其特征在于，所述质量等级预测模块，基于采集到的塑料制品研发数据，将数据集划分为训练集、验证集和测试集，使用神经网络算法进行塑料制品质量等级的预测，具体计算公式如下：；其中，MSE表示均方误差，m表示样本数量，/>表示第i个观测值的真实值，/>表示第i个观测值的模型预测值。
4.根据权利要求1所述的一种塑料制品研发数据处理系统，其特征在于，所述异常检测模块，基于数据采集模块的塑料制品研发数据，通过LOF算法，计算每个数据点的局部密度和相对于其邻域点的离群程度，判断数据点是否为异常值，具体计算公式为：；其中，/>、/>分别表示数据点x、y的局部可达密度，Σ表示对邻域内所有数据点求和，K表示选择的邻域大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311602932.9A CN117312623B (zh) | 2023-11-28 | 2023-11-28 | 一种塑料制品研发数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311602932.9A CN117312623B (zh) | 2023-11-28 | 2023-11-28 | 一种塑料制品研发数据处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117312623A CN117312623A (zh) | 2023-12-29 |
| CN117312623B true CN117312623B (zh) | 2024-04-19 |
Family
ID=89288780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311602932.9A Active CN117312623B (zh) | 2023-11-28 | 2023-11-28 | 一种塑料制品研发数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117312623B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110078133A1 (en) * | 2009-09-30 | 2011-03-31 | International Business Machines Corporation | Searching Multi-Dimensional Data |
| CN113722384A (zh) * | 2021-11-02 | 2021-11-30 | 西安热工研究院有限公司 | 基于密度算法的测点数据异常值的检测方法、系统及设备 |
-
2023
- 2023-11-28 CN CN202311602932.9A patent/CN117312623B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110078133A1 (en) * | 2009-09-30 | 2011-03-31 | International Business Machines Corporation | Searching Multi-Dimensional Data |
| CN113722384A (zh) * | 2021-11-02 | 2021-11-30 | 西安热工研究院有限公司 | 基于密度算法的测点数据异常值的检测方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117312623A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245802B (zh) | 基于改进梯度提升决策树的卷烟空头率预测方法及系统 | |
| JP6817426B2 (ja) | マシンラーニング基盤の半導体製造の収率予測システム及び方法 | |
| CN110990461A (zh) | 大数据分析模型算法选型方法、装置、电子设备及介质 | |
| Hung et al. | Mining trajectory profiles for discovering user communities | |
| JP7140567B2 (ja) | 設計案生成装置 | |
| CN111126865B (zh) | 一种基于科技大数据的技术成熟度判断方法和系统 | |
| JP7144676B2 (ja) | 情報処理装置、品質関連式生成方法、および品質関連式生成プログラム | |
| CN111967187B (zh) | 一种预测燃气轮机启动过程输出数据的建模方法及设备 | |
| CN110632546A (zh) | 基于全网域证据集的电子式互感器可信度评估方法和装置 | |
| CN115186555A (zh) | 基于数字孪生的干燥设备实况仿真方法及相关设备 | |
| CN115905990A (zh) | 一种基于密度聚集算法的变压器油温异常监测方法 | |
| CN117312623B (zh) | 一种塑料制品研发数据处理系统 | |
| CN116541944B (zh) | 一种基于变电站综合倾斜摄影建模模型的碳排放计算方法 | |
| CN116110630A (zh) | Dcs系统中反应堆堆芯热功率测量方法与装置 | |
| CN113312587B (zh) | 基于arima预测和回归预测的传感器采集数据缺失值处理方法 | |
| CN106816871B (zh) | 一种电力系统状态相似性分析方法 | |
| Shao et al. | Improving iForest for hydrological time series anomaly detection | |
| CN114817693A (zh) | 设备故障知识推荐方法和系统 | |
| CN110263811A (zh) | 一种基于数据融合的设备运行状态监测方法及系统 | |
| CN118395572B (zh) | 一种生产桥梁缆索结构寿命分析评估方法及装置 | |
| CN114881164B (zh) | 一种基于图数据库的配电网拓扑自动校核方法及装置 | |
| CN110942149B (zh) | 一种基于信息变化率及条件互信息的特征变量选择方法 | |
| CN117891959B (zh) | 一种基于贝叶斯网络的文献元数据储存方法及系统 | |
| CN118094259B (zh) | 基于数据分析的燃气管道失效风险预测方法及系统 | |
| Saravanabhavan et al. | Fuzzy based optimized itemset mining in high dimensional transactional database using adaptable FCM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |