CN113934715A - 一种基于改进非局部均值的推进剂制备质量数据去噪方法 - Google Patents

一种基于改进非局部均值的推进剂制备质量数据去噪方法 Download PDF

Info

Publication number
CN113934715A
CN113934715A CN202111132215.5A CN202111132215A CN113934715A CN 113934715 A CN113934715 A CN 113934715A CN 202111132215 A CN202111132215 A CN 202111132215A CN 113934715 A CN113934715 A CN 113934715A
Authority
CN
China
Prior art keywords
data
point
value
denoised
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111132215.5A
Other languages
English (en)
Other versions
CN113934715B (zh
Inventor
张维
张浩晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111132215.5A priority Critical patent/CN113934715B/zh
Publication of CN113934715A publication Critical patent/CN113934715A/zh
Application granted granted Critical
Publication of CN113934715B publication Critical patent/CN113934715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Marketing (AREA)
  • Mathematical Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于改进非局部均值的推进剂制备质量数据去噪方法，属于推进剂制备质量数据处理技术领域。首先利用箱线图原理检测待去噪点，将搜索窗设置为所在特征的所有数据，将邻域窗大小设置为一个数据点大小，通过对比所要处理的数据点和相似度量点之间的相关性给予不同的权重，最终将所有权重进行加权平均得到替换值1，再将待去噪点进行线性插值得到替换值2，通过替换值1和替换值2与待去噪点的偏差拟合得到最终的替换值，最终将所检测出的异常值进行替换，其他正常数据保留。经过本算法对异常值的处理，提高了样本数据的有效性，从而提升了后期改性双基推进剂的制备质量预测模型的精度。

Description

一种基于改进非局部均值的推进剂制备质量数据去噪方法
技术领域
本发明涉及对改性双基推进剂制备质量数据进行数据清洗时的异常值分析替换领域，特别涉及基于改进非局部均值去噪的改性双基推进剂制备质量数据异常值处理方法。
背景技术
改性双基推进剂的制备通常以小批量生产为主，生产数据样本为小样本数据。由于设备故障或人为记录的失误，导致出现少量异常值。流程工业生产制备的质量数据具有其自身的特点，进行同一工序时生产状态一般不会发生大变化，且同一特征内数据都具有时序性，因此同一特征的相邻数据间具有关联性和相似性；同时生产过程中经常会反复出现相同的生产状况，从而使生产质量数据中存在较多重复信息，且数据中一些离群点是工业生产过程中的正常现象，不需要大幅度替换；同一特征内数据也具有时序性，因此同一特征的相邻数据间具有关联性和相似性。这一类型的异常值处理需要考虑到同一特征的数据之间的关联性以及一些离群点的合理性，因而采用简单的均值、众数替换以及利用缺失值填补方法无法对具有关联性的数据进行有效替换。
目前，针对异常值的处理常用的方法包括直接将该条观测点删除、使用均值或其他统计量取代、将其视为缺失值并利用统计模型填补等。采用直接将该条观测点删除的方法简单易行，但缺点也很明显，针对小样本数据可能会改变变量的原有分布，从而造成统计模型不够稳定。而采用替换的方法比简单删除记录更有利于后续数据的利用。在处理工业生产质量数据中，采用均值或其他统计量取代会忽略数据所在特征拥有的关联性。在改性双基推进剂的制备过程中，有些离群点的产生是属于正常生产范围内的，是生产过程中所必须的，因此必须将其视为正常值进行处理，从而将上述属于正常出现的异常值利用统计模型填补的方法会大大影响改性双基推进剂制备质量数据中有实际意义的离群信息数据，影响后续的数据处理。
在对异常值进行替换处理时，目前所采用的例如缺失值填补方法，对工业生产异常数据进行替换时都会导致替换的数据缺少工业数据分布所具有的特征自关联性；同时，工业生产质量数据经常带有时序性，即其数据特征本身的分布与时间有关系，时间序列中通常会存在重复信息，因此具有实际意义的离群值会在时间序列中反复出现。根据这一特点可以通过多段相似信息相互加强，从而保留该类信息而不在去噪过程中丟失。因此，在对工业数据进行异常值替换时，必须同时考虑到统一特征相邻数据间的关联性，以及有实际意义的离群信息数据。
发明内容
要解决的技术问题
针对改性双基推进剂制备过程，为了更好地对质量数据进行去噪并保证质量数据的有效性，本发明一种基于改进非局部均值的推进剂制备质量数据去噪方法，引入非局部均值法对去噪过程进行改善，并将之应用到改性双基推进剂制备的质量数据的预处理过程中。
技术方案
一种基于改进非局部均值的推进剂制备质量数据去噪方法，其特征在于步骤如下：
步骤1：选择改性双基推进剂制备质量数据特征列X，并进行异常值检测；
步骤2：对所选特征列X进行归一化
步骤3：确定搜索窗D和邻域窗d
步骤31：选取待去噪点为Xi；
步骤32：选取两种大小固定的窗口，即搜索窗和邻域窗；所述的搜索窗用来限制寻找相似点的范围，所述的邻域窗用来确定相似性度量点Xj的大小；
窗口大小设置：在改性双基推进剂生产数据中，由于其小样本特性，搜索窗与邻域窗分别表示为：D＝{Xi|i＝1，2，3，......，n}；d＝Xi；即搜索窗设置为本特征列X内的所有数据点，邻域窗大小设置为所在特征单独的数据点即可；
窗口位置设置：搜索窗为本特征的所有数据点，邻域窗在除去噪点外其他数据点的集合中依次滑动，邻域窗内的数据点Xj为相似性度量点；
步骤4：计算待去噪点Xi去噪后的值Yi
步骤41：点Xi为待去噪数据点，点Xj为待计算相似性点，两点间的相似程度用权重因子ω(i，j)表示，具体值可由式(4)、(5)、(6)求得；
Figure BDA0003278561860000031
其中：
Figure BDA0003278561860000032
Dist可用来表示Xi邻域与Xj邻域的距离，该值越小，则邻域点与目标点越相似，权重因子ω(i，j)也越大；
步骤42：令邻域窗在搜索窗范围内滑动，遍历除待去噪点Xi外的所有数据点，求出搜索窗内所有相似性度量点Xj与以目标点Xi相似性；由此，Xi处去噪后的数据值Yi1的计算公式为：
Yi1＝∑j∈Tω(i，j)Xi (7)
其中T为所在特征列的除Xi外所有数据点的集合；
步骤43：利用公式(8)对Yi1进行反归一化得到去噪后的数据值Yi：
Yi＝(Xmax-Xmin)*Yi1+Xmin (8)
由于ω(i，j)的大小由数据点Xi，Xj间的差异程度决定，所以当两点越相似，点Xj在Yi的计算中占的比重越大；
步骤5：对待去噪点Xi进行线性插值得到替换值Zi；
步骤6：利用公式(9)计算出待去噪点Xi的最终替换值u(i)
Figure BDA0003278561860000041
其中，umax指Yi和Zi中较大者，umin指Yi和Zi中较小者；
步骤7：遍历改性双基推进剂的制备质量数据所选特征序列X中所有待去噪点Xi，根据上述方法可对该特征列所有待去噪点Xi进行去噪；
步骤8：将所在特征列X得到的处理后的异常值u(i)进行有选择的替换，其中保留原特征X列中正常数据，将第一步利用箱线图所检测出来的异常值Xi进行替换，得到异常值处理后的数据。
本发明进一步的技术方案：步骤1中采用箱线图检测方法对改性双基推进剂制备质量数据的所在特征列X进行异常值Yi的检测，具体计算异常值Yi公式如下：
Yi＞Q3+3IQR (1)
Yi＜Q1-3IQR (2)
满足(1)或(2)式中任意一个条件即可认定为异常值；
其中，Q1、Q3分别为第一四分位数、第三四分位数，即按从小到大的顺序排序后，处于25％、75％的数字；
IQR＝Q3-Q1 (3)
本发明进一步的技术方案：步骤2中利用公式(4)对所选取的特征列X进行归一化处理：
Figure BDA0003278561860000042
其中，Xm为要进行归一化处理的数据，m＝1，2，……，n，Xmin为所在特征列中最小的数据，Xmax为所在特征最大的数据。
有益效果
本发明提出的一种基于改进非局部均值的推进剂制备质量数据去噪方法，首先利用箱线图原理检测待去噪点，将搜索窗设置为所在特征的所有数据，将邻域窗大小设置为一个数据点大小，通过对比所要处理的数据点和相似度量点之间的相关性给予不同的权重，最终将所有权重进行加权平均得到替换值1，再将待去噪点进行线性插值得到替换值2，通过替换值1和替换值2与待去噪点的偏差拟合得到最终的替换值，最终将所检测出的异常值进行替换，其他正常数据保留。经过本算法对异常值的处理，提高了样本数据的有效性，从而提升了后期改性双基推进剂的制备质量预测模型的精度。有益效果如下：
(1)改进了原有的基于图像的非局部均值去噪算法，将非局部均值去噪算法运用在改性双基推进剂制备生产数据中，尽最大程度上保留了改性双基推进剂制备质量数据中离群点的合理性；
(2)改进了传统非局部均值去噪法算法，将算法中权重以及搜索窗和邻域窗大小根据改性双基推进剂生产数据的小样本特性进行了有效调整；
(3)将非局部均值去噪法与线性插值算法进行了结合，有效的保证了改性双基推进剂制备生产数据的时序性，同时降低了测试样本的替换值和真实值的平均误差。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1是本发明一种基于改进非局部均值的推进剂制备质量数据去噪方法流程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种基于改进非局部均值的推进剂制备质量数据去噪方法，包括以下步骤：
(1)选择改性双基推进剂制备质量数据特征列X，并进行异常值检测
Step1：针对改性双基推进剂制备质量数据的所在特征列X进行异常值Xi的检测，检测方法为箱线图检测，具体计算异常值Xi公式如下：
Xi＞Q3+3IQR (1)
Xi＜Q1-3IQR (2)
满足(1)或(2)式中任意一个条件即可认定为异常值。
其中：Q1、Q3分别为第一四分位数、第三四分位数，(即按从小到大的顺序排序后，处于25％、75％的数字)。
IQR＝Q3-Q1。 (3)
(2)对所选特征列X进行归一化
Step2：利用公式(4)对所选取的特征列X进行归一化处理。
Figure BDA0003278561860000061
其中，Xm为要进行归一化处理的数据(m＝1，2，……，n)，Xmin为所在特征列中最小的数据，Xmax为所在特征最大的数据。
(3)确定搜索窗D和邻域窗d
Step3：选取待去噪点为Xi。
Step4：选取两种大小固定的窗口，即搜索窗和邻域窗。搜索窗用来限制寻找相似点的范围，邻域窗用来确定相似性度量点Xj的大小。
窗口大小设置：在改性双基推进剂生产数据中，由于其小样本特性，搜索窗与邻域窗分别表示为：D＝{Xi|i＝1，2，3，......，n}；d＝Xi。即搜索窗设置为本特征列X内的所有数据点，邻域窗大小设置为所在特征单独的数据点即可。
窗口位置设置：搜索窗为本特征的所有数据点，邻域窗在除去噪点外其他数据点的集合中依次滑动，邻域窗内的数据点Xj为相似性度量点。
(4)计算待去噪点Xi去噪后的值Yi
Step5：点Xi为待去噪数据点，点Xj为待计算相似性点，两点间的相似程度用权重因子ω(i，j)表示，具体值可由式(4)、(5)、(6)求得。
Figure BDA0003278561860000071
其中：
Figure BDA0003278561860000072
Dist可用来表示Xi邻域与Xj邻域的距离，该值越小，则邻域点与目标点越相似，权重因子ω(i，j)也越大。
Step6：令邻域窗在搜索窗范围内滑动，遍历除待去噪点Xi外的所有数据点，求出搜索窗内所有相似性度量点Xj与以目标点Xi相似性。由此，Xi处去噪后的数据值Yi1(已归一化后的数据)的计算公式为：
Yi1＝∑j∈Tω(i，j)Xi (7)
其中T为所在特征列的除Xi外所有数据点的集合。
Step7：利用公式(8)对Yi1进行反归一化得到去噪后的数据值Yi
Yi＝(Xmax-Xmin)*Yi1+Xmin (8)
由于ω(i，j)的大小由数据点Xi，Xj间的差异程度决定，所以当两点越相似，点Xj在Yi的计算中占的比重越大。
(5)对待去噪点Xi进行线性插值得到替换值Zi
Step8：将待去噪点Xi看作缺失值，并利用线性插值计算出替换值Zi
(6)计算待去噪点Xi的最终替换值u(i)
Step9：利用公式(9)计算出待去噪点Xi的最终替换值u(i)
Figure BDA0003278561860000073
其中，umax指Yi和Zi中较大者，umin指Yi和Zi中较小者。
(7)循环执行计算所有待去噪点Xi
Step10：遍历改性双基推进剂的制备质量数据所选特征序列X中所有待去噪点Xi，根据上述方法可对该特征列所有待去噪点Xi进行去噪。
(8)用替换值u(i)替换改性双基推进剂制备质量数据异常值Xi
Step11：将所在特征列X得到的处理后的异常值u(i)进行有选择的替换，其中保留原特征X列中正常数据，将第一步利用箱线图所检测出来的异常值Xi进行替换，得到异常值处理后的数据。
实施例1：
发明对改性双基推进剂制备质量数据集进行了采集并提取带有异常值的数据样本，该数据有21个特征，为了证明本发明的有效性，即只展示其中5项特征以及最终的成品质量是否达标，其中将“保压压力”、“药缸温度”这两列特征作为需要进行异常值替换的主要对象，其中“保压压力”、“药缸温度”这两列特征各自特征的相邻数据具有关联性，且具有时序性，其余特征因为工艺的不同而不具有相关性，两个特征在数据采集时都是在生产同一批改性双基推进剂时而同时隔一段时间进行同时采集。数据集展示如表1所示。(其中括号内为真实值，括号外值为人为拟合的异常值)
表1改性双基推进剂生产数据(括号内为真实值)
Figure BDA0003278561860000081
Figure BDA0003278561860000091
具体实施步骤如下：
(1)选择改性双基推进剂制备质量数据特征列X，并进行异常值检测
Step1：针对改性双基推进剂制备质量数据的所在特征列“保压压力”、“药缸温度”进行异常值Xi的检测，检测方法为箱线图检测。
对于“保压压力”特征：Q1＝1.99，Q3＝2.03；
那么IQR＝Q3-Q1＝0.04，从而异常值检测下限lower_limit＝2.0，异常值检测上限upper_limit＝2.03。
从而“保压压力”特征列的异常值检测出为X1＝2.08，X2＝1.88。
同理“药缸温度”特征列的异常值检测出为X′1＝89。
(2)对所选特征列X进行归一化
Step2：对“保压压力”特征列所有数据以及“药缸温度”特征列所有数据进行归一化处理。
(3)选取搜索窗以及邻域窗
Step3：分别选取“保压压力”、“药缸温度”这两列特征作为待去噪点的对象。
Step4：选取两种大小固定的窗口，即搜索窗和邻域窗。搜索窗用来限制寻找相似点的范围，邻域窗用来确定相似性度量点Xj的大小。
窗口大小设置：在改性双基推进剂生产数据中，由于其小样本特性，搜索窗与邻域窗分别表示为：D＝{Xi|i＝1，2，3，......，14}；d＝Xi，i＝1，2，3，......，14。即搜索窗设置为“保压压力”、“药缸温度”这两列特征的所有数据点，邻域窗大小设置为所在特征单独的数据点即可。
窗口位置设置：搜索窗为“保压压力”、“药缸温度”这两列特征的所有数据点，邻域窗在搜索窗内除去噪点外其他数据点的集合中依次滑动，邻域窗内的数据点Xj为相似性度量点。。
(4)计算待去噪点的去噪后的值
Step5：以点X1为待去噪数据点，点Xj为待计算相似性点，两点间的相似程度用权重因子ω(i，j)表示。下表2为“保压压力”特征中第4条数据作为异常值时进行的权重因子ω(i，j)的计算。
表2“保压压力”特征中异常值的权重因子ω(i，j)
序号 待去噪点X<sub>1</sub> 第二邻域窗内数据X<sub>j</sub> ω值
1 2.08 2.00 0.0300
2 2.08 2.00 0.0300
3 2.08 2.01 0.0429
4 2.08 2.03 0.8000
5 2.08 1.99 0.8000
6 2.08 1.98 0.0429
7 2.08 2.00 0.3000
8 2.08 2.05 0.1467
9 2.08 2.03 0.8000
10 2.08 ---- ------
11 2.08 1.98 0.0300
12 2.08 1.88 0
13 2.08 2.00 0.5926
14 2.08 2.02 0.05926
Step6：令邻域窗在搜索窗范围内(即“保压压力”、“药缸温度”这两列特征的所有数据点)滑动，遍历除待去噪点X1外的所有数据点，求出搜索窗内相似性度量点Xj与以目标点X1为中心的邻域的相似性，得到X1处去噪后的数据值Y11＝0.6069(已归一化后的数据)
Step7：对Y11进行反归一化得到去噪后的数据值Y1
Y1＝(2.1-1.88)*0.6069+1.88＝2.025
(5)对待去噪点Xi进行线性插值
Step7：将待去噪点X1看作缺失值，并利用线性插值计算出替换值Z1，得到x1处去噪后的数据值Z1＝2.015。
(6)计算待去噪点xi的最终替换值u(i)
Step8：计算出待去噪点X1的最终替换值u(1)。
Figure BDA0003278561860000111
(7)循环执行计算所有待去噪点Xi
Step9：遍历“保压压力”、“药缸温度”这两列特征的所有数据点。
将经过本发明处理后的数据、利用缺失值的线性插值填补方法处理后的数据以及原始数据进行对比，对比结果见表3及表4：
表3：“保压压力”特征噪声处理对比表
Figure BDA0003278561860000112
表4：“药缸温度”特征噪声处理对比表
Figure BDA0003278561860000113
(8)用替换值u(i)替换改性双基推进剂制备质量数据异常值Xi
Step10：将所在特征列X得到的处理后的异常值u(i)进行有选择的替换，其中保留原特征X列中正常数据，将第一步利用箱线图所检测出来的异常值Xi进行替换，得到异常值处理后的数据，见下表5：
表5：异常值替换后的数据
Figure BDA0003278561860000114
Figure BDA0003278561860000121
对比线性插值填补以及本算法处理异常值的误差值，误差计算公式为式(9)
Figure BDA0003278561860000122
其中v(i)为真实值。
各算法误差见下表6：
表6：线性插值填补以及本算法处理异常值的误差值对比表
Figure BDA0003278561860000123
由上表可见，利用本算法可以使异常值处理后的误差明显减小，证明了本算法的有效性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于改进非局部均值的推进剂制备质量数据去噪方法，其特征在于步骤如下：
步骤1：选择改性双基推进剂制备质量数据特征列X，并进行异常值检测；
步骤2：对所选特征列X进行归一化
步骤3：确定搜索窗D和邻域窗d
步骤31：选取待去噪点为Xi；
步骤32：选取两种大小固定的窗口，即搜索窗和邻域窗；所述的搜索窗用来限制寻找相似点的范围，所述的邻域窗用来确定相似性度量点Xj的大小；
窗口大小设置：在改性双基推进剂生产数据中，由于其小样本特性，搜索窗与邻域窗分别表示为：D＝{Xi|i＝1，2，3，......，n}；d＝Xi；即搜索窗设置为本特征列X内的所有数据点，邻域窗大小设置为所在特征单独的数据点即可；
窗口位置设置：搜索窗为本特征的所有数据点，邻域窗在除去噪点外其他数据点的集合中依次滑动，邻域窗内的数据点Xj为相似性度量点；
步骤4：计算待去噪点Xi去噪后的值Yi
步骤41：点Xi为待去噪数据点，点Xj为待计算相似性点，两点间的相似程度用权重因子ω(i，j)表示，具体值可由式(4)、(5)、(6)求得；
Figure FDA0003278561850000011
其中：
Figure FDA0003278561850000012
Dist可用来表示Xi邻域与Xj邻域的距离，该值越小，则邻域点与目标点越相似，权重因子ω(i，j)也越大；
步骤42：令邻域窗在搜索窗范围内滑动，遍历除待去噪点Xi外的所有数据点，求出搜索窗内所有相似性度量点Xj与以目标点Xi相似性；由此，Xi处去噪后的数据值Yi1的计算公式为：
Yi1＝∑j∈Tω(i，j)Xi (7)
其中T为所在特征列的除Xi外所有数据点的集合；
步骤43：利用公式(8)对Yi1进行反归一化得到去噪后的数据值Yi：
Yi＝(Xmax-Xmin)*Yi1+Xmin (8)
由于ω(i，j)的大小由数据点Xi，Xj间的差异程度决定，所以当两点越相似，点Xj在Yi的计算中占的比重越大；
步骤5：对待去噪点Xi进行线性插值得到替换值Zi；
步骤6：利用公式(9)计算出待去噪点Xi的最终替换值u(i)
Figure FDA0003278561850000021
其中，umax指Yi和Zi中较大者，umin指Yi和Zi中较小者；
步骤7：遍历改性双基推进剂的制备质量数据所选特征序列X中所有待去噪点Xi，根据上述方法可对该特征列所有待去噪点Xi进行去噪；
步骤8：将所在特征列X得到的处理后的异常值u(i)进行有选择的替换，其中保留原特征X列中正常数据，将第一步利用箱线图所检测出来的异常值Xi进行替换，得到异常值处理后的数据。
2.根据权利要求1所述一种基于改进非局部均值的推进剂制备质量数据去噪方法，其特征在于：步骤1中采用箱线图检测方法对改性双基推进剂制备质量数据的所在特征列X进行异常值Yi的检测，具体计算异常值Yi公式如下：
Yi＞Q3+3IQR (1)
Yi＜Q1-3IQR (2)
满足(1)或(2)式中任意一个条件即可认定为异常值；
其中，Q1、Q3分别为第一四分位数、第三四分位数，即按从小到大的顺序排序后，处于25％、75％的数字；
IQR＝Q3-Q1 (3)。
3.根据权利要求1所述一种基于改进非局部均值的推进剂制备质量数据去噪方法，其特征在于：步骤2中利用公式(4)对所选取的特征列X进行归一化处理：
Figure FDA0003278561850000031
其中，Xm为要进行归一化处理的数据，m＝1，2，……，n，Xmin为所在特征列中最小的数据，Xmax为所在特征最大的数据。
CN202111132215.5A 2021-09-25 2021-09-25 一种基于改进非局部均值的推进剂制备质量数据去噪方法 Active CN113934715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111132215.5A CN113934715B (zh) 2021-09-25 2021-09-25 一种基于改进非局部均值的推进剂制备质量数据去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111132215.5A CN113934715B (zh) 2021-09-25 2021-09-25 一种基于改进非局部均值的推进剂制备质量数据去噪方法

Publications (2)

Publication Number Publication Date
CN113934715A true CN113934715A (zh) 2022-01-14
CN113934715B CN113934715B (zh) 2024-03-01

Family

ID=79276835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111132215.5A Active CN113934715B (zh) 2021-09-25 2021-09-25 一种基于改进非局部均值的推进剂制备质量数据去噪方法

Country Status (1)

Country Link
CN (1) CN113934715B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117783745A (zh) * 2023-12-28 2024-03-29 浙江智格科技有限公司 用于换电柜的数据在线监测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167837A1 (en) * 2007-01-08 2008-07-10 International Business Machines Corporation Determining a window size for outlier detection
US20110268328A1 (en) * 2008-12-25 2011-11-03 Ezer Bar-Aviv Denoising medical images
US20140064615A1 (en) * 2012-09-05 2014-03-06 Peking University Method and Device for Denoising Videos Based on Non-Local Means
US20160086317A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
CN109100788A (zh) * 2018-07-06 2018-12-28 东北石油大学 地震数据非局部均值去噪方法
CN110648290A (zh) * 2019-09-06 2020-01-03 西安交通大学 一种基于sure参数优化的双核非局部均值图像去噪方法
CN110852969A (zh) * 2019-11-07 2020-02-28 中国科学院微小卫星创新研究院 一种基于局部异常因子的星图小波去噪方法
CN112382121A (zh) * 2020-10-30 2021-02-19 河南工业大学 一种基于滑动平均算法的车辆轨迹优化方法
CN112508810A (zh) * 2020-11-30 2021-03-16 上海云从汇临人工智能科技有限公司 非局部均值盲图像去噪方法、系统及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167837A1 (en) * 2007-01-08 2008-07-10 International Business Machines Corporation Determining a window size for outlier detection
US20110268328A1 (en) * 2008-12-25 2011-11-03 Ezer Bar-Aviv Denoising medical images
US20140064615A1 (en) * 2012-09-05 2014-03-06 Peking University Method and Device for Denoising Videos Based on Non-Local Means
US20160086317A1 (en) * 2014-09-23 2016-03-24 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
CN109100788A (zh) * 2018-07-06 2018-12-28 东北石油大学 地震数据非局部均值去噪方法
CN110648290A (zh) * 2019-09-06 2020-01-03 西安交通大学 一种基于sure参数优化的双核非局部均值图像去噪方法
CN110852969A (zh) * 2019-11-07 2020-02-28 中国科学院微小卫星创新研究院 一种基于局部异常因子的星图小波去噪方法
CN112382121A (zh) * 2020-10-30 2021-02-19 河南工业大学 一种基于滑动平均算法的车辆轨迹优化方法
CN112508810A (zh) * 2020-11-30 2021-03-16 上海云从汇临人工智能科技有限公司 非局部均值盲图像去噪方法、系统及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴一全;李海杰;宋昱;: "基于引导核聚类的非局部均值图像去噪算法", 电子科技大学学报, no. 01, 30 January 2016 (2016-01-30) *
黄智;付兴武;刘万军;: "混合相似性权重的非局部均值去噪算法", 计算机应用, no. 02, 10 February 2016 (2016-02-10) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117783745A (zh) * 2023-12-28 2024-03-29 浙江智格科技有限公司 用于换电柜的数据在线监测方法及系统

Also Published As

Publication number Publication date
CN113934715B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110992354B (zh) 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN108960329B (zh) 一种包含缺失数据的化工过程故障检测方法
CN110207689B (zh) 一种基于小波熵的脉冲星信号去噪及辨识方法
CN116523320B (zh) 基于互联网大数据的知识产权风险智能分析方法
CN110376290B (zh) 基于多维核密度估计的声发射源定位方法
CN112000081B (zh) 基于多块信息提取和马氏距离的故障监测方法及系统
CN113934715A (zh) 一种基于改进非局部均值的推进剂制备质量数据去噪方法
CN115452362A (zh) 一种齿轮箱故障诊断方法
CN111128301A (zh) 一种基于模糊聚类的重叠蛋白质复合物识别方法
CN117251798A (zh) 一种基于两层渐进式的气象设备异常检测方法
CN111581909A (zh) 基于改进的自适应重要性采样算法的sram良率评估方法
CN112757053A (zh) 基于功率和振动信号的模型融合刀具磨损监测方法及系统
CN113642666A (zh) 一种基于样本扩充和筛选的主动增强软测量方法
CN110245692B (zh) 一种用于集合数值天气预报成员的层次聚类方法
CN110987866A (zh) 一种汽油性质评价方法及装置
TWI428581B (zh) 辨識光譜的方法
Kashiwagi et al. Smoothing serial count data through a state-space model
CN116664494A (zh) 一种基于模板对比的表面缺陷检测方法
CN110705132A (zh) 一种基于多源异质数据的制导控制系统性能融合评估方法
CN111160464B (zh) 基于多隐层加权动态模型的工业高阶动态过程软测量方法
CN115130374A (zh) 一种工业精加工过程加工质量优化方法与系统
Kan et al. Network models for monitoring high-dimensional image profiles
CN112884057B (zh) 基于点云数据的三维曲面质量分类方法、系统及存储介质
CN115270861A (zh) 一种产品成分数据监测方法、装置、电子设备及存储介质
CN111932578B (zh) 融入类指数抑制因子的像素块聚类无损检测图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant