CN117574306B - 一种传感器数据的异常值检测方法、装置及电子设备 - Google Patents
一种传感器数据的异常值检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117574306B CN117574306B CN202410063747.5A CN202410063747A CN117574306B CN 117574306 B CN117574306 B CN 117574306B CN 202410063747 A CN202410063747 A CN 202410063747A CN 117574306 B CN117574306 B CN 117574306B
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- change
- rate
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 174
- 238000001514 detection method Methods 0.000 title claims description 22
- 230000008859 change Effects 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000003908 quality control method Methods 0.000 claims abstract description 69
- 238000001914 filtration Methods 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 16
- 238000013450 outlier detection Methods 0.000 abstract description 9
- 238000005070 sampling Methods 0.000 description 11
- 238000007689 inspection Methods 0.000 description 8
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 6
- 229910052710 silicon Inorganic materials 0.000 description 6
- 239000010703 silicon Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本公开提供了一种传感器数据的异常值检测方法、装置及电子设备。通过获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；确定每个质量控制数据集在该数据点处的第一变化率，以及该数据点处质量控制数据集的平均值的第二变化率；将每个数据点处第一变化率与第二变化率的第一差值的最大值确定为异常门限值；获取待温度补偿传感器根据输入数据集输出的目标数据集在每个数据点处的第三变化率；筛选第三变化率与第二变化率之间的第二差值大于或等于异常门限值的异常数据点。可以自动识别传感器输出数据可能存在的异常值，从而有效地防止建模数据采集过程中异常值对建模结果造成的影响，进而提升传感器数学建模数据的质量。
Description
技术领域
本公开涉及传感器检测技术领域，具体而言，涉及一种传感器数据的异常值检测方法、装置及电子设备。
背景技术
硅基压阻式压力传感器利用半导体材料的压阻效应对压力进行测量。由于半导体的温度特性导致其压阻系数随温度变化而变化，致使压力传感器的零点和灵敏度发生漂移，从而导致传感器输入-输出特性的非线性化。但是在当今各种基于牛顿经典力学的测控系统中，普遍要求传感器的输入-输出特性呈线性关系，也即要求传感器在其量程范围内对被测量参量的变化的灵敏度保持为常数，以保证读数及对系统进行分析处理的精确性。
目前，基于利用传感器的输入输出数据建立数学模型的软件温度（非线性）补偿方法是普遍认可的优选方法。然而，对于硅基压力传感器温度补偿数学建模数据而言，在采集传感器的输入输出数据的过程中可能存在各种各样不可避免的与大多数数据的趋势不同的误差或异常值，异常值的存在对于数学建模的结果会产生显著的影响。因此，能否对数学建模数据中异常值做出准确识别从而保证数学建模数据的质量对温度补偿的结果影响极大。工程应用中通常采用残差分析或是基于数据的统计学特性求取的门限对异常值进行识别。然而，对于硅基压力传感器温度补偿数学建模数据而言，残差分析的困难在于模型及门限值的不确定性，而基于数据的统计学特性的方法则因大多数情况下无法判定数据满足何种分布，使得其实用性受到限制。
发明内容
本公开实施例至少提供一种传感器数据的异常值检测方法、装置及电子设备，可以自动识别用于传感器温度补偿数学建模过程的输入数据可能存在的异常值，从而有效地防止了传感器温度补偿建模数据采集过程中可能产生的异常值对建模结果造成的影响，提升传感器温度补偿数学建模数据的质量，进而保证传感器产品的可靠性和精确性。
本公开实施例提供了一种传感器数据的异常值检测方法，包括：
获取至少一个同型号传感器在进行温度补偿前的质量控制抽检时根据输入数据集在不同温度下输出的满足质量控制要求的数据集作为参考传感器的质量控制数据集；
针对所述输入数据集对应的每个数据点，计算每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；
计算每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值设定为异常门限值；
获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并计算所述目标数据集在每个所述数据点处对应的第三变化率；
筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。
一种可选的实施方式中，在筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的异常数据点之后，所述方法还包括：
在所述输入数据集对应的数据点序列中，划分相邻所述潜在异常数据点之间无间隔的潜在异常数据点群，确定每个所述潜在异常数据点群中，位于所述数据点序列最前端位置处的所述潜在异常数据点为由变化率定义方式引入的虚假异常数据点；
在所述潜在异常数据点中过滤所述虚假异常数据点确定目标异常数据点，并将的所述虚假异常数据点标注为可信数据点。
一种可选的实施方式中，在确定所述目标数据集中，所述异常数据点对应的数据为异常数据之后，所述方法还包括：
在所述目标数据集中，过滤所述目标异常数据点对应的所述异常数据；
针对过滤所述异常数据后的所述目标数据集选择适当的方法进行插值处理，以保证所述目标数据集中，数据的曲线光滑性。
一种可选的实施方式中，在针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率之后，所述方法还包括：
根据所述第一变化率，确定每个所述质量控制数据集对应的第一变化率曲线；
滤除所述第一变化率曲线中的直流成分；
根据所述第二变化率，确定所述质量控制数据集在每个所述数据点处的平均值对应的第二变化率曲线；
滤除所述第二变化率曲线中的直流成分。
一种可选的实施方式中，在获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率之后，所述方法还包括：
根据所述第三变化率，确定所述目标数据集对应的第三变化率曲线；
滤除所述第三变化率曲线中的直流成分。
一种可选的实施方式中，在筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的异常数据点之后，所述方法还包括：
在所述目标数据集中，筛选所述第三变化率与所述第二变化率之间的第二差值小于所述异常门限值的数据点；
将筛选出的数据点标记为可信数据点。
本公开实施例还提供一种传感器数据的异常值检测装置，包括：
质量控制数据集获取模块，用于获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；
参考变化率确定模块，用于针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；
门限值确定模块，用于确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值设定为异常门限值；
待温度补偿传感器数据变化率确定模块，用于获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并计算所述目标数据集在每个所述数据点处对应的第三变化率；
异常数据筛选模块，用于筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。
一种可选的实施方式中，所述装置还包括虚假异常点剔除模块，所述虚假异常点剔除模块用于：
在所述输入数据集对应的数据点序列中，划分相邻所述潜在异常数据点之间无间隔的潜在异常数据点群，确定每个所述潜在异常数据点群中，位于所述数据点序列最前端位置处的所述潜在异常数据点为虚假异常数据点；
在所述潜在异常数据点中过滤所述虚假异常数据点确定目标异常数据点，并将的所述虚假异常数据点标注为可信数据点。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述传感器数据的异常值检测方法，或上述传感器数据的异常值检测方法中任一种可能的实施方式中的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述传感器数据的异常值检测方法，或上述传感器数据的异常值检测方法中任一种可能的实施方式中的步骤。
本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序、指令被处理器执行时实现上述传感器数据的异常值检测方法，或上述传感器数据的异常值检测方法中任一种可能的实施方式中的步骤。
本公开实施例提供的一种传感器数据的异常值检测方法、装置及电子设备，通过获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；针对所述输入数据集对应的每个数据点，计算每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；计算每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值设定为异常门限值；获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并计算所述目标数据集在每个所述数据点处对应的第三变化率；筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的异常数据点，并确定所述目标数据集中，所述异常数据点对应的数据为异常数据。通过所述自动识别用于传感器温度补偿数学建模过程中的输入数据可能存在的异常值，从而有效地防止了建模数据采集过程中可能产生的异常值对建模结果造成的影响，提升传感器数学建模数据的质量，进而保证传感器温度补偿功能的准确性和可靠性。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种传感器数据的异常值检测方法的流程图；
图2示出了本公开实施例所提供的一种虚假异常值的检测方法的流程图；
图3示出了本公开实施例所提供的一种传感器数据的异常值检测方法的整体流程示意图；
图4示出了本公开实施例所提供的一种传感器数据的异常值检测装置的示意图；
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，目前，基于利用传感器的输入输出数据建立数学模型的软件补偿方法是普遍认可的优选方法。然而，对于硅基压力传感器温度补偿数学建模数据而言，传感器的测量结果中可能存在各种各样不可避免的与大多数数据的趋势不同的误差或异常值，异常值的存在对于数学建模的结果会产生显著的影响。因此，能否对数学建模数据中异常值做出准确识别从而保证数学建模数据的质量对温度补偿的结果影响极大。工程应用中通常采用残差分析或是基于数据的统计学特性求取的门限对异常值进行识别。然而，对于硅基压力传感器温度补偿数学建模数据而言，残差分析的困难在于模型及门限值的不确定性，而基于数据的统计学特性的方法则因大多数情况下无法判定数据满足何种分布，使得其实用性受到限制。
基于上述研究，本公开提供了一种传感器数据的异常值检测方法、装置及电子设备，通过获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；针对所述输入数据集对应的每个数据点，计算每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；计算每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值设定为异常门限值；获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并计算所述目标数据集在每个所述数据点处对应的第三变化率；筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的异常数据点，并确定所述目标数据集中，所述异常数据点对应的数据为异常数据。所述方法可以自动识别传感器在数学建模过程中输出数据可能存在的异常值，从而有效地防止了建模数据采集过程中可能产生的异常值对建模结果造成的影响，进而提升传感器数学建模数据的质量，进而保证传感器温度补偿功能的准确性和可靠性。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种传感器数据的异常值检测方法进行详细介绍，本公开实施例所提供的传感器数据的异常值检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该传感器数据的异常值检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种传感器数据的异常值检测方法的流程图，所述方法包括步骤S101~S105，其中：
S101、获取参考传感器根据输入数据集在不同温度下输出质量控制数据集。
在具体实施中，可以在硅基压力传感器批量生产过程中，进入非线性温度补偿工序之前，对产品进行质量管控环节的抽检的步骤中，将被抽检合格的压力传感器作为参考传感器，以压力传感器在其量程范围内进行采样得到的压力数据点作为输入数据集，获取压力传感器在对应输入数据集中每个压力采样点时，在规定的工作环境温度范围内的多个不同温度点处对应的输出电压信号值的集合作为质量控制数据集。
这里，作为产品质量控制抽检中的许多技术指标之一，被抽检合格的传感器在其工作压力和环境温度范围区间内的输入输出特征曲线必须是光滑的，因此可以将被抽检合格的压力传感器作为参考传感器，其对应输出的电压信号值集合也为可以被作为基准参考的质量控制数据集。
其中，由压力传感器生产信息数据库获取至少一个同型号传感器在进行温度补偿前的质量控制抽检时根据输入数据集（压力检测点）在不同温度下输出的满足质量控制检测要求的数据集（传感器输出电信号）作为参考传感器的质量控制数据集。
需要说明的是，输入数据集与质量控制数据集中数据数量相同，并且输入数据集中的每个数据均与质量控制数据集中处于相同位置的数据一一对应。
示例性的，以工作环境温度[-40 85°C]、量程范围[0.05 1 MPa]的压力传感器作为参考传感器，对应的输入数据集为压力检测点：0.0500、0.1000、0.1500、0.2000、0.2500、0.3000、0.3500、0.4000、0.4500、0.5000、0.5500、0.6000、0.6500、0.7000、0.7500、0.8000、0.8500、0.9000、0.9500、1.0000MPa等；当温度为-40°C时，对应上述压力输入数据集中每个压力值，由传感器输出的电压信号值构成的质量控制数据集为：u_m40=[0.0399、0.0868、0.1323、0.1764、0.2191、0.2606、0.3006、0.3390、0.3764、0.4134、0.4500、0.4852、0.5187、0.5502、0.5796、0.6070、0.6325、0.6561、0.6778、0.6975]；温度为0°C时，对应上述压力输入数据集中每个压力值，由传感器输出的电压信号值构成的质量控制数据集为：u_0=[0.0558、0.0995、0.1421、0.1833、0.2231、0.2621、0.2997、0.3364、0.3716、0.4055、0.4381、0.4698、0.5005、0.5301、0.5584、0.5855、0.6117、0.6366、0.6614、0.6842]；以及温度为85°C时，对应上述压力输入数据集中每个压力值，由传感器输出的电压信号值构成的质量控制数据集为：u_85=[0.0887、0.1259、0.1621、0.1975、0.2320、0.2657、0.2985、0.3302、0.3614、0.3925、0.4234、0.4537、0.4829、0.5101、0.5353、0.5586、0.5800、0.5994、0.6170、0.6326]。
S102、针对所述输入数据集对应的每个数据点，计算每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率。
在具体实施中，在不同温度下，针对输入数据集在每个数据点处输出的输出数据，计算该数据点在质量控制数据集对应的传感器输出曲线中对应的第一变化率，即不同温度下质量控制数据集中对应每个输入数据集的数据点处的变化率。
进一步的，计算在输入数据集的同一数据点处，对应不同温度下输出的质量控制数据集中电压信号值的平均值，并由全部平均值构成平均值集合，根据平均值集合对应的平均值曲线，计算每个平均值对应的第二变化率，即输入数据集的同一数据点处，对应不同温度下参考传感器输出的平均输出数据的变化率。
示例性的，针对-40°C、0°C以及85°C的质量控制数据集：u_m40=[0.0399、0.0868、0.1323、0.1764、0.2191、0.2606、0.3006、0.3390、0.3764、0.4134、0.4500、0.4852、0.5187、0.5502、0.5796、0.6070、0.6325、0.6561、0.6778、0.6975]：u_0=[0.0558、0.0995、0.1421、0.1833、0.2231、0.2621、0.2997、0.3364、0.3716、0.4055、0.4381、0.4698、0.5005、0.5301、0.5584、0.5855、0.6117、0.6366、0.6614、0.6842]；u_85=[0.0887、0.1259、0.1621、0.1975、0.2320、0.2657、0.2985、0.3302、0.3614、0.3925、0.4234、0.4537、0.4829、0.5101、0.5353、0.5586、0.5800、0.5994、0.6170、0.6326]，对应输入数据集中每个数据点的平均值集合为：u_mean=[0.0615、0.1041、0.1455、0.1857、0.2247、0.2628、0.2996、0.3352、0.3698、0.4038、0.4371、0.4696、0.5007、0.5301、0.5578、0.5837、0.6081、0.6307、0.6520、0.6714]。
这里，可以基于以下公式计算变化率：
其中，代表位于质量控制数据集的/>位置处的传感器输出数据对应的第一变化率，或对应位于输入数据集的/>位置处的质量控制数据集的平均值对应的第二变化率；代表位于质量控制数据集的/>位置处的传感器输出数据或质量控制数据集的平均值；/>代表位于质量控制数据集的/>位置处的传感器输出数据或质量控制数据集的平均值；/>代表位于输入数据集的/>位置处的输入数据；/>代表位于输入数据集的/>位置处的输入数据；j代表输入数据集的数据量减1。
作为一种可能的实施方式，在步骤S102之后还可以进行如下步骤1-步骤4：
步骤1、根据所述第一变化率，确定每个所述质量控制数据集对应的第一变化率曲线。
步骤2、滤除所述第一变化率曲线中的直流成分。
步骤3、根据所述第二变化率，确定所述质量控制数据集在每个所述数据点处的平均值对应的第二变化率曲线。
步骤4、滤除所述第二变化率曲线中的直流成分。
在具体实施中，为了突出变化率曲线的动态特征，以方便对变化率变化状况进行分析，助力异常门限值的可靠选取，可选择将各变化率曲线中的直流成分滤除掉。
这里，可以采用如下公式实现直流成分的滤除：
其中，代表经过直流成分滤除后的变化率；/>代表第一变化率或第二变化率；/>代表对应j位置处的第一变化率或第二变化率；i代表质量控制数据集对应的不同温度；j代表输入数据集中压力点的序列号。
S103、确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值。
在具体实施中，由于被抽检合格的参考传感器输出的质量控制数据集及其平均值的曲线都是光滑的，即在参考传感器的工作环境温度范围内，对于任一个传感器，只要其输入输出曲线的变化率与平均值曲线的变化率之差不超过参考传感器输出数据的平均值的变化率与各温度下参考传感器输出数据的变化率中的最大值，即异常门限值，则可以判定该传感器的输入输出曲线是光滑的，也即该输入输出曲线中不存在异常值。
在本申请实施例中，对应输入数据集中的每个数据点，将每个数据点对应的第一变化率与第二变化率之间差值的绝对值中的最大值，确定为异常门限值。
S104、获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率。
在具体实施中，在计算得到用于判定传感器输出数据书否为异常值的异常门限值之后，针对需要进行温度（非线性）补偿的待温度补偿传感器，获取由该待补偿传感器根据输入数据集输出的输出数据构成的目标数据集，计算该数据点在目标数据集对应的传感器输出曲线中对应的第三变化率，即不同温度下目标数据集中对应每个输入数据集的数据点处的变化率。
作为一种可能的实施方式，在步骤S104之后还可以进行如下步骤1-步骤2：
步骤1、根据所述第三变化率，确定所述目标数据集对应的第三变化率曲线。
步骤2、滤除所述第三变化率曲线中的直流成分。
S105、筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的异常数据点，并确定所述目标数据集中，所述异常数据点对应的数据为潜在异常数据。
在具体实施中，将目标数据集中每个数据对应的第三变化率与第二变化率之间的差值与异常门限值进行比较，将第三变化率与第二变化率之间的差值大于或等于异常门限值的数据点确定为异常数据点。
这里，在目标数据集中，筛选第三变化率与第二变化率之间的第二差值小于异常门限值的数据点；将筛选出的数据点标记为可信数据点。
进一步的，在筛选出异常数据点后，在许多实际应用中异常数据点会被简单地直接剔除，即异常数据点的数据不再出现在后续的处理过程中，但是对于传感器的非线性补偿而言，由于输出检测值与输入值需要形成一对一的映射关系，因此无法将异常数据点简单剔除，需要在保证曲线光滑的前提下对异常数据点进行插值修正。
具体的们可以通过如下步骤1-步骤2在保证数据曲线光滑的前提下修正异常值：
步骤1、在所述目标数据集中，过滤所述目标异常数据点对应的所述异常数据。
步骤2、针对过滤所述异常数据后的所述目标数据集进行插值处理，以保证所述目标数据集中，数据的曲线光滑性。
这里，插值处理的方式可以根据实际需要进行选择，在此不做具体限制。可选的，可以采用样条插值处理作为本申请实施例中的插值处理方式。
作为一种可能的实施方式，参见图2所示，为本公开实施例提供的一种虚假异常值的检测方法的流程图，所述方法包括步骤S201~S205，其中：
S201、在所述输入数据集对应的数据点序列中，划分相邻所述潜在异常数据点之间无间隔的潜在异常数据点群，确定每个所述潜在异常数据点群中，位于所述数据点序列最前端位置处的所述潜在异常数据点为虚假异常数据点。
S202、在所述潜在异常数据点中过滤所述虚假异常数据点确定目标异常数据点，并将的所述虚假异常数据点标注为可信数据点。
在具体实施中，由于本申请实施例采用传感器输出数据的变化率作为异常数据的判定标准，而传感器输出数据的变化率是由当前采样点处输出数据值与下一采样点处输出数据值之差与采样间隔之比决定的，因此，针对异常数据点周围的可信数据点，可能会存在由于异常数据点处的数据值变化进而引起可信数据点处变化率的变化，进而导致识别出虚假的异常数据点。
这里，可信数据点被识别为异常数据点的虚假异常数据点，主要由于相邻于该虚假异常数据点下一位置处的真实异常数据点引起，因此，在本申请实施例中，根据输入数据集对应的数据点序列的排列次序，依次遍历全部潜在异常数据点，将相邻之间无间隔的潜在异常数据点划分至同一潜在异常数据点群中，全部潜在异常数据点被划分为多个潜在异常数据点群中，针对每个潜在异常数据点群，根据输入数据集对应的数据点序列的排列次序，将位于潜在异常数据点群中最前端，即潜在异常数据点群中第一位置处的潜在异常数据点确定为虚假异常数据点。
作为一种可能的实施方式，参见图3所示，为本公开实施例提供的一种传感器数据的异常值检测方法的整体流程示意图。
本公开实施例提供的一种传感器数据的异常值检测方法，通过获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值；获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率；筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。可以自动识别传感器在数学建模过程中输出数据可能存在的异常值，从而有效地防止了建模数据采集过程中可能产生的异常值对建模结果造成的影响，进而提升传感器数学建模数据的质量。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与传感器数据的异常值检测方法对应的传感器数据的异常值检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述传感器数据的异常值检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图4，图4为本公开实施例提供的一种传感器数据的异常值检测装置的示意图。如图4中所示，本公开实施例提供的传感器数据的异常值检测装置400包括：
质量控制数据集获取模块410，用于获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集。
参考变化率确定模块420，用于针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率。
门限值确定模块430，用于确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值。
待温度补偿传感器数据变化率确定模块440，用于获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率。
异常数据筛选模块450，用于筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例提供的一种传感器数据的异常值检测装置，通过获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值；获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率；筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。所述方法可以自动识别传感器在数学建模过程中输出数据可能存在的异常值，从而有效地防止了建模数据采集过程中可能产生的异常值对建模结果造成的影响，进而提升传感器数学建模数据的质量。
对应于图1中的传感器数据的异常值检测方法，本公开实施例还提供了一种电子设备500，如图5所示，为本公开实施例提供的电子设备500结构示意图，包括：
处理器51、存储器52、和总线53；存储器52用于存储执行指令，包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当所述电子设备500运行时，所述处理器51与所述存储器52之间通过总线53通信，使得所述处理器51执行图1中的传感器数据的异常值检测方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的传感器数据的异常值检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的传感器数据的异常值检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种传感器数据的异常值检测方法，其特征在于，包括：
获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；
针对所述输入数据集对应的每个数据点，计算每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；
确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值；
获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率；
筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。
2.根据权利要求1所述的方法，其特征在于，在筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点之后，所述方法还包括：
在所述输入数据集对应的数据点序列中，划分相邻所述潜在异常数据点之间无间隔的潜在异常数据点群，确定每个所述潜在异常数据点群中，位于所述数据点序列最前端位置处的所述潜在异常数据点为虚假异常数据点；
在所述潜在异常数据点中过滤所述虚假异常数据点确定目标异常数据点，并将所述虚假异常数据点标注为可信数据点。
3.根据权利要求2所述的方法，其特征在于，在确定所述目标数据集中，所述异常数据点对应的数据为异常数据之后，所述方法还包括：
在所述目标数据集中，过滤所述目标异常数据点对应的所述异常数据；
针对过滤所述异常数据后的所述目标数据集进行插值处理，以保证所述目标数据集中，数据的曲线光滑性。
4.根据权利要求1所述的方法，其特征在于，在针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率之后，所述方法还包括：
根据所述第一变化率，确定每个所述质量控制数据集对应的第一变化率曲线；
滤除所述第一变化率曲线中的直流成分；
根据所述第二变化率，确定所述质量控制数据集在每个所述数据点处的平均值对应的第二变化率曲线；
滤除所述第二变化率曲线中的直流成分。
5.根据权利要求1所述的方法，其特征在于，在获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率之后，所述方法还包括：
根据所述第三变化率，确定所述目标数据集对应的第三变化率曲线；
滤除所述第三变化率曲线中的直流成分。
6.根据权利要求1所述的方法，其特征在于，在筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点之后，所述方法还包括：
在所述目标数据集中，筛选所述第三变化率与所述第二变化率之间的第二差值小于所述异常门限值的数据点；
将筛选出的数据点标记为可信数据点。
7.一种传感器数据的异常值检测装置，其特征在于，包括：
质量控制数据集获取模块，用于获取参考传感器根据输入数据集在不同温度下输出的质量控制数据集；
参考变化率确定模块，用于针对所述输入数据集对应的每个数据点，确定每个所述质量控制数据集在该数据点处对应的第一变化率，以及该数据点处所述质量控制数据集的平均值对应的第二变化率；
门限值确定模块，用于确定每个所述数据点处，所述第一变化率与所述第二变化率之间的第一差值，并将所述第一差值中的最大值确定为异常门限值；
待温度补偿传感器数据变化率确定模块，用于获取待温度补偿传感器根据所述输入数据集输出的目标数据集，并确定所述目标数据集在每个所述数据点处对应的第三变化率；
异常数据筛选模块，用于筛选所述第三变化率与所述第二变化率之间的第二差值大于或等于所述异常门限值的潜在异常数据点，并确定所述目标数据集中，所述潜在异常数据点对应的数据为潜在异常数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括虚假异常点剔除模块，所述虚假异常点剔除模块用于：
在所述输入数据集对应的数据点序列中，划分相邻所述潜在异常数据点之间无间隔的潜在异常数据点群，确定每个所述潜在异常数据点群中，位于所述数据点序列最前端位置处的所述潜在异常数据点为虚假异常数据点；
在所述潜在异常数据点中过滤所述虚假异常数据点确定目标异常数据点，并将所述虚假异常数据点标注为可信数据点。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的传感器数据的异常值检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6中任一项所述的传感器数据的异常值检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410063747.5A CN117574306B (zh) | 2024-01-17 | 2024-01-17 | 一种传感器数据的异常值检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410063747.5A CN117574306B (zh) | 2024-01-17 | 2024-01-17 | 一种传感器数据的异常值检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117574306A CN117574306A (zh) | 2024-02-20 |
| CN117574306B true CN117574306B (zh) | 2024-03-22 |
Family
ID=89864843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410063747.5A Active CN117574306B (zh) | 2024-01-17 | 2024-01-17 | 一种传感器数据的异常值检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117574306B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106240246A (zh) * | 2015-06-15 | 2016-12-21 | 英飞凌科技股份有限公司 | 轮胎监控系统和方法 |
| CN107206377A (zh) * | 2014-12-09 | 2017-09-26 | 伯克利照明有限公司 | 微流体装置中测定阳性的区域的自动检测 |
| CN111968597A (zh) * | 2020-08-12 | 2020-11-20 | Oppo（重庆）智能科技有限公司 | 屏幕亮度调节方法、装置、电子设备和存储介质 |
| CN112050970A (zh) * | 2020-08-14 | 2020-12-08 | 中国神华能源股份有限公司国华电力分公司 | 环境监测方法及装置 |
| CN116008820A (zh) * | 2023-03-24 | 2023-04-25 | 中国汽车技术研究中心有限公司 | 针对车辆电池单体不一致性的检测方法、设备和介质 |
| CN117221085A (zh) * | 2023-09-25 | 2023-12-12 | 中国联合网络通信集团有限公司 | 一种网络故障预警方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100111373A1 (en) * | 2008-11-06 | 2010-05-06 | Carl Zeiss Meditec, Inc. | Mean curvature based de-weighting for emphasis of corneal abnormalities |
-
2024
- 2024-01-17 CN CN202410063747.5A patent/CN117574306B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107206377A (zh) * | 2014-12-09 | 2017-09-26 | 伯克利照明有限公司 | 微流体装置中测定阳性的区域的自动检测 |
| CN106240246A (zh) * | 2015-06-15 | 2016-12-21 | 英飞凌科技股份有限公司 | 轮胎监控系统和方法 |
| CN111968597A (zh) * | 2020-08-12 | 2020-11-20 | Oppo（重庆）智能科技有限公司 | 屏幕亮度调节方法、装置、电子设备和存储介质 |
| CN112050970A (zh) * | 2020-08-14 | 2020-12-08 | 中国神华能源股份有限公司国华电力分公司 | 环境监测方法及装置 |
| CN116008820A (zh) * | 2023-03-24 | 2023-04-25 | 中国汽车技术研究中心有限公司 | 针对车辆电池单体不一致性的检测方法、设备和介质 |
| CN117221085A (zh) * | 2023-09-25 | 2023-12-12 | 中国联合网络通信集团有限公司 | 一种网络故障预警方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于长期监测的斜拉桥桥梁安全评估方法研究;卓之彪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑 (月刊)》;20210115(第2021年第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117574306A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107449521B (zh) | 温度补偿的方法、终端设备及计算机可读存储介质 | |
| CN110968833A (zh) | 一种用于模拟量校准的校准函数关系获取方法及装置 | |
| CN109115257B (zh) | 传感器特性曲线的修正方法、装置、设备及存储介质 | |
| CN112556927B (zh) | 压力传感器自校正方法、设备、存储介质及装置 | |
| CN110288003B (zh) | 数据变化识别方法及设备 | |
| CN112688687B (zh) | 待测物理信息的获取方法、装置、计算机设备和存储介质 | |
| CN112861947A (zh) | 传感器数据处理方法、装置及计算设备 | |
| EP3598127A1 (en) | Method for detecting gas concentration and gas detection device | |
| CN111780892B (zh) | 一种温度检测设备的校准方法 | |
| CN115841046A (zh) | 基于维纳过程的加速退化试验数据处理方法和装置 | |
| EP2515510A1 (en) | Mobile terminal and method for adjusting menu bar softkey display dynamically | |
| CN117574306B (zh) | 一种传感器数据的异常值检测方法、装置及电子设备 | |
| CN108983034B (zh) | 一种内短路检测方法及装置 | |
| CN104718703B (zh) | 光接收功率监测器的校正装置和校正方法 | |
| CN113342610A (zh) | 一种时序数据异常检测方法、装置、电子设备及存储介质 | |
| CN114325407A (zh) | 电池自放电测试方法、装置、设备及计算机存储介质 | |
| CN117147022A (zh) | 力传感器非线性补偿方法及系统 | |
| CN113804232A (zh) | 传感器校准方法、装置以及终端设备 | |
| CN113434823B (zh) | 数据采集任务异常预警方法、装置、计算机设备和介质 | |
| CN115752846A (zh) | 一种电池膨胀力检测方法、电池安全检测装置及系统 | |
| CN115183901A (zh) | 用于检测环境温度的方法及装置、电子设备、存储介质 | |
| CN111767938B (zh) | 一种异常数据检测方法、装置及电子设备 | |
| JP2021110977A (ja) | 診断装置、診断方法およびプログラム | |
| CN115235531B (zh) | 一种传感器校正方法、装置、终端设备及存储介质 | |
| CN112366148B (zh) | 衬底浓度确定方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |