CN115238787A - 异常数据检测方法、装置、设备及存储介质 - Google Patents
异常数据检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115238787A CN115238787A CN202210855301.7A CN202210855301A CN115238787A CN 115238787 A CN115238787 A CN 115238787A CN 202210855301 A CN202210855301 A CN 202210855301A CN 115238787 A CN115238787 A CN 115238787A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- detected
- time sequence
- abnormal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 397
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000001228 spectrum Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 11
- 238000004891 communication Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本公开涉及数据处理领域的一种异常数据检测方法、装置、设备及存储介质，包括：获取待检测时序数据；根据待检测时序数据的移动平均从待检测时序数据中确定第一异常数据，移动平均是根据待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；通过孤立森林模型确定待检测时序数据的不同聚类中心，根据待检测时序数据中各数据分别到不同聚类中心的距离关系，从待检测时序数据中确定第二异常数据；根据待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在第一异常数据和第二异常数据中的异常数据，或者将第一异常数据和第二异常数据并集后的异常数据确定为目标异常数据。提高了异常数据检测的准确性。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种异常数据检测方法、装置、设备及存储介质。
背景技术
数据分析是从数据中提取有用信息，并根据提取到的有用信息做分析，但是异常数据常常会导致提取到的有用信息价值较低，因此需要对数据中的异常数据进行异常预警和剔除，从而提高有用信息的价值。
相关场景中，通常基于谱残差计算数据的log谱，并根据log谱与人为设定的数据异常阈值，从数据中确定异常数据。然而，谱残差忽律了数据本身在时序上的特点，因而导致异常数据检测的准确率较低。
发明内容
为克服相关技术中存在的问题，本公开提供一种异常数据检测方法、装置、设备及存储介质。
根据本公开实施例的第一方面，提供一种异常数据检测方法，包括：
获取待检测时序数据；
根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
可选地，所述通过孤立森林模型确定所述待检测时序数据的不同聚类中心，包括：确定所述待检测时序数据的正常聚类中心和异常聚类中心；
所述根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据，包括：
计算所述待检测时序数据中各数据到所述正常聚类中心的正常欧式距离以及到所述异常聚类中心的异常欧氏距离；并，
根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据；
计算本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离以及本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离；
在所述正常聚类距离小于预设距离阈值、且所述异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
可选地，所述确定所述待检测时序数据的正常聚类中心和异常聚类中心，包括：
根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值；
将最大的预测值作为正常聚类中心以及将最小的预测值作为异常聚类中心。
可选地，所述根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值，包括：
根据所述待检测时序数据中数据在各维度上的特征，遍历计算该数据在所述孤立森林模型中每一棵孤立树上的高度；
计算所述待检测时序数据中各数据的平均高度；
对所述待检测时序数据中各数据的平均高度进行归一化，得到所述待检测时序数据中各数据在所述孤立森林中的预测值。
可选地，所述根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据，包括：
在所述待检测时序数据中数据的正常欧式距离大于等于所述异常欧氏距离的情况下，确定该数据为异常数据。
可选地，所述维度包括字段覆盖维度、字段环比指标、节令及节假日维度中的至少一者。
可选地，所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据，包括：
在所述目标检测值大于等于所述预设检测阈值的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据；或者，
在所述目标检测值小于所述预设检测阈值的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
可选地，在所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据之前，包括：
从预设的检测值与数据类型的对应关系中，查找所述待检测时序数据的数据类型对应的目标检测值，所述数据类型是根据采集待检测时序数据的场景以及应用待检测时序数据的场景确定的。
可选地，所述根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，包括：
对所述待检测时序数据进行快速傅里叶变换，得到频域上的目标待检测数据；
对频域上的目标待检测数据的幅值取对数，得到所述待检测时序数据对应的频域图谱；
根据所述频域图谱以及所述移动平均，计算谱残差；
对所述谱残差进行反傅里叶变换，得到所述待检测时序数据对应的时序空间域上的第一异常预测值；
将异常预测值大于第一预设异常阈值对应的待检测时序数据作为所述第一异常数据。
根据本公开实施例的第二方面，提供一种异常数据检测装置，包括：
获取模块，被配置为获取待检测时序数据；
第一确定模块，被配置为根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
第二确定模块，被配置为通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
第三确定模块，被配置为根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
所述第二确定模块，包括：第一确定子模块，被配置为确定所述待检测时序数据的正常聚类中心和异常聚类中心；
第一计算子模块，被配置为计算所述待检测时序数据中各数据到所述正常聚类中心的正常欧式距离以及到所述异常聚类中心的异常欧氏距离；
第二确定子模块，被配置为根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据；
第二计算子模块，被配置为计算本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离以及本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离；
第三确定子模块，被配置为在所述正常聚类距离小于预设距离阈值、且所述异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
可选地，所述第一确定子模块，被配置为：
根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值；
将最大的预测值作为正常聚类中心以及将最小的预测值作为异常聚类中心。
可选地，所述第一确定子模块，被配置为：
根据所述待检测时序数据中数据在各维度上的特征，遍历计算该数据在所述孤立森林模型中每一棵孤立树上的高度；
计算所述待检测时序数据中各数据的平均高度；
对所述待检测时序数据中各数据的平均高度进行归一化，得到所述待检测时序数据中各数据在所述孤立森林中的预测值。
可选地，所述第二确定子模块，被配置为在所述待检测时序数据中数据的正常欧式距离大于等于所述异常欧氏距离的情况下，确定该数据为异常数据。
可选地，所述维度包括字段覆盖维度、字段环比指标、节令及节假日维度中的至少一者。
可选地，所述第三确定模块，被配置为：
在所述目标检测值大于等于所述预设检测阈值的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据；或者，
在所述目标检测值小于所述预设检测阈值的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
可选地，所述第三确定模块，被配置为在所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据之前，从预设的检测值与数据类型的对应关系中，查找所述待检测时序数据的数据类型对应的目标检测值，所述数据类型是根据采集待检测时序数据的场景以及应用待检测时序数据的场景确定的。
可选地，所述第一确定模块，被配置为：
对所述待检测时序数据进行快速傅里叶变换，得到频域上的目标待检测数据；
对频域上的目标待检测数据的幅值取对数，得到所述待检测时序数据对应的频域图谱；
根据所述频域图谱以及所述移动平均，计算谱残差；
对所述谱残差进行反傅里叶变换，得到所述待检测时序数据对应的时序空间域上的第一异常预测值；
将异常预测值大于第一预设异常阈值对应的待检测时序数据作为所述第一异常数据。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检测时序数据；
根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取待检测时序数据；根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。根据目标检测值与预设检测阈值之间的大小关系，将两种算法确定的异常数据进行不同方式的融合，既可以避免模型拟合、泛化能力差对异常数据检测的影响，也可以根据时序数据的连续性特点确定异常数据，从而提高了异常数据检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种异常数据检测方法的流程图。
图2是根据一示例性实施例示出的一种实现图1中步骤S12的流程图。
图3是根据一示例性实施例示出的另一种异常数据检测方法的流程图。
图4是根据一示例性实施例示出的一种异常数据检测装置的框图。
图5是根据一示例性实施例示出的一种用于异常数据检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
在介绍本公开所提供的异常数据检测方法、装置、设备及存储介质之前，先介绍一下相关场景中采用的技术手段。相关场景中基于谱残差方式确定异常数据，通常是将数据前后三个时序的数据计算均值，在该数据的幅值对数大于均值时，确定该数据为异常数据，未考虑历史数据对当前数据的影响，忽略了时序数据本身的特点，导致确定异常数据的准确性较低。或者，计算数据在孤立森林中每颗孤立树的预测值，并基于预测值和预设阈值确定该数据在任意孤立树上是否为异常数据。然而由于输入训练特征仅为单一、每日覆盖指标，特征较为单一，且很难捕捉到数据随季节性、周期性的变化规律，导致模型拟合、泛化能力较差，对于易受季节性、周期性波动影响的数据，模型准确率表现较差，也会导致异常数据检测的准确性较低。
为此，本公开提供的异常数据检测方法不仅需要避免模型拟合、泛化能力差对异常数据检测的影响，也需要根据时序数据的连续性特点，考虑历史数据的影响，从而提高了异常数据检测的准确性。该方法可以应用于趋势分析、风控预警、看板提示等场景，可以解放人力，降低成本。
图1是根据一示例性实施例示出的一种异常数据检测方法的流程图，如图1所示，所述方法可以应用于终端中，例如移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，该方法包括以下步骤。
在步骤S11中，获取待检测时序数据。
本公开实施例中，待检测时序数据为同一口径下且统一指标下，按照产生的时间先后顺序记录的数据列。
在步骤S12中，根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据。
其中，所述移动平均是基于所述待检测时序数据的采集时间戳，根据预设时长内的历史时序数据确定的。
本公开实施例中，将预设时长内的历史时序数据进行快速傅里叶变换，将历史时序数据从空间域转换到频域上，并对频域上各数据的幅值取对数得到log谱，进而求历史时序数据在log谱上的均值，并将时序上的均值连接起来再求均值作为每一时刻获取到的待检测时序数据的移动平均。
在可能实现的实施例中，可以通过如下公式计算移动平均MAt：
其中，yt、yt-1、...、yt-n+1为预设时长内历史时序数据中每一数据在经过快速傅里叶变换后进行幅值取对数得到的取值，n表示预设时长内的历史时序数据中数据的个数。
在可能实现的实施例中，预设时长例如可以是一年。
本公开实施例中，图2是根据一示例性实施例示出的一种实现图1中步骤S12的流程图，在本步骤S12中，所述根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，包括：
在步骤S121中，对所述待检测时序数据进行快速傅里叶变换，得到频域上的目标待检测数据。
在步骤S122中，对频域上的目标待检测数据的幅值取对数，得到所述待检测时序数据对应的频域图谱。
在步骤S123中，根据所述频域图谱以及所述移动平均，计算谱残差。
在步骤S124中，对所述谱残差进行反傅里叶变换，得到所述待检测时序数据对应的时序空间域上的第一异常预测值。
在步骤S125中，将异常预测值大于第一预设异常阈值对应的待检测时序数据作为所述第一异常数据。
本公开实施例中，对待检测时序数据进行快速傅里叶变换FFT，将待检测时序数据从空间域转换到频域上，进而得到待检测时序数据对应的频谱空间数据，在计算频域图谱上个数据与移动平均的差值，得到谱残差，其中，待检测时序数据发生的时间点不同，因此每一数据对应的移动平均是不同的，因为每一数据都是取相同的预设时长，发生的时间点不同，对应的预设时长内的历史时序数据也存在不同。进一步地，将谱残差进行反傅里叶变换，将谱残差从频域上转换到原有时序的空间域上，得到时序空间数据。在空间域上，确定时序空间数据的第一异常预测值，并计算该第一异常预测值与第一预设异常阈值的大小关系，确定该第一异常预测值对应的待检测时序数据是否为异常数据。其中，在第一异常预测值小于等于第一预设异常阈值的情况下，确定对应的待检测时序数据是正常数据，可以将该数据进行正常的存储；在第一异常预测值大于第一预设异常阈值的情况下，确定对应的待检测时序数据是异常数据，可以将该数据进行标记，并且及时进行预警。
在步骤S13中，通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据。
本公开实施例中，孤立森林模型中预训练有孤立森林，孤立森林由若干棵孤立树组成，孤立树与孤立树之间相互独立。输入样本训练数据，以某个特征q为例，在属性q的最小值与最大值之间随机选择一个切分点属性值p，如果某个节点数据小于p则左子树，反之右子树。基于上述原则，递归构建一颗孤立树。重复上述操作若干次，构建若干棵孤立树形成孤立森林。
在模型拟合过程中，将样本训练数据遍历输入每一棵孤立树，计算样本训练数据中数据点在每一个孤立树上的高度值，并计算样本训练数据在孤立森林中的平均高度h(x)，对样本训练数据中所有数据点的平均高度进行归一化处理，得到异常分数s(x,φ)。
示例地，通过如下公式进行归一化处理：
其中，
其中，h(x)为调和数，近似估计为ln(x)+0.5772156649(欧拉常数)，h(x)表示孤立树上从根节点到相应的叶节点经过边的数量，
其中x为孤立树的编号，φ为孤立树的总数，n为样本训练数据中数据点的数量。
可选地，所述孤立森林模型是通过如下的方式得到所述第二异常数据的：
确定所述待检测时序数据的正常聚类中心和异常聚类中心。
其中，正常聚类中心为正常数据的正太分布中心点，异常聚类中心为异常数据的正太分布中心。
在上述实施例的基础上，所述确定所述待检测时序数据的正常聚类中心和异常聚类中心，包括：
根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值。
本公开实施例中，预测值为数据在孤立树上的高度，即确定数据在孤立树上在任意节点时，判断数据的特征取值与切分点属性值p的大小关系，进而确定数据特征在该节点小于p则左子树，反之右子树，不断迭代，直到该数据在孤立树上无节点的切分点属性值p进行大小关系对比，确定该数据已经无法继续迭代，得到数据在孤立树上的高度。
将最大的预测值作为正常聚类中心以及将最小的预测值作为异常聚类中心。对孤立森林算法中确定聚类中心改进，提高模型拟合、泛化能力，提高孤立森林算法确定异常数据准确性。
计算所述待检测时序数据中各数据到所述正常聚类中心的正常欧式距离以及到所述异常聚类中心的异常欧氏距离；
根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据；
在上述实施例的基础上，所述根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据，包括：
在所述待检测时序数据中数据的正常欧式距离大于等于所述异常欧氏距离的情况下，确定该数据为异常数据。
同理，在所述待检测时序数据中数据的正常欧式距离小于所述异常欧氏距离的情况下，确定该数据为正常数据。可以将该数据进行存储。示例地，任一数据的正常欧式距离为10-3，大于等于该数据的异常欧氏距离10-4，该数据为异常数据；或者，任一数据的正常欧式距离为10-5，小于该数据的异常欧氏距离10-4，该数据为正常数据。
计算本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离以及本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离；
在所述正常聚类距离小于预设距离阈值、且所述异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
循环执行所述根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值，至所述根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据的步骤，直到在本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离小于预设距离阈值、且本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
例如，前一次待检测时序数据中数据计算得到的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离大于等于预设距离阈值、或者异常聚类中心与上一时序数据对应的异常聚类中心的异常聚类距离大于等于预设距离阈值，则继续计算下一个时序数据的正常聚类距离和异常聚类距离，直到满足收敛条件。收敛条件即为本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离小于预设距离阈值、且本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离小于所述预设距离阈值。
在本公开实施例中，在本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离小于预设距离阈值10-6、且本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离小于所述预设距离阈值10-6的情况下，确定孤立森林模型已经收敛，将本次对应的异常数据作为所述第二异常数据。
与孤立树训练过程中相同，所述根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值，包括：
根据所述待检测时序数据中数据在各维度上的特征，遍历计算该数据在所述孤立森林模型中每一棵孤立树上的高度。
本公开实施例中，由于孤立森林中包括若干孤立树，每一棵孤立树均代表对数据的一个分类，遍历计算数据在每一棵孤立树上的高度后，可以得到该数据在不同类别的孤立树上的高度，该高度可以用于对数据进行分类。
可选地，所述维度包括字段覆盖维度、字段环比指标、节令及节假日维度中的至少一者。
在本公开实施例中，字段覆盖维度可以包括字段每日覆盖、字段每日空值覆盖，字段环比指标可以包括字段日环比指标、周环比指标、月环比指标、年环比指标，节令及节假日维度可以包括基于24节令、中国节假日、中国公休日以及其他日期。减小收季节和周期性波动影响。提高异常数据检测准确性。
计算所述待检测时序数据中各数据的平均高度；
对所述待检测时序数据中各数据的平均高度进行归一化，得到所述待检测时序数据中各数据在所述孤立森林中的预测值。
同理，参见前述公式计算各数据在孤立森林中的预测值，其中，该预测值即为前文所述的异常分数。
在步骤S14中，根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
本公开实施例中，目标检测值可以是用户进行人为设置的异常数据准确度。
在本步骤S14中，所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据，包括：
在所述目标检测值大于等于所述预设检测阈值的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据；或者，
在所述目标检测值小于所述预设检测阈值的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
示例地，参见图3所示，在获取到待检测时序数据后，对待检测时序数据进行快速傅里叶变换，并根据待检测时序数据的采集时间戳，选取例如1年内的历史时序数据，确定移动平均，并计算待检测时序数据与移动平均的谱残差，并对谱残差进行反傅里叶变换，进而得到第一异常数据。
预先对孤立森林模型进行训练，例如，在特征层上分别对样本训练数据进行字段覆盖维度、字段环比指标、节令及节假日维度的提取，并构建若干孤立树，如图3所示的孤立树A、孤立树B等，并进而遍历计算多个维度上的特征在孤立树上的预测值，直到模型收敛。根据预先训练的孤立森林模型从待检测时序数据中确定第二异常数据。并在目标检测值为90，大于预设检测阈值80的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据，即对第一异常数据和所述第二异常数据求交集，并将交集得到的异常数据作为目标异常数据。在目标检测值为70，小于预设检测阈值80的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
上述技术方案通过获取待检测时序数据；确定待检测时序数据的移动平均，并根据移动平均从待检测时序数据中确定第一异常数据，所述移动平均是基于待检测时序数据的采集时间戳，根据预设时长内的历史时序数据确定的；将待检测时序数据输入到孤立森林模型，得到孤立森林模型输出的第二异常数据；基于目标检测值与预设检测阈值之间的大小关系，根据第一异常数据和第二异常数据确定目标异常数据，所述目标检测值是根据待检测时序数据的数据类型确定的。根据目标检测值与预设检测阈值之间的大小关系，将两种算法确定的异常数据进行不同方式的融合，既可以避免模型拟合、泛化能力差对异常数据检测的影响，也可以根据时序数据的连续性特点确定异常数据，从而提高了异常数据检测的准确性。
在上述实施例的基础上，在所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据之前，包括：
从预设的检测值与数据类型的对应关系中，查找所述待检测时序数据的数据类型对应的目标检测值，所述数据类型是根据采集待检测时序数据的场景以及应用待检测时序数据的场景确定的。
在本公开实施例中，根据采集待检测时序数据的场景以及应用待检测时序数据的场景，确定所述待检测时序数据的数据类型，进而根据数据类型与检测值的对应关系，查找所述待检测时序数据的数据类型对应的目标检测值。这样，针对不同场景的待检测时序数据可以通过不同的检测值确定与预设检测阈值之间的大小关系，确定目标异常数据，提高了异常数据检测与场景的适用性，可以提高响应场景下异常数据检测的准确性。
基于相同的构思，本公开还提供一种异常数据检测装置，用于执行上述方法实施例提供的异常数据检测方法的部分或全部步骤，该装置400可以以软件、硬件或者两者相结合的方式实现异常数据检测方法。图4是根据一示例性实施例示出的一种异常数据检测装置的框图，参见图4所示，所述装置400包括：获取模块410、第一确定模块420、第二确定模块430和第三确定模块440。
其中，该获取模块410被配置为获取待检测时序数据；
该第一确定模块420被配置为根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
该第二确定模块430被配置为通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
该第三确定模块440被配置为根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
所述第二确定模块430包括：第一确定子模块，被配置为确定所述待检测时序数据的正常聚类中心和异常聚类中心；
第一计算子模块，被配置为计算所述待检测时序数据中各数据到所述正常聚类中心的正常欧式距离以及到所述异常聚类中心的异常欧氏距离；
第二确定子模块，被配置为根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据；
第二计算子模块，被配置为计算本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离以及本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离；
第三确定子模块，被配置为在所述正常聚类距离小于预设距离阈值、且所述异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
可选地，所述第一确定子模块，被配置为：
根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值；
将最大的预测值作为正常聚类中心以及将最小的预测值作为异常聚类中心。
可选地，所述第一确定子模块，被配置为：
根据所述待检测时序数据中数据在各维度上的特征，遍历计算该数据在所述孤立森林模型中每一棵孤立树上的高度；
计算所述待检测时序数据中各数据的平均高度；
对所述待检测时序数据中各数据的平均高度进行归一化，得到所述待检测时序数据中各数据在所述孤立森林中的预测值。
可选地，所述第二确定子模块，被配置为在所述待检测时序数据中数据的正常欧式距离大于等于所述异常欧氏距离的情况下，确定该数据为异常数据。
可选地，所述维度包括字段覆盖维度、字段环比指标、节令及节假日维度中的至少一者。
可选地，所述第三确定模块440，被配置为：
在所述目标检测值大于等于所述预设检测阈值的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据；或者，
在所述目标检测值小于所述预设检测阈值的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
可选地，所述第三确定模块440，被配置为在所述基于目标检测值与预设检测阈值之间的大小关系，根据所述第一异常数据和所述第二异常数据确定目标异常数据之前，从预设的检测值与数据类型的对应关系中，查找所述待检测时序数据的数据类型对应的目标检测值，所述数据类型是根据采集待检测时序数据的场景以及应用待检测时序数据的场景确定的。
可选地，所述第一确定模块420，被配置为：
对所述待检测时序数据进行快速傅里叶变换，得到频域上的目标待检测数据；
对频域上的目标待检测数据的幅值取对数，得到所述待检测时序数据对应的频域图谱；
根据所述频域图谱以及所述移动平均，计算谱残差；
对所述谱残差进行反傅里叶变换，得到所述待检测时序数据对应的时序空间域上的第一异常预测值；
将异常预测值大于第一预设异常阈值对应的待检测时序数据作为所述第一异常数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，第二确定模块430和第三确定模块440，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
根据本公开实施例还提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检测时序数据；
根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
根据本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述实施例中任一项所述方法的步骤。
图5是根据一示例性实施例示出的一种用于异常数据检测的装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述异常数据检测方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
输入/输出接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述异常数据检测方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述异常数据检测方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种异常数据检测方法，其特征在于，包括：
获取待检测时序数据；
根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
2.根据权利要求1所述的异常数据检测方法，其特征在于，所述通过孤立森林模型确定所述待检测时序数据的不同聚类中心，包括：确定所述待检测时序数据的正常聚类中心和异常聚类中心；
所述根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据，包括：
计算所述待检测时序数据中各数据到所述正常聚类中心的正常欧式距离以及到所述异常聚类中心的异常欧氏距离；
根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据；
计算本次时序数据对应的正常聚类中心与上一时序数据对应的正常聚类中心的正常聚类距离以及本次时序数据对应的异常聚类中心与所述上一时序数据对应的异常聚类中心的异常聚类距离；
在所述正常聚类距离小于预设距离阈值、且所述异常聚类距离小于所述预设距离阈值的情况下，将本次对应的异常数据作为所述第二异常数据。
3.根据权利要求2所述的方法，其特征在于，所述确定所述待检测时序数据的正常聚类中心和异常聚类中心，包括：
根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值；
将最大的预测值作为正常聚类中心以及将最小的预测值作为异常聚类中心。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待检测时序数据中数据在各维度上的特征，计算该数据在所述孤立森林模型的孤立森林中的预测值，包括：
根据所述待检测时序数据中数据在各维度上的特征，遍历计算该数据在所述孤立森林模型中每一棵孤立树上的高度；
计算所述待检测时序数据中各数据的平均高度；
对所述待检测时序数据中各数据的平均高度进行归一化，得到所述待检测时序数据中各数据在所述孤立森林中的预测值。
5.根据权利要求2所述的方法，其特征在于，所述根据所述正常欧式距离与所述异常欧氏距离的大小关系，确定所述待检测时序数据中各数据是否为异常数据，包括：
在所述待检测时序数据中数据的正常欧式距离大于等于所述异常欧氏距离的情况下，确定该数据为异常数据。
6.根据权利要求3所述的方法，其特征在于，所述维度包括字段覆盖维度、字段环比指标、节令及节假日维度中的至少一者。
7.根据权利要求1所述的方法，其特征在于，所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据，包括：
在所述目标检测值大于等于所述预设检测阈值的情况下，将同时存在于所述第一异常数据和所述第二异常数据中的异常数据作为所述目标异常数据；或者，
在所述目标检测值小于所述预设检测阈值的情况下，对所述第一异常数据和所述第二异常数据求并集，并将求并集得到的异常数据作为目标异常数据。
8.根据权利要求1所述的方法，其特征在于，在所述根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据之前，包括：
从预设的检测值与数据类型的对应关系中，查找所述待检测时序数据的数据类型对应的目标检测值，所述数据类型是根据采集待检测时序数据的场景以及应用待检测时序数据的场景确定的。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，包括：
对所述待检测时序数据进行快速傅里叶变换，得到频域上的目标待检测数据；
对频域上的目标待检测数据的幅值取对数，得到所述待检测时序数据对应的频域图谱；
根据所述频域图谱以及所述移动平均，计算谱残差；
对所述谱残差进行反傅里叶变换，得到所述待检测时序数据对应的时序空间域上的第一异常预测值；
将异常预测值大于第一预设异常阈值对应的待检测时序数据作为所述第一异常数据。
10.一种异常数据检测装置，其特征在于，包括：
获取模块，被配置为获取待检测时序数据；
第一确定模块，被配置为根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
第二确定模块，被配置为通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
第三确定模块，被配置为根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取待检测时序数据；
根据所述待检测时序数据的移动平均从所述待检测时序数据中确定第一异常数据，所述移动平均是根据所述待检测时序数据的采集时间戳以及预设时长内的历史时序数据确定的；
通过孤立森林模型确定所述待检测时序数据的不同聚类中心，并根据所述待检测时序数据中各数据分别到所述不同聚类中心的距离关系，从所述待检测时序数据中确定第二异常数据；
根据所述待检测时序数据的数据类型对应的目标检测值与预设检测阈值之间的大小关系，将同时存在所述第一异常数据和所述第二异常数据中的异常数据，或者将所述第一异常数据和所述第二异常数据并集后的异常数据确定为目标异常数据。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855301.7A CN115238787A (zh) | 2022-07-19 | 2022-07-19 | 异常数据检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855301.7A CN115238787A (zh) | 2022-07-19 | 2022-07-19 | 异常数据检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115238787A true CN115238787A (zh) | 2022-10-25 |
Family
ID=83674321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210855301.7A Pending CN115238787A (zh) | 2022-07-19 | 2022-07-19 | 异常数据检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115238787A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150325A (zh) * | 2023-10-27 | 2023-12-01 | 北京志翔科技股份有限公司 | 一种异常残差数据的处理方法、装置、设备及介质 |
| CN117332341A (zh) * | 2023-11-28 | 2024-01-02 | 贵州空港智能科技有限公司 | 基于物联网的飞机轮挡数据智能管理方法及系统 |
-
2022
- 2022-07-19 CN CN202210855301.7A patent/CN115238787A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150325A (zh) * | 2023-10-27 | 2023-12-01 | 北京志翔科技股份有限公司 | 一种异常残差数据的处理方法、装置、设备及介质 |
| CN117150325B (zh) * | 2023-10-27 | 2024-01-23 | 北京志翔科技股份有限公司 | 一种异常残差数据的处理方法、装置、设备及介质 |
| CN117332341A (zh) * | 2023-11-28 | 2024-01-02 | 贵州空港智能科技有限公司 | 基于物联网的飞机轮挡数据智能管理方法及系统 |
| CN117332341B (zh) * | 2023-11-28 | 2024-02-02 | 贵州空港智能科技有限公司 | 基于物联网的飞机轮挡数据智能管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108629354B (zh) | 目标检测方法及装置 | |
| US11120078B2 (en) | Method and device for video processing, electronic device, and storage medium | |
| CN109446994B (zh) | 手势关键点检测方法、装置、电子设备及存储介质 | |
| US20220067379A1 (en) | Category labelling method and device, and storage medium | |
| CN110472091B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20210103733A1 (en) | Video processing method, apparatus, and non-transitory computer-readable storage medium | |
| CN111539443B (zh) | 一种图像识别模型训练方法及装置、存储介质 | |
| CN115238787A (zh) | 异常数据检测方法、装置、设备及存储介质 | |
| CN107239535A (zh) | 相似图片检索方法及装置 | |
| CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109034150B (zh) | 图像处理方法及装置 | |
| US9633444B2 (en) | Method and device for image segmentation | |
| CN107025441B (zh) | 肤色检测方法及装置 | |
| CN112417318A (zh) | 一种兴趣点的状态确定方法、装置、电子设备及介质 | |
| CN112101216A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN107292901B (zh) | 边缘检测方法及装置 | |
| CN113888543A (zh) | 肤色分割方法、装置、电子设备及存储介质 | |
| CN111797746A (zh) | 人脸识别方法、装置及计算机可读存储介质 | |
| CN111125388B (zh) | 多媒体资源的检测方法、装置及设备和存储介质 | |
| CN112884040A (zh) | 训练样本数据的优化方法、系统、存储介质及电子设备 | |
| CN111651627A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
| CN105956633B (zh) | 搜索引擎类别的识别方法和装置 | |
| CN111489757B (zh) | 音频处理方法、装置、电子设备及可读存储介质 | |
| CN114299427A (zh) | 目标对象关键点的检测方法、装置、电子设备及存储介质 | |
| CN114189719A (zh) | 视频信息提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |