CN111159251A - 一种异常数据的确定方法及装置 - Google Patents
一种异常数据的确定方法及装置 Download PDFInfo
- Publication number
- CN111159251A CN111159251A CN201911316531.0A CN201911316531A CN111159251A CN 111159251 A CN111159251 A CN 111159251A CN 201911316531 A CN201911316531 A CN 201911316531A CN 111159251 A CN111159251 A CN 111159251A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- determining
- tree
- isolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000005611 electricity Effects 0.000 claims abstract description 14
- 238000005520 cutting process Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 230000008014 freezing Effects 0.000 description 8
- 238000007710 freezing Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种异常数据的确定方法及装置，该方法包括获取白电数据的数据集，根据所述白电数据的数据集，确定出多棵孤立树，对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分，将异常评分大于种类阈值的节点，确定为所述异常数据。在对孤立树进行统计，确定节点的异常评分时，结合了各节点的次数函数，可以使得孤立森林确定异常数据的算法可以适用于非连续数据，有利于大数据的自动处理，提高数据处理效率。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种异常数据的确定方法及装置。
背景技术
大数据存量越来越多，如何挖掘其价值变得极其重要，而挖掘价值的第一步就是异常数据的剔除，传统基于规则的方案不具有普适性，不能满足模块自由组合的需求，孤立森林作为数据剔除常用算法，速度快，对于连续数据剔除准确，但是对于非连续数据由于其算法计算步骤的缺陷，不能进行处理，这将对大数据分析带来很大的局限性。
发明内容
本发明实施例提供一种异常数据的确定方法及装置，用以实现对非连续数据的异常处理，提高数据处理效率。
第一方面，本发明实施例提供一种异常数据的确定方法，包括：
获取白电数据的数据集；
根据所述白电数据的数据集，确定出多棵孤立树；
对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分；
将所述异常评分大于种类阈值的节点，确定为所述异常数据，所述种类阈值是由所述节点的值的种类确定的。
上述技术方案中，在对孤立树进行统计，确定节点的异常评分时，结合了各节点的次数函数，可以使得孤立森林确定异常数据的算法可以适用于非连续数据，有利于大数据的自动处理，提高数据处理效率。
可选的，所述根据所述白电数据的数据集，确定出多棵孤立树，包括：
从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点；
将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间；
根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点；
依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。
可选的，根据公式(1)确定所述各节点的异常评分；
所述公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率。
可选的，所述白电数据为状态数据。
第二方面，本发明实施例提供一种异常数据的确定装置，包括：
获取单元，用于获取白电数据的数据集；
处理单元，用于根据所述白电数据的数据集，确定出多棵孤立树；对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分；将所述异常评分大于种类阈值的节点，确定为所述异常数据，所述种类阈值是由所述节点的值的种类确定的。
可选的，所述处理单元具体用于：
从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点；
将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间；
根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点；
依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。
可选的，所述处理单元具体用于：
根据公式(1)确定所述各节点的异常评分；
所述公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率。
可选的，所述白电数据为状态数据。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述异常数据的确定方法。
第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述异常数据的确定方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种异常数据的确定方法的流程示意图；
图3为本发明实施例提供的一种数据分布的示意图；
图4为本发明实施例提供的一种数据分布的示意图；
图5为本发明实施例提供的一种数据分布的示意图；
图6为本发明实施例提供的一种数据选择的示意图；
图7为本发明实施例提供的一种数据分布的示意图；
图8为本发明实施例提供的一种数据分布的示意图；
图9为本发明实施例提供的一种数据分布的示意图；
图10为本发明实施例提供的一种异常数据的确定装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以为服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。
其中，通信接口120用于其他终端设备进行通信，收发其他终端设备传输的数据，实现通信。
处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2详细的示出了本发明实施例提供的一种异常数据的确定方法的流程，该流程可以由异常数据的确定装置执行，该装置可以位于上述服务器100中，也可以是该服务器100。
如图2所示，该流程具体包括：
步骤201，获取白电数据的数据集。
随着物联网逐渐普及，设备信息数据快速累积增长，白电公司(冰箱、空调、洗衣机等)数据量2年内达到千亿条，且每条有数百个字段，这是因为白电公司数据上报策略一般为定时上报，如每个3分钟。如此大的数据如何产生价值就变得极其重要，大数据不只是用来做统计的，数据挖掘的意义更大，挖掘数据深层含义，可以进行预测性维护和报障，给公司带来二次营销机会，并提高用户体验。
该白电数据可以为状态数据，例如，冰箱的数据中冷冻室开启和关闭两种状态数据，分别可以用0和1标识，0标识某设备正常，1标识设备异常，这种数据是非连续的标识字段。
步骤202，根据所述白电数据的数据集，确定出多棵孤立树。
在进行数据处理是，孤立森林算法由于在处理大数据时速度快，且准确度高被广泛应用。它是一种用来分离异常点的方法，具体可以为：
(1)、从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点。
(2)、将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间。
(3)、根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点。
(4)、依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。该预设高度可以依据经验设置。
步骤203，对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分。
步骤204，将所述异常评分大于种类阈值的节点，确定为所述异常数据。
该种类阈值是由节点的值的种类确定的，可以是种类的概率。例如，节点的值包括1或0两种，则种类是2，其中节点的值为1的种类概率是0.5，节点的值为0的种类概率是0.5，种类阈值也就是0.5。
用5万条冰箱数据进行孤立森林算法实现，图3是将冰箱冷冻室实际温度-冷冻室设定温度的值进行统计结果。这个差值的意义反映了冰箱冷冻室的制冷能力是否正常，正常情况下设定温度与实际温度差别不大，但是在冰箱真冷能力下降时，两者会有一个差值，这个差值越大显示该冰箱制冷效果越差，从图中可以看出当温差大于10度时，该种数据所占比例非常少，即提的异常数据。
图4是用孤立森林提取到的异常数据。将图3数据减去图4数据可以得到剩余数据即正常数据，如5所示。对比图3和图5，可以明显看出，孤立森林确实将异常数据剔除掉了，在处理连续数据方面准确性较高。
但是，从孤立森林原理上来看，切割点产生于当前节点数据中指定维度的最大值与最小值之间。即对于非连续数据该方法不在适应，如表示工作状态是否正常的‘0’、‘1’值等。如图6所示，当只有0和1两个选择时，由于一次就能将此二值分开，所以在计算得分时，两者距离根节点一样远，所以得分相同，即无论两者数据量如何，都不能区分。具体公式结果为：孤立森林只有一层，h(x)＝1；如果以W＝1000个点为样本进行测试，如0出现了900次，1出现了100次，则c(w)＝12.96，所以s(0,1000)＝s(1,1000)＝0.9479。按照当s∈[0.5，1]，x为异常点；当s∈[0 0.5)时，为正常点来评价，0和1都判断为正常点，实际上1是代表故障，概率只有10％的异常点，这个结果显然是错误的。
由于白电数据含有大量的状态标识位，考虑到孤立森林的基本原理是剔除出现次数少的数据，因此，本发明实施例中的异常评分的是根据公式(1)来确定的。
该公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率，E(h(x))为节点x在每棵树中的高度的期望。c(W)的值可以由下述公式确定：
次数函数的含义为节点x的值出现的次数/总数据量。以0和1为例，如0出现了900次，1出现了100次，则：
p_fre(0)＝900/(900+100)＝0.9；
p_fre(1)＝100/(900+100)＝0.1。
于是孤立森林只有一层，h(x)＝1；如果以W＝1000个点为样本进行测试，如0出现了900次，1出现了100次，则c(w)＝12.96；所以s(0,1000)＝0.9479*(1-0.9)＝0.09479；s(1,1000)＝0.9479*(1-0.1)＝0.8531。
最终评价标准由[0，0.5)，[0.5，1]变为[0，p_kind)，[p_kind，1]，其中，p_kind为种类概率，以0和1为例，由于只有两个种类，则：
p_kind(0)＝1/2；
p_kind(1)＝1/2。
则评价标准变为当s∈[0.5，1]，x为异常点；当s∈[0，0.5)时为正常点。显然s(0,1000)＝0.09479<0.5为正常点，s(1,1000)＝0.8531>0.5为异常点。于是实现了非连续数据的分离。
在增加了次数概率和种类概率后，孤立森林可以用于非连续数据的检测了。图7为冷冻室标识位传感器数据，其中有三类数据分别为：冷冻室正常开启，冷冻室关闭，冷冻室异常，从图7中的数据分布可以看到，冷冻室关闭和异常都是小数据量，即为异常数据需要剔除，图8是利用改进的孤立森林进行筛选剔除的数据，图9是图7与图8数据做差，从图9中可以看出，异常数据的确被剔除了，说明本发明实施例可以很好的匹配非连续数据，效果明显。
上述实施例表明，获取白电数据的数据集，根据所述白电数据的数据集，确定出多棵孤立树，对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分，将异常评分大于种类阈值的节点，确定为所述异常数据。在对孤立树进行统计，确定节点的异常评分时，结合了各节点的次数函数，可以使得孤立森林确定异常数据的算法可以适用于非连续数据，有利于大数据的自动处理，提高数据处理效率。
基于相同的技术构思，图10示例性的示出了本发明实施例提供的一种异常数据的确定装置的结构，该装置可以执行异常数据的确定流程。
如图10所示，该装置具体包括：
获取单元1001，用于获取白电数据的数据集；
处理单元1002，用于根据所述白电数据的数据集，确定出多棵孤立树；对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分；将所述异常评分大于种类阈值的节点，确定为所述异常数据，所述种类阈值是由所述节点的值的种类确定的。
可选的，所述处理单元1002具体用于：
从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点；
将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间；
根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点；
依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。
可选的，所述处理单元1002具体用于：
根据公式(1)确定所述各节点的异常评分；
所述公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率。
可选的，所述白电数据为状态数据。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述异常数据的确定方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述异常数据的确定方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种异常数据的确定方法，其特征在于，包括：
获取白电数据的数据集；
根据所述白电数据的数据集，确定出多棵孤立树；
对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分；
将所述异常评分大于种类阈值的节点，确定为所述异常数据，所述种类阈值是由所述节点的值的种类确定的。
2.如权利要求1所述的方法，其特征在于，所述根据所述白电数据的数据集，确定出多棵孤立树，包括：
从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点；
将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间；
根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点；
依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。
3.如权利要求1或2所述的方法，其特征在于，根据公式(1)确定所述各节点的异常评分；
所述公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率。
4.如权利要求3所述的方法，其特征在于，所述白电数据为状态数据。
5.一种异常数据的确定装置，其特征在于，包括：
获取单元，用于获取白电数据的数据集；
处理单元，用于根据所述白电数据的数据集，确定出多棵孤立树；对所述多棵孤立树进行统计，确定出每棵树上的各节点的次数概率、各节点在每棵树上的高度和所述多棵孤立树的路径长度的平均值，确定所述各节点的异常评分；将所述异常评分大于种类阈值的节点，确定为所述异常数据，所述种类阈值是由所述节点的值的种类确定的。
6.如权利要求5所述的装置，其特征在于，所述处理单元具体用于：
从训练数据中随机选择W个数据作为子样本，放入一棵孤立树的根节点；
将所述根节点确定为当前节点，在当前节点的数据范围内，随机产生一个切割点p；其中，所述切割点p产生于当前节点的数据中指定维度的最大值与最小值之间；
根据所述切割点，将当前节点的数据切分为2个子集合，将小于所述切割点p的数据放在所述当前节点的左叶子节点上，将大于等于所述切割点p的数据放在所述当前节点的右叶子节点；
依次将所述左叶子节点和所述右叶子节点确定为所述当前节点，直到所述孤立树上的叶子节点只有一个数据或所述孤立树的树高大于预设高度为止。
7.如权利要求5或6所述的装置，其特征在于，所述处理单元具体用于：
根据公式(1)确定所述各节点的异常评分；
所述公式(1)为：
其中，s(x,W)为在固定节点数W中节点x的异常评分，h(x)为节点x在每棵树中的高度，c(W)为固定节点数W时的各孤立树的路径长度的平均值，p_fre(x)是节点x的值出现的次数概率。
8.如权利要求7所述的装置，其特征在于，所述白电数据为状态数据。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。
10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911316531.0A CN111159251A (zh) | 2019-12-19 | 2019-12-19 | 一种异常数据的确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911316531.0A CN111159251A (zh) | 2019-12-19 | 2019-12-19 | 一种异常数据的确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111159251A true CN111159251A (zh) | 2020-05-15 |
Family
ID=70557389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911316531.0A Pending CN111159251A (zh) | 2019-12-19 | 2019-12-19 | 一种异常数据的确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111159251A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114459574A (zh) * | 2022-02-10 | 2022-05-10 | 电子科技大学 | 一种高速流体流量测量准确率自动化评估方法、装置和存储介质 |
| CN117332358A (zh) * | 2023-11-29 | 2024-01-02 | 山东鸿安食品科技有限公司 | 一种玉米浸泡水处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102711107A (zh) * | 2012-05-17 | 2012-10-03 | 北京工业大学 | 基于关键节点的无线传感器网络入侵检测方法 |
| CN104034277A (zh) * | 2014-04-08 | 2014-09-10 | 华南师范大学 | 一种双波长微纳结构相位测量方法 |
| CN109345137A (zh) * | 2018-10-22 | 2019-02-15 | 广东精点数据科技股份有限公司 | 一种基于农业大数据的异常值检测方法 |
| CN109726731A (zh) * | 2018-07-26 | 2019-05-07 | 平安科技（深圳）有限公司 | 用电量异常检测方法、装置、设备及可读存储介质 |
| CN109800984A (zh) * | 2019-01-16 | 2019-05-24 | 平安科技（深圳）有限公司 | 驾驶水平评估方法、装置、计算机设备和存储介质 |
| CN109948669A (zh) * | 2019-03-04 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种异常数据检测方法及装置 |
| CN110147433A (zh) * | 2019-05-21 | 2019-08-20 | 北京鸿联九五信息产业有限公司 | 一种基于字典树的文本模板提取方法 |
| CN110311902A (zh) * | 2019-06-21 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种异常行为的识别方法、装置及电子设备 |
| CN110475246A (zh) * | 2019-08-28 | 2019-11-19 | 中山大学 | 基于孤立森林和序贯概率比检验的恶意锚节点检测方法 |
-
2019
- 2019-12-19 CN CN201911316531.0A patent/CN111159251A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102711107A (zh) * | 2012-05-17 | 2012-10-03 | 北京工业大学 | 基于关键节点的无线传感器网络入侵检测方法 |
| CN104034277A (zh) * | 2014-04-08 | 2014-09-10 | 华南师范大学 | 一种双波长微纳结构相位测量方法 |
| CN109726731A (zh) * | 2018-07-26 | 2019-05-07 | 平安科技（深圳）有限公司 | 用电量异常检测方法、装置、设备及可读存储介质 |
| CN109345137A (zh) * | 2018-10-22 | 2019-02-15 | 广东精点数据科技股份有限公司 | 一种基于农业大数据的异常值检测方法 |
| CN109800984A (zh) * | 2019-01-16 | 2019-05-24 | 平安科技（深圳）有限公司 | 驾驶水平评估方法、装置、计算机设备和存储介质 |
| CN109948669A (zh) * | 2019-03-04 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种异常数据检测方法及装置 |
| CN110147433A (zh) * | 2019-05-21 | 2019-08-20 | 北京鸿联九五信息产业有限公司 | 一种基于字典树的文本模板提取方法 |
| CN110311902A (zh) * | 2019-06-21 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种异常行为的识别方法、装置及电子设备 |
| CN110475246A (zh) * | 2019-08-28 | 2019-11-19 | 中山大学 | 基于孤立森林和序贯概率比检验的恶意锚节点检测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114459574A (zh) * | 2022-02-10 | 2022-05-10 | 电子科技大学 | 一种高速流体流量测量准确率自动化评估方法、装置和存储介质 |
| CN114459574B (zh) * | 2022-02-10 | 2023-09-26 | 电子科技大学 | 一种高速流体流量测量准确率自动化评估方法、装置和存储介质 |
| CN117332358A (zh) * | 2023-11-29 | 2024-01-02 | 山东鸿安食品科技有限公司 | 一种玉米浸泡水处理方法及系统 |
| CN117332358B (zh) * | 2023-11-29 | 2024-02-23 | 山东鸿安食品科技有限公司 | 一种玉米浸泡水处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948669B (zh) | 一种异常数据检测方法及装置 | |
| CN105677791B (zh) | 用于分析风力发电机组的运行数据的方法和系统 | |
| CN111208445A (zh) | 一种动力电池异常单体识别方法及系统 | |
| CN111159251A (zh) | 一种异常数据的确定方法及装置 | |
| CN105376193A (zh) | 安全事件的智能关联分析方法与装置 | |
| CN116678552B (zh) | 一种变温度环境下光纤应力传感器异常监测方法 | |
| CN115372828A (zh) | 基于充电片段数据和无监督算法的电芯一致性评估方法 | |
| CN112395608A (zh) | 网络安全威胁监测方法、装置和可读存储介质 | |
| CN114111352B (zh) | 一种碳化炉抽真空系统异常检测方法及系统 | |
| CN113242213B (zh) | 一种电力通信骨干网节点脆弱性诊断方法 | |
| CN117237678B (zh) | 用电行为异常检测方法、装置、设备及存储介质 | |
| CN109660831B (zh) | 弹幕发送周期设置方法、存储介质、电子设备及系统 | |
| CN114416410A (zh) | 一种异常分析方法、设备和计算机可读存储介质 | |
| CN115277220A (zh) | 一种工控网络流量安全分类方法、系统及可读存储设备 | |
| CN117335998A (zh) | 基于行为模式异常检测中样本平衡方法以及装置 | |
| CN111209158B (zh) | 服务器集群的挖矿监控方法及集群监控系统 | |
| CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
| CN113205215A (zh) | 一种基于知识的战场态势预测方法 | |
| CN111428886A (zh) | 一种故障诊断的深度学习模型自适应更新的方法及装置 | |
| CN113285847A (zh) | 一种智能换流站监测系统的通信网络异常检测方法及系统 | |
| CN110516659A (zh) | 滚珠丝杠退化阶段识别方法、装置、设备及存储介质 | |
| CN117527451B (zh) | 一种网络入侵检测方法、装置、电子设备及存储介质 | |
| CN117194920B (zh) | 一种基于大数据分析的数据系统处理平台及处理方法 | |
| CN117874653B (zh) | 一种基于多源数据的电力系统安全监测方法及系统 | |
| CN110968631A (zh) | 一种基于tbox的车辆故障告警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |