CN115080290B - 一种基于智能算法的异常数据检测方法及系统 - Google Patents
一种基于智能算法的异常数据检测方法及系统 Download PDFInfo
- Publication number
- CN115080290B CN115080290B CN202210633151.5A CN202210633151A CN115080290B CN 115080290 B CN115080290 B CN 115080290B CN 202210633151 A CN202210633151 A CN 202210633151A CN 115080290 B CN115080290 B CN 115080290B
- Authority
- CN
- China
- Prior art keywords
- detection
- data
- abnormal
- data set
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 278
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 236
- 230000005856 abnormality Effects 0.000 claims abstract description 82
- 238000011897 real-time detection Methods 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims description 35
- 238000004220 aggregation Methods 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000013139 quantization Methods 0.000 claims description 32
- 239000006185 dispersion Substances 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000005206 flow analysis Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 24
- 238000012544 monitoring process Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于智能算法的异常数据检测方法及系统，涉及数据检测领域，其中，所述方法包括：获取待检测样本数据集；对获取场景变化特征和数据动态特征；将其作为双值决策器的输入信息，输出异常点决策信息；利用其对获取的实时检测数据集进行异常检测，输出异常检测结果；若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；根据其启动所述异常检测终端对所述实时监测数据集进行异常检测，输出异常数据集。解决了现有技术中针对异常数据检测的精确度不高，进而造成异常数据检测的效果不佳的技术问题。达到了提高异常数据检测的精确度和准确性，进而提高异常数据检测的效果和质量等技术效果。
Description
技术领域
本发明涉及数据检测领域，具体地，涉及一种基于智能算法的异常数据检测方法及系统。
背景技术
随着人类社会的信息化发展，各行各业积累的数据迅速扩增，在数据应用的过程中不可避免地出现各种各样的误差，进而导致异常数据不断地出现，极大地降低了数据的质量。在大多数研究的决策、判断过程中数据是重要的参考依据，研究设计一种优化异常数据的检测方法，具有重要的现实意义。
现有技术中，存在针对异常数据检测的精确度不高，进而造成异常数据检测的效果不佳的技术问题。
发明内容
本申请提供了一种基于智能算法的异常数据检测方法及系统，解决了现有技术中针对异常数据检测的精确度不高，进而造成异常数据检测的效果不佳的技术问题。
鉴于上述问题，本申请提供了一种基于智能算法的异常数据检测方法及系统。
第一方面，本申请提供了一种基于智能算法的异常数据检测方法，其中，所述方法应用于一种基于智能算法的异常数据检测系统，所述方法包括：通过数据采集终端获取待检测样本数据集；对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得；基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果；若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；按照所述数据内检测指令，启动所述异常检测终端对所述实时监测数据集进行异常检测，输出异常数据集。
第二方面，本申请还提供了一种基于智能算法的异常数据检测系统，其中，所述系统与云端处理器通信连接，所述系统包括：数据采集模块，所述数据采集模块用于通过数据采集终端获取待检测样本数据集；场景分析模块，所述场景分析模块用于对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；动态分析模块，所述动态分析模块用于通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；中间输出模块，所述中间输出模块用于将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得；异常检测模块，所述异常检测模块用于基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果；判断模块，所述判断模块用于若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；输出模块，所述输出模块用于按照所述数据内检测指令，启动所述异常检测终端对所述实时监测数据集进行异常检测，输出异常数据集。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
利用数据采集终端获取待检测样本数据集；对其进行数据源场景分析、数据流动态分析，确定场景变化特征和数据动态特征；将场景变化特征和数据动态特征作为双值决策器的输入信息，通过所述双值决策器输出异常点决策信息，并根据其对获取的实时检测数据集进行异常检测，输出异常检测结果；当异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；根据启动异常检测终端对实时监测数据集进行异常检测，获取异常数据集。达到了提高异常数据检测的精确度和准确性，进而提高异常数据检测的效果和质量；同时，设计一种优化异常数据的检测方法，提升异常数据检测的智能性、科学性，为异常数据检测的进一步发展奠定基础的技术效果。
附图说明
图1为本申请一种基于智能算法的异常数据检测方法的流程示意图；
图2为本申请一种基于智能算法的异常数据检测方法中输出异常数据集的流程示意图；
图3为本申请一种基于智能算法的异常数据检测方法将异常预警指令发送至数据管理员的流程示意图；
图4为本申请一种基于智能算法的异常数据检测系统的结构示意图。
附图标记说明：数据采集模块11，场景分析模块12，动态分析模块13，中间输出模块14，异常检测模块15，判断模块16，输出模块17。
具体实施方式
本申请通过提供一种基于智能算法的异常数据检测方法及系统，解决了现有技术中针对异常数据检测的精确度不高，进而造成异常数据检测的效果不佳的技术问题。达到了提高异常数据检测的精确度和准确性，进而提高异常数据检测的效果和质量；同时，设计一种优化异常数据的检测方法，提升异常数据检测的智能性、科学性，为异常数据检测的进一步发展奠定基础的技术效果。
实施例一
请参阅附图1，本申请提供一种基于智能算法的异常数据检测方法，其中，所述方法应用于一种基于智能算法的异常数据检测系统，所述方法具体包括如下步骤：
步骤S100：通过数据采集终端获取待检测样本数据集；
具体而言，利用所述一种基于智能算法的异常数据检测系统的数据采集模块通过数据采集终端获得待检测样本数据集。其中，数据采集终端包括于所述一种基于智能算法的异常数据检测系统的数据采集模块，可为现有技术中任意类型的能够获取待检测样本数据集的数据采集设备或它们的结合。数据采集终端是基于通信网络实现数据采集、存储、传输的智能终端设备。所述待检测样本数据集包括通过数据采集终端获得的文字、图像、声音、视频等数据信息。同时，所述待检测样本数据集是使用所述一种基于智能算法的异常数据检测系统进行异常数据检测的数据集。达到了获得待检测样本数据集，为后续确定场景变化特征和数据动态特征奠定基础的技术效果。
步骤S200：对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；
步骤S300：通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；
具体而言，在获得待检测样本数据集的基础上，对其进行数据源场景分析和数据流动态分析，获得场景变化特征和数据动态特征。其中，所述场景变化特征包括待检测样本数据集中每个数据对应的场景时间、场景位置、场景变化等数据信息。所述数据动态特征是用于表征待检测样本数据集中的信息在传输中使用的数字编码信号序列的动态变化情况的数据信息。达到了获得准确性和适配度较高的场景变化特征和数据动态特征，为后续获得异常点决策信息提供数据支持的技术效果。
进一步的，本申请步骤S300还包括：
步骤S310：通过分析所述待检测样本数据集的数据源场景，获取场景变化与时间周期的相关性，获取场景周期相关性；
步骤S320：通过分析所述待检测样本数据的数据流，获取数据动态变化与时间周期的相关性，获取数据周期相关性；
步骤S330：按照所述场景周期相关性和所述数据周期相关性分别对所述场景变化特征和所述数据动态特征进行调整。
具体而言，由所述一种基于智能算法的异常数据检测系统对待检测样本数据集的数据源场景进行智能分析后，确定场景周期相关性，并根据其对场景变化特征进行调整。进而，由所述一种基于智能算法的异常数据检测系统对待检测样本数据的数据流进行智能分析后，确定数据周期相关性，并根据其对数据动态特征进行调整。其中，所述场景周期相关性即为场景变化与时间周期的相关性。所述场景周期相关性是用于表征待检测样本数据集的数据源场景变化与时间周期的相关程度的参数信息。所述数据周期相关性即数据动态变化与时间周期的相关性。所述数据周期相关性是用于表征待检测样本数据的数据流的动态变化与时间周期的相关程度的参数信息。达到了利用场景周期相关性对场景变化特征进行调整，同时，利用数据周期相关性对数据动态特征进行调整，进一步提高场景变化特征和数据动态特征的精确度的技术效果。
步骤S400：将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得；
进一步的，本申请步骤S400还包括：
步骤S410：按照所述场景变化特征和所述数据动态特征进行特征复杂度计算，根据计算获得的样本复杂度，对所述双值决策器输出的所述异常点决策信息进行完整度评价，输出完整度评价结果；
步骤S420：按照所述完整度评价结果，向所述数据采集终端发送样本优化指令；
步骤S430：按照所述样本优化指令对所述待检测样本数据集进行数据优化。
具体而言，将所述场景变化特征和所述数据动态特征作为输入信息，输入双值决策器，经过双值决策器复杂而高效的计算后，输出异常点决策信息。进一步，利用样本复杂度对其进行完整度评价，获得完整度评价结果，并根据该完整度评价结果对数据采集终端发送样本优化指令，进而对待检测样本数据集进行数据优化。其中，所述双值决策器可通过对历史场景变化特征和历史数据动态特征在云端处理器中训练获得。该云端处理器与本申请的一种基于智能算法的异常数据检测系统通信连接。所述双值决策器是用于对输入的场景变化特征和数据动态特征进行智能分析，进而确定待检测样本数据集的异常的智能性外环境检测模型。所述异常点决策信息是用于表征待检测样本数据集的数据源场景异常、数据流异常等外环境异常等参数信息。所述样本复杂度是用于表征待检测样本数据集的场景变化特征和数据动态特征的复杂程度的数据信息。所述完整度评价结果是用于表征异常点决策信息的完整性的参数信息。示例性地，样本复杂度越高，双值决策器输出的异常点决策信息就更完整，该异常点决策信息的完整度评价结果也越高。样本复杂度越低，双值决策器输出的所述异常点决策信息代表性不够强，检测准确性就差，对应的完整度评价结果也越低，此时，向数据采集终端发送样本优化指令，根据其对待检测样本数据集进行数据优化。达到了利用双值决策器确定异常点决策信息，同时，通过样本复杂度对其进行完整度评价，继而基于完整度评价结果对待检测样本数据集进行适应性地数据优化，提高待检测样本数据集的精确性，进而提高双值决策器输出的异常点决策信息的准确性的技术效果。
步骤S500：基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果；
步骤S600：若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；
具体而言，利用数据采集终端进行实时数据采集，获得实时检测数据集，并通过异常点决策信息对其进行异常检测，获得异常检测结果，如果异常检测结果为检测通过，向异常检测终端发送数据内检测指令。其中，所述异常检测结果包括检测通过、检测不通过两种情况。示例性地，当实时检测数据集中不含异常点决策信息时，所述异常检测结果为检测通过，由所述一种基于智能算法的异常数据检测系统自动对异常检测终端发送数据内检测指令，继而对实时检测数据集的内部数据信息进行异常检测。当实时检测数据集中含有异常点决策信息时，所述异常检测结果为检测不通过，此时，由所述一种基于智能算法的异常数据检测系统对实时检测数据集中的异常点决策信息进行筛除后，再次对该实时检测数据集进行异常检测，获得的异常检测结果为检测通过。达到了对获得的实时检测数据集进行异常检测，排除外环境干扰导致的异常点决策信息，进而提高后续对实时监测数据集的内部数据信息进行异常检测的精确度的技术效果。
步骤S700：按照所述数据内检测指令，启动所述异常检测终端对所述实时监测数据集进行异常检测，输出异常数据集。
进一步的，如附图2所示，本申请步骤S700还包括：
步骤S710：启动所述异常检测终端对所述实时监测数据集进行多组异常检测，输出多组异常数据集；
步骤S720：将所述多组异常数据集输入平稳性检测模型中进行平稳根计算，输出平稳性检测结果；
步骤S730：基于所述平稳性检测结果，获得异常检测输出指令，所述异常检测终端按照所述异常检测输出指令输出所述异常数据集。
具体而言，在对实时监测数据集进行异常检测时，不可避免地存在各种误差，因此，本申请通过向异常检测终端发送数据内检测指令，启动异常检测终端对所述实时监测数据集进行多组异常检测，获得多组异常数据集，提高对实时监测数据集进行异常检测的准确性，降低异常检测的误差。进一步，将多组异常数据集作为输入信息，输入平稳性检测模型，获得平稳性检测结果，并根据其获得异常检测输出指令，使异常检测终端按照异常检测输出指令对多组异常数据集进行输出。其中，所述异常检测终端包括于所述一种基于智能算法的异常数据检测系统的输出模块。所述异常检测终端是用于对实时监测数据集进行异常检测的智能化平台。所述多组异常数据集包括实时监测数据集中的异常数据信息。所述平稳性检测模型是用于对多组异常数据集进行平稳根计算的智能性网络模型。所述平稳性检测结果包括多组异常数据集对应的平稳根信息。所述异常检测输出指令是用于表征多组异常数据集的输出顺序的数据信息。所述平稳根是用于表征多组异常数据集在时间维度上的随机性，即时间的无影响性的参数信息。示例性地，所述平稳性检测结果表明平稳根越小，则对应的异常数据集与时间的无关性越高，获得的异常检测输出指令表明该异常数据集的输出顺序越靠后。达到了对实时监测数据集进行异常检测，并按照异常检测输出指令对获得的多组异常数据集进行有序输出的技术效果。
进一步的，如附图3所示，本申请步骤S700之后，还包括：
步骤S810：通过对所述异常数据集进行数据量化分析，获取异常量化指标；
步骤S820：基于所述实时检测数据集中的数据基础量化，获取基础量化指标；
步骤S830：按照所述异常量化指标占所述基础量化指标的占比系数，输出异常占比系数；
步骤S840：根据所述异常占比系数激活异常预警指令，其中，所述异常预警指令包括离散预警指令和聚集预警指令；
步骤S850：并由所述异常检测终端将所述异常预警指令发送至数据管理员。
具体而言，由所述一种基于智能算法的异常数据检测系统对异常数据集进行数据量化分析，确定异常量化指标；同时，由所述一种基于智能算法的异常数据检测系统对实时检测数据集中的数据进行基础量化分析，确定基础量化指标；进一步，通过计算异常量化指标在基础量化指标的占比，获得异常占比系数，继而根据其激活异常预警指令，并通过异常检测终端将异常预警指令发送至数据管理员。其中，所述异常量化指标是表征异常数据集的数据量的参数信息。所述基础量化指标是表征实时检测数据集的数据量的参数信息。所述异常占比系数是表征异常量化指标在基础量化指标中的占比情况的数据信息。将异常量化指标除以基础量化指标，即可获得异常占比系数。所述异常预警指令包括离散预警指令和聚集预警指令。达到了通过对异常数据集、实时检测数据集进行量化分析，确定异常占比系数，并根据其适应性地激活异常预警指令的技术效果。
进一步的，本申请步骤S840还包括：
步骤S841：当所述异常占比系数大于预设异常占比系数，分别对所述异常数据集和所述实时检测数据集进行标记，且所述异常数据集和所述实时检测数据集的标记不相同；
步骤S842：按照标记结果，对所述异常数据集在所述实时检测数据集的分布进行离散度检测，输出离散度指标；
步骤S843：根据所述离散度指标输出所述离散预警指令，并由所述异常检测终端将所述离散预警指令发送至数据管理员。
具体而言，根据所述异常占比系数激活异常预警指令时，对异常占比系数是否满足预设异常占比系数进行判断，如果所述异常占比系数大于预设异常占比系数，分别对所述异常数据集、所述实时检测数据集进行不同的标记，根据标记结果进行离散度检测，确定离散度指标，并根据其输出离散预警指令，通过异常检测终端将离散预警指令发送至数据管理员。其中，所述预设异常占比系数可由所述一种基于智能算法的异常数据检测系统综合分析异常数据检测过程的重点、难点等后，预先设置确定。所述预设异常占比系数也可以根据实际的异常数据检测情况进行自适应设置。所述离散度指标是表征异常数据集在实时检测数据集中的离散程度的参数。异常数据集在实时检测数据集中的离散程度越高，离散度指标也越高。达到了在异常占比系数大于预设异常占比系数时，对异常数据集进行离散度检测，并根据其输出较为精确的离散预警指令的技术效果。
进一步的，本申请步骤S841还包括：
步骤S8411：按照标记结果，采用K-聚类算法对所述异常数据集在所述实时检测数据集的分布进行聚合度检测，输出聚集度指标；
步骤S8412：按照所述聚集度指标定位聚集数据群，输出聚集预警指令，并由所述异常检测终端将所述聚集预警指令发送至数据管理员。
具体而言，在分别对所述异常数据集、所述实时检测数据集进行不同的标记之后，根据标记结果采用K-聚类算法对所述异常数据集进行聚类后，再对其进行聚合度检测，确定聚集度指标，并根据聚集度指标对聚集数据群进行定位，获得聚集预警指令，并通过异常检测终端将聚集预警指令发送给数据管理员。其中，所述K-聚类算法是一种无监督学习算法。它是一个把数据对象划分成不同集合的过程。K-聚类算法具有简单、易实现、伸缩性强、使用广泛等优点。本申请中采用K-聚类算法在异常数据集中随机选取K个异常数据作为聚类中心，根据剩下的异常数据与各个聚类中心的距离对异常数据集中剩余的异常数据进行分配，将剩余的异常数据分配到最近的聚类中心（即相似度最高的聚类中心）。K-聚类算法将异常数据集中具有一定相似程度的异常数据归为一类。即同一类中的异常数据具有较大的相似性，不同类中的异常数据差异很大。所述聚集度指标是用于表征聚类后的异常数据集在实时检测数据集中的聚集情况的数据信息。所述聚集数据群包括聚集度指标定位的异常数据。达到了确定较为精确的聚集度指标，并根据其定位聚集数据群，发出准确的聚集预警指令的技术效果。
综上所述，本申请所提供的一种基于智能算法的异常数据检测方法具有如下技术效果：
利用数据采集终端获取待检测样本数据集；对其进行数据源场景分析、数据流动态分析，确定场景变化特征和数据动态特征；将场景变化特征和数据动态特征作为双值决策器的输入信息，通过所述双值决策器输出异常点决策信息，并根据其对获取的实时检测数据集进行异常检测，输出异常检测结果；当异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；根据启动异常检测终端对实时监测数据集进行异常检测，获取异常数据集。达到了提高异常数据检测的精确度和准确性，进而提高异常数据检测的效果和质量；同时，设计一种优化异常数据的检测方法，提升异常数据检测的智能性、科学性，为异常数据检测的进一步发展奠定基础的技术效果。
实施例二
基于与前述实施例中一种基于智能算法的异常数据检测方法，同样发明构思，本发明还提供了一种基于智能算法的异常数据检测系统，请参阅附图4，所述系统包括：
数据采集模块11，所述数据采集模块11用于通过数据采集终端获取待检测样本数据集；
场景分析模块12，所述场景分析模块12用于对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；
动态分析模块13，所述动态分析模块13用于通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；
中间输出模块14，所述中间输出模块14用于将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得；
异常检测模块15，所述异常检测模块15用于基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果；
判断模块16，所述判断模块16用于若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；
输出模块17，所述输出模块17用于按照所述数据内检测指令，启动所述异常检测终端对所述实时监测数据集进行异常检测，输出异常数据集。
进一步的，所述系统还包括：
量化分析模块，所述量化分析模块用于通过对所述异常数据集进行数据量化分析，获取异常量化指标；
基础量化模块，所述基础量化模块用于基于所述实时检测数据集中的数据基础量化，获取基础量化指标；
占比系数处理模块，所述占比系数处理模块用于按照所述异常量化指标占所述基础量化指标的占比系数，输出异常占比系数；
激活处理模块，所述激活处理模块用于根据所述异常占比系数激活异常预警指令，其中，所述异常预警指令包括离散预警指令和聚集预警指令；
发送模块，所述发送模块用于并由所述异常检测终端将所述异常预警指令发送至数据管理员。
进一步的，所述激活处理模块还包括：
标记单元，所述标记单元用于当所述异常占比系数大于预设异常占比系数，分别对所述异常数据集和所述实时检测数据集进行标记，且所述异常数据集和所述实时检测数据集的标记不相同；
离散度检测单元，所述离散度检测单元用于按照标记结果，对所述异常数据集在所述实时检测数据集的分布进行离散度检测，输出离散度指标；
发送单元，所述发送单元用于根据所述离散度指标输出所述离散预警指令，并由所述异常检测终端将所述离散预警指令发送至数据管理员。
进一步的，所述标记单元还包括：
聚合度检测单元，所述聚合度检测单元用于按照标记结果，采用K-聚类算法对所述异常数据集在所述实时检测数据集的分布进行聚合度检测，输出聚集度指标；
综合处理单元，所述综合处理单元用于按照所述聚集度指标定位聚集数据群，输出聚集预警指令，并由所述异常检测终端将所述聚集预警指令发送至数据管理员。
进一步的，所述中间输出模块还包括：
完整度评价单元，所述完整度评价单元用于按照所述场景变化特征和所述数据动态特征进行特征复杂度计算，根据计算获得的样本复杂度，对所述双值决策器输出的所述异常点决策信息进行完整度评价，输出完整度评价结果；
样本优化指令发送单元，所述样本优化指令发送单元用于按照所述完整度评价结果，向所述数据采集终端发送样本优化指令；
数据优化单元，所述数据优化单元用于按照所述样本优化指令对所述待检测样本数据集进行数据优化。
进一步的，所述动态分析模块还包括：
场景周期相关性处理单元，所述场景周期相关性处理单元用于通过分析所述待检测样本数据集的数据源场景，获取场景变化与时间周期的相关性，获取场景周期相关性；
数据周期相关性处理单元，所述数据周期相关性处理单元用于通过分析所述待检测样本数据的数据流，获取数据动态变化与时间周期的相关性，获取数据周期相关性；
调整单元，所述调整单元用于按照所述场景周期相关性和所述数据周期相关性分别对所述场景变化特征和所述数据动态特征进行调整。
进一步的，所述输出模块还包括：
异常检测单元，所述异常检测单元用于启动所述异常检测终端对所述实时监测数据集进行多组异常检测，输出多组异常数据集；
平稳性检测单元，所述平稳性检测单元用于将所述多组异常数据集输入平稳性检测模型中进行平稳根计算，输出平稳性检测结果；
异常数据集输出单元，所述异常数据集输出单元用于基于所述平稳性检测结果，获得异常检测输出指令，所述异常检测终端按照所述异常检测输出指令输出所述异常数据集。
本申请提供了一种基于智能算法的异常数据检测方法，其中，所述方法应用于一种基于智能算法的异常数据检测系统，所述方法包括：利用数据采集终端获取待检测样本数据集；对其进行数据源场景分析、数据流动态分析，确定场景变化特征和数据动态特征；将场景变化特征和数据动态特征作为双值决策器的输入信息，通过所述双值决策器输出异常点决策信息，并根据其对获取的实时检测数据集进行异常检测，输出异常检测结果；当异常检测结果为检测通过时，向异常检测终端发送数据内检测指令；根据启动异常检测终端对实时监测数据集进行异常检测，获取异常数据集。解决了现有技术中针对异常数据检测的精确度不高，进而造成异常数据检测的效果不佳的技术问题。达到了提高异常数据检测的精确度和准确性，进而提高异常数据检测的效果和质量；同时，设计一种优化异常数据的检测方法，提升异常数据检测的智能性、科学性，为异常数据检测的进一步发展奠定基础的技术效果。
本说明书和附图仅仅是本申请的示例性说明，如果本发明的修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于智能算法的异常数据检测方法，其特征在于，所述方法应用于一种基于智能算法的异常数据检测系统，所述系统与云端处理器通信连接，所述方法包括：
通过数据采集终端获取待检测样本数据集；
对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；
通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；
将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得，所述异常点决策信息是用于表征待检测样本数据集的数据源场景异常、数据流异常的外环境异常的参数信息；
通过数据采集终端进行实时数据采集，获取实时检测数据集，基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果，所述异常检测结果包括检测通过和检测不通过；
若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令，其中，当所述实时检测数据集中不含所述异常点决策信息时，所述异常检测结果为检测通过；
若所述异常检测结果为检测不通过时，对所述实时检测数据集中的所述异常点决策信息进行筛除，对筛除后的所述实时检测数据集进行再次异常检测，直至通过后向异常检测终端发送数据内检测指令，其中，当所述实时检测数据集中含有所述异常点决策信息时，所述异常检测结果为检测不通过；
按照所述数据内检测指令，启动所述异常检测终端对所述实时检测数据集进行异常检测，输出异常数据集。
2.如权利要求1所述的方法，其特征在于，所述启动所述异常检测终端对所述实时检测数据集进行异常检测，输出异常数据集之后，所述方法还包括：
通过对所述异常数据集进行数据量化分析，获取异常量化指标；
基于所述实时检测数据集中的数据基础量化，获取基础量化指标；
按照所述异常量化指标占所述基础量化指标的占比系数，输出异常占比系数；
根据所述异常占比系数激活异常预警指令，其中，所述异常预警指令包括离散预警指令和聚集预警指令；
并由所述异常检测终端将所述异常预警指令发送至数据管理员。
3.如权利要求2所述的方法，其特征在于，所述根据所述异常占比系数激活异常预警指令，所述方法还包括：
当所述异常占比系数大于预设异常占比系数，分别对所述异常数据集和所述实时检测数据集进行标记，且所述异常数据集和所述实时检测数据集的标记不相同；
按照标记结果，对所述异常数据集在所述实时检测数据集的分布进行离散度检测，输出离散度指标；
根据所述离散度指标输出所述离散预警指令，并由所述异常检测终端将所述离散预警指令发送至数据管理员。
4.如权利要求3所述的方法，其特征在于，所述分别对所述异常数据集和所述实时检测数据集进行标记之后，所述方法还包括：
按照标记结果，采用K-聚类算法对所述异常数据集在所述实时检测数据集的分布进行聚合度检测，输出聚集度指标；
按照所述聚集度指标定位聚集数据群，输出聚集预警指令，并由所述异常检测终端将所述聚集预警指令发送至数据管理员。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
按照所述场景变化特征和所述数据动态特征进行特征复杂度计算，根据计算获得的样本复杂度，对所述双值决策器输出的所述异常点决策信息进行完整度评价，输出完整度评价结果；
按照所述完整度评价结果，向所述数据采集终端发送样本优化指令；
按照所述样本优化指令对所述待检测样本数据集进行数据优化。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过分析所述待检测样本数据集的数据源场景，获取场景变化与时间周期的相关性，获取场景周期相关性；
通过分析所述待检测样本数据的数据流，获取数据动态变化与时间周期的相关性，获取数据周期相关性；
按照所述场景周期相关性和所述数据周期相关性分别对所述场景变化特征和所述数据动态特征进行调整。
7.如权利要求1所述的方法，其特征在于，所述启动所述异常检测终端对所述实时检测数据集进行异常检测，输出异常数据集，所述方法还包括：
启动所述异常检测终端对所述实时检测数据集进行多组异常检测，输出多组异常数据集；
将所述多组异常数据集输入平稳性检测模型中进行平稳根计算，输出平稳性检测结果；
基于所述平稳性检测结果，获得异常检测输出指令，所述异常检测终端按照所述异常检测输出指令输出所述异常数据集。
8.一种基于智能算法的异常数据检测系统，其特征在于，所述系统与云端处理器通信连接，所述系统包括：
数据采集模块，所述数据采集模块用于通过数据采集终端获取待检测样本数据集；
场景分析模块，所述场景分析模块用于对所述待检测样本数据集的数据源场景进行分析，获取场景变化特征；
动态分析模块，所述动态分析模块用于通过对所述待检测样本数据集进行数据流动态分析，输出数据动态特征；
中间输出模块，所述中间输出模块用于将所述场景变化特征和所述数据动态特征作为双值决策器的输入信息，基于所述双值决策器输出异常点决策信息，其中，所述双值决策器在所述云端处理器中训练获得，所述异常点决策信息是用于表征待检测样本数据集的数据源场景异常、数据流异常的外环境异常的参数信息；
异常检测模块，所述异常检测模块用于通过数据采集终端进行实时数据采集，获取实时检测数据集，基于所述异常点决策信息对获取的实时检测数据集进行异常检测，输出异常检测结果，所述异常检测结果包括检测通过和检测不通过；
判断模块，所述判断模块用于若所述异常检测结果为检测通过时，向异常检测终端发送数据内检测指令，其中，当所述实时检测数据集中不含所述异常点决策信息时，所述异常检测结果为检测通过；
所述判断模块还用于若所述异常检测结果为检测不通过时，对所述实时检测数据集中的所述异常点决策信息进行筛除，对筛除后的所述实时检测数据集进行再次异常检测，直至通过后向异常检测终端发送数据内检测指令，其中，当所述实时检测数据集中含有所述异常点决策信息时，所述异常检测结果为检测不通过；
输出模块，所述输出模块用于按照所述数据内检测指令，启动所述异常检测终端对所述实时检测数据集进行异常检测，输出异常数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210633151.5A CN115080290B (zh) | 2022-06-07 | 2022-06-07 | 一种基于智能算法的异常数据检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210633151.5A CN115080290B (zh) | 2022-06-07 | 2022-06-07 | 一种基于智能算法的异常数据检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115080290A CN115080290A (zh) | 2022-09-20 |
| CN115080290B true CN115080290B (zh) | 2023-07-07 |
Family
ID=83249160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210633151.5A Active CN115080290B (zh) | 2022-06-07 | 2022-06-07 | 一种基于智能算法的异常数据检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115080290B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115436767B (zh) * | 2022-11-07 | 2023-04-07 | 江苏黑马高科股份有限公司 | 一种变压器局部放电监测分析方法及系统 |
| CN115514679B (zh) * | 2022-11-11 | 2023-04-28 | 浙江万胜智能科技股份有限公司 | 一种基于通信模块的异常来源监测方法及系统 |
| CN115453254B (zh) * | 2022-11-11 | 2023-05-02 | 浙江万胜智能科技股份有限公司 | 一种基于专变采集终端的电能质量监测方法及系统 |
| CN115856514B (zh) * | 2023-02-28 | 2023-05-12 | 宝胜高压电缆有限公司 | 一种聚丙烯电缆的智能运行异常监测定位方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109905462A (zh) * | 2019-01-28 | 2019-06-18 | 安徽斯瑞菱智能科技有限公司 | 一种设备健康度管理系统 |
| CN112326213B (zh) * | 2019-08-05 | 2022-11-15 | 株式会社理光 | 异常数据检测方法及装置、机械故障检测方法及装置 |
| CN111459778B (zh) * | 2020-03-12 | 2024-05-07 | 平安科技（深圳）有限公司 | 运维系统异常指标检测模型优化方法、装置及存储介质 |
| CN113554128B (zh) * | 2021-09-22 | 2022-03-15 | 中国光大银行股份有限公司 | 一种非常规异常检测方法、系统及存储介质 |
-
2022
- 2022-06-07 CN CN202210633151.5A patent/CN115080290B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115080290A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115080290B (zh) | 一种基于智能算法的异常数据检测方法及系统 | |
| CN112084974B (zh) | 一种基于元学习的多标签滚动轴承故障诊断方法 | |
| CN109620244B (zh) | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 | |
| CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
| CN108435819B (zh) | 一种铝型材挤压机能耗异常检测方法 | |
| CN111130890A (zh) | 一种网络流量动态预测系统 | |
| CN116684878B (zh) | 一种5g信息传输数据安全监测系统 | |
| CN116519895B (zh) | 一种基于大数据平台的水质在线监测分析管理系统 | |
| CN116416884B (zh) | 一种显示器模组的测试装置及其测试方法 | |
| CN108491931A (zh) | 一种基于机器学习提高无损检测精度的方法 | |
| CN114511784A (zh) | 环境监测预警方法、装置、设备及存储介质 | |
| CN112200238A (zh) | 基于声响特征的硬岩拉剪破裂识别方法与装置 | |
| CN111444233A (zh) | 基于复制器神经网络模型发现环境监测异常数据的方法 | |
| CN111125186A (zh) | 一种基于调查问卷的数据处理方法及系统 | |
| CN117235661B (zh) | 基于ai的直饮水质量监测方法 | |
| CN117421994A (zh) | 一种边缘应用健康度的监测方法和监测系统 | |
| CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN115588439B (zh) | 一种基于深度学习的声纹采集装置的故障检测方法及装置 | |
| CN116070669B (zh) | 一种基于改进深度置信网络的车间能耗预测方法与管理系统 | |
| CN117009841A (zh) | 一种模型训练方法、电机故障诊断方法和微控制器 | |
| CN111626324A (zh) | 基于边缘计算的海底观测网数据异构解析集成方法 | |
| CN115236006B (zh) | 一种电子河长光谱检测数据的处理方法及系统 | |
| CN116049638A (zh) | 一种变压器震动检测方法、系统、设备及存储介质 | |
| CN115474108A (zh) | 一种基于边缘计算的事件监控系统及监控方法 | |
| CN112579670A (zh) | 一种精细油藏分布的勘察数据分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240419 Address after: No. 218 Jilihu Street, Yuhong District, Shenyang City, Liaoning Province, 110141 (1-30-1) Patentee after: Liaoning Yuanhong Xinrun Technology Co.,Ltd. Country or region after: China Address before: No.2699, Qianjin Street, Chaoyang District, Changchun City, Jilin Province Patentee before: Jilin University Country or region before: China |
|
| TR01 | Transfer of patent right |