CN110968487A - 异常数据的分析方法及装置 - Google Patents
异常数据的分析方法及装置 Download PDFInfo
- Publication number
- CN110968487A CN110968487A CN201811154769.3A CN201811154769A CN110968487A CN 110968487 A CN110968487 A CN 110968487A CN 201811154769 A CN201811154769 A CN 201811154769A CN 110968487 A CN110968487 A CN 110968487A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- data
- information
- classification
- exception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 600
- 238000007405 data analysis Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000003860 storage Methods 0.000 claims description 20
- 230000002547 anomalous effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Abstract
本发明公开了一种异常数据的分析方法及装置，涉及网络技术领域，主要目的在于解决现有的针对异常数据进行分析时，由人工进行逐条分析耗时较多，导致分析效率较低的问题。本发明的方法包括：获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；统计所述分组数据中的异常信息数量；根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；根据所述异常数据分析图表，对所述异常数据进行分析。本发明适用于对异常数据进行分析。
Description
技术领域
本发明涉及网络技术领域，尤其涉及一种异常数据的分析方法及装置。
背景技术
随着技术的不断发展和进步，现有的日志分析领域已经逐步受到人们的重视。其中，在网络和系统的维护过程中，当出现如用户操作不规范、系统配置出现异常或存在数据传输存在缺失等异常状况时，系统会在日志中自动记录出现异常情况的时间、异常特征等数据，而此类用于表征异常情况的数据即为异常数据。由于异常数据的可以作为后续维护的依据和保障，对于异常数据的分析已经愈加的受到相关人员的重视。
目前，由于信息大爆炸的时代已经来临，异常数据的数据量也呈指数形式递增。在现有的异常数据的分析过程中，一般需要由相关分析人员对异常数据进行逐条分析。然而，在实际应用中，但异常数据的数据量较大时，现有的人工逐条分析的方式的时间消耗较多，存在分析效率低下的问题。
发明内容
鉴于上述问题，本发明提供一种异常数据的分析方法及装置，主要目的在于解决现有的针对异常数据进行分析时，由人工进行逐条分析耗时较多，导致分析效率较低的问题。
为解决上述技术问题，第一方面，本发明提供了一种异常数据的分析方法，该方法包括：
获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；
统计所述分组数据中的异常信息数量；
根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；
根据所述异常数据分析图表，对所述异常数据进行分析。
可选的，在获取异常数据的分组数据之前，所述方法还包括：
获取异常数据，每个所述异常数据中包含至少一个异常信息；和/或，
采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；和/或，
所述异常标签中包括用于表征异常信息的异常特征，所述采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，包括：
根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
可选的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
可选的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
第二方面，本发明还提供了一种异常数据的分析装置，该装置包括：
第一获取单元，用于获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；
统计单元，用于统计所述分组数据中的异常信息数量；
生成单元，用于根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；
分析单元，用于根据所述异常数据分析图表，对所述异常数据进行分析。
可选的，所述还装置包括：
第二获取单元，用于获取异常数据，每个所述异常数据中包含至少一个异常信息；
分组单元，用于采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；
所述异常标签中包括用于表征异常信息的异常特征，所述分组单元，还用于根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
可选的，所述生成单元包括：
读取模块，用于通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
第一生成模块，用于根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
可选的，所述生成单元，包括：
接收模块，用于接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
确定模块，用于根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
第二生成模块，用于根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的异常数据的分析方法。
为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的异常数据的分析方法。
借由上述技术方案，本发明提供的异常数据的分析方法及装置，对于现有技术在通过人工对异常数据进行分析时，存在分析效率较低的问题，本发明通过获取异常数据的分组数据，然后统计所述分组数据中的异常信息数量，并根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表，最后根据所述异常数据分析图表，对所述异常数据进行分析，从而能够根据对异常数据的分组数据中的异常信息数据进行统计，能够实现对异常数据的分类统计的效果，并且能够根据所生成的异常数据分析图表进行自动分析，避免逐个人工分组进行分组的时间消耗，提高的分析效率，并且无需人工参与分组和统计，节约人力成本。另外，根据异常标签及对应的异常信息数量来生成异常数据分析图表，能够以图表的方式展示当前异常数据的分类情况及每类分组的具体数量，从而能够直观的显示异常数据的具体的异常情况的分布，使得异常数据的分析过程更为直观、简便。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种异常数据的分析方法流程图；
图2示出了本发明实施例提供的另一种异常数据的分析方法流程图；
图3示出了本发明实施例提供的一种异常数据的分析装置的组成框图；
图4示出了本发明实施例提供的另一种异常数据的分析装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了解决现有的针对异常数据进行分析时，由人工进行逐条分析耗时较多，导致分析效率较低的问题，本发明实施例提供了一种异常数据的分析方法，如图1所示，该方法包括：
101、获取异常数据的分组数据。
其中，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息。
通常，在任一种网站或系统中，为了便于后续维护，当系统或网站内存在如用户操作不规范、系统配置出现异常或存在数据传输存在缺失等异常状况时，系统会在日志中自动记录出现异常情况的时间、异常特征等数据，在出现异常状况时，系统内部会根据异常特征在日志内记录一条对应的异常信息。因此，在本发明实施例中，在进行异常数据分析时，可以根据本步骤所述的方法，通过获取根据预设的异常标签所分组后的数据，为后续的统计分析提供数据支持，其中，该分组后的数据即为本发明实施例所述的异常数据的分组数据。在该分组数据中，包含至少一个异常信息。
具体的，对于获取该分组数据的方式可以通过多种方式进行，例如，可以通过系统中用于记录异常状况的日志中逐条读取每个异常信息，并根据异常信息的异常特征进行分组，得到对应的分组数据。当然，在本发明实施例包含但不限于上述所述的方法，具体的，可以根据实际情况自行选取。另外，在本发明实施例中，对于预设的异常标签，可以根据异常特征进行设定的，还可以根据其他方式来进行设定，在此并不做具体的限定。
102、统计所述分组数据中的异常信息数量。
当前述步骤101中获取到分组数据后，由于每个分组数据都是基于预设的异常标签分组后得到的，因此，每个分组数据中的异常信息都是具有相似的异常特征的，由此，为了便于后续分析，在本发明实施例中，可以根据本步骤所述的方法对每个分组数据中所包含的异常信息的数量进行统计。
103、根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表。
当前述步骤102中得到了每个分组数据对应的异常信息数量后，可以根据该分组数据以及其对应的异常信息数量进行图表的生成，即生成用于表征异常数据的异常数据分析图表。具体的，该异常数据分析图表可以为柱状图、统计表等任一种形式的图表，在此并不做限定，可按需选取。
此外，当生成所述异常数据分析图表时，还可以将该异常数据分析图表输出至相关维护人员，以便维护人员以图表的了解异常数据的具体情况。
104、根据所述异常数据分析图表，对所述异常数据进行分析。
当步骤103生成了异常数据分析图表后，可以根据该异常数据分析图表对异常数据进行分析，其中分析的具体方式可以记录每个分组数据的预设异常标签所对应的异常信息的数量，以及每个分组数据中的异常信息，并生成对应的文件。当然，还可以根据其他的分析方式进行分析，具体的可根据维护人员实际需要，设置对应的分析方式进行分析。
本发明实施例提供的异常数据的分析方法，对于现有技术在通过人工对异常数据进行分析时，存在分析效率较低的问题，本发明通过获取异常数据的分组数据，然后统计所述分组数据中的异常信息数量，并根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表，最后根据所述异常数据分析图表，对所述异常数据进行分析，从而能够根据对异常数据的分组数据中的异常信息数据进行统计，能够实现对异常数据的分类统计的效果，并且能够根据所生成的异常数据分析图表进行自动分析，避免逐个人工分组进行分组的时间消耗，提高的分析效率，并且无需人工参与分组和统计，节约人力成本。另外，根据异常标签及对应的异常信息数量来生成异常数据分析图表，能够以图表的方式展示当前异常数据的分类情况及每类分组的具体数量，从而能够直观的显示异常数据的具体的异常情况的分布，使得异常数据的分析过程更为直观、简便。
进一步的，作为对图1所示实施例的细化及扩展，本发明实施例还提供了另一种异常数据的分析方法，如图2所示，其具体步骤包括：
201、获取异常数据。
其中，每个所述异常数据中包含至少一个异常信息。在本发明实施例中，在进行异常数据分析之前，需要根据本步骤所述的方法先获取到异常数据，该异常数据可以为用于表征系统内存在异常的数据，具体的，获取异常数据的方式可以通过日志文件中进行获取。当然，若网站或系统存在专用于存储异常情况的数据的数据库时，则可以从该数据库中进行获取。此外，还可以通过设置用于接收异常数据的接口，从该接口中进行日常数据的获取。在此，对于异常数据的获取方式，并不做具体的限定，可以以实际需要选取。
由此，通过在进行异常数据分析之前，获取异常数据，能够确保后续分析功能的正确执行，从而为后续的分析提供了分析的数据基础，并且，通过该方式获取异常数据能够避免人工分析时，由人工进行异常数据的获取大人工消耗，节约人力。
202、采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据。
在本发明实施例中，当获取到异常数据后，基于异常数据中的每一条异常信息都记录有出现异常的具体情况、或异常特征的代码，基于此，可以根据本步骤所述的方法通过选取异常标签对异常数据中的异常信息进行分类，得到异常数据的分组数据。
其中，在本发明实施例中，所述异常标签中可以包括用于表征异常信息的异常特征，这样，在本步骤中，采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，具体可以为：根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
例如，可以通过异常标签为“用户输入异常”、来对异常数据进行分组，其中，异常信息A在系统日中的记录的异常特征为“输入用户名为空”，异常信息B在系统日中的记录的异常特征为“用户输入非法字符”，及异常信息C在系统日中的记录的异常特征为“显示配置异常”，基于异常信息A和异常信息B均为用户输入时的异常情况，与异常标签“用户输入异常”相对应，而异常信息C实际上为系统内配置的问题，与该异常标签表征的异常情况并不相同，因此，将异常信息A和异常信息B分到同一分组数据中，即对应异常标签“用户输入异常”的分组数据中。
由此，通过异常标签对所述异常数据进行分组，采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，能够通过异常标签实现对异常数据进行分组的功能，从而为后续的统计和分析提供了支持。进一步的，当异常标签中包括用于表征异常信息的异常特征时，则根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据，可以实现基于异常特征进行分组的功能，从而使得所分组的分组数据具有相同的异常特征，从而整体上提高了异常数据分析的准确性。
203、获取异常数据的分组数据。
当前述步骤202中分组后得到了分组数据后，可以根据本步骤所述的方法来滴该分组户数进行获取，该分组数据中包含至少一个异常信息。具体的，获取方式可以根据分组数据存储位置来进行，当该分组数据保存在系统内的预设存储区域时，则可以从该预设存储区域中进行获取。
204、统计所述分组数据中的异常信息数量。
在本步骤中，对于统计每个分组数据中的异常信息数量，可以根据前述实施例中步骤102中的方式进行，在此不再继续赘述。
205、根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表。
具体的，本步骤可以为：首先，通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量。然后，根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。在本步骤中，该预设程序可以选取PowerBI，其中，Power BI微软开发的一种集软件服务、应用和连接器的集合体，它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。无论用户的数据是简单的Excel电子表格，还是基于云和本地混合数据仓库的集合，Power BI都可让用户轻松地连接到数据源，直观看到、或发现重要内容，与任何所希望的人进行共享。当然，在此对于预设程序的选取，可以包括但不限于上述所述的程序，具体的可按需选取。
另外，在执行本发明实施例所述的方法时，基于异常特征可能数量较多，种类较为庞杂，而用户在进行后续分析时，有时并无需进行具体的某种异常特征对应的异常标签的分组数据进行分析，而是需要对每一大类的异常信息进行分析，例如，在基于异常标签进行分组时，可能存在“用户名异常”、“用户输入异常”等多种用户行为类的异常标签，而后续维护人员可能并不关注用户具体的某种操作异常，仅需要进行“用户异常操作”的整体分析时，则可以根据接收分类指令，对基于异常标签的分组数据进行归纳统计。由此，在本步骤中，还可以根据下述方式进行：首先，接收分类指令，所述分类指令中包含异常分类，该异常分类包含至少一个所述异常标签；根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
由此，通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量，并根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表，能够通过预设程序实现自动读取每个异常标签的及对应的异常信息数量，并基于二者进行异常数据分析表的生成，实现了自动生成数据分析表的功能。另外，通过接收分类指令中包含异常分类，其中，异常分类包含至少一个所述异常标签，然后根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量，并根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表，则可以在不影响异常标签的设置的情况下，实现将不同的分组数据按照用户指令进行归纳统计的功能，从而确保了所生成的异常数据分析图表能够根据分类指令进行随时的调控，更具灵活性。
206、根据所述异常数据分析图表，对所述异常数据进行分析。
当前述步骤205生成了异常数据分析图表时，则可以根据本步骤所述的额方法，对该分析图表进行分许，其中，分析的方式可以按照用户所需的方式进行，例如可以将上述异常数据分析图表的基础上记录每个分组数据中包含的每一个异常信息，以及出现异常信息的时间，次数等，统计为包含有异常数据分析图表的分析日志。还可以根据用户的需要设定分析计划，按分析计划中的周期进行异常数据分析，同时还可以将得到的分析日志进行保存，以便后续维护人员能够根据该日志进行调阅和分析。当然，在本步骤所述的分析过程，包含但不仅限于上述方法，具体的异常数据分析方式，可以根据用户的实际需要按需选取。
进一步的，作为对上述图1所示方法的实现，本发明实施例还提供了一种异常数据的分析装置，用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：第一获取单元31、统计单元32、生成单元33以及分析单元34，其中
第一获取单元31，可以用于获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息。
统计单元32，可以用于统计所述第一获取单元31获取的分组数据中的异常信息数量。
生成单元33，可以用于根据所述异常标签以及所述统计单元32统计的分组数据中的异常信息数量，生成异常数据分析图表。
分析单元34，可以用于根据所述生成单元33生成的异常数据分析图表，对所述异常数据进行分析。
进一步的，作为对上述图2所示方法的实现，本发明实施例还提供了一种异常数据的分析装置，用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示，该装置包括：第一获取单元41、统计单元42、生成单元43以及分析单元44，其中
第一获取单元41，可以用于获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息。
统计单元42，可以用于统计所述第一获取单元41获取的分组数据中的异常信息数量。
生成单元43，可以用于根据所述异常标签以及所述统计单元42统计的分组数据中的异常信息数量，生成异常数据分析图表。
分析单元44，可以用于根据所述生成单元43生成的异常数据分析图表，对所述异常数据进行分析。
进一步的，所述还装置包括：
第二获取单元45，可以用于获取异常数据，每个所述异常数据中包含至少一个异常信息；
分组单元46，可以用于采用异常标签对所述第二获取单元45获取的异常数据进行分组，得到所述异常数据的分组数据；
所述异常标签中包括用于表征异常信息的异常特征，所述分组单元46，还可以用于根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据，以便述第一获取单元41获取所述异常数据的分组数据。
所述生成单元43包括：
读取模块431，可以用于通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
第一生成模块432，可以用于根据读取模块431读取的异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
进一步的，所述生成单元43，包括：
接收模块433，可以用于接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
确定模块434，可以用于根据所述接收模块433接收的分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
第二生成模块435，可以用于根据所述确定模块434确定的异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
借由上述技术方案，本发明实施例提供一种异常数据的分析方法及装置，对于现有技术在通过人工对异常数据进行分析时，存在分析效率较低的问题，本发明通过获取异常数据的分组数据，然后统计所述分组数据中的异常信息数量，并根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表，最后根据所述异常数据分析图表，对所述异常数据进行分析，从而能够根据对异常数据的分组数据中的异常信息数据进行统计，能够实现对异常数据的分类统计的效果，同时还能够根据所生成的异常数据分析图表进行自动分析，避免逐个人工分组进行分组的时间消耗，提高的分析效率，并且无需人工参与分组和统计，节约人力成本。另外，根据异常标签及对应的异常信息数量来生成异常数据分析图表，能够以图表的方式展示当前异常数据的分类情况及每类分组的具体数量，从而能够直观的显示异常数据的具体的异常情况的分布，使得异常数据的分析过程更为直观、简便。
同时，通过在进行异常数据分析之前，获取异常数据，能够确保后续分析功能的正确执行，从而为后续的分析提供了分析的数据基础，并且，通过该方式获取异常数据能够避免人工分析时，由人工进行异常数据的获取大人工消耗，节约人力。并且，通过异常标签对所述异常数据进行分组，采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，能够通过异常标签实现对异常数据进行分组的功能，从而为后续的统计和分析提供了支持。进一步的，当异常标签中包括用于表征异常信息的异常特征时，则根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据，可以实现基于异常特征进行分组的功能，从而使得所分组的分组数据具有相同的异常特征，从而整体上提高了异常数据分析的准确性。
此外，通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量，并根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表，能够通过预设程序实现自动读取每个异常标签的及对应的异常信息数量，并基于二者进行异常数据分析表的生成，实现了自动生成数据分析表的功能。另外，通过接收分类指令中包含异常分类，其中，异常分类包含至少一个所述异常标签，然后根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量，并根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表，则可以在不影响异常标签的设置的情况下，实现将不同的分组数据按照用户指令进行归纳统计的功能，从而确保了所生成的异常数据分析图表能够根据分类指令进行随时的调控，更具灵活性。
所述的异常数据的分析装置包括处理器和存储器，上述第一获取单元、统计单元、生成单元以及分析单元等作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来分析效率较低的问题，提高异常数据的分析效率。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述异常数据的分析方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述异常数据的分析方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；统计所述分组数据中的异常信息数量；根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；根据所述异常数据分析图表，对所述异常数据进行分析。
进一步的，在获取异常数据的分组数据之前，所述方法还包括：
获取异常数据，每个所述异常数据中包含至少一个异常信息；和/或，
采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；和/或，
所述异常标签中包括用于表征异常信息的异常特征，所述采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，包括：
根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
进一步的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
进一步的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
本发明实施例中的设备可以是服务器、PC、PAD、手机等。
本发明实施例还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；统计所述分组数据中的异常信息数量；根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；根据所述异常数据分析图表，对所述异常数据进行分析。
进一步的，在获取异常数据的分组数据之前，所述方法还包括：
获取异常数据，每个所述异常数据中包含至少一个异常信息；和/或，
采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；和/或，
所述异常标签中包括用于表征异常信息的异常特征，所述采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，包括：
根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
进一步的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
进一步的，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种异常数据的分析方法，其特征在于，包括：
获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；
统计所述分组数据中的异常信息数量；
根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；
根据所述异常数据分析图表，对所述异常数据进行分析。
2.根据权利要求1所述的方法，其特征在于，在获取异常数据的分组数据之前，所述方法还包括：
获取异常数据，每个所述异常数据中包含至少一个异常信息；和/或，
采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；和/或，
所述异常标签中包括用于表征异常信息的异常特征，所述采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据，包括：
根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表包括：
接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
5.一种异常数据的分析装置，其特征在于，包括：
第一获取单元，用于获取异常数据的分组数据，所述分组数据为根据预设的异常标签对所述异常数据进行分组得到的，所述分组数据中包含至少一个异常信息；
统计单元，用于统计所述分组数据中的异常信息数量；
生成单元，用于根据所述异常标签以及所述分组数据中的异常信息数量，生成异常数据分析图表；
分析单元，用于根据所述异常数据分析图表，对所述异常数据进行分析。
6.根据权利要求5所述的装置，其特征在于，所述还装置包括：
第二获取单元，用于获取异常数据，每个所述异常数据中包含至少一个异常信息；
分组单元，用于采用异常标签对所述异常数据进行分组，得到所述异常数据的分组数据；
所述异常标签中包括用于表征异常信息的异常特征，所述分组单元，还用于根据所述异常标签中的用于表征异常信息的异常特征，对所述异常数据进行分组，得到所述异常数据的分组数据。
7.根据权利要求5或6所述的装置，其特征在于，所述生成单元包括：
读取模块，用于通过预设程序读取每个异常标签、以及每个分组数据中的异常信息数量；
第一生成模块，用于根据异常标签及对应的异常信息数量，生成包含有每个异常标签及其对应的异常信息数量的异常数据分析表。
8.根据权利要求5或6所述的装置，其特征在于，所述生成单元，包括：
接收模块，用于接收分类指令，所述分类指令中包含异常分类，所述异常分类包含至少一个所述异常标签；
确定模块，用于根据所述分类指令中异常分类包含的异常标签、以及所述异常标签对应的分组数据中的异常信息数量，确定每个异常分类对应的异常信息数量；
第二生成模块，用于根据所述异常分类、以及所述每个异常分类对应的异常信息数量，生成所述异常数据分析图表。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的异常数据的分析方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时权利要求1至权利要求4中任意一项所述的异常数据的分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811154769.3A CN110968487A (zh) | 2018-09-30 | 2018-09-30 | 异常数据的分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811154769.3A CN110968487A (zh) | 2018-09-30 | 2018-09-30 | 异常数据的分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110968487A true CN110968487A (zh) | 2020-04-07 |
Family
ID=70028197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811154769.3A Pending CN110968487A (zh) | 2018-09-30 | 2018-09-30 | 异常数据的分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110968487A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651595A (zh) * | 2020-05-25 | 2020-09-11 | 泰康保险集团股份有限公司 | 一种异常日志处理方法及装置 |
| CN111751705A (zh) * | 2020-06-18 | 2020-10-09 | 捷普电子(广州)有限公司 | 测试结果展示方法、装置及电子设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010283274A (ja) * | 2009-06-08 | 2010-12-16 | Sharp Corp | 異常原因解析装置、異常原因解析方法、異常原因解析プログラム、及び、プログラム記録媒体 |
| CN106656929A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 一种信息处理方法及装置 |
| CN107193723A (zh) * | 2017-05-17 | 2017-09-22 | 深圳怡化电脑股份有限公司 | 异常日志的处理方法、装置、atm以及存储介质 |
| CN107301120A (zh) * | 2017-07-12 | 2017-10-27 | 北京京东尚科信息技术有限公司 | 用于处理非结构化日志的方法及装置 |
| CN108121633A (zh) * | 2016-11-30 | 2018-06-05 | 北京国双科技有限公司 | 异常捕获方法及装置 |
-
2018
- 2018-09-30 CN CN201811154769.3A patent/CN110968487A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010283274A (ja) * | 2009-06-08 | 2010-12-16 | Sharp Corp | 異常原因解析装置、異常原因解析方法、異常原因解析プログラム、及び、プログラム記録媒体 |
| CN106656929A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 一种信息处理方法及装置 |
| CN108121633A (zh) * | 2016-11-30 | 2018-06-05 | 北京国双科技有限公司 | 异常捕获方法及装置 |
| CN107193723A (zh) * | 2017-05-17 | 2017-09-22 | 深圳怡化电脑股份有限公司 | 异常日志的处理方法、装置、atm以及存储介质 |
| CN107301120A (zh) * | 2017-07-12 | 2017-10-27 | 北京京东尚科信息技术有限公司 | 用于处理非结构化日志的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111651595A (zh) * | 2020-05-25 | 2020-09-11 | 泰康保险集团股份有限公司 | 一种异常日志处理方法及装置 |
| CN111751705A (zh) * | 2020-06-18 | 2020-10-09 | 捷普电子(广州)有限公司 | 测试结果展示方法、装置及电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542789B (zh) | 一种代码覆盖率统计方法及装置 | |
| CN108647235A (zh) | 一种基于数据仓库的数据分析方法、设备以及介质 | |
| CN111800471B (zh) | 一种推荐页面的展示方法、装置及电子设备 | |
| CN113656245A (zh) | 数据的巡检方法、装置、存储介质及处理器 | |
| CN114911800A (zh) | 电力系统的故障预测方法、装置以及电子设备 | |
| CN110968487A (zh) | 异常数据的分析方法及装置 | |
| CN110502486B (zh) | 日志处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110334011B (zh) | 一种执行测试用例的方法及装置 | |
| CN115659045A (zh) | 用户操作的识别方法、装置、存储介质以及电子设备 | |
| CN116680494A (zh) | 应用推荐页面的生成方法、装置、存储介质以及电子设备 | |
| CN110457182A (zh) | 一种负载均衡集群实例运行指标监控系统 | |
| CN109598525B (zh) | 数据处理方法和装置 | |
| CN116341839A (zh) | 一种针对家政服务人员的订单推送方法、设备及介质 | |
| CN114048252A (zh) | 生产数据的分析方法、装置、存储介质及处理器 | |
| CN113806231A (zh) | 一种代码覆盖率分析方法、装置、设备和介质 | |
| CN113240489A (zh) | 一种基于大数据统计分析的物品推荐方法及装置 | |
| CN107766216A (zh) | 一种用于获取应用执行信息的方法与设备 | |
| CN108572914B (zh) | 一种生成用于压力测试的日志的方法及装置 | |
| CN111125385A (zh) | 分析报表的生成方法、装置、存储介质和处理器 | |
| CN107846612B (zh) | 收视分析方法及装置 | |
| CN110968611A (zh) | 数据分析方法、装置及系统 | |
| CN112232960B (zh) | 交易应用系统监控方法及装置 | |
| CN109947633B (zh) | 数据处理的方法、装置、存储介质及处理器 | |
| CN106909555B (zh) | 数据展示的方法及装置 | |
| CN117591586A (zh) | 一种电影票房信息的采集方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200407 |
|
| RJ01 | Rejection of invention patent application after publication |