CN113032242A - 数据标记方法及装置，计算机存储介质和电子设备 - Google Patents
数据标记方法及装置，计算机存储介质和电子设备 Download PDFInfo
- Publication number
- CN113032242A CN113032242A CN201911356911.7A CN201911356911A CN113032242A CN 113032242 A CN113032242 A CN 113032242A CN 201911356911 A CN201911356911 A CN 201911356911A CN 113032242 A CN113032242 A CN 113032242A
- Authority
- CN
- China
- Prior art keywords
- information
- detection
- mark
- marking
- detection information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000001514 detection method Methods 0.000 claims abstract description 767
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 89
- 230000002159 abnormal effect Effects 0.000 claims description 69
- 238000012216 screening Methods 0.000 claims description 69
- 230000008859 change Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 48
- 230000005856 abnormality Effects 0.000 claims description 21
- 230000006399 behavior Effects 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/366—Software debugging using diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开一种数据标记方法及装置，基于应用发布系统中检测信息的标记方法和装置，基于标记数据的模型训练方法，基于训练模型的发布异常检测方法，以及计算机存储介质和电子设备，数据标记方法包括：获取针对检测指标检测到的检测信息以及针对检测信息返回的，用于描述针对检测信息进行相应操作处理的反馈信息；根据反馈信息，对检测信息进行标记，生成用于描述检测信息检测属性的标记信息，标记信息包括表征检测信息状态属性的标记状态信息和与标记状态信息对应的，用于表征检测信息类型属性的标记类型信息；根据检测信息的标记状态信息和对应的标记类型信息，确定检测信息的目标标记信息，从而提高标记信息的准确性。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种数据标记方法和装置，基于应用发布系统中检测信息的标记方法和装置，基于标记数据的模型训练方法，以及一种基于训练模型的发布异常检测方法，计算机存储介质和电子设备。
背景技术
应用软件或应用系统会定期或不定期的进行更新，因此，新版本的应用在发布后取代之前的旧版本应用。
随着大数据的发展，对应用稳定性要求越来越高。在应用发布过程中需要监控发布时出现的异常情况，以提高应用的稳定性。现有技术中，通常需要投入大量的人力对应用发布进行实时监控，因此会导致针对监控产生的标注数据数量具有一定局限。然而，在通过机器学习对应用发布进行监控过程中，需要有庞大的标注数据支撑机器学习对监控数据的异常检测，因此，标注数量的局限性会导致机器学习对异常检测的准确性降低。
基于上述问题，现有技术提供一种半监督学习实现数据标记，其基于少量已标记数据训练模型，并使用该模型对大量未标记的数据进行分类标注，得到带有大量伪标签的数据，这些数据可应用于后续的深度学习。然而该种标记方式对应用异常检测并不适用的，因为每个应用有其自身的业务特点，无法根据部分标记得出规律推断用于其他应用，故，使得标记数据仍然存在标记质量和数量均低，而导致无法进行监督学习等问题。
发明内容
本申请提供一种数据标记方法，以解决现有技术中标记数据质量和数量低的问题。
本申请提供一种数据标记方法，包括：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
在一些实施例中，所述获取针对检测指标检测到的检测信息，包括：
获取针对检测指标检测到的异常检测信息。
在一些实施例中，所述获取针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息，包括：
基于发布状态下，获取针对所述检测信息，发布过程中返回的在线反馈信息；或者，
基于发布状态下，获取针对所述检测信息，发布结束后返回的离线反馈信息。
在一些实施例中，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于发布状态下的离线反馈信息时，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测正确的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
在一些实施例中，所述当获取的所述反馈信息为离线反馈信息时，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测错误的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
在一些实施例中，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于发布状态下的在线反馈信息时，确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测正确的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
在一些实施例中，所述当获取的所述反馈信息为基于发布状态下的在线反馈信息时，确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测错误的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
在一些实施例中，所述获取针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息，包括：
基于非发布状态下，获取针对所述检测信息，当前返回的在线反馈信息；或者，
基于非发布状态下，获取针对所述检测信息，检测结束后返回的离线反馈信息。
在一些实施例中，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否满足对所述检测信息标记的标记要求；
若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测正确的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
在一些实施例中，所述当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否为满足对所述检测信息标记的标记要求，若为否时，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测错误的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
在一些实施例中，所述当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否为满足对所述检测信息标记的标记要求，包括：
对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果；
根据所述变更操作查询结果，确定基于所述非发布状态下的在线反馈信息的操作处理是否为对所述检测信息进行变更操作；
若是，则确定所述在线反馈信息中对所述检测信息的操作处理满足对所述检测信息标记的标记要求。
在一些实施例中，所述对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果，包括：
根据设置的查询范围，对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果。
在一些实施例中，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测正确的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
在一些实施例中，所述当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测错误的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
在一些实施例中，所述根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息，包括：
对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据；
根据所述标记数据，确定所述检测信息的目标标记信息。
在一些实施例中，所述标记数据包括至少如下一种数据：
系统标为正确的标记占比；
系统标为正确时检测指标利用率的最大值；
系统标为错误的标记占比；
系统标为错误时检测指标利用率的最小值；
用户标为正确的标记占比；
用户标为正确时检测指标利用率的最大值；
用户标为错误的标记占比；
用户标为错误时检测指标利用率的最小值。
在一些实施例中，所述根据所述标记数据，确定所述检测信息的目标标记信息，包括：
确定所述标记信息中是否有标记类型信息为用户标的标记信息；
若是，则当所述标记类型信息为用户标，选取用户标为正确时标记信息占比和用户标为错误标记信息占比中的占比最大值；或者是，当所述标记类型信息均为正确的用户标时，选取相对应检测指标的利用率最大值；或者是，当所述标记类型信息均为错误的用户标时，选取相对应检测指标的利用率最小值；
根据选取的所述占比最大值或利用概率最大值或利用率最小值，对应的标记状态信息和标记类型信息，确定为所述检测信息的目标标记信息。
在一些实施例中，所述确定所述标记信息中是否有标记类型信息为用户标的标记信息；
若否，则选取所述标记类型信息为系统标，且标记状态信息为错误的标记占比是否满足设定阈值要求；
若满足，则将标记状态信息为错误的标记信息确定为所述检测信息的目标标记信息。
在一些实施例中，当所述标记状态信息为错误的标记占比不满足设定阈值要求，则将标记状态信息为正确的标记信息确定为所述检测信息的目标标记信息。
在一些实施例中，所述对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据，包括：
根据设定的统计时间，对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据。
本申请还提供一种数据标记装置，包括：
获取单元，用于获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
生成单元，用于根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
确定单元，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本申请还提供一种基于应用发布系统中检测信息的标记方法，包括：
获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本申请还提供一种基于应用发布系统中检测信息的标记装置，包括：
获取单元，用于获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
生成单元，用于根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
确定单元，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本申请还提供一种基于标记数据的模型训练方法，包括：
将上述的数据标记方法中的目标标记信息确定为训练数据；
将训练数据输入到模型中进行训练，获得能够对检测指标进行检测的训练模型。
本申请还提供一种基于训练模型的发布异常检测方法，包括：
在应用服务发布过程中，获取针对检测指标检测到的检测数据；
将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果；
根据所述筛查结果，确定所述检测数据是否为异常数据。
在一些实施例中，还包括：
针对所述检测数据是否为异常数据的确定结果，获取所述应用服务发布后的用户操作行为数据；
根据所述用户操作行为数据，调整所述训练模型中的异常筛查阈值，获得更新后的训练模型；
所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
将所述检测数据输入到更新后的训练模型中，对所述检测数据进行筛查，获得筛查结果。
在一些实施例中，所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
提取所述检测数据的特征值；
将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的特征值进行比较，获得所述检测数据的筛查结果。
在一些实施例中，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值满足异常筛查阈值要求时，则检测数据的筛查结果为异常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据异常的筛查结果，确定所述检测数据为异常数据。
在一些实施例中，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值不满足异常筛查阈值要求时，则检测数据的筛查结果为正常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据正常的筛查结果，确定所述检测数据为正常数据。
本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
与现有技术相比，本申请具有以下优点:
本申请提供的一种数据标记方法，通过对获取的针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。也就是说，本申请通过对反馈信息的分析，生成针对监测信息的相应标记信息，从而使得标记信息更为准确，且无需大量人工成本即可自动实现监测信息的标记，并且在对于标记信息的选择上根据设置的权重，可进一步提高标记信息的准确性。
附图说明
图1是本申请提供的一种数据标记方法在应用发布场景下的架构示意图；
图2是本申请提供的一种数据标记方法实施例的流程图；
图3是本申请提供的一种检测信息标记装置实施例的结构示意图；
图4是本申请提供的一种基于应用发布系统中数据标记方法实施例的流程图；
图5是本申请提供的一种基于应用发布系统中数据标记装置实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的，而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如：“一种”、“第一”、和“第二”等，并非对数量上的限定或先后顺序上的限定，而是用来将同一类型的信息彼此区分。
为了能够更好的了解本申请提供的数据标记方法，先根据背景技术部分以及应用场景对本申请技术方案的技术构思进行说明。
随着大数据的发展，机器学习被广泛的应用在各个领域。在应用发布系统中，可以通过对检测信息进行标记并进行训练，从而实现机器学习应用于应用发布系统时，提高异常检测的召回率和准确率。而对于监督学习模型而言，训练过程中的样本数据必须依赖于特征值和目标值，所谓目标值即为标签或标记。现有技术中，在采用半监督机器学习时，通常基于少量已标记数据训练模型，并使用该模型对大量未标记的数据进行分类标注，得到带有大量伪标签的数据，这些数据可应用于后续的深度学习。然而因为每个应用有其自身的业务特点，所以无法根据部分标记得出规律推断用于其他应用，从而会使得在例如对数据进行检测时，机器学习的召回率和准确率并不理想。
鉴于上述内容，本申请提供一种数据标记方法，如图1所示，图1是本申请提供的一种数据标记方法在应用发布场景下的架构示意图。本申请实施例中提供的数据标记方法的应用场景可以是针对应用发布过程中对检测指标检测到异常情况时，对检测进行的标记，标记过程可以是根据对检测异常情况的反馈信息来实现，具体实现过程会在后续进行详细描述。本实施例中能够在对检测的异常信息进行标记并对标记进行统计最终获得相应的目标标记，从而实现为后续机器学习训练提供更加准确的训练数据。
请参考图2所示，图2是本申请提供的一种数据标记方法实施例的流程图，该标记方法包括：
步骤S201：获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息。
在本实施例中，所述检测信息可以是指对异常情况的检测，也就是异常检测，那么检测信息即为异常检测信息。检测指标可以包括业务指标、基础指标、中间件指标，接口指标等。
所述反馈信息在本实施例中可以是指，针对检测指标检测到异常情况时提供提示信息而进行反馈的内容，例如：对提示框的操作而产生的反馈信息，反馈信息可以包括：恢复、回滚、关闭等，恢复为对此次提示框提示的信息进行忽略，继续执行当前任务；回滚可以为程序或数据处理错误，将程序或数据恢复到上一次正确状态的行为；关闭可以理解为对当前进行的任务进行关闭。换言之，恢复可以理解为异常检测信息为错误，回滚和关闭可以理解为异常检测信息为正确。
所述异常检测信息的检测可以是基于发布状态下的检测，当然也可以是非发布状态下的检测。发布状态下的检测可以理解为应用程序的发布过程中的检测，非发布状态下的检测可以理解为是程序执行过程中的检测。不论是基于发布状态下的检测还是会非发布状态下的检测，对所述反馈信息的获取可以包括两种方式：在线反馈信息和离线反馈信息。
下面先对实施例一，即：发布状态下对检测信息的在线反馈方式进行说明：
所述步骤S201中获取针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息可以包括：
步骤S201-11：基于发布状态下，获取针对所述检测信息，发布过程中反馈的在线反馈信息。
步骤S201-12：基于发布状态，获取针对所述检测信息，发布结束后反馈的离线反馈信息。
所述步骤S201-11中所谓在线反馈信息主要可以是对于检测到的异常信息直接进行反馈的操作行为，例如：当检测到异常时，对提示框的当前操作行为。
所述步骤S201-12中所谓离线反馈信息主要可以是对于检测到的异常信息在发布完成后或结束后进行相应的操作行为，例如：当检测到异常时，不予以执行任何操作，而是等到发布结束后针对异常检测信息进行的操作行为。
需要说明的是，提示框可以是在设定的关闭时间到达后自动关闭，发布任务继续执行。
步骤S202：根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息。
所述步骤S202中的检测属性可以包括检测信息状态属性和检测信息类型属性，检测信息状态属性可以包括正确和错误两种属性，即针对检测指标检测到的异常检测信息是正确还是错误的判断。检测信息类型属性可以包括用户标和系统标两种属性。两个类型可以有不同的权重，在本实施例中，用户标的权重大于系统标的权重。
对应于所述步骤S201中的实施例一，所述步骤S202的具体实现过程可以包括：
步骤S202-1-11：当获取的所述反馈信息为基于发布状态下的离线反馈信息时，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
所述步骤S202-1-11中的变更操作即为上述步骤S201中所描述的关闭或回滚操作，即针对检测出的异常检测信息在发布结束后，进行了关闭或回滚的操作。
步骤S202-1-12：若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
所述步骤S202-1-12是如果发生变更操作，则确定所述异常检测信息是正确的，即发布中存在异常情况，需要对异常情况进行标注，故此，将检测信息状态属性标记为正确，将检测信息类型属性标记为系统标。
步骤S202-1-13：根据所述检测正确的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
当所述步骤S202-1-11中获取的所述反馈信息为基于发布状态下的离线反馈信息时，确定所述离线反馈信息中的操作处理未对所述检测信息进行变更操作，即对异常检测信息忽略，发布正常进行，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型；根据所述检测错误的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。所谓忽略可以理解为在发布过程中针对异常检测信息的提示框没有任何操作行为，在设定的时间到达后提示框自动退出，发布状态恢复继续执行。也就是说，本实施例中的离线反馈信息可以理解为在发布完成后对发布过程中检测到的异常检测信息进行的相应操作行为，根据该些操作行为为异常检测信息生成相应的标记信息。
以上是对发布状态下，根据检测信息的离线反馈信息生成标记信息方式的描述，下面针对发布状态下，根据检测信息的在线反馈生成标记信息的方式进行说明。
所述步骤S202的具体实现过程可以包括：
步骤S202-1-21：当获取的所述反馈信息为基于发布状态下的在线反馈信息时，确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
所述步骤S202-1-21中的在线反馈信息可以理解为在发布过程中对异常检测信息是否存在相应的操作处理，即针对当前检测到的异常检测信息，进行当前的反馈操作。例如，当检测到检测指标异常时，则对检测提示框进行相应的操作，提示框提供回滚、关闭、恢复、忽略等中的至少一种操作信息，当针对回滚或关闭进行相关操作，则确定所述在线反馈信息中的操作处理为对所述检测信息进行了变更操作。即进入步骤S202-1-22。
步骤S202-1-22：则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
步骤S202-1-23：根据所述检测正确的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
当所述步骤S202-1-21中若所述在线反馈信息中的操作处理为忽略或者恢复，则确定所述在线反馈信息中的操作处理为对所述检测信息没有发生变更操作，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型，根据所述检测错误的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
以上是基于发布状态下，根据在线反馈信息和离线反馈信息对异常检测信息进行标记的过程，下面将对非发布状态下，在线反馈信息和离线反馈信息对异常检测信息进行标记的过程进行说明。
所述步骤S201包括：
步骤S201-21：基于非发布状态下，获取针对所述检测信息，当前返回的在线反馈信息，或者；
步骤S201-22：基于非发布状态下，获取针对所述检测信息，检测结束后返回的离线反馈信息。
所述非发布状态可以理解为系统运行状态，不同的应用服务可能采用不同的系统运行，所以在现有技术中单纯的用部分标记数据去推车其他数据的标记数据是不可靠的，也是不准确的。而本实施例中，可以在不同的系统中，根据不同的反馈信息完成对应的标记信息，同样的上述在发布状态下也存在相同问题。步骤S201-21中的在线反馈信息可以理解为对于检测到的异常检测信息进行实时反馈，可以通过异常检测信息的查看接口等进行相应的反馈。步骤S201-22中的离线反馈信息可以理解为对于检测到的异常检测信息没有实时进行反馈，而是在系统运行的某个时间进行异常检测信息查看，根据查看而产生的反馈信息。
所述步骤S202在非发布状态下(在线反馈)的实现过程可以包括：
步骤S202-2-11：当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否满足对所述检测信息标记的标记要求；
步骤S202-2-12：若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
步骤S202-2-13：根据所述检测正确的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
所述步骤S202-2-11至步骤S202-2-13的具体实现过程如下：
基于非发布状态下，用于针对异常检测信息进行了在线反馈，即针对异常检测信息的提示框进行的操作，进入到异常检测信息的详情页面下，在详情页面下进行异常检测信息变更操作的查询，若针对异常检测信息查询到有变更操作的相关信息，则确定所述在线反馈信息中对所述异常检测信息的操作处理满足对所述异常检测信息标记的标记要求，进而对所述检测信息状态属性为正确，检测信息类型属性为系统级。所述步骤S202-2-13根据状态属性为正确和类型属性为系统级生成检测信息的标记信息。
相反的，若针对异常检测信息未查询到变更操作的相关信息，则说明此次的异常检测信息的检测信息状态属性为错误，状态标记为错误，检测信息类型属性则被标记为系统级。根据所述检测错误的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
可以理解的是，可以对变更操作进行查询时，可以根据设置的查询范围进行查询，例如：设置查询时间范围或查询次数范围，具体可以是，按照设置的查询时间间隔查询后，发现针对检测指标检测到的异常检测信息并未缓解，或者按照设置的查询次数，例如5次，查询5次后，发现针对检测指标检测到的异常检测信息并未缓解，则可以确定此次异常检测信息的检测是无效的，即检测信息状态属性为错误，类型属性则为系统级。查询次数的阈值可以根据实际检测需求进行设定，以上举例仅为参考。
以上是对非发布状态下获取到的在线反馈信息时，对检测信息进行标记的过程，下面结合上述内容，对非发布状态下，获取到在离线反馈信息时，对检测信息进行标记的过程进行说明。
所述步骤S202在非发布状态下(离线反馈)的实现过程可以包括：
步骤S202-2-21：当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作；
所述步骤S202-2-21中的离线反馈信息可以根据针对非发布状态下，收集用户针对检测到的异常检测信息的操作处理行为，来确定是否针对异常检测信息发生变更操作行为，那么用户的操作处理行为的收集可以基于应用服务平台的反馈信息进行收集等，反馈信息可以是用户的操作行为。收集也可以根据用户的操作行为结合系统的操作记录等进行收集。
步骤S202-2-22：若为是，则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
步骤S202-2-23：根据所述检测正确的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
所述步骤S202-2-22和步骤S202-2-23的标记信息的标记过程均可以参考上述发布状态的离线反馈，即根据是否存在变更操作完成标记。此处不再重复赘述。
同样的，所述当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测错误的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
步骤S203：根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
所述步骤S203的目的在于，在众多的标记信息中确定出针对检测信息的目标标记信息，因为，对于同一个检测指标的检测信息可能包括多种标记信息，即：既有用户标又有系统标，用户标下又有正确又有错误，系统标也同样有正确和错误。因此，需要为检测信息确定出目标标记信息。
需要说明的是，在本实施例中，在所述检测信息的目标标记信息时，可以对生成的标记信息进行权重设置，本实施例中，用户标的权重大于系统标的权重，因此，确定目标标记信息时，先以用户标为主，在没有用户标的情况下，考虑系统标。
所述步骤S203的具体实现过程可以包括：
步骤S203-1：对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据；
所述步骤S203-1中的统计主要针对检测信息所有的标记信息进行统计，因此，统计数据可以包括如下至少一种数据：
系统标为正确的标记占比；
系统标为正确时检测指标利用率的最大值；
系统标为错误的标记占比；
系统标为错误时检测指标利用率的最小值；
用户标为正确的标记占比；
用户标为正确时检测指标利用率的最大值；
用户标为错误的标记占比；
用户标为错误时检测指标利用率的最小值。
步骤S203-2：根据所述标记数据，确定所述检测信息的目标标记信息。
所述步骤S203-2的具体实现过程可以包括：
确定所述标记信息中是否有标记类型信息为用户标的标记信息；
若是，则当所述标记类型信息为用户标，选取用户标为正确时标记信息占比和用户标为错误标记信息占比中的最大值；或者是，当所述标记类型信息均为正确的用户标时，选取相对应检测指标的利用率最大值；或者是，当所述标记类型信息均为错误的用户标时，选取相对应检测指标的利用率最小值。
根据选取的所述占比最大值或利用概率最大值或利用率最小值，对应的标记状态信息和标记类型信息，确定为所述检测信息的目标标记信息。
如果确定标记信息中没有用户标的标记信息，则选取所述标记类型信息为系统标，且标记状态信息为错误的标记占比是否满足设定阈值要求，若满足，则标记状态信息为错误的标记信息确定为所述检测信息的目标标记信息；反之，若不满足，则标记状态信息为正确的标记信息确定为所述检测信息的目标标记信息。
为提高标记信息的准确性，在对所述检测信息的所述标记状态信息和标记类型信息进行统计时，可以设定统计时间，按照设定的统计时间，对相关数据进行统计，从而能够不断根据统计数据更新目标标记信息，使得针对异常检测信息标注的标记信息越来越准确。
以上是对本申请提供的一种数据标记方法实施例的详细描述，与前述提供的一种数据标记方法实施例相对应，本申请还公开一种数据标记装置实施例，请参看图3，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示，图3是本申请提供的一种数据标记装置实施例的结构示意图，该装置包括：
获取单元301，用于获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
所述获取单元301包括异常信息获取子单元反馈信息获取子单元。
所述异常信息获取子单元，具体用于获取针对检测指标检测到的异常检测信息。
所述反馈信息获取子单元，用于基于发布状态下，获取针对所述检测信息，发布过程中返回的在线反馈信息；或者，基于发布状态下，获取针对所述检测信息，发布结束后返回的离线反馈信息。
所述反馈信息获取子单元，可以用于基于非发布状态下，获取针对所述检测信息，当前返回的在线反馈信息；或者，基于非发布状态下，获取针对所述检测信息，检测结束后返回的离线反馈信息。
生成单元302，用于根据所述反馈信息，对所述检测信息进行标记，获得用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
所述生成单元302包括：判断子单元，标记子单元，生成子单元。
当基于发布状态下，获取的为离线反馈信息时，所述判断子单元，用于确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作。
所述标记子单元，用于若判断子单元为若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型。
所述生成子单元，用于根据所述标记子单元中的所述检测正确的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
当所述判断子单元，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作，若为否时，则所述标记子单元，用于将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型，所述生成子单元，用于根据所述标记子单元中所述检测错误的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
当基于发布状态下，获取的为在线反馈信息时，所述判断子单元，用于确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作。
所述标记子单元，用于在所述判断子单元的结果为是时，将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型。
所述生成子单元，用于根据所述标记子单元中所述检测正确的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
当所述判断子单元，用于确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作，为否时，所述标记子单元，用于将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；所述生成子单元，用于根据所述标记子单元中所述检测信息类型属性标记为用户标的标记类型生成所述检测信息的标记信息。
基于非发布状态下，获取的为在线反馈信息时，所述判断子单元，用于确定所述在线反馈信息中对所述检测信息的操作处理是否满足对所述检测信息标记的标记要求。
所述标记子单元，用于当所述判断子单元为是时，将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型。
所述生成子单元，用于根据所述标记子单元中所述检测正确的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
当所述判断子单元为否时，所述标记子单元，用于将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型。
所述生成子单元，用于根据所述检测错误的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
所述判断子单元包括：查询子单元、第一确定子单元和第二确定子单元，所述查询子单元，用于对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果；所述第一确定子单元，用于根据所述变更操作查询结果，确定基于所述非发布状态下的在线反馈信息的操作处理是否为对所述检测信息进行变更操作；所述第二确定子单元，用于所述第一确定子单元的确定结果为是，则确定所述在线反馈信息中对所述检测信息的操作处理满足对所述检测信息标记的标记要求。
所述查询子单元，具体可以用于根据设置的查询范围，对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果。
基于非发布状态下，获取的为离线反馈信息时，所述判断子单元，具体用于确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作；
所述标记子单元，具体用于根据所述判断子单元的判断结果为是时，将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型。
所述生成子单元，具体用于根据所述标记子单元中的所述检测正确的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
若所述判断子单元中判断结果为否时，将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；所述生成子单元，用于根据所述检测错误的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
确定单元303，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
所述确定单元303包括：统计子单元和确定子单元。
所述统计子单元，用于对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据。
所述统计数据可以包括至少如下一种数据：
系统标为正确的标记占比；
系统标为正确时检测指标利用率的最大值；
系统标为错误的标记占比；
系统标为错误时检测指标利用率的最小值；
用户标为正确的标记占比；
用户标为正确时检测指标利用率的最大值；
用户标为错误的标记占比；
用户标为错误时检测指标利用率的最小值。
所述统计子单元，具体可以用于根据设定的统计时间，对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据。
所述确定子单元，用于根据所述标记数据，确定所述检测信息的目标标记信息。
所述确定子单元可以包括：标记类型确定子单元、选取子单元以及目标确定子单元。
所述标记类型确定子单元，用于确定所述标记信息中是否有标记类型信息为用户标的标记信息。
所述选取子单元，用于根据所述标记类型确定子单元的确定结果为是时，则当所述标记类型信息为用户标，选取用户标为正确时标记信息占比和用户标为错误标记信息占比中的占比最大值；或者是，当所述标记类型信息均为正确的用户标时，选取相对应检测指标的利用率最大值；或者是，当所述标记类型信息均为错误的用户标时，选取相对应检测指标的利用率最小值。
所述目标确定子单元，用于根据选取的所述占比最大值或利用概率最大值或利用率最小值，对应的标记状态信息和标记类型信息，确定为所述检测信息的目标标记信息。
所述标记类型确定子单元中若确定结果为否时，所述选取子单元具体用于选取所述标记类型信息为系统标，且标记状态信息为错误的标记占比是否满足设定阈值要求。所述目标确定子单元，则根据所述选取子单元中若错误的标记占比满足设定阈值要求时，将标记状态信息为错误的标记信息确定为所述检测信息的目标标记信息。若错误的标记占比不满足设定阈值要求时，则将标记状态信息为正确的标记信息确定为所述检测信息的目标标记信息。
以上是对本申请提供的一种数据标记装置实施例的概述，具体内容可以参考前述提供的一种数据标记方法实施例，此处不再重复赘述。
基于上述内容，本申请还提供一种基于应用发布系统中检测信息的标记方法，机器学习被广泛的应用在各行各业，例如：系统发布、安全检测等等。对于系统发布，在发布过程中，需要盯着各种屏幕，去看各种数据，通过人为的判断本次发布有没有问题，同时通过人为对异常情况进行标注，那么必然需要投入大量人力成本，并且检测效果也不尽理想，因此，本申请提供的基于应用发布系统中检测信息的标记方法，能够自动对异常信息进行标记，并将标记的数据应用在机器学习中的各行各业。
应用发布通过自动化采集实时的核心数据，进行智能化分析，迅速对发布状况进行判断，实现对发布过程中异常情况的检测，从而降低成本。
请参考图4所示，图4是本申请提供的一种基于应用发布系统中数据标记方法实施例的流程图。该方法包括：
步骤S301：获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
在应用发布系统中，检测指标中的业务指标是最直接反应当前发布有没有问题的指标，如果影响到业务，那么就是有问题的。基础指标，可以例如机器的内存使用情况，cpu使用率，load情况，磁盘io等，这些指标一般在发布过程中不太会发生明显的变化，但是一旦发生了明显变化，就可能有问题了，能够检测到异常信息。中间件指标以及一些接口指标等。异常检测信息均是在无人值守应用发布过程中对检测指标的检测。
步骤S302：根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
步骤S303：根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
对于应用发布系统中检测信息的标记方法实现过程可以参考上述步骤S201-S203，此处不再赘述。
为更好的了解本实施例，下面将结合具体应用场景，通过机器学习对无人值守应用发布系统中检测异常信息进行标记过程的描述：
例如：应用a的http接口服务a1的成功率在发布前是80％，在发布过程中降低到了60％，无人值守系统检测出后暂停了发布，被开发恢复并且完成了发布，则得到标记a1为60％也是正常的，系统会给这次检测打个标记为错误，类型是系统标。在应用画像计算逻辑里会给指标a1的画像值记为60％，下次发布的时候如果a1由80％下跌到70％，这时对比70％大于60％，则不会报错给用户。如果由80％跌到50％，比较后发现50％小于60％，则会暂停发布，如果开发继续发布结束，发布完后会得到这次检测无效，标记为系统标，并更新画像值为50％。但是如果这次80％降低到50％时发布被暂停时用户主动标记为有效，虽然发布正常结束没有回滚，但是结束后会给这次检测打标为有效，类型是用户标。在计算画像时会将指标a1的健康值最大值更新成50％。监督学习(包括半监督学习)和无监控学习的区别在于最后的标记回流，通过本申请实施例中收集到大量的标记能够回流，从而影响下次的发布检测。
以上是对本申请提供的一种基于应用发布系统中数据标记方法实施例的概述，相应的，本申请还提供一种基于应用发布系统中数据标记装置实施例，请参考图5所示，图5是本申请提供的一种基于应用发布系统中数据标记装置实施例的结构示意图。
该装置包括：
获取单元501，用于获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
所述获取单元501的具体实现过程可以参考上述步骤S201，此处不再赘述。
生成单元502，用于根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
所述生成单元502的具体实现过程可以参考上述步骤S202，此处不再赘述。
确定单元503，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
所述确定单元503的具体实现过程可以参考上述步骤S203，此处不再赘述。
基于上述内容，本申请还提供一种基于标记数据的模型训练方法，包括：
将上述的数据标记方法中的目标标记信息确定为训练数据；
将训练数据输入到模型中进行训练，获得能够对检测指标进行检测的训练模型。其中，目标标记信息为上述步骤S201-步骤S203中所描述的内容，此处不再赘述。
本申请还提供一种基于训练模型的发布异常检测方法，包括：
在应用服务发布过程中，获取针对检测指标检测到的检测数据；
将所述检测数据输入到采用上述基于标记数据的模型训练方法获得的训练模型中，对所述检测数据进行筛查，获得筛查结果；
根据所述筛查结果，确定所述检测数据是否为异常数据。
在一些实施例中，还包括：
针对所述检测数据是否为异常数据的确定结果，获取所述应用服务发布后的用户操作行为数据；
根据所述用户操作行为数据，调整所述训练模型中的异常筛查阈值，获得更新后的训练模型；
所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
将所述检测数据输入到更新后的训练模型中，对所述检测数据进行筛查，获得筛查结果。
在一些实施例中，所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
提取所述检测数据的特征值；
将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的特征值进行比较，获得所述检测数据的筛查结果。
在一些实施例中，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值满足异常筛查阈值要求时，则检测数据的筛查结果为异常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据异常的筛查结果，确定所述检测数据为异常数据。
在一些实施例中，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值不满足异常筛查阈值要求时，则检测数据的筛查结果为正常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据正常的筛查结果，确定所述检测数据为正常数据。
基于上述内容，本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本实施例中的所述程序在被读取执行时，执行的步骤具体还可以是上述数据标记方法中，步骤S201至步骤S203中所描述的步骤，此处不再对具体执行步骤进行重复描述。
可以理解的是，所述计算机存储介质存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序，程序在被读取执行时，还可以执行如下步骤：
获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定针对所述发布系统中所述检测信息的目标标记信息。
可以理解的是，所述计算机存储介质存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序，程序在被读取执行时，还可以执行如下步骤：
将上述数据标记方法中的目标标记信息确定为训练数据；
将训练数据输入到训练模型中进行训练，获得能够对检测指标进行检测的训练模型。
可以理解的是，所述计算机存储介质存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序，程序在被读取执行时，还可以执行如下步骤：
在应用服务发布过程中，获取针对检测指标检测到的检测数据；
将所述检测数据输入到如上述基于标记数据的模型训练方法获得的训练模型中，对所述检测数据进行筛查，获得筛查结果；
根据所述筛查结果，确定所述检测数据是否为异常数据。
上述程序执行的步骤时，也同样可以按照所述步骤S201至步骤S203中所描述的内容具体执行，此处不再赘述。
基于上述内容，本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
本实施例中的所述程序在被读取执行时，执行的步骤具体还可以是上述数据标记方法中，步骤S201至步骤S203中所描述的步骤，此处不再对具体执行步骤进行重复描述。
可以理解的是，所述存储器中存储的程序，在被读取执行时，还可以执行如下步骤：
获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定针对所述发布系统中所述检测信息的目标标记信息。
可以理解的是，所述存储器中存储的程序，在被读取执行时，还可以执行如下步骤：
将上述数据标记方法中的目标标记信息确定为训练数据；
将训练数据输入到训练模型中进行训练，获得能够对检测指标进行检测的训练模型。
可以理解的是，所述存储器中存储的程序，在被读取执行时，还可以执行如下步骤：
在应用服务发布过程中，获取针对检测指标检测到的检测数据；
将所述检测数据输入到如上述基于标记数据的模型训练方法获得的训练模型中，对所述检测数据进行筛查，获得筛查结果；
根据所述筛查结果，确定所述检测数据是否为异常数据。
上述程序执行的步骤时，也同样可以按照所述步骤S201至步骤S203中所描述的内容具体执行，此处不再赘述。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (31)
1.一种数据标记方法，其特征在于，包括：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
2.根据权利要求1所述的数据标记方法，其特征在于，所述获取针对检测指标检测到的检测信息，包括：
获取针对检测指标检测到的异常检测信息。
3.根据权利要求1所述的数据标记方法，其特征在于，所述获取针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息，包括：
基于发布状态下，获取针对所述检测信息，发布过程中返回的在线反馈信息；或者，
基于发布状态下，获取针对所述检测信息，发布结束后返回的离线反馈信息。
4.根据权利要求3所述的数据标记方法，其特征在于，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于发布状态下的离线反馈信息时，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测正确的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
5.根据权利要求4所述的数据标记方法，其特征在于，所述当获取的所述反馈信息为离线反馈信息时，确定所述离线反馈信息中的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测错误的标记状态和所述系统标的标记类型，生成所述检测信息的标记信息。
6.根据权利要求3所述的数据标记方法，其特征在于，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于发布状态下的在线反馈信息时，确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测正确的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
7.根据权利要求6所述的数据标记方法，其特征在于，所述当获取的所述反馈信息为基于发布状态下的在线反馈信息时，确定所述在线反馈信息中的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测错误的标记状态和所述用户标的标记类型，生成所述检测信息的标记信息。
8.根据权利要求1所述的数据标记方法，其特征在于，所述获取针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息，包括：
基于非发布状态下，获取针对所述检测信息，当前返回的在线反馈信息；或者，
基于非发布状态下，获取针对所述检测信息，检测结束后返回的离线反馈信息。
9.根据权利要求8所述的数据标记方法，其特征在于，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否满足对所述检测信息标记的标记要求；
若为是，则将所述检测信息状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测正确的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
10.根据权利要求9所述的数据标记方法，其特征在于，所述当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否为满足对所述检测信息标记的标记要求，若为否时，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为系统标的标记类型；
根据所述检测错误的标记状态和所述系统标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
11.根据权利要求9或10所述的数据标记方法，其特征在于，所述当获取的所述反馈信息为基于非发布状态下的在线反馈信息时，确定所述在线反馈信息中对所述检测信息的操作处理是否为满足对所述检测信息标记的标记要求，包括：
对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果；
根据所述变更操作查询结果，确定基于所述非发布状态下的在线反馈信息的操作处理是否为对所述检测信息进行变更操作；
若是，则确定所述在线反馈信息中对所述检测信息的操作处理满足对所述检测信息标记的标记要求。
12.根据权利要求11所述的数据标记方法，其特征在于，所述对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果，包括：
根据设置的查询范围，对所述检测信息的操作处理进行变更操作查询，获得所述检测信息的变更操作查询结果。
13.根据权利要求8所述的数据标记方法，其特征在于，所述根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，包括：
当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作；
若为是，则将所述检测状态属性标记为检测正确的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测正确的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
14.根据权利要求13所述的数据标记方法，其特征在于，所述当获取的所述反馈信息为基于非发布状态下的离线反馈信息时，确定基于所述离线反馈信息的操作处理是否为对所述检测信息进行变更操作，若为否，则将所述检测信息状态属性标记为检测错误的标记状态，将所述检测信息类型属性标记为用户标的标记类型；
根据所述检测错误的标记状态和所述用户标的标记类型，生成基于非发布状态下的所述检测信息的标记信息。
15.根据权利要求1所述的数据标记方法，其特征在于，所述根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息，包括：
对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据；
根据所述标记数据，确定所述检测信息的目标标记信息。
16.根据权利要求15所述的数据标记方法，其特征在于，所述标记数据包括至少如下一种数据：
系统标为正确的标记占比；
系统标为正确时检测指标利用率的最大值；
系统标为错误的标记占比；
系统标为错误时检测指标利用率的最小值；
用户标为正确的标记占比；
用户标为正确时检测指标利用率的最大值；
用户标为错误的标记占比；
用户标为错误时检测指标利用率的最小值。
17.根据权利要求16所述的数据标记方法，其特征在于，所述根据所述标记数据，确定所述检测信息的目标标记信息，包括：
确定所述标记信息中是否有标记类型信息为用户标的标记信息；
若是，则当所述标记类型信息为用户标，选取用户标为正确时标记信息占比和用户标为错误标记信息占比中的占比最大值；或者是，当所述标记类型信息均为正确的用户标时，选取相对应检测指标的利用率最大值；或者是，当所述标记类型信息均为错误的用户标时，选取相对应检测指标的利用率最小值；
根据选取的所述占比最大值或利用概率最大值或利用率最小值，对应的标记状态信息和标记类型信息，确定为所述检测信息的目标标记信息。
18.根据权利要求17所述的数据标记方法，其特征在于，所述确定所述标记信息中是否有标记类型信息为用户标的标记信息；
若否，则选取所述标记类型信息为系统标，且标记状态信息为错误的标记占比是否满足设定阈值要求；
若满足，则将标记状态信息为错误的标记信息确定为所述检测信息的目标标记信息。
19.根据权利要求18所述的数据标记方法，其特征在于，当所述标记状态信息为错误的标记占比不满足设定阈值要求，则将标记状态信息为正确的标记信息确定为所述检测信息的目标标记信息。
20.根据权利要求15所述的数据标记方法，其特征在于，所述对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据，包括：
根据设定的统计时间，对所述检测信息的所述标记状态信息和对应的所述标记类型信息统计，获得用于描述所述检测信息中所述标记状态信息和对应的所述标记类型信息的标记数据。
21.一种数据标记装置，其特征在于，包括：
获取单元，用于获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
生成单元，用于根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
确定单元，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
22.一种基于应用发布系统中检测信息的标记方法，其特征在于，包括：
获取应用发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定针对所述发布系统中所述检测信息的目标标记信息。
23.一种基于发布系统中检测信息的标记装置，其特征在于，包括：
获取单元，用于获取发布系统中针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
生成单元，用于根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
确定单元，用于根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定针对所述发布系统中所述检测信息的目标标记信息。
24.一种基于标记数据的模型训练方法，其特征在于，包括：
将上述权利要求1-20任意一项所述的数据标记方法中的目标标记信息确定为训练数据；
将训练数据输入到训练模型中进行训练，获得能够对检测指标进行检测的训练模型。
25.一种基于训练模型的发布异常检测方法，其特征在于，包括：
在应用服务发布过程中，获取针对检测指标检测到的检测数据；
将所述检测数据输入到如上述权利要求24所述的基于标记数据的模型训练方法获得的训练模型中，对所述检测数据进行筛查，获得筛查结果；
根据所述筛查结果，确定所述检测数据是否为异常数据。
26.根据权利要求25所述的基于训练模型的发布异常检测方法，其特征在于，还包括：
针对所述检测数据是否为异常数据的确定结果，获取所述应用服务发布后的用户操作行为数据；
根据所述用户操作行为数据，调整所述训练模型中的异常筛查阈值，获得更新后的训练模型；
所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
将所述检测数据输入到更新后的训练模型中，对所述检测数据进行筛查，获得筛查结果。
27.根据权利要求25所述的基于训练模型的发布异常检测方法，其特征在于，所述将所述检测数据输入到训练模型中，对所述检测数据进行筛查，获得筛查结果，包括：
提取所述检测数据的特征值；
将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的特征值进行比较，获得所述检测数据的筛查结果。
28.根据权利要求27所述的基于训练模型的发布异常检测方法，其特征在于，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值满足异常筛查阈值要求时，则检测数据的筛查结果为异常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据异常的筛查结果，确定所述检测数据为异常数据。
29.根据权利要求27所述的基于训练模型的发布异常检测方法，其特征在于，所述将输入到所述训练模型中的所述特征值与所述训练模型中训练获得的训练特征值进行比较，获得所述检测数据的筛查结果，包括：
当所述特征值与所述训练特征值不满足异常筛查阈值要求时，则检测数据的筛查结果为正常；
所述根据所述筛查结果，确定所述检测数据是否为异常数据，包括：
根据正常的筛查结果，确定所述检测数据为正常数据。
30.一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
31.一种电子设备，包括：
处理器；
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如下步骤：
获取针对检测指标检测到的检测信息以及针对所述检测信息返回的，用于描述针对所述检测信息进行相应操作处理的反馈信息；
根据所述反馈信息，对所述检测信息进行标记，生成用于描述所述检测信息检测属性的标记信息，其中，所述标记信息包括表征所述检测信息状态属性的标记状态信息和与所述标记状态信息对应的，用于表征所述检测信息类型属性的标记类型信息；
根据所述检测信息的所述标记状态信息和对应的所述标记类型信息，确定所述检测信息的目标标记信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356911.7A CN113032242B (zh) | 2019-12-25 | 2019-12-25 | 数据标记方法及装置，计算机存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356911.7A CN113032242B (zh) | 2019-12-25 | 2019-12-25 | 数据标记方法及装置，计算机存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032242A true CN113032242A (zh) | 2021-06-25 |
| CN113032242B CN113032242B (zh) | 2024-02-09 |
Family
ID=76458411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911356911.7A Active CN113032242B (zh) | 2019-12-25 | 2019-12-25 | 数据标记方法及装置，计算机存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032242B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043682A (zh) * | 2011-01-27 | 2011-05-04 | 中国农业银行股份有限公司 | 一种工作流异常处理方法和系统 |
| CN104303148A (zh) * | 2012-03-22 | 2015-01-21 | 爱迪德加拿大公司 | 更新软件组件 |
| CN106790062A (zh) * | 2016-12-20 | 2017-05-31 | 国家电网公司 | 一种基于反向dns查询属性聚合的异常检测方法及系统 |
| CN107392015A (zh) * | 2017-07-06 | 2017-11-24 | 长沙学院 | 一种基于半监督学习的入侵检测方法 |
| CN107844312A (zh) * | 2017-11-06 | 2018-03-27 | 深圳市新国都技术股份有限公司 | 一种软件更新监控方法和系统 |
| CN107992315A (zh) * | 2017-11-21 | 2018-05-04 | 上海斐讯数据通信技术有限公司 | 一种应用程序自动升级方法及存储介质 |
| CN108075906A (zh) * | 2016-11-08 | 2018-05-25 | 上海有云信息技术有限公司 | 一种用于云计算数据中心的管理方法及系统 |
| CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测系统和方法 |
| CN109445985A (zh) * | 2018-09-03 | 2019-03-08 | 平安普惠企业管理有限公司 | 应用程序的回滚方法及系统 |
| US20190272470A1 (en) * | 2018-03-05 | 2019-09-05 | Microsoft Technology Licensing, Llc | Rule-Based Classification for Detected Anomalies |
| CN110365703A (zh) * | 2019-07-30 | 2019-10-22 | 国家电网有限公司 | 物联网终端异常状态检测方法、装置及终端设备 |
-
2019
- 2019-12-25 CN CN201911356911.7A patent/CN113032242B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043682A (zh) * | 2011-01-27 | 2011-05-04 | 中国农业银行股份有限公司 | 一种工作流异常处理方法和系统 |
| CN104303148A (zh) * | 2012-03-22 | 2015-01-21 | 爱迪德加拿大公司 | 更新软件组件 |
| CN108075906A (zh) * | 2016-11-08 | 2018-05-25 | 上海有云信息技术有限公司 | 一种用于云计算数据中心的管理方法及系统 |
| CN106790062A (zh) * | 2016-12-20 | 2017-05-31 | 国家电网公司 | 一种基于反向dns查询属性聚合的异常检测方法及系统 |
| CN107392015A (zh) * | 2017-07-06 | 2017-11-24 | 长沙学院 | 一种基于半监督学习的入侵检测方法 |
| CN107844312A (zh) * | 2017-11-06 | 2018-03-27 | 深圳市新国都技术股份有限公司 | 一种软件更新监控方法和系统 |
| CN107992315A (zh) * | 2017-11-21 | 2018-05-04 | 上海斐讯数据通信技术有限公司 | 一种应用程序自动升级方法及存储介质 |
| US20190272470A1 (en) * | 2018-03-05 | 2019-09-05 | Microsoft Technology Licensing, Llc | Rule-Based Classification for Detected Anomalies |
| CN109213656A (zh) * | 2018-07-23 | 2019-01-15 | 武汉智领云科技有限公司 | 一种交互式大数据智能异常检测系统和方法 |
| CN109445985A (zh) * | 2018-09-03 | 2019-03-08 | 平安普惠企业管理有限公司 | 应用程序的回滚方法及系统 |
| CN110365703A (zh) * | 2019-07-30 | 2019-10-22 | 国家电网有限公司 | 物联网终端异常状态检测方法、装置及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| HANS JERIA; JORGE VILLALON: "Incorporating Open Education Resources into Computer Supported Marking Tool to Enhance Formative Feedback Creation", 《2017 IEEE 17TH INTERNATIONAL CONFERENCE ON ADVANCED LEARNING TECHNOLOGIES (ICALT)》 * |
| 许勐;李兴华;刘海;钟成;马建峰;: "基于半监督学习和信息增益率的入侵检测方案", 计算机研究与发展, no. 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032242B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10216558B1 (en) | Predicting drive failures | |
| US9129228B1 (en) | Robust and fast model fitting by adaptive sampling | |
| CN111538642B (zh) | 一种异常行为的检测方法、装置、电子设备及存储介质 | |
| US20120221508A1 (en) | Systems and methods for efficient development of a rule-based system using crowd-sourcing | |
| WO2020062702A1 (zh) | 短信发送的方法、装置、计算机设备和存储介质 | |
| AU2019275633B2 (en) | System and method of automated fault correction in a network environment | |
| CN110471945B (zh) | 活跃数据的处理方法、系统、计算机设备和存储介质 | |
| CN111767957B (zh) | 一种日志异常的检测方法、装置、存储介质及电子设备 | |
| CN111124732A (zh) | 一种磁盘故障的预测方法、系统、设备及存储介质 | |
| CN111984511B (zh) | 一种基于二分类的多模型磁盘故障预测方法和系统 | |
| CN113535454A (zh) | 一种日志数据异常检测的方法及设备 | |
| CN111858108A (zh) | 一种硬盘故障预测方法、装置、电子设备和存储介质 | |
| CN112596964A (zh) | 磁盘故障的预测方法及装置 | |
| CN111143103A (zh) | 一种关联关系确定方法、装置、设备及可读存储介质 | |
| CN115169490A (zh) | 一种日志分类方法、装置、设备及计算机可读存储介质 | |
| CN111160959A (zh) | 一种用户点击转化预估方法及装置 | |
| US11887012B1 (en) | Anomaly detection using RPCA and ICA | |
| CN113032242B (zh) | 数据标记方法及装置，计算机存储介质和电子设备 | |
| CN110069379B (zh) | 监控指标的筛选方法及筛选装置 | |
| CN109039695B (zh) | 业务故障处理方法、装置及设备 | |
| CN114756401B (zh) | 基于日志的异常节点检测方法、装置、设备及介质 | |
| CN112445687A (zh) | 一种计算设备的卡顿检测方法及相关装置 | |
| CN115659045A (zh) | 用户操作的识别方法、装置、存储介质以及电子设备 | |
| CN112100139B (zh) | 基于大数据的数据质量自动检测系统 | |
| CN111258788A (zh) | 磁盘故障预测方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |