CN112183053A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN112183053A CN112183053A CN202011077971.8A CN202011077971A CN112183053A CN 112183053 A CN112183053 A CN 112183053A CN 202011077971 A CN202011077971 A CN 202011077971A CN 112183053 A CN112183053 A CN 112183053A
- Authority
- CN
- China
- Prior art keywords
- processed
- text
- processing
- working state
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 322
- 238000004458 analytical method Methods 0.000 claims abstract description 82
- 238000012544 monitoring process Methods 0.000 claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 62
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据处理方法及装置，获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点；通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果；如果分析结果指示服务异常，则进行预警处理，实现从非功能性服务质量方面对服务质量进行监控，提高监控准确度。并且处理待处理文本的处理节点与待处理文本集合中待处理文本的数据量匹配，实现节点集群的自动缩放容，在保证服务稳定的情况下有效控制监控成本。
Description
技术领域
本申请属于服务质量监控技术领域，尤其涉及一种数据处理方法及装置。
背景技术
服务质量监控是各互联网平台的基础运维工作，通过服务质量监控对各互联网平台中用于提供服务的各个设备(如服务器)进行监控，其中服务质量监控包括硬件监控和软件监控，若通过硬件监控和软件监控中的至少一种监控方式确定出现异常趋势，进行预警处理，以有效提高设备的服务质量。
目前对提供服务的各个设备的监控由各互联网平台中的监控终端执行，监控终端从指定位置中获取硬件数据和软件数据，硬件数据和软件数据通过部署在提供服务的各个设备中的采集软件采集，如硬件数据包括但不限于CPU(中央处理器，Central ProcessingUnit)使用率、内存使用率、IO(输入输出，Input-Output)使用状况等，软件数据包括但不限于日志数据。监控终端对硬件数据和软件数据进行实时监控，若确定硬件数据和软件数据中的至少一种数据出现异常，则进行预警处理。但是目前服务质量监控都是借助提供服务的各个设备的硬件数据和软件数据进行监控，以从提供服务的各个设备的功能性服务质量方面进行监控。
发明内容
有鉴于此，本申请的目的在于提供一种数据处理方法及装置，用于从非功能性服务质量方面对服务质量进行监控。技术方案如下：
一方面，本申请提供一种数据处理方法，所述方法包括：
获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；
根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；
通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；
如果所述分析结果指示服务异常，则进行预警处理。
可选的，所述根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点包括：
根据所述待处理文本集合中待处理文本的数据量，确定所述节点集群中当前处于工作状态的处理节点是否能处理所述所有待处理文本；
如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为所述待处理文本对应的处理节点；
如果当前处于工作状态的处理节点不能处理所有待处理文本，根据所述待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在所述节点集群中增设至少一个处于工作状态的处理节点，以分配与所述待处理文本集合中待处理文本的数据量匹配的处理节点。
可选的，所述在所述节点集群中增设至少一个处于工作状态的处理节点包括：
如果所述节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态；
如果所述节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态，在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态；
如果所述节点集群中不存在处于非工作状态的处理节点，则在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
可选的，所述通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，对所述待处理文本进行分词处理，得到所述待处理文本中的各个词语；
计算所述各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算所述各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；
基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果。
可选的，所述基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，基于所述待处理文本的词语相似度和所述词语相似度对应的敏感词的敏感级别，得到所述待处理文本针对所述服务质量的评分；
基于所述待处理文本的业务类型，对所述待处理文本集合中的待处理文本进行划分，以得到对应相同业务类型的待处理文本所属的文本子集；
基于所述文本子集中所有待处理文本针对所述服务质量的评分，得到所述文本子集针对所述服务质量的评分，将所述文本子集针对所述服务质量的评分作为所述文本子集的分析结果。
可选的，所述如果所述分析结果指示服务异常，则进行预警处理包括：
如果所述分析结果指示服务异常，且从所述预设敏感词库的预警规则中查找到与所述待处理文本集合匹配的目标预警规则，则进行预警处理。
另一方面，本申请提供一种数据处理装置，所述装置包括：
获取单元，用于获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；
确定单元，用于根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；
分析单元，用于通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；
预警单元，用于如果所述分析结果指示服务异常，则进行预警处理。
可选的，所述确定单元包括：
第一确定子单元，用于根据所述待处理文本集合中待处理文本的数据量，确定所述节点集群中当前处于工作状态的处理节点是否能处理所述所有待处理文本；
选取子单元，用于如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为所述待处理文本对应的处理节点；
增设子单元，用于如果当前处于工作状态的处理节点不能处理所有待处理文本，根据所述待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在所述节点集群中增设至少一个处于工作状态的处理节点，以分配与所述待处理文本集合中待处理文本的数据量匹配的处理节点。
可选的，所述增设子单元，用于如果所述节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态；
如果所述节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态，在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态；
如果所述节点集群中不存在处于非工作状态的处理节点，则在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
可选的，所述分析单元，用于针对任一所述待处理文本，对所述待处理文本进行分词处理，得到所述待处理文本中的各个词语；计算所述各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算所述各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果。
上述数据处理方法及装置，获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点；通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果；如果分析结果指示服务异常，则进行预警处理，实现从非功能性服务质量方面对服务质量进行监控，以在功能性服务质量方面基础上增加非功能性服务质量方面的监控，提高监控准确度。并且在从非功能性服务质量方面进行监控过程中，可根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点，使得用于处理待处理文本的处理节点与待处理文本集合中待处理文本的数据量匹配，实现对节点集群中处理节点的自动缩放容，在保证服务稳定的情况下有效控制监控成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程图；
图2是本申请实施例提供的数据处理方法对应的处理系统的系统架构图；
图3是本申请实施例提供的一种数据处理方法的示意图；
图4是本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，其示出了本申请实施例提供的一种数据处理方法的流程图，可以包括以下步骤：
101：获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本。其中功能性服务质量方面主要是针对用于提供服务的各个设备，从用于提供服务的各个设备的硬件数据和软件数据方面对服务质量进行监控，如上述CPU使用率、内存使用率、IO使用状况和日志数据等，即采集各个设备在提供服务过程中体现设备本身变化的数据，因为这些数据能够体现设备本身变化，设备本身变化主要是设备的功能发生变化，如CPU使用率增多等等，所以通过体现设备本身变化的数据能够对设备从功能性服务质量方面进行服务质量监控。
非功能性服务质量方面与功能性服务质量方面相对应，与从体现设备本身变化的数据在功能性服务质量方面进行监控不同，非功能性服务质量方面可以理解为用户体验方面，在各设备提供服务的过程中用户会针对服务进行评论等等，在这一过程中会生成从非功能性服务质量方面(或者称为用户体验方面)进行服务质量监控的文本，如生成针对服务的UGC(用户原创内容，User Generated Content)，这些UGC是用户针对服务的使用感受等，由此可以将表明用户针对服务的使用感受的UGC作为待处理文本。
其中待处理文本可通过但不限于从评论区域和弹幕区域中获取，这些评论区域和弹幕区域可以位于提供服务的服务界面中，使得用户能够直接在服务界面的评论区域或弹幕区域中针对服务的使用感受进行评价，省去用户从服务界面中查找投诉入口的环节，实现针对服务的使用感受的在线吐槽。当然待处理文本也可以从投诉入口对应的投诉界面中获取，相对于在评论区域或弹幕区域来说，需要用户从服务界面中查找投诉入口，然后触发投诉入口以显示投诉界面，从而才能够使用户在投诉界面中输入针对服务的使用感受，而上述评论区域或弹幕区域可直接在服务界面中输入针对服务的使用感受，便于用户输入。
在本实施例中，待处理文本可通过数据接入模块获取，例如数据接入模块与服务界面相关联，在服务界面中输入针对服务的使用感受的待处理文本过程中，数据接入模块能够监测到用户的输入操作，从而通过数据接入模块获取到待处理文本。
在获取到待处理文本之后，将待处理文本存储在消息队列中，以通过消息队列和数据接入模块实现对高并发数据的有效缓冲，以控制同一时刻处理的待处理文本的数据量，其中消息队列可采用但不限于采用kafka队列形式，数据接入模块采集到的任一待处理文本可以存储到kafka队列中。
上述当前时刻的待处理文本集合是当前时刻进行敏感词分析的待处理文本的集合，待处理文本集合中待处理文本的数据量本实施例不进行限定，待处理文本集合可从但不限于从kafka队列中获取，如按照先进先出方式从kafka队列中提取一条条待处理文本。不同时刻的待处理文本集合中的待处理文本的数据量可以相同也可以不同，具体本实施例不进行限定。
102：根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点，以当前待处理文本集合中待处理文本的数据量为参照，分配与当前数据量相匹配的处理节点，使得节点集群当前的处理能力与当前所要处理的数据量匹配，以使得节点集群能够参照当前所要处理的数据量，对其处理能力进行自动缩放容。
其中从节点集群中确定与待处理文本对应的处理节点的一种方式如下：
1)根据待处理文本集合中待处理文本的数据量，确定节点集群中当前处于工作状态的处理节点是否能处理所有待处理文本。当前处于工作状态的处理节点是否能处理所有待处理文本视当前处于工作状态的处理节点的处理能力而定，如果处理能力指示的可处理数据量大于待处理文本集合中待处理文本的数据量，确定当前处于工作状态的处理节点能处理所有待处理文本，反之确定当前处于工作状态的处理节点不能处理所有待处理文本。
当前处于工作状态的处理节点的处理能力由处理节点当前可用资源而定，如当前CPU的可用率(即剩余使用率)、内存状况等等，具体本实施例不再详述。
2)如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为待处理文本对应的处理节点。
3)如果当前处于工作状态的处理节点不能处理所有待处理文本，根据待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在节点集群中增设至少一个处于工作状态的处理节点，以分配与待处理文本集合中待处理文本的数据量匹配的处理节点。
待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，用于表征处理待处理文本集合中所有待处理文本需要额外增加的处理能力，如通过数据量与处理能力之间的关系指示在节点集群中增设的处理节点的数量以及增设的处理节点所需处理的待处理文本的数量，以根据这些信息在节点集群中增设处于工作状态的处理节点，以能够处理当前待处理文本集合中的所有待处理文本。
在本实施例中增设至少一个处于工作状态的处理节点的方式包括但不限于如下方式：
如果节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点切换至工作状态。也就是说如果节点集群中已有的处理节点能够处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点启动，使其切换至工作状态来对待处理文本进行处理。
如果节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点切换至工作状态，在节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，说明节点集群中已有的处理节点不能够处理所有待处理文本，并且存在没有启动的处理节点，在这种情况下一方面控制节点集群中处于非工作状态的处理节点启动，使其切换至工作状态来对待处理文本进行处理，另一方面还需要在节点集群中部署新的处理节点并控制器进入工作状态，使得当前节点集群中的处理节点能够处理待处理文本集合中的所有待处理文本。
如果节点集群中不存在处于非工作状态的处理节点，则在节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
在这里需要说明的一点是：节点集群中处于工作状态的处理节点的数量以及节点集群中处理节点的总数与待处理文本集合中的待处理文本的数据量相关，其能够根据待处理文本的数据量的变化而变化，实现节点集群的自动缩放容。
在本实施例中，节点集群中的所有处理节点包括主处理节点(也称为Master节点)和从处理节点(也称为nodes节点)的集群，主处理节点接收待处理文本集合，根据待处理文本集合以及从处理节点中配置数据，控制节点集群中处于工作状态的从处理节点，配置数据用于指示从处理节点的处理能力，如配置数据包括但不限于表明从处理节点中各硬件的可用状态的数据，如表明CPU和内存的可用状态的数据，主处理节点根据配置数据控制从处理节点的状态，以从所有从处理节点中确定出适配的从处理节点。
节点集群可通过docker技术和k8s技术，其中k8s技术用于对从处理节点进行管理，通过k8s技术能够根据配置数据决定从处理节点的状态和是否增加从处理节点，实现自动缩放容。而在自动缩放容尤其是扩容情况下，可通过docker技术将针对待处理文本的敏感词分析服务部署到新增的从处理节点中，简化服务部署。
在确定出处理节点之后，本实施例能够根据处理节点的配置数据，分配各处理节点对应的待处理文本的数量，例如如果处理节点的配置数据指示处理节点的处理能力越高，则分配的待处理文本的数量越多，同样如果处理节点的配置数据指示处理节点的处理能力越低，则分配的待处理文本的数量越少，实现各处理节点之间的负载均衡，对于分配多少数量的待处理文本，本实施例不进行限定。
103：通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果。
可以理解的是：敏感词是预先设置的从非功能性服务质量方面指示服务异常的词语，敏感词存储在预设敏感词库中。其中预设敏感词库中的敏感词的获取方式包括但不限于：从历史预警处理对应的文本中提取能够指示服务异常的词语，将提取到的词语作为敏感词；显示一词语输入界面，获取用户在词语输入界面中输入的敏感词。
通过上述方式得到存储有敏感词的预设敏感词库，以通过预设敏感词库管理维护与服务质量相关的敏感词，例如：卡顿、慢、黑屏等。但是一个敏感词能够以其他词语表示，如傻瓜这一敏感词还能够以笨蛋、白痴等表示，因此在获取到敏感词之后还可以在预设敏感词库中增加敏感词对应的衍生词，以增加预设敏感词库的覆盖范围，适应多种描述的需求。例如用于提取敏感词的目标文本进行分词处理，得到目标文本中的多个词语；从多个词语中确定敏感词，并通过对敏感词的词义分析确定敏感词的同义词，敏感词的同义词则视为是敏感词的衍生词，例如可将LUCENCE和NLP(自然语言处理，Natural LanguageProcessing)相结合得到敏感词和敏感词的衍生词，对此本实施例不再详述。
在本实施例中，对各个待处理文本进行敏感词分析以得到分析结果的一种方式如下：
针对任一待处理文本，对待处理文本进行分词处理，得到待处理文本中的各个词语；计算各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；基于所有待处理文本的词语相似度，得到从非功能性服务质量方面指示服务质量的分析结果。
对待处理文本的分词处理包括但不限于利用LUCENCE和NLP等中的至少一种进行分词处理，以将待处理文本拆分成一个个独立的词语，从而能够与预设敏感词库中的敏感词和衍生词进行比对，计算词语相似度方式可参照但不限于目前相似度计算算法，对此本实施例不再阐述。
词语相似度越高，说明待处理文本中的词语与预设敏感词库中的词语越相似，反之说明待处理文本中的词语与预设敏感词库中的词语越不同，基于此本实施例预先设置一个相似度阈值。如果词语相似度大于相似度阈值，确定待处理文本中的词语在预设敏感词库中命中，即出现在预设敏感词库中；如果词语相似度小于或等于相似度阈值，确定待处理文本中的词语没有在预设敏感词库中命中，即没有出现在预设敏感词库中，通过统计待处理文本集合中所有待处理文本中的词语的命中次数，得到分析结果。例如命中次数大于阈值，得到指示服务异常的分析结果；如果命中次数小于或等于阈值，得到指示服务正常的分析结果。
除了采用命中次数的方式之外，本实施例还能够利用其他方式得到分析结果，例如针对任一待处理文本，基于待处理文本的词语相似度和词语相似度对应的敏感词的敏感级别，得到待处理文本针对服务质量的评分，基于所有待处理文本针对服务质量的评分，得到分析结果，如对所有待处理文本针对服务质量的评分进行平均，将平均分数作为分析结果。
其中，敏感词的敏感级别用于表征敏感词指示的服务异常程度，敏感级别越高，服务异常程度越高，相对应的敏感级别对应的权重也越高，使得敏感词在评价过程中占用的比重也越大。基于此本实施例基于词语相似度和词语相似度对应的敏感词的权重，得到待处理文本针对服务质量的评分，如通过权重对词语相似度进行加权求和，得到待处理文本针对服务质量的评分。
在本实施例中，得到分析结果过程中还能够通过业务类型进行区分，以得到每个业务类型对应的分析结果，过程如下：
针对任一待处理文本，基于待处理文本的词语相似度和词语相似度对应的敏感词的敏感级别，得到待处理文本针对服务质量的评分；基于待处理文本的业务类型，对待处理文本集合中的待处理文本进行划分，以得到对应相同业务类型的待处理文本所属的文本子集；基于文本子集中所有待处理文本针对服务质量的评分，得到文本子集针对服务质量的评分，将文本子集针对服务质量的评分作为文本子集的分析结果。
与上述基于所有待处理文本针对服务质量的评分得到分析结果的不同之处是：以一个业务类型对应的文本子集为单位，计算每个业务类型对应的文本子集的分析结果，从而能够针对业务类型的服务质量进行监控。得到每个业务类型对应的文本子集的分析结果的过程，请参见基于所有待处理文本针对服务质量的评分得到分析结果，对此本实施例不进行阐述。
104：如果分析结果指示服务异常，则进行预警处理。如输出告警信息至监控终端，由监控终端处的操作人员基于告警信息进行处理，例如能够通过但不限于EMAIL和短信通知中的至少一种方式输出告警信息。
在本实施例中，如果分析结果指示服务异常，还能够结合预设敏感词库中的预警规则确定是否进行预警处理，其可行方式是：如果分析结果指示服务异常且从预设敏感词库的预警规则中查找到与待处理文本集合匹配的目标预警规则，则进行预警处理。
预设敏感词库中的预警规则配置了预警触发条件，例如一条预警触发条件为预设时间内敏感词出现的次数，如1分钟内卡顿这一敏感词出现1000次，则会触发预警处理。本实施例基于预警规则与待处理文本集合中的待处理文本进行对比，以确定出是否存在与待处理文本集合匹配的目标预警规则。目标预警规则还可以对应告警信息的接收方，这样在进行预警处理过程中可将告警信息输出目标预警规则设定的接收方。
上述数据处理方法，获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点；通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果；如果分析结果指示服务异常，则进行预警处理，实现从非功能性服务质量方面对服务质量进行监控，以在功能性服务质量方面基础上增加非功能性服务质量方面的监控，提高监控准确度。并且在从非功能性服务质量方面进行监控过程中，可根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点，使得用于处理待处理文本的处理节点与待处理文本集合中待处理文本的数据量匹配，实现对节点集群中处理节点的自动缩放容，在保证服务稳定的情况下有效控制监控成本。
相对应数据处理方法，图2示出了实施数据处理方法的处理系统的系统架构图，包括数据接入模块、元数据模块、处理模块和警报通知模块。
数据接入模块用于采集待处理文本，通过数据接入模块利用大数据技术对高并发数据(即大量待处理文本)进行有效缓冲。元数据模块管理存储预设敏感词库，例如管理存储敏感词和预警规则，便于动态维护以及持续迭代优化。处理模块用于执行上述数据处理方法，以得到分析结果，并在分析结果指示服务异常的情况下，触发警报通知模型输出告警信息。
下面以从评论和弹幕等区域获取用户的使用感受的UGC为例进行说明，将表征用户的使用感受的UGC存储至kafka队列中，以在敏感词分析流程中具有一个统一的数据获取渠道，并且kafka队列具有高吞吐量的特性，对于高并发的问题也可以提供有效的缓冲。
表征用户的使用感受的UGC存储到kafka队列后，可通过一个执行上述数据处理方法的设备(图3中的consumer)获取待处理文本集合，然后由consumer从利用k8s技术管理的节点集群中确定出用于处理待处理文本集合中的待处理文本的处理节点(如图3中的nlpapi docker)，然后由处理节点进行敏感词分析，得到分析结果，如果分析结果指示服务异常且从预设敏感词库中查找到目标预警规则，则进行预警处理。
与上述方法实施例相对应，本申请实施例还提供一种数据处理装置，其结构如图4所示，可以包括：获取单元10、确定单元20、分析单元30和预警单元40。
获取单元10，用于获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本。
非功能性服务质量方面与功能性服务质量方面相对应，与从体现设备本身变化的数据在功能性服务质量方面进行监控不同，非功能性服务质量方面可以理解为用户体验方面，在各设备提供服务的过程中用户会针对服务进行评论等等，在这一过程中会生成从非功能性服务质量方面(或者称为用户体验方面)进行服务质量监控的文本，如生成针对服务的UGC，这些UGC是用户针对服务的使用感受等，由此可以将表明用户针对服务的使用感受的UGC作为待处理文本。
其中待处理文本可通过但不限于从评论区域和弹幕区域中获取，这些评论区域和弹幕区域可以位于提供服务的服务界面中，使得用户能够直接在服务界面的评论区域或弹幕区域中针对服务的使用感受进行评价，省去用户从服务界面中查找投诉入口的环节，实现针对服务的使用感受的在线吐槽。获取单元20也可以通过其他方式获取待处理文本，本实施例不再一一阐述。
确定单元20，用于根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点，以当前待处理文本集合中待处理文本的数据量为参照，分配与当前数据量相匹配的处理节点，使得节点集群当前的处理能力与当前所要处理的数据量匹配，以使得节点集群能够参照当前所要处理的数据量，对其处理能力进行自动缩放容。
其中，确定单元20的一种可选结构是，确定单元包括：第一确定子单元、选取子单元和增设子单元。
第一确定子单元，用于根据待处理文本集合中待处理文本的数据量，确定节点集群中当前处于工作状态的处理节点是否能处理所有待处理文本。当前处于工作状态的处理节点是否能处理所有待处理文本视当前处于工作状态的处理节点的处理能力而定，如果处理能力指示的可处理数据量大于待处理文本集合中待处理文本的数据量，确定当前处于工作状态的处理节点能处理所有待处理文本，反之确定当前处于工作状态的处理节点不能处理所有待处理文本。
当前处于工作状态的处理节点的处理能力由处理节点当前可用资源而定，如当前CPU的可用率(即剩余使用率)、内存状况等等，具体本实施例不再详述。
选取子单元，用于如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为待处理文本对应的处理节点。
增设子单元，用于如果当前处于工作状态的处理节点不能处理所有待处理文本，根据待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在节点集群中增设至少一个处于工作状态的处理节点，以分配与待处理文本集合中待处理文本的数据量匹配的处理节点。
待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，用于表征处理待处理文本集合中所有待处理文本需要额外增加的处理能力，如通过数据量与处理能力之间的关系指示在节点集群中增设的处理节点的数量以及增设的处理节点所需处理的待处理文本的数量，以根据这些信息在节点集群中增设处于工作状态的处理节点，以能够处理当前待处理文本集合中的所有待处理文本。
在本实施例中增设至少一个处于工作状态的处理节点的方式包括但不限于如下方式：
如果节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点切换至工作状态。也就是说如果节点集群中已有的处理节点能够处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点启动，使其切换至工作状态来对待处理文本进行处理。
如果节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制节点集群中处于非工作状态的处理节点切换至工作状态，在节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，说明节点集群中已有的处理节点不能够处理所有待处理文本，并且存在没有启动的处理节点，在这种情况下一方面控制节点集群中处于非工作状态的处理节点启动，使其切换至工作状态来对待处理文本进行处理，另一方面还需要在节点集群中部署新的处理节点并控制器进入工作状态，使得当前节点集群中的处理节点能够处理待处理文本集合中的所有待处理文本。
如果节点集群中不存在处于非工作状态的处理节点，则在节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
分析单元30，用于通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果。例如分析单元30针对任一待处理文本，对待处理文本进行分词处理，得到待处理文本中的各个词语；计算各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；基于所有待处理文本的词语相似度，得到从非功能性服务质量方面指示服务质量的分析结果，具体过程以及预设敏感词库的获取过程请参见上述实施例，对此本实施例不再阐述。
预警单元40，用于如果分析结果指示服务异常，则进行预警处理。如输出告警信息至监控终端，由监控终端处的操作人员基于告警信息进行处理，例如能够通过但不限于EMAIL和短信通知中的至少一种方式输出告警信息。
在本实施例中，如果分析结果指示服务异常，还能够结合预设敏感词库中的预警规则确定是否进行预警处理，其可行方式是：如果分析结果指示服务异常且从预设敏感词库的预警规则中查找到与待处理文本集合匹配的目标预警规则，则进行预警处理。预警规则的说明请参见上述方法实施例，此处不再阐述。
上述数据处理装置，获取当前时刻的待处理文本集合，待处理文本集合包括至少一条待处理文本，待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点；通过确定的处理节点对各个待处理文本进行敏感词分析，以得到从非功能性服务质量方面指示服务质量的分析结果；如果分析结果指示服务异常，则进行预警处理，实现从非功能性服务质量方面对服务质量进行监控，以在功能性服务质量方面基础上增加非功能性服务质量方面的监控，提高监控准确度。并且在从非功能性服务质量方面进行监控过程中，可根据待处理文本集合中待处理文本的数据量，从节点集群中确定与待处理文本对应的处理节点，使得用于处理待处理文本的处理节点与待处理文本集合中待处理文本的数据量匹配，实现对节点集群中处理节点的自动缩放容，在保证服务稳定的情况下有效控制监控成本。
本实施例还提供一种服务器，服务器包括处理器和存储器，存储器中存储有计算机程序代码，处理器运行计算机程序代码以实现上述数据处理方法。
本实施例还提供一种存储介质，存储介质中存储有程序代码，程序代码执行时实现上述数据处理方法。
需要说明的是，本说明书中的各个实施例可以采用递进的方式描述、本说明书中各实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；
根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；
通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；
如果所述分析结果指示服务异常，则进行预警处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点包括：
根据所述待处理文本集合中待处理文本的数据量，确定所述节点集群中当前处于工作状态的处理节点是否能处理所述所有待处理文本；
如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为所述待处理文本对应的处理节点；
如果当前处于工作状态的处理节点不能处理所有待处理文本，根据所述待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在所述节点集群中增设至少一个处于工作状态的处理节点，以分配与所述待处理文本集合中待处理文本的数据量匹配的处理节点。
3.根据权利要求2所述的方法，其特征在于，所述在所述节点集群中增设至少一个处于工作状态的处理节点包括：
如果所述节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态；
如果所述节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态，在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态；
如果所述节点集群中不存在处于非工作状态的处理节点，则在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
4.根据权利要求1所述的方法，其特征在于，所述通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，对所述待处理文本进行分词处理，得到所述待处理文本中的各个词语；
计算所述各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算所述各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；
基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果包括：
针对任一所述待处理文本，基于所述待处理文本的词语相似度和所述词语相似度对应的敏感词的敏感级别，得到所述待处理文本针对所述服务质量的评分；
基于所述待处理文本的业务类型，对所述待处理文本集合中的待处理文本进行划分，以得到对应相同业务类型的待处理文本所属的文本子集；
基于所述文本子集中所有待处理文本针对所述服务质量的评分，得到所述文本子集针对所述服务质量的评分，将所述文本子集针对所述服务质量的评分作为所述文本子集的分析结果。
6.根据权利要求4所述的方法，其特征在于，所述如果所述分析结果指示服务异常，则进行预警处理包括：
如果所述分析结果指示服务异常，且从所述预设敏感词库的预警规则中查找到与所述待处理文本集合匹配的目标预警规则，则进行预警处理。
7.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取当前时刻的待处理文本集合，所述待处理文本集合包括至少一条待处理文本，所述待处理文本为用于从非功能性服务质量方面进行服务质量监控的文本；
确定单元，用于根据所述待处理文本集合中待处理文本的数据量，从节点集群中确定与所述待处理文本对应的处理节点；
分析单元，用于通过确定的处理节点对各个所述待处理文本进行敏感词分析，以得到从所述非功能性服务质量方面指示服务质量的分析结果；
预警单元，用于如果所述分析结果指示服务异常，则进行预警处理。
8.根据权利要求7所述的装置，其特征在于，所述确定单元包括：
第一确定子单元，用于根据所述待处理文本集合中待处理文本的数据量，确定所述节点集群中当前处于工作状态的处理节点是否能处理所述所有待处理文本；
选取子单元，用于如果当前处于工作状态的处理节点能处理所有待处理文本，将当前处于工作状态的处理节点确定为所述待处理文本对应的处理节点；
增设子单元，用于如果当前处于工作状态的处理节点不能处理所有待处理文本，根据所述待处理文本集合中待处理文本的数据量与当前处于工作状态的处理节点的处理能力之间的关系，在所述节点集群中增设至少一个处于工作状态的处理节点，以分配与所述待处理文本集合中待处理文本的数据量匹配的处理节点。
9.根据权利要求8所述的装置，其特征在于，所述增设子单元，用于如果所述节点集群中存在处于非工作状态的处理节点，且处于非工作状态的处理节点和处于工作状态的处理节点能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态；
如果所述节点集群中存在处于非工作状态的处理节点，但处于非工作状态的处理节点和处于工作状态的处理节点不能处理所有待处理文本，则控制所述节点集群中处于非工作状态的处理节点切换至工作状态，在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态；
如果所述节点集群中不存在处于非工作状态的处理节点，则在所述节点集群中部署用于处理待处理文本的处理节点并控制进入工作状态。
10.根据权利要求7所述的装置，其特征在于，所述分析单元，用于针对任一所述待处理文本，对所述待处理文本进行分词处理，得到所述待处理文本中的各个词语；计算所述各个词语与预设敏感词库中各个敏感词之间的词语相似度，计算所述各个词语与预设敏感词库中各个敏感词的衍生词之间的词语相似度；基于所有待处理文本的词语相似度，得到从所述非功能性服务质量方面指示服务质量的分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077971.8A CN112183053A (zh) | 2020-10-10 | 2020-10-10 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077971.8A CN112183053A (zh) | 2020-10-10 | 2020-10-10 | 一种数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183053A true CN112183053A (zh) | 2021-01-05 |
Family
ID=73948653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011077971.8A Pending CN112183053A (zh) | 2020-10-10 | 2020-10-10 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183053A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010637A (zh) * | 2021-02-24 | 2021-06-22 | 世纪龙信息网络有限责任公司 | 一种文本审核方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886579A (zh) * | 2017-01-23 | 2017-06-23 | 北京航空航天大学 | 实时流式文本分级监控方法和装置 |
| CN107807815A (zh) * | 2017-10-19 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法和装置 |
| CN108446813A (zh) * | 2017-12-19 | 2018-08-24 | 清华大学 | 一种电商服务质量综合评价的方法 |
| CN108519970A (zh) * | 2018-02-06 | 2018-09-11 | 平安科技（深圳）有限公司 | 文本中敏感信息的鉴定方法、电子装置及可读存储介质 |
| CN109816220A (zh) * | 2019-01-07 | 2019-05-28 | 平安科技（深圳）有限公司 | 基于智能决策的业务质量监控及处理方法和装置 |
| WO2019214145A1 (zh) * | 2018-05-10 | 2019-11-14 | 平安科技（深圳）有限公司 | 文本情绪分析方法、装置及存储介质 |
| CN111506401A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 自动驾驶仿真任务调度方法、装置、电子设备及存储介质 |
-
2020
- 2020-10-10 CN CN202011077971.8A patent/CN112183053A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886579A (zh) * | 2017-01-23 | 2017-06-23 | 北京航空航天大学 | 实时流式文本分级监控方法和装置 |
| CN107807815A (zh) * | 2017-10-19 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法和装置 |
| CN108446813A (zh) * | 2017-12-19 | 2018-08-24 | 清华大学 | 一种电商服务质量综合评价的方法 |
| CN108519970A (zh) * | 2018-02-06 | 2018-09-11 | 平安科技（深圳）有限公司 | 文本中敏感信息的鉴定方法、电子装置及可读存储介质 |
| WO2019214145A1 (zh) * | 2018-05-10 | 2019-11-14 | 平安科技（深圳）有限公司 | 文本情绪分析方法、装置及存储介质 |
| CN109816220A (zh) * | 2019-01-07 | 2019-05-28 | 平安科技（深圳）有限公司 | 基于智能决策的业务质量监控及处理方法和装置 |
| CN111506401A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 自动驾驶仿真任务调度方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010637A (zh) * | 2021-02-24 | 2021-06-22 | 世纪龙信息网络有限责任公司 | 一种文本审核方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101984730B1 (ko) | 서버 장애 자동 예측 시스템 및 자동 예측 방법 | |
| US10572512B2 (en) | Detection method and information processing device | |
| US20170097863A1 (en) | Detection method and information processing device | |
| CN112712113B (zh) | 一种基于指标的告警方法、装置及计算机系统 | |
| US20160378583A1 (en) | Management computer and method for evaluating performance threshold value | |
| JPWO2010032701A1 (ja) | 運用管理装置、運用管理方法、および運用管理プログラム | |
| JP2018045403A (ja) | 異常検知システム及び異常検知方法 | |
| CN110955586A (zh) | 一种基于日志的系统故障预测方法、装置和设备 | |
| CN114443429B (zh) | 一种告警事件的处理方法、装置及计算机可读存储介质 | |
| CN114328102A (zh) | 设备状态监控方法、装置、设备及计算机可读存储介质 | |
| US11086919B2 (en) | Service regression detection using real-time anomaly detection of log data | |
| CN112532435A (zh) | 一种运维方法、运维管理平台、设备及介质 | |
| CN112183053A (zh) | 一种数据处理方法及装置 | |
| CN112948223A (zh) | 一种监测运行情况的方法和装置 | |
| JP6201079B2 (ja) | 監視システムおよび監視方法 | |
| Augustine et al. | Outage detection via real-time social stream analysis: leveraging the power of online complaints | |
| CN111782488B (zh) | 消息队列监控方法、装置、电子设备和介质 | |
| CN112699048A (zh) | 基于人工智能的程序故障处理方法、装置、设备及存储介质 | |
| KR20220020553A (ko) | 멀티 클라우드 환경에서 애플리케이션 성능 모니터링 방법 및 장치 | |
| Gu et al. | Online failure forecast for fault-tolerant data stream processing | |
| CN108255710B (zh) | 一种脚本的异常检测方法及其终端 | |
| CN115543671A (zh) | 数据分析方法、装置、设备、存储介质及程序产品 | |
| CN116225848A (zh) | 日志监测方法、装置、设备和介质 | |
| CN115098326A (zh) | 一种系统异常检测方法及装置、存储介质及电子设备 | |
| CN115687052A (zh) | 运行状态可视化监测方法、服务器和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |