CN107145547A - 一种异常数据的获取方法、设备及计算机可读存储介质 - Google Patents
一种异常数据的获取方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107145547A CN107145547A CN201710283099.4A CN201710283099A CN107145547A CN 107145547 A CN107145547 A CN 107145547A CN 201710283099 A CN201710283099 A CN 201710283099A CN 107145547 A CN107145547 A CN 107145547A
- Authority
- CN
- China
- Prior art keywords
- abnormal data
- unexpected message
- unexpected
- message
- duplicate removal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种异常数据的获取方法、设备及计算机可读存储介质，该方法包括：实时获取分布式系统中的异常数据；基于预置的异常数据模型，实时对所述异常数据进行定位，得到所述异常数据的发生时间，及所述异常数据在所述分布式系统中的位置；将异常消息写入Redis队列中；根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合，并将所述异常消息的集合发送至目标用户。本发明能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；对异常数据进行去重，并周期性的将去重后的异常数据发送至工程师，有效的减少了重复异常数据对工程师的干扰，提高了工程师对异常数据的排查效率。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种异常数据的获取方法、设备及计算机可读存储介质。
背景技术
在J2EE(Java 2Platform Enterprise Edition，Java2平台企业版)系统中，系统中难免会出现异常数据。异常数据会在浏览器页面中呈现，影响用户正常浏览页面，也可能让某些用户通过异常数据找到J2EE系统的破解办法。现有技术中，通常在浏览器页面中呈现一个友好的错误提示页面。当系统中出现异常数据时，用户向工程师反馈异常数据，工程师开始查找J2EE系统中的日志，通过对日志进行排查定位异常数据的位置，工程师处于被动处理异常数据的局面；同时，在分布式J2EE系统中，多台分布式J2EE系统服务器都在记录日志，工程师查找J2EE系统中的多台服务器中的日志排查异常数据非常困难。
现有技术中，J2EE系统只做到定向错误页面，记录异常数据到关系型数据库中，该方法存在两个弊端：第一，无法及时查找到系统异常数据，并通知工程师对异常数据进行处理；第二，J2EE系统采用分布式部署，J2EE系统仅能简单的记录异常数据，无法描述异常数据发生的场景以及位置。
发明内容
本发明的主要目的在于提出一种异常数据的获取方法、设备及计算机可读存储介质，旨在解决现有技术中不能对分布式系统中的异常数据及时获取并提供给目标用户解决异常数据的缺陷。
为实现上述目的，本发明提供的一种异常数据的获取方法，包括：
实时获取分布式系统中的异常数据；
基于预置的异常数据模型，实时对所述异常数据进行定位，得到所述异常数据的发生时间，及所述异常数据在所述分布式系统中的位置；
将异常消息写入Redis队列中，所述异常消息包括：所述异常数据，所述异常数据的发生时间，及所述异常数据在所述分布式系统中的位置；
根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合，并将所述异常消息的集合发送至目标用户。
可选的，所述实时获取分布式系统中的异常数据，包括：
通过所述分布式系统中预置的埋点实时获取所述分布式系统中的所述异常数据。
可选的，所述将所有异常消息写入Redis队列中，包括：
将所述异常消息通过原子操作的方式写入Redis队列中。
可选的，所述根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合，并将所述异常消息的集合发送至目标用户的步骤包括：
所述根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合；
基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将所述去重异常消息集合发送至所述目标用户。
可选的，在所述基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合之前，包括：
将所述异常消息的集合存储至设定数据库中。
可选的，所述基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合，包括：
基于所述预置的异常数据模型，根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的哈希值；
基于所述每个异常消息对应的哈希值，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合。
可选的，所述基于所述预置的异常数据模型，根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的哈希值，包括：
根据预置的异常数据模型，将所述异常消息的集合中的每个异常消息设置为多个不同维度的异常维度数据；
根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将所述异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值进行拼接，得到所述异常消息的集合中的每个异常消息对应的哈希值。
可选的，所述将所述去重异常消息集合发送至目标用户的步骤包括：
将所述去重异常消息集合以设定格式发送至所述目标用户。
此外，为实现上述目的，本发明还提出一种异常数据的获取设备，所述异常数据的获取设备包括处理器和存储器；
所述处理器用于执行存储器中存储的共享文件的程序，以实现上述的异常数据的获取方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的异常数据的获取方法的步骤。
本发明提出的一种异常数据的获取方法、设备及计算机可读存储介质，能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；对异常数据进行去重，并周期性的将去重后的异常数据发送至工程师，以供工程师对异常数据进行快速处理，有效的减少了重复异常数据对工程师的干扰，提高了工程师对异常数据的排查效率。
附图说明
图1为本发明第一实施例的异常数据的获取方法流程图；
图2为本发明第一～第六实施例的分布式J2EE系统中实时获取异常数据示意图；
图3为本发明第二实施例的异常数据的获取方法流程图；
图4为本发明第三实施例的异常数据的获取设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
本发明第一实施例，一种异常数据的获取方法，如图1～图2所示，包括以下具体步骤：
步骤S101，实时获取分布式系统中的异常数据。
可选的，步骤S101，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
步骤S102，基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
步骤S103，将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，步骤S103，包括：
将异常消息通过原子操作的方式写入Redis队列中；
异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
步骤S104，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
例如：根据设定的周期1分钟，获取当前周期1分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式系统中的位置进行定位，并对异常消息中的异常数据进行处理。
又如：根据设定的周期5分钟，获取当前周期5分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合以短信或邮件的形式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第一实施例所述的一种异常数据的获取方法，能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；并将异常数据及时发送至目标用户，以供目标用户对异常数据进行及时处理。
本发明第二实施例，一种异常数据的获取方法，如图3所示，包括以下具体步骤：
步骤S201，实时获取分布式系统中的异常数据。
可选的，步骤S201，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
步骤S202，基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
步骤S203，将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，步骤S203，包括：
将异常消息通过原子操作的方式写入Redis队列中；
异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
步骤S204，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
可选的，步骤S204，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S204，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
将异常消息的集合存储至设定数据库中；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S204，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于预置的异常数据模型，根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S204，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为多个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
其中，将去重异常消息集合以设定格式发送至目标用户。
将去重异常消息集合中的每个异常消息设置为设定格式的异常消息，得到格式化去重异常消息集合；
将异常消息转换为设定格式，包括：分别将异常消息中的异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置转换为设定格式的格式化数据。
例如：根据设定的周期1分钟，获取当前周期内1分钟内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为5个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第二实施例所述的一种异常数据的获取方法，能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；对异常数据进行去重，并周期性的将去重后的异常数据发送至目标用户，以供目标用户对异常数据进行快速处理，有效的减少了重复异常数据对工程师的干扰，提高了目标用户对异常数据的排查效率。
本发明第三实施例，一种异常数据的获取设备，如图4所示，包括以下组成部分：
处理器110和存储器109。在本发明的一些实施例中，这些部件可通过总线或者其它方式连接。
处理器110可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(英文：Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。其中，存储器用于存储所述处理器的可执行指令；
存储器109，用于存储程序代码，并将该程序代码传输给处理器110。存储器109可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器109也可以包括非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器109还可以包括上述种类的存储器的组合。存储器109通过总线与处理器110相连接。
其中，处理器110用于调用所述存储器109存储的程序代码管理代码，执行如下操作：
1)实时获取分布式系统中的异常数据。
可选的，实时获取分布式系统中的异常数据，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
2)基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
3)将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，将异常消息写入Redis队列中，包括：
将异常消息通过原子操作的方式写入Redis队列中。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
4)根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
例如：根据设定的周期1分钟，获取当前周期1分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式系统中的位置进行定位，并对异常消息中的异常数据进行处理。
又如：根据设定的周期5分钟，获取当前周期5分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合以短信或邮件的形式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第三实施例所述的一种异常数据的获取设备，能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；并将异常数据及时发送至目标用户，以供目标用户对异常数据进行及时处理。
本发明第四实施例，一种异常数据的获取设备，包括以下组成部分：
处理器110和存储器109。在本发明的一些实施例中，这些部件可通过总线或者其它方式连接。
处理器110可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(英文：Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。其中，存储器用于存储所述处理器的可执行指令；
存储器109，用于存储程序代码，并将该程序代码传输给处理器110。存储器109可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器109也可以包括非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器109还可以包括上述种类的存储器的组合。存储器109通过总线与处理器110相连接。
其中，处理器110用于调用所述存储器109存储的程序代码管理代码，执行如下操作：
1)实时获取分布式系统中的异常数据。
可选的，实时获取分布式系统中的异常数据，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
2)基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
3)将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，将异常消息写入Redis队列中，包括：
将异常消息通过原子操作的方式写入Redis队列中。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
4)根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
可选的，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
将异常消息的集合存储至设定数据库中；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于预置的异常数据模型，根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为多个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
其中，将去重异常消息集合以设定格式发送至目标用户。
将去重异常消息集合中的每个异常消息设置为设定格式的异常消息，得到格式化去重异常消息集合；
将异常消息转换为设定格式，包括：分别将异常消息中的异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置转换为设定格式的格式化数据。
例如：根据设定的周期1分钟，获取当前周期内1分钟内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为5个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第四实施例所述的一种异常数据的获取设备，能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；对异常数据进行去重，并周期性的将去重后的异常数据发送至目标用户，以供目标用户对异常数据进行快速处理，有效的减少了重复异常数据对工程师的干扰，提高了目标用户对异常数据的排查效率。
本发明第五实施例，一种计算机可读存储介质。
计算机存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。
计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：
步骤S501，实时获取分布式系统中的异常数据。
可选的，步骤S501，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
步骤S502，基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
步骤S503，将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，步骤S503，包括：
将异常消息通过原子操作的方式写入Redis队列中；
异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
步骤S504，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
例如：根据设定的周期1分钟，获取当前周期1分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式系统中的位置进行定位，并对异常消息中的异常数据进行处理。
又如：根据设定的周期5分钟，获取当前周期5分钟内写入Redis队列中的异常消息的集合，并将异常消息的集合以短信或邮件的形式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第五实施例所述的一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个异常数据的获取程序，通过异常数据的获取程序能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；并将异常数据及时发送至目标用户，以供目标用户对异常数据进行及时处理。
本发明第六实施例，一种计算机可读存储介质。
计算机存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。
计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：
步骤S601，实时获取分布式系统中的异常数据。
可选的，步骤S601，包括：
通过分布式系统中预置的埋点实时获取分布式系统中的异常数据。
例如：如图2所示，通过分布式J2EE系统中预置的埋点实时获取分布式J2EE系统中页面的异常数据的方式，包括：
依次调用控制(Controller)层、业务(Service)层、数据访问(Dao)和数据库(DB，DataBase)中预置的埋点实时获取分布式J2EE系统中页面的异常数据，并将页面中的异常数据依次通过数据库(DB，DataBase)、数据访问(Dao)、业务(Service)层和控制(Controller)层上报至全局异常拦截器，以供定位错误页面。
步骤S602，基于预置的异常数据模型，实时对异常数据进行定位，得到异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，异常数据模型为根据分布式系统中的硬件和软件，进行预先设计。
异常数据模型包括但不限于：机器IP(Internet Protocol，网络之间互连的协议)地址、应用服务器Tomcat(Apache Tomcat，汤姆猫)端口、线程名称、异常消息头、异常堆栈的字符串形式和时间戳等。
步骤S603，将异常消息写入Redis队列中；异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API(Application ProgrammingInterface,应用程序编程接口)。
ANSI C是由美国国家标准协会(ANSI)及国际标准化组织(ISO)推出的关于C语言的标准。
可选的，步骤S603，包括：
将异常消息通过原子操作的方式写入Redis队列中；
异常消息包括：异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置。
其中，原子操作(atomic operation)是指不会被线程调度机制打断的操作；原子操作一旦开始，就一直运行到结束，中间不会有任何切换到另一个线程(context switch)。原子操作可以是一个步骤，也可以是多个操作步骤，但是原子操作顺序不可以被打乱，也不可以被切割而只执行其中的一部分。
通过将异常消息通过原子操作的方式写入Redis队列中，能够有效的提高分布式系统并发处理异常数据的效率。
步骤S604，根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合，并将异常消息的集合发送至目标用户。
可选的，步骤S604，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S604，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
将异常消息的集合存储至设定数据库中；
基于哈希算法，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S604，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
基于预置的异常数据模型，根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
可选的，步骤S604，包括：
根据设定的周期，获取当前周期内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为多个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户。
其中，将去重异常消息集合以设定格式发送至目标用户。
将去重异常消息集合中的每个异常消息设置为设定格式的异常消息，得到格式化去重异常消息集合；
将异常消息转换为设定格式，包括：分别将异常消息中的异常数据，异常数据的发生时间，及异常数据在分布式系统中的位置转换为设定格式的格式化数据。
例如：根据设定的周期1分钟，获取当前周期内1分钟内写入Redis队列中的异常消息的集合；
根据预置的异常数据模型，将异常消息的集合中的每个异常消息设置为5个不同维度的异常维度数据；
根据预置的哈希函数，计算异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将异常消息的集合中的每个异常消息对应的5个不同维度的异常维度数据的哈希值进行拼接，得到异常消息的集合中的每个异常消息对应的哈希值；
基于每个异常消息对应的哈希值，对异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将去重异常消息集合以设定格式发送至目标用户(例如：工程师)，以供目标用户根据异常消息中的异常数据的发生时间，及异常数据在分布式J2EE系统中的位置进行定位，并对异常消息中的异常数据进行处理。
本发明第六实施例所述的一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个异常数据的获取程序，通过异常数据的获取程序能够实时对分布式系统中的异常数据进行实时采集，并对实时采集的异常数据进行并发处理；对异常数据进行去重，并周期性的将去重后的异常数据发送至目标用户，以供目标用户对异常数据进行快速处理，有效的减少了重复异常数据对工程师的干扰，提高了目标用户对异常数据的排查效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种异常数据的获取方法，其特征在于，包括：
实时获取分布式系统中的异常数据；
基于预置的异常数据模型，实时对所述异常数据进行定位，得到所述异常数据的发生时间，及所述异常数据在所述分布式系统中的位置；
将异常消息写入Redis队列中，所述异常消息包括：所述异常数据，所述异常数据的发生时间，及所述异常数据在所述分布式系统中的位置；
根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合，并将所述异常消息的集合发送至目标用户。
2.根据权利要求1所述的方法，其特征在于，所述实时获取分布式系统中的异常数据，包括：
通过所述分布式系统中预置的埋点实时获取所述分布式系统中的所述异常数据。
3.根据权利要求1所述的方法，其特征在于，所述将所有异常消息写入Redis队列中，包括：
将所述异常消息通过原子操作的方式写入Redis队列中。
4.根据权利要求1所述的方法，其特征在于，所述根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合，并将所述异常消息的集合发送至目标用户的步骤包括：
所述根据设定的周期，获取当前周期内写入所述Redis队列中的所述异常消息的集合；
基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合；
将所述去重异常消息集合发送至所述目标用户。
5.根据权利要求4所述的方法，其特征在于，在所述基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合之前，包括：
将所述异常消息的集合存储至设定数据库中。
6.根据权利要求4所述的方法，其特征在于，所述基于哈希算法，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合，包括：
基于所述预置的异常数据模型，根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的哈希值；
基于所述每个异常消息对应的哈希值，对所述异常消息的集合中的所有异常消息进行去重，得到去重异常消息集合。
7.根据权利要求6所述的方法，其特征在于，所述基于所述预置的异常数据模型，根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的哈希值，包括：
根据预置的异常数据模型，将所述异常消息的集合中的每个异常消息设置为多个不同维度的异常维度数据；
根据预置的哈希函数，计算所述异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值；
根据预置的维度排序，将所述异常消息的集合中的每个异常消息对应的多个不同维度的异常维度数据的哈希值进行拼接，得到所述异常消息的集合中的每个异常消息对应的哈希值。
8.根据权利要求4～7中任一项所述的方法，其特征在于，所述将所述去重异常消息集合发送至目标用户的步骤包括：
将所述去重异常消息集合以设定格式发送至所述目标用户。
9.一种异常数据的获取设备，其特征在于，所述异常数据的获取设备包括处理器和存储器；
所述处理器用于执行存储器中存储的共享文件的程序，以实现根据权利要求1～8中任一项所述的异常数据的获取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现根据权利要求1～8中任一项所述的异常数据的获取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710283099.4A CN107145547A (zh) | 2017-04-26 | 2017-04-26 | 一种异常数据的获取方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710283099.4A CN107145547A (zh) | 2017-04-26 | 2017-04-26 | 一种异常数据的获取方法、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107145547A true CN107145547A (zh) | 2017-09-08 |
Family
ID=59774187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710283099.4A Pending CN107145547A (zh) | 2017-04-26 | 2017-04-26 | 一种异常数据的获取方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107145547A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107733716A (zh) * | 2017-10-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 分布式文件系统日志分析方法、系统、设备及存储介质 |
| CN108197222A (zh) * | 2017-12-28 | 2018-06-22 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、系统及相关装置 |
| CN109491844A (zh) * | 2018-09-21 | 2019-03-19 | 国网技术学院 | 一种识别异常信息的计算机系统 |
| CN109597699A (zh) * | 2018-11-28 | 2019-04-09 | 泰康保险集团股份有限公司 | 数据处理方法、装置、电子设备及计算机可读介质 |
| CN111198805A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 一种异常监控方法和装置 |
| CN113342607A (zh) * | 2021-06-08 | 2021-09-03 | 北京科东电力控制系统有限责任公司 | 一种面向api的全场景多维度监控机制的实现方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104348650A (zh) * | 2013-08-05 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 网站的监控方法、业务装置及系统 |
| US20150370693A1 (en) * | 2013-01-28 | 2015-12-24 | Rackspace Us, Inc. | Methods and Systems of Distributed Tracing |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
-
2017
- 2017-04-26 CN CN201710283099.4A patent/CN107145547A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150370693A1 (en) * | 2013-01-28 | 2015-12-24 | Rackspace Us, Inc. | Methods and Systems of Distributed Tracing |
| CN104348650A (zh) * | 2013-08-05 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 网站的监控方法、业务装置及系统 |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡倩等: "一种基于属性哈希的告警日志去重方法", 《计算机科学》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107733716A (zh) * | 2017-10-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 分布式文件系统日志分析方法、系统、设备及存储介质 |
| CN108197222A (zh) * | 2017-12-28 | 2018-06-22 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、系统及相关装置 |
| CN108197222B (zh) * | 2017-12-28 | 2020-03-24 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、系统及相关装置 |
| CN109491844A (zh) * | 2018-09-21 | 2019-03-19 | 国网技术学院 | 一种识别异常信息的计算机系统 |
| CN109491844B (zh) * | 2018-09-21 | 2022-03-04 | 国网技术学院 | 一种识别异常信息的计算机系统 |
| CN111198805A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 一种异常监控方法和装置 |
| CN111198805B (zh) * | 2018-11-20 | 2024-02-02 | 北京京东尚科信息技术有限公司 | 一种异常监控方法和装置 |
| CN109597699A (zh) * | 2018-11-28 | 2019-04-09 | 泰康保险集团股份有限公司 | 数据处理方法、装置、电子设备及计算机可读介质 |
| CN113342607A (zh) * | 2021-06-08 | 2021-09-03 | 北京科东电力控制系统有限责任公司 | 一种面向api的全场景多维度监控机制的实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145547A (zh) | 一种异常数据的获取方法、设备及计算机可读存储介质 | |
| US11436430B2 (en) | Feature information extraction method, apparatus, server cluster, and storage medium | |
| US9904696B2 (en) | Automatic table cleanup for relational databases | |
| US20160171505A1 (en) | Extract, transform, and load (etl) processing | |
| WO2018166113A1 (zh) | 随机森林模型训练的方法、电子装置及存储介质 | |
| CN108090567A (zh) | 电力通信系统故障诊断方法及装置 | |
| US12079130B2 (en) | Method and apparatus for processing data based on block chain, device and readable storage medium | |
| JP2014006898A (ja) | 行動パターンをマイニングするシステム及び方法 | |
| WO2020222917A1 (en) | Organizational-based language model generation | |
| WO2019062189A1 (zh) | 电子装置、数据表归档处理的方法、系统及存储介质 | |
| CN108021673A (zh) | 一种用户兴趣模型生成方法、职位推荐方法及计算设备 | |
| CN109947821A (zh) | 报告信息的生成方法、显示方法、装置、设备及存储介质 | |
| CN109800269A (zh) | 数据管理方法、装置、计算机设备及存储介质 | |
| WO2021159749A1 (zh) | 多分类模型自学习在线更新方法、系统及装置 | |
| Du et al. | Hawkeye: Adaptive straggler identification on heterogeneous spark cluster with reinforcement learning | |
| CN115408696A (zh) | 应用识别方法及电子设备 | |
| CN111026945B (zh) | 多平台爬虫调度方法、装置和存储介质 | |
| CN103745017B (zh) | 信息抓取装置和方法 | |
| CN109815118A (zh) | 数据库管理方法及装置、电子设备和计算机可读存储介质 | |
| CN114186874A (zh) | 基于流量回放的风控策略配置方法、装置、设备及介质 | |
| WO2017028744A1 (zh) | 一种用于确定待部署资源的方法和装置 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN114546793A (zh) | 一种日志生成方法、装置和计算机可读存储介质 | |
| CN112434894A (zh) | 一种实时风险控制方法、计算机设备及可读存储介质 | |
| CN110705736A (zh) | 宏观经济预测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170908 |
|
| RJ01 | Rejection of invention patent application after publication |