CN106202307B - 一种批量日志保存方法及装置 - Google Patents

一种批量日志保存方法及装置 Download PDF

Info

Publication number
CN106202307B
CN106202307B CN201610511670.9A CN201610511670A CN106202307B CN 106202307 B CN106202307 B CN 106202307B CN 201610511670 A CN201610511670 A CN 201610511670A CN 106202307 B CN106202307 B CN 106202307B
Authority
CN
China
Prior art keywords
information log
log
buffer area
task
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610511670.9A
Other languages
English (en)
Other versions
CN106202307A (zh
Inventor
柏昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baishi Software (beijing) Co Ltd
Original Assignee
Baishi Software (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baishi Software (beijing) Co Ltd filed Critical Baishi Software (beijing) Co Ltd
Priority to CN201610511670.9A priority Critical patent/CN106202307B/zh
Publication of CN106202307A publication Critical patent/CN106202307A/zh
Application granted granted Critical
Publication of CN106202307B publication Critical patent/CN106202307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种批量日志保存方法及装置，涉及软件开发技术领域，用以解决现有技术中网络行为分析产品对接收到的批量日志进行保存时，存在日志容易丢失，信息的及时性不高，且容易导致系统出现性能瓶颈的问题。包括：建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。

Description

一种批量日志保存方法及装置
技术领域
本发明涉及软件开发技术领域，更具体的涉及一种批量日志保存方法及装置。
背景技术
在网络行为分析产品中，当接收到批量日志后，需要进行存储处理，一般存储处理按照接收到日志的时间先后顺序为准，然后依次存储到设定的数据库内。
现有技术中，当接收到的批量日志数据量不大时，网络行为分析产品可以对接收到的批量日志，按照正常顺序存储到设定到数据库内；而当接收到的批量日志数据量很大时，网络行为分析产品若以接收到的日志的先后顺序为准，依次将批量日志按照正常顺序依次存储到设定的数据库内时，则会出现以下问题：1)、网络行为分析产品处理日志的速度比接收日志速度慢时，导致大量接收到的日志不能及时存储到设定的数据库内，可能会导致内存溢出，致使接收到的日志丢失的问题；2)、新产生的日志不能得到及时的处理，而需要延迟一定的时间，才能在用户交互界面上展现出来，导致信息的及时性不高的问题；3)、网络行为分析产品接收日志和将接收到的日志存储到设定的数据库的行为没有分开，从而会同时占用大量内存和CPU资源，导致系统出现性能瓶颈的问题。
综上所述，现有的网络行为分析产品对接收到的批量日志进行保存时，存在日志容易丢失，信息的及时性不高，且容易导致系统出现性能瓶颈的问题。
发明内容
本发明实施例提供一种批量日志保存方法及装置，用于解决现有的网络行为分析产品对接收到的批量日志进行保存时，存在日志容易丢失，信息的及时性不高，且容易导致系统出现性能瓶颈的问题。
本发明实施例提供一种批量日志保存方法，包括：
建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
进一步地，所述将所述信息日志写入预设的缓冲区时，还包括：记录每个所述信息日志写入所述缓冲区的所述写入时间。
进一步地，所述讲所述第一信息日志存储至数据库之后，还包括：
通过轮询的方法，确定所述第一信息日志已经成功存储至数据库，并删除所述缓冲区内的第一信息日志。
进一步地，所述缓冲区至少包括以下实现方式：
以文件形式存储在物理硬盘的固定位置；或者
采用自定义数据结构保存在内存中；或者
采用Redis内存数据库进行存储。
本发明实施例还提供一种批量日志保存装置，包括：
写入单元，用于建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
存储单元，用于所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
进一步地，所述写入单元还用于：记录每个所述信息日志写入所述缓冲区的所述写入时间。
进一步地，所述存储单元还用于：
通过轮询的方法，确定所述第一信息日志已经成功存储至数据库，并删除所述缓冲区内的第一信息日志。
进一步地，所述缓冲区至少包括以下实现方式：
以文件形式存储在物理硬盘的固定位置；或者
采用自定义数据结构保存在内存中；或者
采用Redis内存数据库进行存储。
本发明实施例中，提供一种批量日志保存方法及装置，包括建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。在本发明实施例中，将现有技术中的接收日志的程序拆分成两个独立的任务，一个负责接收日志，另一个负责处理日志，通过查询和获取缓冲区内的最新信息日志，将获取到的信息日志存储到数据库。采用上述方法，接收信息日志时，可以将信息日志先写入缓冲区，确保信息日志不会丢失，同时，在将缓冲区内的信息日志存储到数据库上，最新写入缓冲区内的信息日志具有优先处理的特性，从而提高了信息的及时性，避免了大批量数据存储至数据库时，系统容易出现性能瓶颈的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种批量日志保存方法流程示意图；
图2为本发明实施例提供的一种批量日志保存装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例所涉及的术语：
缓冲区，是设备之间进行沟通的中间地带，用于协调不同设备之间运行速度的差异，它通常独立于设备而存在。
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。
线程，有时被称为轻量级进程(Lightweight Process，LWP)，是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC)，寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。
图1示例性的示出了本发明实施例提供的一种批量日志保存方法流程示意图，该方法至少可以应用于软件开发中。
如图1所示，本发明实施例提供的一种批量日志保存方法，包括以下步骤：
步骤101，建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
步骤102，所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
需要说明的是，本发明实施例中，执行主体可以信息日志服务器。
需要说明的是，本发明实施例中，第一任务，第二任务，可以同时是第一线程，第二线程；也可以同时是第一进程，第二进程；在本发明实施例中，对第一任务和第二任务的具体形式不做限定。
需要说明的是，缓冲区至少可以包括以下实现方式：1)以文件形式存储在物理硬盘的固定位置；2)采用采用自定义数据结构保存在内存中；3)采用Redis等内存数据库进行存储。在本发明实施例中，对缓冲区的实现方法不做具体的限定。
在步骤101中，信息日志服务器在处理端建立第一任务和第二任务，其中，第一任务负责接收信息日志，而第二任务负责处理接收到的信息日志。
具体地，第一任务在确认接收到信息日志之前，需要判断是否接收到信息日志，在本发明实施例中，第一任务可以按照设定时间，判断是否接收到信息日志，或者根据是否接收到触发信号，确定是否接收到信息日志，其中，触发信号时信息日志携带的某个信号。在本发明实施例中，对第一任务判断是否接收到信息日志时所采用的判断方法不做具体的限定。
进一步地，当第一任务根据判断方法，确定接收到信息日志之后，则第一任务根据接收到的信息日志，将信息日志写入预设的缓冲区内。在实际应用中，由于缓冲区用于协调不同设备之间运行速度的差异，独立于设备而存在，因此，在本发明实施例中，在缓冲区内写入信息日志，即可以确保信息日志不会丢失，也不会增加内存的运行负荷。
在实际应用中，当第一任务将接收到的信息日志写入缓冲区之后，第一任务可以进行下一轮的处理，即，继续根据判断方法，判断是否接收到新的信息日志。
在步骤102中，当所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区时间，将确定的时间和当前时间进行比较，从缓冲区内选择信息日志写入时候与当前时间时间差小于第一阈值的信息日志为第一信息日志，当第一信息日志的数量超过了第二阈值时，将第一信息日志存储到数据库内。
需要说明的是，写入缓冲区内的信息日志都携带有每个信息日志写入缓冲区的时间。其中，信息日志写入缓冲区内对应的写入时间，可以是第一任务增加到信息日志内的，也可以是缓冲区自动添加的，在本发明实施例中，对信息日志写入缓冲区内对应的写入时间的添加过程，不做具体的限定。
需要说明的是，第一阈值是根据系统处理信息日志的平均时间确定；第二阈值是根据系统处理信息日志的能力确定的。在本发明实施例中，对第一阈值的第二阈值的具体范围不做限定。
在本发明实施例中，当第二任务将第一信息日志存储至数据库之后，还需要根据轮询的方法，依次根据存储至数据库的第一信息日志，将缓冲区内与当前时间存储至数据库内的第一信息日志对应的信息日志删除，采用上述方法，可以减轻缓冲区内的存储量。进一步地，当第二任务将缓冲区内与存储至数据库内的第一信息日志对应的信息日志删除之后，第二任务可以进入下一轮处理，即，继续根据设定时间查询缓冲区，根据第一阈值，第二阈值判断缓冲区内是否有第一信息日志，并将确定的第一信息日志存储至数据库。
综上所述，本发明实施例提供的一种批量日志保存方法，将现有技术中的接收日志的程序拆分成两个独立的任务，一个负责接收日志，另一个负责处理日志，通过查询和获取缓冲区内的最新信息日志，将获取到的信息日志存储到数据库。采用上述方法，接收信息日志时，可以将信息日志先写入缓冲区，确保信息日志不会丢失，同时，在将缓冲区内的信息日志存储到数据库上，最新写入缓冲区内的信息日志具有优先处理的特性，从而提高了信息的及时性，避免了大批量数据存储至数据库时，系统容易出现性能瓶颈的问题。
基于同一发明构思，本发明实施例提供了一种批量日志保存装置，由于该装置解决技术问题的原理与一种批量日志保存方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图2为本发明实施例提供的一种批量日志保存装置结构示意图，如图2所示，该装置包括写入单元20和存储单元21。
写入单元20，用于建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
存储单元21，用于所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
进一步地，所述写入单元20还用于：记录每个所述信息日志写入所述缓冲区的所述写入时间。
进一步地，所述存储单元21还用于：
通过轮询的方法，确定所述第一信息日志已经成功存储至数据库，并删除所述缓冲区内的第一信息日志。
进一步地，所述缓冲区至少包括以下实现方式：
以文件形式存储在物理硬盘的固定位置；或者
采用自定义数据结构保存在内存中；或者
采用Redis等内存数据库进行存储。
应当理解，以上确定火蔓延速度装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种批量日志保存装置所实现的功能与上述实施例提供的一种批量日志保存方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种批量日志保存方法，其特征在于，包括：
建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
2.如权利要求1所述的方法，其特征在于，所述将所述信息日志写入预设的缓冲区时，还包括：记录每个所述信息日志写入所述缓冲区的所述写入时间。
3.如权利要求1所述的方法，其特征在于，所述将所述第一信息日志存储至数据库之后，还包括：
通过轮询的方法，确定所述第一信息日志已经成功存储至数据库，并删除所述缓冲区内的所述第一信息日志。
4.如权利要求1所述的方法，其特征在于，所述缓冲区至少包括以下实现方式：
以文件形式存储在物理硬盘的固定位置；或者
采用自定义数据结构保存在内存中；或者
采用Redis内存数据库进行存储。
5.一种批量日志保存装置，其特征在于，包括：
写入单元，用于建立第一任务和第二任务，所述第一任务接收到信息日志时，将所述信息日志写入预设的缓冲区；
存储单元，用于所述第二任务确定所述缓冲区内包括的全部所述信息日志写入所述缓冲区的写入时间，将所述写入时间与当前时间的时间差小于第一阈值的所述信息日志标记为第一信息日志，当所述第一信息日志的数量超过第二阈值时，将所述第一信息日志存储至数据库。
6.如权利要求5所述的装置，其特征在于，所述写入单元还用于：记录每个所述信息日志写入所述缓冲区的所述写入时间。
7.如权利要求5所述的装置，其特征在于，所述存储单元还用于：
通过轮询的方法，确定所述第一信息日志已经成功存储至数据库，并删除所述缓冲区内的第一信息日志。
8.如权利要求5所述的装置，其特征在于，所述缓冲区至少包括以下实现方式：
以文件形式存储在物理硬盘的固定位置；或者
采用自定义数据结构保存在内存中；或者
采用Redis内存数据库进行存储。
CN201610511670.9A 2016-07-01 2016-07-01 一种批量日志保存方法及装置 Active CN106202307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610511670.9A CN106202307B (zh) 2016-07-01 2016-07-01 一种批量日志保存方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610511670.9A CN106202307B (zh) 2016-07-01 2016-07-01 一种批量日志保存方法及装置

Publications (2)

Publication Number Publication Date
CN106202307A CN106202307A (zh) 2016-12-07
CN106202307B true CN106202307B (zh) 2019-10-11

Family

ID=57464141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610511670.9A Active CN106202307B (zh) 2016-07-01 2016-07-01 一种批量日志保存方法及装置

Country Status (1)

Country Link
CN (1) CN106202307B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255884A (zh) * 2016-12-29 2018-07-06 大唐移动通信设备有限公司 一种omc的日志信息的数据处理方法和装置
CN107798099A (zh) * 2017-10-27 2018-03-13 努比亚技术有限公司 一种日志信息抓取方法、终端和计算机可读存储介质
CN108829730A (zh) * 2018-05-11 2018-11-16 中国平安人寿保险股份有限公司 一种对日志数据进行存储的方法、装置及其可读存储介质
CN110716908A (zh) * 2019-09-29 2020-01-21 捷开通讯(深圳)有限公司 日志信息写入方法、系统、存储介质及移动终端
CN111414343B (zh) * 2020-02-24 2023-08-04 北京百度云途腾科技有限责任公司 日志写入方法、装置、电子设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788948A (zh) * 2010-02-05 2010-07-28 瑞斯康达科技发展股份有限公司 一种日志信息的动态存储系统及方法
CN101789174A (zh) * 2009-12-29 2010-07-28 北京世纪高通科技有限公司 一种日志的监测方法及装置
CN101923573A (zh) * 2010-08-09 2010-12-22 哈尔滨工程大学 一种针对数据丢失的数据库数据快速恢复方法
CN103309858A (zh) * 2012-03-06 2013-09-18 深圳市腾讯计算机系统有限公司 一种多线程日志管理的方法及装置
CN104537074A (zh) * 2014-12-31 2015-04-22 天津南大通用数据技术股份有限公司 一种提高数据库系统写日志性能的方法
CN104657366A (zh) * 2013-11-18 2015-05-27 深圳市腾讯计算机系统有限公司 海量日志写入数据库的方法、装置和日志容灾系统
CN105446893A (zh) * 2014-07-14 2016-03-30 阿里巴巴集团控股有限公司 数据存储方法及设备
CN106126730A (zh) * 2016-07-01 2016-11-16 百势软件(北京)有限公司 一种批量生成告警信息的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100521623C (zh) * 2007-05-22 2009-07-29 网御神州科技（北京）有限公司 高性能的Syslog日志处理和存储方法
CN101771567A (zh) * 2009-11-10 2010-07-07 南京联创科技集团股份有限公司 自主内存数据库基于日志的数据持久或双机热备方法
CN102724279B (zh) * 2012-05-15 2014-12-31 北京首钢自动化信息技术有限公司 一种实现日志保存和管理的系统
CN103885726B (zh) * 2014-03-20 2017-07-21 东蓝数码股份有限公司 一种高效的多线程日志写入方法
CN105335098B (zh) * 2015-09-25 2019-03-26 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789174A (zh) * 2009-12-29 2010-07-28 北京世纪高通科技有限公司 一种日志的监测方法及装置
CN101788948A (zh) * 2010-02-05 2010-07-28 瑞斯康达科技发展股份有限公司 一种日志信息的动态存储系统及方法
CN101923573A (zh) * 2010-08-09 2010-12-22 哈尔滨工程大学 一种针对数据丢失的数据库数据快速恢复方法
CN103309858A (zh) * 2012-03-06 2013-09-18 深圳市腾讯计算机系统有限公司 一种多线程日志管理的方法及装置
CN104657366A (zh) * 2013-11-18 2015-05-27 深圳市腾讯计算机系统有限公司 海量日志写入数据库的方法、装置和日志容灾系统
CN105446893A (zh) * 2014-07-14 2016-03-30 阿里巴巴集团控股有限公司 数据存储方法及设备
CN104537074A (zh) * 2014-12-31 2015-04-22 天津南大通用数据技术股份有限公司 一种提高数据库系统写日志性能的方法
CN106126730A (zh) * 2016-07-01 2016-11-16 百势软件(北京)有限公司 一种批量生成告警信息的方法及装置

Also Published As

Publication number Publication date
CN106202307A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106202307B (zh) 一种批量日志保存方法及装置
CA2963088C (en) Apparatus and method for scheduling distributed workflow tasks
US11003489B2 (en) Cause exception message broadcast between processing cores of a GPU in response to indication of exception event
US9619430B2 (en) Active non-volatile memory post-processing
US20230161622A1 (en) System and Method for Low Latency Node Local Scheduling in Distributed Resource Management
WO2018099299A1 (zh) 一种图数据处理的方法、装置及系统
CN104601696B (zh) 服务处理方法、服务调用系统、装置和系统
Salehi et al. Stochastic-based robust dynamic resource allocation for independent tasks in a heterogeneous computing system
US20150234935A1 (en) Database calculation using parallel-computation in a directed acyclic graph
CN106126730B (zh) 一种批量生成告警信息的方法及装置
US20180091607A1 (en) Network-independent programming model for online processing in distributed systems
US20190007320A1 (en) Virtual Network Function Load Balancer
CN102129619A (zh) 一种基于云存储的业务数据处理方法及系统
US20230222004A1 (en) Data locality for big data on kubernetes
CN102855299A (zh) 不中断服务条件下,分布式数据库迭代迁移的方法
EP3407196B1 (en) Preventing reader starvation during order preserving data stream consumption
CN110968422A (zh) 用于集成场景的负载分发
US20210319348A1 (en) Artificial Intelligence Techniques for Prediction of Data Protection Operation Duration
Hsiao et al. A usage-aware scheduler for improving MapReduce performance in heterogeneous environments
US10719421B2 (en) Data storage device monitoring
CN105162837B (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
CN105630778A (zh) 数据库数据迁移方法及系统
US9466042B2 (en) Facilitating the design of information technology solutions
CN108132970A (zh) 基于云计算的大数据分布式处理方法及系统
US8838414B2 (en) Determining when to create a prediction based on deltas of metric values

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant