CN112347059B - 存储系统数据缩减业务日志管理方法及相关组件 - Google Patents

存储系统数据缩减业务日志管理方法及相关组件 Download PDF

Info

Publication number
CN112347059B
CN112347059B CN202010921901.XA CN202010921901A CN112347059B CN 112347059 B CN112347059 B CN 112347059B CN 202010921901 A CN202010921901 A CN 202010921901A CN 112347059 B CN112347059 B CN 112347059B
Authority
CN
China
Prior art keywords
log
service
memory
data reduction
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010921901.XA
Other languages
English (en)
Other versions
CN112347059A (zh
Inventor
王艳清
徐洪志
郭平加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN202010921901.XA priority Critical patent/CN112347059B/zh
Publication of CN112347059A publication Critical patent/CN112347059A/zh
Application granted granted Critical
Publication of CN112347059B publication Critical patent/CN112347059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种存储系统数据缩减业务日志管理方法,该方法调用内存响应数据缩减业务日志的写入需求,由于数据缩减业务通过内存保存日志,数据写入速率快,且采用循环写入的日志记录方式可以保障大量数据的快速写入,因此日志的管理对于数据缩减业务基本没有性能的影响;当日志保存触发后,将数据缩减业务的日志保存到磁盘中,根据收集的配置信息、各IO操作的IO业务数据以及业务性能统计信息的全方位业务信息,记录内容丰富,可以满足对数据缩减线程的故障分析与定位、日常维护以及优化等需求,可以保障存储系统中数据缩减业务运行的稳定性。本申请还提供了存储系统数据缩减业务日志管理装置、设备及一种可读存储介质,具有上述有益效果。

Description

存储系统数据缩减业务日志管理方法及相关组件
技术领域
本申请涉及存储系统技术领域,特别涉及存储系统数据缩减业务日志管 理方法、装置、设备及一种可读存储介质。
背景技术
伴随着信息产业化的发展,信息数据增速明显,需要存储的数据规模越 来越大,对存储设备的容量提出了更高的要求,数据缩减成为存储中重要的 业务内容,软件的设计复杂程度也在逐步增加,因此需要更加完善可用的日 志系统来保证长期稳定的数据缩减业务运行。
目前针对数据缩减业务是调用传统的日志记录,而传统的日志记录由于 设置为系统统一的日志收集规则,记录的节点项有限,数据项少,而数据缩 减业务复杂性高,且运行的重要程度高,导致目前记录的日志无法满足数据 缩减业务的日常维护以及故障处理需要。
因此,如何针对数据缩减业务设置完整且有效的日志系统,是本领域技 术人员急需解决的问题。
发明内容
本申请的目的是提供存储系统数据缩减业务日志管理方法,该方法针对 数据缩减业务设置了完整且有效的日志系统,可以实现数据缩减业务的业务 流程的优化;本申请的另一目的是提供存储系统数据缩减业务日志管理装置、 设备及一种可读存储介质。
为解决上述技术问题,本申请提供一种存储系统数据缩减业务日志管理 方法,包括:
向内存管理模块申请用于存储数据缩减业务日志的内存;
在数据缩减线程运行中,将数据缩减业务中的初始化配置信息、各IO操 作的IO业务数据以及业务性能统计循环写入至所述内存中;
当日志保存触发后,将所述内存中的日志保存至磁盘中。
可选地,所述存储系统数据缩减业务日志管理方法还包括:
将所述内存映射至主业务进程空间;
则相应地,当日志保存触发后,将所述内存中的日志保存至磁盘中,包 括:
当日志保存触发后,在所述主业务进程空间中获取共享的所述内存中记 录的日志信息;
将所述日志信息添加至磁盘中。
可选地,所述当日志保存触发后,在所述主业务进程空间中获取共享的 所述内存中记录的日志信息,包括:
接收到用户发起的日志保存指令后,在所述主业务进程空间中获取共享 的所述内存中记录的日志信息;
当检测到数据缩减业务执行过程出现异常后,在所述主业务进程空间中 获取共享的所述内存中记录的日志信息。
可选地,所述当检测到数据缩减业务执行过程出现异常后,在所述主业 务进程空间中获取共享的所述内存中记录的日志信息,包括:
当所述数据缩减线程检测到所述数据缩减业务产生软件故障后,收集异 常信息作为异常日志添加至所述内存中,在所述主业务进程空间中获取共享 的添加所述异常日志后的所述内存中记录的日志信息;
当所述主业务进程检测到所述数据缩减线程发送的IO在固定的时间内没 有处理完成,或未有响应,收集异常信息作为异常日志添加至所述内存中, 在所述主业务进程空间中获取共享的添加所述异常日志后的所述内存中记录 的日志信息。
可选地,所述当日志保存触发后,在所述主业务进程空间中获取共享的 所述内存中记录的日志信息,包括:
当日志保存触发后,通过MMAP在所述主业务进程空间中获取共享的所 述内存中记录的日志信息。
可选地,所述内存包括:通用业务内存和日志内存;所述日志内存包括: 配置日志、IO业务日志、性能统计日志;
则相应地,在数据缩减线程运行中,将数据缩减业务中的初始化配置信 息、各IO操作的IO业务数据以及业务性能统计循环写入至所述内存中,包 括:
在所述数据缩减业务的初始化过程中读取缩减业务的配置信息,将所述 配置信息写入至所述配置日志;
在所述数据缩减业务的执行过程中记录执行的所有IO操作,保存至所述 IO业务日志;
统计预设时间间隔内执行所述数据缩减业务时的业务执行性能,写入至 所述性能统计日志中;
当所述日志内存占满后,将新生成的日志循环写入所述日志内存。
本申请还提供了一种存储系统数据缩减业务日志管理装置,该装置包括:
内存申请单元,用于向内存管理模块申请用于存储数据缩减业务日志的 内存;
业务记录单元,用于在数据缩减线程运行中,将数据缩减业务中的初始 化配置信息、各IO操作的IO业务数据以及业务性能统计循环写入至所述内 存中;
日志存储单元,用于当日志保存触发后,将所述内存中的日志保存至磁 盘中。
可选地,所述存储系统数据缩减业务日志管理装置还包括:内存映射管 理单元,用于将所述内存映射至主业务进程空间;
则相应地,所述日志存储单元包括:
信息获取子单元,用于当日志保存触发后,在所述主业务进程空间中获 取共享的所述内存中记录的日志信息;
信息添加子单元,用于将所述日志信息添加至磁盘中。
本申请还提供了一种存储系统数据缩减业务日志管理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述的存储系统数据缩减业务 日志管理方法的步骤。
本申请还提供了一种可读存储介质,所述可读存储介质上存储有程序, 所述程序被处理器执行时实现所述的存储系统数据缩减业务日志管理方法的 步骤。
本申请所提供的存储系统数据缩减业务日志管理方法中,对于数据缩减 任务采用独立的线程设计,调用内存响应数据缩减业务日志的写入需求,由 于数据缩减业务通过内存保存日志,数据写入速率快,且采用循环写入的日 志记录方式可以保障大量数据的快速写入,因此日志的管理对于数据缩减业 务基本没有性能的影响;当日志保存触发后,将数据缩减业务的日志保存到 磁盘中,根据收集的配置信息、各IO操作的IO业务数据以及业务性能统计信 息的全方位业务信息,记录内容丰富,可以满足对数据缩减线程的故障分析与定位、日常维护以及优化等需求,可以保障存储系统中数据缩减业务运行 的稳定性。
本申请还提供了存储系统数据缩减业务日志管理装置、设备及一种可读 存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种存储系统数据缩减业务日志管理方法的 流程图;
图2为本申请实施例提供的一种存储系统数据缩减业务日志管理装置的 结构框图;
图3为本申请实施例提供的一种存储系统数据缩减业务日志管理设备的 结构示意图。
具体实施方式
本申请的核心是提供存储系统数据缩减业务日志管理方法,该方法针对 数据缩减业务设置了完整且有效的日志系统,可以实现数据缩减业务的业务 流程的优化;本申请的另一核心是提供存储系统数据缩减业务日志管理装置、 设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申 请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例,都属于本申请保护的范围。
本申请提供一种存储系统数据缩减业务日志管理方法,请参考图1,图1 为本实施例提供的一种存储系统数据缩减业务日志管理方法的流程图,该方 法主要包括以下步骤:
步骤s110、向内存管理模块申请用于存储数据缩减业务日志的内存;
存储系统中包括:主业务线程、数据缩减线程以及内存管理模块,其中, 主业务线程实现存储系统的主要核心业务,数据缩减线程负责数据业务的缩 减,内存管理模块负责内存的管理。数据缩减任务采用独立的线程设计,通 过有名管道与主业务进程实现通信,两者通过FIFO进行通信。
本实施例中在正常的业务需求之外,再为数据缩减业务额外申请一块 (100M到1G)内存用于存储日志,以便数据缩减业务将自己业务的日志输 出到申请的日志内存中。由于为了保障数据缩减业务的正常运行以及持续优 化,需要采集大量日志数据,本实施例中调用内存来存储数据缩减业务日志 的内存,可以保证大数据量下数据的快速存储,从而提升日志管理速度。
步骤s120、在数据缩减线程运行中,将数据缩减业务中的初始化配置信 息、各IO操作的IO业务数据以及业务性能统计循环写入至内存中;
为了保障数据缩减业务的正常运行以及持续优化,需要采集大量数据缩 减的日志数据,本实施例中具体采集初始化配置信息(比如占用了多少内存, 调用了几个线程)、各IO操作的IO业务数据(比如打开卷,执行主机写入 操作)以及业务性能统计数据(比如压缩IO整体需要的时间,或一端时间内 IO压缩率),该些数据种类可以满足日常业务维护的需要。当然,也可以进 一步添加其他业务运行信息,本实施例中在此不做限定,可以根据实际业务 维护的需要进行设定。
为了保证有限的内存空间下的日志信息的持续录入,本实施例中日志采 用循环写入,即在存在空闲内存块时将收集的日志信息写入空闲内存块中, 若不存在空闲内存块,则依次覆盖写在已占用的内存(先入先覆盖)上,该 种日志写入方法下,可以保证整体较小的内存占用,同时保证内存中存储有 临近时间段的日志信息,方便查看。
为了方便对于内存中日志记录的管理以及查找,可以对内存进行分块管 理,每个区域存储对应类型的数据,可选地,一种内存的管理方式如下,将 内存分为通用业务内存和日志内存,其中,通用业务内存用于数据缩减业务 的业务处理占用,日志内存用于存储数据缩减业务在业务处理占用生成的日 志信息。而具体地,日志内存可以分为:配置日志、IO业务日志以及性能统 计日志;相应地,在数据缩减线程运行中,将数据缩减业务中的初始化配置 信息、各IO操作的IO业务数据以及业务性能统计循环写入至内存中的过程 具体包括:
(1)在数据缩减业务的初始化过程中读取缩减业务的配置信息,将配置 信息写入至配置日志;
(2)在数据缩减业务的执行过程中记录执行的所有IO操作,保存至IO 业务日志;
(3)统计预设时间间隔内执行数据缩减业务时的业务执行性能,写入至 性能统计日志中;
(4)当日志内存占满后,将新生成的日志循环写入日志内存。
本实施例中仅以上述内存的管理方式为例进行介绍,其他实现方式均可 参照本实施例的介绍,在此不再赘述。
步骤s130、当日志保存触发后,将内存中的日志保存至磁盘中。
本实施例中对于日志保存的触发方式不做限定,可以由人为手动触发, 也可以由程序自动控制触发,而后者具体可以由数据缩减线程触发,也可以 由其他业务线程(比如主业务线程)触发等。
在日志保存触发后,指示需要将内存中日志保存,以便于后续根据临近 的日志信息对数据缩减业务进行维护以及优化,本实施例中将内存中的日志 写入磁盘中,写入磁盘后的日志信息固定存储,方便相关技术人员在任意时 间段下的查看。而在将内存中的日志写入磁盘后,内存可以清空,也可以直 接执行循环写入,本实施例中对此不做限定。
基于上述介绍,本实施例提供的存储系统数据缩减业务日志管理方法中, 对于数据缩减任务采用独立的线程设计,调用内存响应数据缩减业务日志的 写入需求,由于数据缩减业务通过内存保存日志,数据写入速率快,且采用 循环写入的日志记录方式可以保障大量数据的快速写入,因此日志的管理对 于数据缩减业务基本没有性能的影响;当日志保存触发后,将数据缩减业务 的日志保存到磁盘中,根据收集的配置信息、各IO操作的IO业务数据以及业 务性能统计信息的全方位业务信息,记录内容丰富,可以满足对数据缩减线程的故障分析与定位、日常维护以及优化等需求,可以保障存储系统中数据 缩减业务运行的稳定性。
基于上述实施例,为便于数据缩减业务异常下的日志信息管理,可选地, 可以由主业务进程实现对于日志信息的存储管理,即由主业务进程将内存中 的日志保存到磁盘中。
具体地,在上述实施例的基础上,可以进一步执行以下步骤:
将内存映射至主业务进程空间;
则相应地,步骤s130当日志保存触发后,将内存中的日志保存至磁盘中, 具体可以包括以下步骤:
(1)当日志保存触发后,在主业务进程空间中获取共享的内存中记录的 日志信息;
(2)将日志信息添加至磁盘中。
主业务进程将数据缩减业务的日志存储空间映射到自己的内存访问空 间,将日志内存空间映射给主业务进程,为主业务线程赋予访问这块日志内 存的权限,(通过MMAP方式)实现内存的共享,当日志保存触发后,由于 主业务进程的运行稳定性远优于数据缩减业务进程,本实施例中通过主业务 进程将共享的日志内存空间写入到磁盘中,可以避免数据缩减业务异常导致 的数据存储失败,日志信息丢失等威胁数据缩减业务长期运行稳定性的情况 出现。其中,内存共享的实现可以通过MMAP实现,即当日志保存触发后, 在主业务进程空间中获取共享的内存中记录的日志信息的过程具体可以为: 当日志保存触发后,通过MMAP在主业务进程空间中获取共享的内存中记录 的日志信息,也可以以其他方式实现,本实施例中对此不做限定。
需要说明的是,由于申请的内存主要用于写入数据缩减业务的日志,而 不包括其他业务的日志,因此为保证日志信息的纯洁性,主业务可以设置只 有日志内存的读权限没有写入权限,从而保证内存中只有数据缩减有任务的 日志,方便管理。
上述实施例中对于日志保存触发的具体实现方式不做限定,本实施例中 以由主业务控制内存日志信息写入至磁盘为例,介绍几种触发方式下的实现 过程,可选地,当日志保存触发后,在主业务进程空间中获取共享的内存中 记录的日志信息的一种实现方式如下:
接收到用户发起的日志保存指令后,在主业务进程空间中获取共享的内 存中记录的日志信息;
当检测到数据缩减业务执行过程出现异常后,在主业务进程空间中获取 共享的内存中记录的日志信息。
以上日志保存触发包括两种触发方式,一是由用户手动触发(可以在任 意时间节点),二是在数据缩减业务出现异常时自动触发(业务异常后需要 进行异常修复),以上触发方式可以满足大多数使用场景下的日志读取需求, 本实施例中仅以上述两种触发方式为例进行介绍。
而其中,当检测到数据缩减业务执行过程出现异常可以由数据缩减进程 主动触发,即在数据缩减业务检测到自身业务的执行过程出现异常后触发, 也可以由其他任务进程触发,可选地,当检测到数据缩减业务执行过程出现 异常后,在主业务进程空间中获取共享的内存中记录的日志信息的具体实现 可以包括如下两个步骤:
当数据缩减线程检测到数据缩减业务产生软件故障后,收集异常信息作 为异常日志添加至内存中,在主业务进程空间中获取共享的添加异常日志后 的内存中记录的日志信息;
当主业务进程检测到数据缩减线程发送的IO在固定的时间内没有处理完 成,或未有响应,收集异常信息作为异常日志添加至内存中,在主业务进程 空间中获取共享的添加异常日志后的内存中记录的日志信息。
当数据缩减业务产生软件故障后,线程检测到进入异常流程,主动给主 业务进程发送收集日志的消息,主业务进程收到消息后,会将共享的日志内 存空间写入到磁盘中;主业务进程与数据缩减业务通过FIFO进行通信,当检 测到发送的IO在固定的时间内没有处理完成,或者未有响应,则可以认为数 据缩减线程可能存在异常,主业务线程可以主动触发数据的存储,将共享的 日志内存保存到磁盘中,保存的日志文件可分析数据缩减业务的业务流程, 用于分析数据缩减业务的异常原因,以保障数据缩减业务的持续运行。以上以数据缩减业务主动申请收集日志和主业务检测到通信异常后收集日志两种 情况为例进行介绍,其他情况下的触发均可参照上述介绍,在此不再赘述。
本实施例中提供的方法中提出通过共享内存的方式实现了数据缩减业务 日志内存的共享,当出现异常场景,主业务进程将数据缩减业务的日志保存 到磁盘中便于故障分析与定位,实现了独立的数据缩减线程日志的收集,即 使数据缩减业务故障,也可以保障日志的正常收集以及存储,保障了日志管 理的稳定性。
请参考图2,图2为本实施例提供的存储系统数据缩减业务日志管理装置 的结构框图;该装置主要包括:内存申请单元110、业务记录单元120以及日 志存储单元130。本实施例提供的存储系统数据缩减业务日志管理装置可与上 述存储系统数据缩减业务日志管理方法相互对照。
其中,内存申请单元110主要用于向内存管理模块申请用于存储数据缩 减业务日志的内存;
业务记录单元120主要用于在数据缩减线程运行中,将数据缩减业务中 的初始化配置信息、各IO操作的IO业务数据以及业务性能统计循环写入至 内存中;
日志存储单元130主要用于当日志保存触发后,将内存中的日志保存至 磁盘中。
可选地,存储系统数据缩减业务日志管理装置还包括:内存映射管理单 元,用于将内存映射至主业务进程空间;
则相应地,日志存储单元包括:
信息获取子单元,用于当日志保存触发后,在主业务进程空间中获取共 享的内存中记录的日志信息;
信息添加子单元,用于将日志信息添加至磁盘中。
本实施例提供一种存储系统数据缩减业务日志管理设备,主要包括:存 储器以及处理器。
其中,存储器用于存储程序;
处理器用于执行程序时实现如上述实施例介绍的存储系统数据缩减业务 日志管理方法的步骤,具体可参照上述存储系统数据缩减业务日志管理方法 的介绍。
请参考图3,为本实施例提供的存储系统数据缩减业务日志管理设备的结 构示意图,该存储系统数据缩减业务日志管理设备可因配置或性能不同而产 生比较大的差异,可以包括一个或一个以上处理器(central processing units, CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上 存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设 备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在 存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块 可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322 可以设置为与存储介质330通信,在存储系统数据缩减业务日志管理设备301 上执行存储介质330中的一系列指令操作。
存储系统数据缩减业务日志管理设备301还可以包括一个或一个以上电 源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出 接口358,和/或,一个或一个以上操作系统341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上面图1所描述的存储系统数据缩减业务日志管理方法中的步骤可以由 本实施例介绍的存储系统数据缩减业务日志管理设备的结构实现。
本实施例公开一种可读存储介质,其上存储有程序,程序被处理器执行 时实现如上述实施例介绍的存储系统数据缩减业务日志管理方法的步骤,具 体可参照上述实施例中对存储系统数据缩减业务日志管理方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁 碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对 于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的 比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示 例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现, 为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性 地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定 的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本 申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存 储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编 程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任 意其它形式的存储介质中。
以上对本申请所提供的存储系统数据缩减业务日志管理方法、装置、设 备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理 及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法 及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离 本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修 饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种存储系统数据缩减业务日志管理方法,其特征在于,包括:
向内存管理模块申请用于存储数据缩减业务日志的内存;
在数据缩减线程运行中,将数据缩减业务中的初始化配置信息、各IO操作的IO业务数据以及业务性能统计循环写入至所述内存中;
当日志保存触发后,将所述内存中的日志保存至磁盘中;
还包括:
将所述内存映射至主业务进程空间;
则相应地,当日志保存触发后,将所述内存中的日志保存至磁盘中,包括:
当日志保存触发后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息;
将所述日志信息添加至磁盘中。
2.如权利要求1所述的存储系统数据缩减业务日志管理方法,其特征在于,所述当日志保存触发后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息,包括:
接收到用户发起的日志保存指令后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息;
当检测到数据缩减业务执行过程出现异常后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息。
3.如权利要求2所述的存储系统数据缩减业务日志管理方法,其特征在于,所述当检测到数据缩减业务执行过程出现异常后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息,包括:
当所述数据缩减线程检测到所述数据缩减业务产生软件故障后,收集异常信息作为异常日志添加至所述内存中,在所述主业务进程空间中获取共享的添加所述异常日志后的所述内存中记录的日志信息;
当所述主业务进程检测到所述数据缩减线程发送的IO在固定的时间内没有处理完成,或未有响应,收集异常信息作为异常日志添加至所述内存中,在所述主业务进程空间中获取共享的添加所述异常日志后的所述内存中记录的日志信息。
4.如权利要求1所述的存储系统数据缩减业务日志管理方法,其特征在于,所述当日志保存触发后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息,包括:
当日志保存触发后,通过MMAP在所述主业务进程空间中获取共享的所述内存中记录的日志信息。
5.如权利要求1所述的存储系统数据缩减业务日志管理方法,其特征在于,所述内存包括:通用业务内存和日志内存;所述日志内存包括:配置日志、IO业务日志、性能统计日志;
则相应地,在数据缩减线程运行中,将数据缩减业务中的初始化配置信息、各IO操作的IO业务数据以及业务性能统计循环写入至所述内存中,包括:
在所述数据缩减业务的初始化过程中读取缩减业务的配置信息,将所述配置信息写入至所述配置日志;
在所述数据缩减业务的执行过程中记录执行的所有IO操作,保存至所述IO业务日志;
统计预设时间间隔内执行所述数据缩减业务时的业务执行性能,写入至所述性能统计日志中;
当所述日志内存占满后,将新生成的日志循环写入所述日志内存。
6.一种存储系统数据缩减业务日志管理装置,其特征在于,该装置包括:
内存申请单元,用于向内存管理模块申请用于存储数据缩减业务日志的内存;
业务记录单元,用于在数据缩减线程运行中,将数据缩减业务中的初始化配置信息、各IO操作的IO业务数据以及业务性能统计循环写入至所述内存中;
日志存储单元,用于当日志保存触发后,将所述内存中的日志保存至磁盘中;
还包括:内存映射管理单元,用于将所述内存映射至主业务进程空间;
则相应地,所述日志存储单元包括:
信息获取子单元,用于当日志保存触发后,在所述主业务进程空间中获取共享的所述内存中记录的日志信息;
信息添加子单元,用于将所述日志信息添加至磁盘中。
7.一种存储系统数据缩减业务日志管理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的存储系统数据缩减业务日志管理方法的步骤。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至5任一项所述的存储系统数据缩减业务日志管理方法的步骤。
CN202010921901.XA 2020-09-04 2020-09-04 存储系统数据缩减业务日志管理方法及相关组件 Active CN112347059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010921901.XA CN112347059B (zh) 2020-09-04 2020-09-04 存储系统数据缩减业务日志管理方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010921901.XA CN112347059B (zh) 2020-09-04 2020-09-04 存储系统数据缩减业务日志管理方法及相关组件

Publications (2)

Publication Number Publication Date
CN112347059A CN112347059A (zh) 2021-02-09
CN112347059B true CN112347059B (zh) 2023-12-22

Family

ID=74357653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010921901.XA Active CN112347059B (zh) 2020-09-04 2020-09-04 存储系统数据缩减业务日志管理方法及相关组件

Country Status (1)

Country Link
CN (1) CN112347059B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919494A (zh) * 2015-12-25 2017-07-04 阿里巴巴集团控股有限公司 安卓应用日志的实现方法和装置
CN108897642A (zh) * 2018-06-27 2018-11-27 清华大学 持久性事务内存系统中日志机制的优化方法及装置
CN108984378A (zh) * 2018-07-02 2018-12-11 中国农业银行股份有限公司 一种日志数据异步处理方法及装置
CN109408482A (zh) * 2018-12-17 2019-03-01 浪潮电子信息产业股份有限公司 一种数据存储方法、系统、设备及计算机可读存储介质
CN109471743A (zh) * 2018-11-12 2019-03-15 深圳前海微众银行股份有限公司 日志收集方法、装置及计算机可读存储介质
US10324656B1 (en) * 2016-07-29 2019-06-18 EMC IP Holding Company LLC Application-aware control for data services
CN111240879A (zh) * 2020-01-10 2020-06-05 苏州浪潮智能科技有限公司 一种sas卡固件日志收集方法、系统、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111897B (zh) * 2013-04-16 2017-06-13 华为技术有限公司 一种数据处理方法、装置及计算机系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919494A (zh) * 2015-12-25 2017-07-04 阿里巴巴集团控股有限公司 安卓应用日志的实现方法和装置
US10324656B1 (en) * 2016-07-29 2019-06-18 EMC IP Holding Company LLC Application-aware control for data services
CN108897642A (zh) * 2018-06-27 2018-11-27 清华大学 持久性事务内存系统中日志机制的优化方法及装置
CN108984378A (zh) * 2018-07-02 2018-12-11 中国农业银行股份有限公司 一种日志数据异步处理方法及装置
CN109471743A (zh) * 2018-11-12 2019-03-15 深圳前海微众银行股份有限公司 日志收集方法、装置及计算机可读存储介质
CN109408482A (zh) * 2018-12-17 2019-03-01 浪潮电子信息产业股份有限公司 一种数据存储方法、系统、设备及计算机可读存储介质
CN111240879A (zh) * 2020-01-10 2020-06-05 苏州浪潮智能科技有限公司 一种sas卡固件日志收集方法、系统、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yang Ji 等.RAIN: Refinable Attack Investigation with On-demand Inter-Process Information Flow Tracking.《CCS '17: Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security》.2017,全文. *
入侵防御系统日志采集和存储的改进方法;马强;刘晓洁;梁刚;;计算机工程与设计(17);全文 *

Also Published As

Publication number Publication date
CN112347059A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110502494B (zh) 日志处理方法、装置、计算机设备及存储介质
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
US20180365085A1 (en) Method and apparatus for monitoring client applications
CN108345524B (zh) 应用程序监控方法及应用程序监控装置
CN109885453B (zh) 基于流数据处理的大数据平台监控系统
CN109408341A (zh) 分布式存储系统性能监控方法、装置、设备及可读存储介质
CN110266544B (zh) 一种云平台微服务化服务失败的原因定位的装置及方法
CN110727556A (zh) 一种bmc健康状态监控方法、系统、终端及存储介质
CN114356499A (zh) Kubernetes集群告警根因分析方法及装置
CN111083008A (zh) 一种基于nginx的流量采集分析方法
CN109213659A (zh) 一种设备内存状态的监测方法、装置及存储介质
CN112347059B (zh) 存储系统数据缩减业务日志管理方法及相关组件
CN112367384B (zh) 基于Kafka集群的动态限速方法、装置以及计算机设备
CN116126621A (zh) 大数据集群的任务监控方法及相关设备
US20180309702A1 (en) Method and device for processing data after restart of node
CN115470090A (zh) 一种日志数据采集方法
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
CN113407415A (zh) 智能终端的日志管理方法和装置
CN114493720A (zh) 监控Kafka消费者的方法、装置、存储介质及设备
CN113806438A (zh) 一种基于海量bcp数据文件的入库及预处理方法和系统
CN114090382B (zh) 超融合集群健康巡检方法和装置
CN110532147A (zh) 远程实时监控测试服务器bmc性能稳定性的方法及系统
CN110727648B (zh) 一种工业设备的高效数据压缩方法及数据服务器
CN116610532B (zh) Redis客户端监测方法、系统、电子设备及存储介质
CN108449343B (zh) Ssh协议文本数据采集方法、采集器及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant