CN113296596A - 记录信息量的方法及其系统 - Google Patents

记录信息量的方法及其系统 Download PDF

Info

Publication number
CN113296596A
CN113296596A CN202010307334.9A CN202010307334A CN113296596A CN 113296596 A CN113296596 A CN 113296596A CN 202010307334 A CN202010307334 A CN 202010307334A CN 113296596 A CN113296596 A CN 113296596A
Authority
CN
China
Prior art keywords
monitoring data
storage
monitoring
data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010307334.9A
Other languages
English (en)
Inventor
杨伯安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Shangxirui Technology Co ltd
Original Assignee
Hong Kong Shangxirui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Shangxirui Technology Co ltd filed Critical Hong Kong Shangxirui Technology Co ltd
Publication of CN113296596A publication Critical patent/CN113296596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种记录信息量的方法及其系统，适用于一数据存储系统。监测单元用以侦测和监视数据存储系统中存储节点的运作，以产生相应的一或多个监测数据；经由记录处理单元用以接收一或多个监测数据，并根据一或多个监测数据的内容差异，给予一或多个标识记录，根据所存放的标识记录进行调节机制，进而有效地减少监控所产生的大量数据。

Description

记录信息量的方法及其系统
技术领域
本申请有关于一种记录信息量的方法及其系统，特别是一种在数据存储系统中记录信息量的记录信息量的方法及其系统。
背景技术
图1显示现有技术的存储系统1的系统框图，存储系统1包括控制管理界面10和多个存储节点(例如，图1中所示第一存储节点11、第二存储节点12和第三存储节点13)，每个存储节点包括多个个存储元件，用以存储档案、数据或软体等，上述存储元件可为SSD(Solid State Disk或Solid State Drive，简称SSD，固态硬盘)、IDE(Integrated DriveElectronics，集成驱动器电子)或SATA(Serial ATA，串口硬盘)等类型的硬盘。其中，多个存储节点的集合，称的为集群(cluster)。当控制管理界面10接收到存储信息时，会根据各节点的存储状态，将存储信息存放于较为空闲的存储节点当中。上述的控制管理界面通常会用SAMBA(是种用来让UNIX系列的作业系统与微软Windows作业系统的SMB/CIFS(ServerMessage Block/Common Internet File System)网络协定做连结的自由软体)、RBD(Distributed Block Device)、SWIFT等监控及管理方式来最佳化调节上述多个存储节点和存储信息间的存储状态，且控制管理界面10更根据每个存储节点的存储状态，以在各存储节点间进行档案、数据或物件间的转存、复制或压缩等运作，更进一步而言是作重新配重(reweight)，并监控和记录每个运作以产生系统监控数据，同时，维持每个存储节点的最佳运作状态。上述存储信息包含不同类型的档案、数据或物件(object)等。
在系统监控存储的维运重点主要在系统监控数据，而系统监控数据系用于预测目前存储的效能与容量是否满足未来的需求，以及侦测系统的异常存取行为时能及时让维运人员收到通知并及时反应。长久以来，处理及保留系统监控所产生的大量数据，是存储系统的难题，监控数据保留过多，不仅仅是占用存储系统的存储空间，而后续监控数据的压缩存储更会持续的消耗存储系统的运算资源。
现有技术的解决方式，通常是在系统内设定多个周期参数，监控数据超过一部分周期参数后会对所有系统监控数据进行减低采样率，且/或进行压缩，且/或删除。现有技术的方法虽然可减低监控数据的量，因缺乏弹性，因而无法保留较久的前监控数据。此外，对大量监控数据进行减低采样率，且/或进行压缩也会消耗系统资源，从而减损存储系统的存储效能。
发明内容
本申请提供一种在存储系统中记录信息量的方法及其系统，借由数据存储系统中的一或多个监控数据，调整或关闭监控的采样，进而有效地减少监控所产生的大量数据。
为了解决上述技术问题，本发明是这样实现的：
根据本申请的实施例，本申请提供一种记录信息量的方法，适用于数据存储系统，包括：侦测和监视存储系统中存储节点的运作，以产生一或多个监测数据，存储节点更包括存储器、一或多个存储元件、中央处理器、一或多个散热元件、内部网络及外部网络界面，内部网络耦接存储器、一或多个存储元件、中央处理器、一或多个散热元件及外部网络界面；以及接收一或多个监测数据，并根据一或多个监测数据的内容差异，给予一或多个标识记录。
于一实施例，本申请的记录信息量的方法，还包括：分别对监测数据给予相应的标识记录；依据时间的差异不同而存储相同类型的标识记录，进而产生相同类型的标识记录的历史监测数据；以及根据所存放的标识记录进行调节机制。
于一实施例，根据所存放的标识记录进行调节机制的步骤更包括多个调节机制，其中，多个调节机制包括取样率调节机制、记录临界值调节机制、优先权调节机制的其中一者。
根据本申请的实施例，本申请提供一种记录信息量系统，适用于数据存储系统，包括监测单元以及记录处理单元，监测单元连接数据存储系统中存储节点，用以侦测和监视存储节点的运作，以产生相应的一或多个监测数据；记录处理单元用以耦接监测单元，接收一或多个监测数据，并根据一或多个监测数据的内容差异，给予一或多个标识记录。
于一实施例，记录处理单元还包括标识记录模块、存储模块以及调节模块，标识记录模块分别对监测数据给予相应的标识记录；存储模块耦接标识记录模块，存储模块用以依据时间的不同而存储相同类型的标识记录，进而产生相同类型的标识记录的一历史监测数据；调节模块耦接存储模块，调节模块根据所存放在存储模块的标识记录进行调节机制。
于一实施例，调节模块更包括多个调节机制，其中多个调节机制包括取样率调节机制、记录临界值调节机制、优先权调节机制的其中一者。
本申请提出一种记录信息量的方法及其系统，可减少纪录的信息量，并借由系统中一或多个监控数据，调整或关闭监控的采样，进而有效地减少监控所产生的大量数据。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为习知的存储系统的系统框图；
图2为本申请的记录信息量系统的系统框图；
图3为本申请的记录处理单元内部详细结构的示意图；
图4为本申请的记录信息量的方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如在说明书及权利要求书当中使用了某些词汇来指称特定元件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个元件。本说明书及权利要求书并不以名称的不同来作为区分元件的方式，而是以元件在功能上的不同来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”或者“包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附申请专利范围所界定者为准。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者系统中还存在另外的相同要素。
在以下所列举的各实施例中，将以相同的标号代表相同或相似的元件或物件。
图2为本申请的记录信息量系统的系统框图。如图所示，记录信息量系统，适用于数据存储系统21，数据存储系统21包括有多个存储节点，图示中以一个存储节点211作为示例性说明。记录信息量系统包括监测单元22以及记录处理单元23。
在一个示例性的实施例中，数据存储系统21可为CEPH存储架构的存储系统。所谓CEPH存储架构是以单一架构，同时提供物件、区块、档案的存储，借由RADOS函式库为中介，程式可直接存取底层丛集，并提供物件存储闸道、区块存储装置来对应存取，也可搭配元数据伺服器来提供档案系统服务，而底层则是由多个RADOS节点组成的丛集所构成，可横向扩充数千个节点。
监测单元22连接数据存储系统21中存储节点211，用以侦测和监视存储节点211的运作，以产生一或多个相应于前述运作的监测数据，前述运作包括存储资讯或分流资讯等等；记录处理单元23耦接监测单元22，接收一或多个监测数据，并根据一或多个监测数据的内容差异，给予一或多个标识记录，前述的内容差异包括监测数据的存储数据的不同、运转时间的不同或其他系统或存储状态间数据的不同。
存储节点211更包括但不限于一或多个存储元件211a、中央处理器211b、一或多个散热元件211c、内部网络211d及外部网络界面211e。其中，一或多个监测数据内容可包括存储元件211a的监测数据、中央处理器211b的监测数据、散热元件211c的监测数据、内部网络211d的监测数据和外部网络界面211e的监测数据的其中一者，或者上述二种以上监测数据。存储节点211可为伺服器，并且存储节点211更包括存储器211f，存储器211f可和内部网络211d进行讯息传递。上述存储元件211a可为SSD、IDE或SATA等类型的硬碟，存储元件211a的监测数据可为SSD、IDE或SATA中任何一种存取运作状态、存储空间容量、存取效能等，例如读取错误率、搜寻错误率、写入错误率或启动重试错误率。中央处理器211b的监测数据可为运作状态，例如，功耗、温度、实际执行速度，或者也可为中央处理器211b中的内部系统程式运作状态。散热元件211c的监测数据可为中央处理器211b的运作温度。内部网络211d的监测数据可为内部流量统计。外部网络界面211e的监测数据可为流量统计等。
承接上段说明，请同时参阅图3，为本申请的记录处理单元23内部详细结构的示意图。如图所示，记录处理单元23包括标识记录模块231、存储模块232与调节模块233。
标识记录模块231分别对监测数据内容给予相对的标识记录。更详细而言，标识记录模块231会对存储元件211a的监测数据内容给予第一标识记录、对中央处理器211b的监测数据内容给予第二标识记录、对散热元件211c的监测数据内容给予第三标识记录、对内部网络211d的监测数据内容给予第四标识记录和对外部网络211e的监测数据内容给予第五标识记录。
存储模块232耦接标识记录模块231，用以依据时间的不同而存储相同类型的标识记录，进而产生标识记录的历史监测数据。例如，会在一段时间内存储标识记录，像是会将第一标识记录以每七天为一组进行存储，并持续进行每七天存储一次的行为，过一段时间存储后(例如49天后)，以产生对第一标识记录的历史监测数据。或者，同时进行将第一、第二、第三、第四和第五标识记录每7天分别进行存储，也是经过一段时间的存储后，以分别产生第一、第二、第三、第四和第五标识记录的历史监测数据。又例如，存储模块用更细微的时间单位，例如用小时为每一单位来存储第一标识或其他的标识，以让使用者能详细而明白异常状况发生的在某一天的某个小时，进而有效率的排除存储节点211或存储系统21的问题。
调节模块233耦接存储模块232，调节模块233根据所存储的标识记录进行调节，例如，优先权调节，当调节模块233或使用者会发觉第一标识记录有异常状态的发生，会调升第一标识记录的优先权，以让数据存储系统21或使用者可优先处理及修正第一标识所代表的存储元件211a的异常，进而维护存储节点211的运作。其中，调节模块233更包括多个调节机制，亦可根据实际的标识记录的需求增加调节机制，多个调节机制包括取样率调节机制、记录临界值调节机制、优先权调节机制等等。前述优先权调节机制，是使用者发觉目前使用的标识记录有异常状态时，会给予异常状态较其他状态较高的优先权，以让数据存储系统21或使用者可优先处理此异常状态。前述记录临界值调节机制是数据存储系统21会记录每个状态的运作的情况，并设定临界值，若设定临界值为80，而状态正常运作是0，而状态异常运作是20，当状态异常运作累加超过临界值80时，则系统会对异常状态进行处理。前述取样率调节机制是数据存储系统21或使用者可于一定周期或时间内，取样状态情况随机取样，若在取样的样本有异常状态时，数据存储系统21会进行处理。前述优先权调节机制、临界值调节机值及取样率调节机制并不受限于前述的运用的例子。
根据本申请的另一实施例，数据存储系统21中可具有多个存储节点211，每一个存储节点211都应用其外部网络界面211e相连，以进行互相通讯与传输，而多个存储节点211还可应用一闸道器(gateway)(图中未示)与监测单元22连络，以让监测单元22和记录处理单元23对多个存储节点211进行侦测、监控及建立标识记录，其多个存储节点211和监测单元22与记录处理单元23间的运作和关联，和前述单个节点211和监测单元22与记录处理单元23间的运作和关联亦相同，于此不再赘述。
请同时参阅图2及图4，图4为本申请一实施例的记录信息量的方法流程图。在本实施例中，适用于数据存储系统21的记录信息量的方法，如步骤S401，通过一监测单元22用以侦测和监视存储系统21中存储节点211的运作，以产生相应的一或多个监测数据；再如步骤S402，经由一记录处理单元23用以接收一或多个监测数据，并根据一或多个监测数据的内容差异，给予一或多个标识记录。其中，存储节点211更包括一或多个存储元件211a、一中央处理器211b、一或多个散热元件211c、内部网络211d及外部网络界面211e，但不受限于此。其中，一或多个监测数据内容可包括存储元件211a的监测数据、中央处理器211b的监测数据、散热元件211c的监测数据、内部网络211d的监测数据和外部网络界面211e的监测数据的其中一者，或者上述二种监测数据以上。前述存储节点211可为伺服器，并且存储节点211更包括存储器211f，存储器211f可和内部网络211d进行讯息传递。上述存储元件211a可为SSD、IDE或SATA等类型的硬碟。
于本实施例，记录信息量的方法，还包括步骤S403，分别对监测数据给予相应的标识记录；再如步骤S404，依据时间的不同而存储相同类型的标识记录，进而产生相同类型的标识记录的一历史监测数据；最后如步骤S405，根据所存放在存储模块232的标识记录进行调节机制。其中，根据所存放在存储模块232的标识记录进行调节机制的步骤更包括多个调节机制，其中，多个调节机制包括取样率调节机制、记录临界值调节机制、优先权调节机制的其中一者。前述优先权调节机制，是使用者发觉目前使用的标识记录有异常状态时，会给予异常状态较其他状态较高的优先权，以让数据存储系统21或使用者可优先处理此异常状态。前述记录临界值调节机制是数据存储系统21会记录每个状态的运作的情况，并设定临界值，若设定临界值为80，而状态正常运作是0，而状态异常运作是20，当状态异常运作累加超过临界值80时，则数据存储系统21会对异常状态进行处理。前述取样率调节机制是数据存储系统21或使用者可于一定周期或时间内随机取样标识记录，若在取样的标识记录有异常状态时，数据存储系统21会进行处理此异常状态。前述优先权调节机制、临界值调节机值及取样率调节机制并不受限于前述的运用的例子。
于另一实施例，采用CEPH存储架构，多个存储伺服器内具有多个存储单元及存储节点，多个存储伺服器会成为群集，并用内部网络211d(存储网络)进行沟通、侦测及监控，进而得到大量的系统监控数据。于本实施例，由监测单元22所得到的监控数据可为即时或历史的监控数据，并可将一或多个即时或历史的监控数据作为指标。可将内部网络211d与其他监测器一同作为指标，更好的是以内部网络211d做为指标，再用判断方法来调整或关闭其他对其他监测器的监控采样，进而有效地减少监控所产生的的大量数据。此外，监测单元22所得到的监控数据可来自内部网络监测器、外部网络界面监测器、存储监测器、中央处理器监测器、存储器监测器、温度监测器或通常知识者习知的监测器，但不受限于此。前述判断方法可为设定阈值、模式基础或机器学习等等，而前述调整或关闭其他对其他监测器的判断方法，可为通常知识者习知的设定方法，而不受限于此。于本实施例，内部网络监测器做为指标，再以设定阈值方法来调整或关闭其他对其他监测器的监控采样标识记录，进而有效地减少监控所产生的大量数据。
又一实施例，采用全快闪存储架构(All Flash Array)，采用SSD做为存储媒体、存储速度更快、中央处理运算资源运用更多。于本实施例，由监测单元22所得到的监控数据可为即时或历史的监控数据，并可将一或多个即时或历史的监控数据作为指标。可将内部网络211d与其他监测器一同作为指标，更好的是以内部网络211d做为指标，再用判断方法来调整或关闭其他对其他监测器的监控采样标识记录，进而有效地减少监控所产生的的大量数据。此外，监测单元22所得到的监控数据可来自内部网络监测器、外部网络界面监测器、存储监测器、中央处理器监测器、存储器监测器、温度监测器或通常知识者习知的监测器，但不受限于此。前述判断方法可为设定阈值、模式基础或机器学习等等，而前述调整或关闭其他对其他监测器的判断方法，可为通常知识者习知的设定方法，而不受限于此。以中央处理器监测器做为指标，再以设定阈值方法来调整或关闭其他对其他监测器的监控采样标识记录，进而有效地减少监控所产生的大量数据。
又一实施例，采用CEPH存储架构及SSD做为存储媒体。于本实施例，由监测单元22所得到的监控数据可为即时或历史的监控数据，并可将一或多个即时或历史的监控数据作为指标。可将内部网络211d与其他监测器一同作为指标，更好的是以内部网络211d做为指标，再用判断方法来调整或关闭其他对其他监测器的监控采样标识记录，进而有效地减少监控所产生的的大量数据。此外，监测单元22所得到的监控数据可来自内部网络监测器、外部网络监测器、存储监测器、中央处理器监测器、存储器监测器、温度监测器或通常知识者习知的监测器，但不受限于此。前述判断方法可为设定阈值、模式基础或机器学习等等，而前述调整或关闭其他对其他监测器的判断方法，可为通常知识者习知的设定方法，而不受限于此。以中央处理器监测器做为指标，再以设定阈值方法来调整或关闭其他对其他监测器的监控采样，进而有效地减少监控所产生的大量数据。于本实施例，内部网络监测器且/或中央处理监测器做为指标，再以设定阈值方法来调整或关闭其他对其他监测器的监控采样标识记录，进而有效地减少监控所产生的大量数据。
本申请提出一种记录信息量的方法及其系统，可减少纪录的讯息量，并借由系统中一或多个监控数据，调整或关闭监控的采样，进而有效地减少监控所产生的大量数据。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (13)

1.一种记录信息量的方法，适于数据存储系统，其特征在于，包括：
通过监测单元侦测和监视所述数据存储系统中存储节点的运作，以产生相应的一或多个监测数据，所述存储节点包括存储器、一或多个存储元件、中央处理器、一或多个散热元件、内部网络及外部网络界面，所述内部网络耦接所述存储器、一或多个所述存储元件、所述中央处理器、一或所述多个散热元件及所述外部网络界面；以及
经由记录处理单元接收一或多个所述监测数据，并根据一或多个所述监测数据的内容差异，给予一或多个标识记录。
2.根据权利要求1所述的记录信息量的方法，其特征在于，还包括：
分别对所述监测数据给予相应的所述标识记录；
依据时间的不同而存储相同类型的所述标识记录，进而产生相同类型的所述标识记录的历史监测数据；以及
根据所存放的所述标识记录进行调节机制。
3.根据权利要求2所述的记录信息量的方法，其特征在于，根据所存放的所述标识记录进行调节的步骤更包括多个调节机制，所述些调节机制包括取样率调节机制、记录临界值调节机制、优先权调节机制的其中一。
4.根据权利要求3所述的记录信息量的方法，其特征在于，所述优先权调节机制是于所述标识记录有异常状态时，设定所述标识记录为优先处理所述异常状态。
5.根据权利要求3所述的记录信息量的方法，其特征在于，所述取样率调节机制是于一定周期或时间内随机取样所述标识记录，若取样得到所述标识记录有异常状态时，则进行处理所述异常状态。
6.根据权利要求3所述的记录信息量的方法，其特征在于，所述记录临界值调节机制，是分别将所述数据存储系统的正常状态及异常状态设有数值，当所述异常状态的所述数值超过一临界值，则进行处理所述异常状态。
7.根据权利要求1所述的记录信息量的方法，其特征在于，一或多个所述监测数据内容是包括所述存储元件的监测数据、所述中央处理器的监测数据、所述散热元件的监测数据、所述内部网络的监测数据和所述外部网络界面的监测数据的其中一者，或者上述二种所述监测数据以上。
8.一种记录信息量系统，适用于数据存储系统，其特征在于，包括：
监测单元，连接所述存储系统中存储节点，用以侦测和监视所述存储节点的运作，以产生一或多个监测数据；以及
记录处理单元，用以耦接所述监测单元，接收一或多个所述监测数据，并根据一或多个所述监测数据的内容差异，给予一或多个标识记录。
9.根据权利要求8所述的记录信息量系统，其特征在于，所述记录处理单元还包括：
标识记录模块，分别对该监测资料给予相应的该标识记录；
存储模块，耦接该标识记录模块，用以依据时间的不同而储存相同类型的该标识记录，进而产生相同类型的该标识记录的一历史监测资料；
一调节模块，耦接该储存模块，根据所存放在该储存模块的该标识记录进行调节机制。
10.根据权利要求8所述的记录信息量系统，其特征在于，所述调节模块更包括多个调节机制，其中所述多个调节机制包括逻辑切换调节机制、取样率调节机制、记录临界值调节机制、优先权调节机制的其中一者。
11.根据权利要求10所述的记录信息量系统，其特征在于，所述优先权调节机制是将异常状态设为优先，所述取样率调节机制是取样系统状态，若取样得到所述异常状态则进行处理，所述记录临界值调节机制，是分别将正常状态及所述异常状态设有数值，当所述异常状态的数值超过临界值，则进行处理。
12.根据权利要求8所述的记录信息量系统，其特征在于，所述存储节点更包括一或多个存储元件、一中央处理器、一或多个散热元件、内部网络及外部网络界面。
13.根据权利要求12所述的记录信息量系统，其特征在于，一或多个所述监测数据内容可包括所述存储元件的监测数据、所述中央处理器的监测数据、所述散热元件的监测数据、所述内部网络的监测数据和所述外部网络界面的监测数据的其中一者，或者上述二种所述监测数据以上。
CN202010307334.9A 2020-02-21 2020-04-17 记录信息量的方法及其系统 Pending CN113296596A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109105736A TWI778329B (zh) 2020-02-21 2020-02-21 記錄信息量方法及其系統
TW109105736 2020-02-21

Publications (1)

Publication Number Publication Date
CN113296596A true CN113296596A (zh) 2021-08-24

Family

ID=77318498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010307334.9A Pending CN113296596A (zh) 2020-02-21 2020-04-17 记录信息量的方法及其系统

Country Status (3)

Country Link
US (1) US11593019B2 (zh)
CN (1) CN113296596A (zh)
TW (1) TWI778329B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550955B1 (en) * 2021-07-20 2023-01-10 Red Hat, Inc. Automatically anonymizing data in a distributed storage system
CN114896121A (zh) * 2022-05-31 2022-08-12 杭州数梦工场科技有限公司 分布式处理系统的监控方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128586A1 (en) * 2002-12-27 2004-07-01 Casey Bahr Managing a wireless platform
TW201328247A (zh) * 2011-12-21 2013-07-01 Inventec Corp 系統錯誤處理方法與使用其之伺服器系統
KR20180076172A (ko) * 2016-12-27 2018-07-05 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
CN109145648A (zh) * 2018-08-01 2019-01-04 冼汉生 一种基于区块链的水质监测数据存储系统及存储方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463833B (zh) 2012-10-31 2014-12-01 Delta Electronics Inc 感測器資料的快取裝置及其快取方法
US9753796B2 (en) * 2013-12-06 2017-09-05 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
TWI516886B (zh) * 2013-12-10 2016-01-11 財團法人工業技術研究院 智能學習節能調控系統與方法
EP2947424A3 (en) * 2014-05-22 2015-12-02 Nxp B.V. A sensor apparatus and associated methods
CN105335384B (zh) * 2014-06-30 2019-06-18 中国航发商用航空发动机有限责任公司 用于监测数据的存储方法和复现方法及其装置
JP6659384B2 (ja) * 2016-02-02 2020-03-04 株式会社神戸製鋼所 回転機の異常検知装置および回転機の異常検知システム
JP6492234B2 (ja) * 2016-12-06 2019-03-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置及び情報処理方法
US10887167B2 (en) * 2018-04-30 2021-01-05 At&T Intellectual Property I, L.P. Adaptive software-defined storage for cloud storage workloads

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128586A1 (en) * 2002-12-27 2004-07-01 Casey Bahr Managing a wireless platform
TW201328247A (zh) * 2011-12-21 2013-07-01 Inventec Corp 系統錯誤處理方法與使用其之伺服器系統
KR20180076172A (ko) * 2016-12-27 2018-07-05 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
CN109145648A (zh) * 2018-08-01 2019-01-04 冼汉生 一种基于区块链的水质监测数据存储系统及存储方法

Also Published As

Publication number Publication date
TW202132990A (zh) 2021-09-01
US20210263669A1 (en) 2021-08-26
TWI778329B (zh) 2022-09-21
US11593019B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US5991806A (en) Dynamic system control via messaging in a network management system
US9563531B2 (en) Storage of mass data for monitoring
US20100229182A1 (en) Log information issuing device, log information issuing method, and program
US8028201B2 (en) Leveled logging data automation for virtual tape server applications
CN103458036A (zh) 一种集群文件系统的访问装置和方法
CN111835562B (zh) 日志上传方法、日志查询方法、系统
JP2008108120A (ja) エージェントを使用して性能を監視する計算機システム及びその方法
CN113296596A (zh) 记录信息量的方法及其系统
US8521700B2 (en) Apparatus, system, and method for reporting on enterprise data processing system configurations
CN112947860B (zh) 一种分布式数据副本的分级存储与调度方法
WO2007116995A1 (ja) データの保存先を複数のテープ記録装置から選択するための装置、方法及びプログラム
US20180052769A1 (en) Apparatus, system, and method for maintaining a context stack
US10235062B1 (en) Selection of computer resources to perform file operations in a power-efficient manner
CN114610567A (zh) 容器监控方法、网络设备及存储介质
WO2024139333A1 (zh) 存储集群运行状态的预测方法及装置
JP2001077813A (ja) ネットワーク情報管理装置とネットワーク情報管理方法およびその処理プログラムを記録した記録媒体
CN111858471A (zh) 一种实时迁移策略
CN114003477B (zh) 慢盘诊断信息收集方法、系统、终端及存储介质
CN115562582A (zh) 基于蓝光盘库的数据迁移方法、服务器及蓝光盘库
US20220391722A1 (en) Reducing impact of collecting system state information
US8032797B1 (en) Storage of mass data for monitoring
CN116956363B (zh) 一种基于云电脑技术的数据管理方法及系统
US20230305728A1 (en) Management system, storage system, and management processing method
CN112667590B (zh) 一种高效融合cdn实时日志olap存储查询系统及其存储查询方法
US20240362531A1 (en) Intelligent self-adjusting metric collection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210824