CN112883025A - 一种可视化ceph内部数据结构映射关系的系统和方法 - Google Patents

一种可视化ceph内部数据结构映射关系的系统和方法 Download PDF

Info

Publication number
CN112883025A
CN112883025A CN202110100339.9A CN202110100339A CN112883025A CN 112883025 A CN112883025 A CN 112883025A CN 202110100339 A CN202110100339 A CN 202110100339A CN 112883025 A CN112883025 A CN 112883025A
Authority
CN
China
Prior art keywords
data
module
ceph
database
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110100339.9A
Other languages
English (en)
Other versions
CN112883025B (zh
Inventor
傅治宇
黄启功
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunsi Imagination Technology Co ltd
Original Assignee
Beijing Yunsi Imagination Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunsi Imagination Technology Co ltd filed Critical Beijing Yunsi Imagination Technology Co ltd
Priority to CN202110100339.9A priority Critical patent/CN112883025B/zh
Publication of CN112883025A publication Critical patent/CN112883025A/zh
Application granted granted Critical
Publication of CN112883025B publication Critical patent/CN112883025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances

Abstract

本申请公开了一种可视化ceph内部数据结构映射关系的系统和方法。系统包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；方法包括：数据服务器发送获取数据的请求到数据代理模块，数据代理模块需要获取的数据；数据服务器将接收到的需要获取的数据发送到数据库，同时发送第一通知给数据分析模块；数据分析模块从所述数据库中调取所述需要获取的数据，进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；数据可视化模块从数据库中调取映射表，并以可视化形式显示出来。本申请帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题。

Description

一种可视化ceph内部数据结构映射关系的系统和方法
技术领域
本申请涉及信息存储技术领域，具体而言，涉及一种可视化ceph内部数据结构映射关系的系统和方法。
背景技术
目前，ceph是广泛流行的分布式存储系统，运维、大数据等相关人员专注于了解ceph内部数据结构映射关系，能够他们帮助解决数据存储的很多问题。然而现在ceph系统并没有一种可视化的系统帮助工作人员更便捷、更精准地地找到ceph内部数据结构映射关系。
针对相关技术中需要一种可视化的系统帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种可视化ceph内部数据结构映射关系的系统和方法，以解决相关技术中需要一种可视化的系统帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题。
为了实现上述目的，第一方面，本申请提供了一种可视化ceph内部数据结构映射关系的系统，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；
所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据可视化模块、所述数据库相连接；
所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述基于ceph数据结构映射方法为ceph系统内部数据结构映射的方法，对于本领域技术人员来说是公开的常识，本申请不加以赘述。
所述数据库，用于保存所述待分析数据以及所述映射表；
所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
所述所在主机的情况，包括：CPU、内存或IO负载情况，如果所在的主机的CPU、内存、IO负载一个或多个高于设定阈值，则所述数据代理模块发送中断数据获取阶段的指令，告知所述数据服务器延迟获取数据。
所述数据代理模块部署在ceph集群其中的一台主机上面，同时配置所述数据服务器模块的IP、端口号和拉取数据信息的方式。
所述数据服务器，依据所述数据代理模块配置的IP，主动连接所述数据代理模块，连接成功后，发送所述数据的请求到所述数据代理模块。
所述数据可视化模块，前端网页方式显示给用户。
所述数据代理模块，需要所述数据服务器进行鉴权确认，即所述数据代理模块是否有权限发送所述需要获取的数据。
所述数据代理模块，对所述需要获取的数据进行加密数据传输；所述数据分析模块，调取加密后需要获取的数据，并对其进行解密，当得到所述映射表后，对所述映射表进行加密并且发送到所述数据库中；所述数据库，调取加密后的映射表并对其进行解密，将解密后的映射表以可视化形式显示出来。
所述可视化形式显示出来，需要显示各种映射关系，包括显示内容如下：
能够可视化展示ceph内部数据结构；
能够通过cephclusterID检索该集群的映射关系；
能够通过osdID检索该osd关联的映射关系；
能够通过pool name检索该pool关联的映射关系；
能够通过rados对象ID检索该rados对象关联的映射关系；
能够通过rbd镜像检索该镜像关联的映射关系；
能够通过文件名字检索该文件关联的映射关系；
能够通过对象存储的对象名字检索该对象关联的映射关系。
在配置所述数据代理模块、数据服务器、数据分析模块、数据可视化模块时，其所在物理主机或是虚拟机需要时钟同步。
所述数据库，部署两套主备集群，一套用于获取ceph的内部数据结构，一套用于配置可视化web组件。
第二方面，本申请还提供了一种可视化ceph内部数据结构映射关系的方法，使用所述的视化ceph内部数据结构映射关系的系统实现，包括如下步骤：
所述数据服务器发送获取数据的请求到所述数据代理模块，所述数据代理模块接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述数据可视化模块接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
有益技术效果：
本申请提出了一种可视化ceph内部数据结构映射关系的系统及方法，帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题，方法简单易行，本领域技术人员的很容易根据本申请所述方法进行实现，并且成本比较低，易于推广。
1.分布式存储ceph集群运维繁冗而复杂，耗费大量的人力物力，如果把ceph内部数据结构关系通过直观的方式展示给相关运维人员，可以帮助运维人员从数据维度，分析分布式存储ceph集群的数据分布、数据的动态、数据映射关系以及数据的I/O路径运作方式，降低问题发现和解决的时间成本，降低运维分布式存储ceph集群的运维，节省人力物力。
2.用于可视化ceph内部数据关系的系统，本身是一个基于ceph的数据获取系统，该系统除可以数据关系的展示，还可以作为ceph本身的数据分析，数据监控的基础设施系统。
3.分布式存储ceph本身数据结构抽象晦涩，无法与大数据分析结合，可视化ceph内部数据结构关系，可以清晰描述分布式存储ceph集群对数据的抽象，可以直观展示给相关大数据分析人员，降低了沟通的时间成本，提高了跨领域的工作效率，同时也提高大数据分析人员对于数据的理解和分析。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的一种可视化ceph内部数据结构映射关系的系统原理示意图；
图2是根据本申请实施例提供的一种可视化ceph内部数据结构映射关系的方法流程图；
图3是根据本申请实施例提供的数据获取阶段示意图；
图4是根据本申请实施例提供的数据解析阶段示意图；
图5是根据本申请实施例提供的数据展示阶段示意图；
图6是根据本申请实施例提供的数据服务器模块实施设计流程；
图7是根据本申请实施例提供的数据代理模块实施设计流程
图8是根据本申请实施例提供的数据分析模块实施设计流程。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请提出一种可视化ceph内部数据结构映射关系的方法和系统，直观展示了ceph内部数据结构映射关系，能够帮助运维、大数据等相关人员解决存储的问题，提高分析存储数据的能力。
ceph内部数据结构包括:池(pool)/块镜像/对象存储中的对象/ceph文件系统文件/归置组(placement group)/osd/rados对象
要实现可视化ceph内部数据结构映射关系的方法，需要一个基于ceph的内部数据结构获取系统，用来获取ceph内部数据结构。
第一方面，本申请提供了一种可视化ceph内部数据结构映射关系的系统，如图1所示，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；
所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与所述数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据分析模块、所述数据库相连接；
所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述数据库，用于保存所述待分析数据以及所述映射表；
所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
所述所在主机的情况，包括：CPU、内存或IO负载情况，如果所在的主机的CPU、内存、IO负载一个或多个高于设定阈值，则所述数据代理模块发送中断数据获取阶段的指令，告知所述数据服务器延迟获取数据。
所述数据代理模块部署在ceph集群其中的一台主机上面，同时配置所述数据服务器模块的IP、端口号和拉取数据信息的方式。
所述数据服务器，依据所述数据代理模块配置的IP，主动连接所述数据代理模块，连接成功后，发送所述获取数据的请求到所述数据代理模块。
所述数据可视化模块，前端网页方式显示给用户。
所述数据代理模块，需要所述数据服务器进行鉴权确认，即所述数据代理模块是否有权限发送所述需要获取的数据。
所述数据代理模块，对所述需要获取的数据进行加密数据传输；所述数据分析模块，调取加密后需要获取的数据，并对其进行解密，当得到所述映射表后，对所述映射表进行加密并且发送到所述数据库中；所述数据库，调取加密后的映射表并对其进行解密，将解密后的映射表以可视化形式显示出来。
所述可视化形式显示出来，需要显示各种映射关系，包括显示内容如下：
能够可视化展示ceph(分布式存储系统)数据结构；
能够通过cephclusterID检索该集群的映射关系；(clusterID，ceph集群的ID号)
能够通过osdID检索该osd(Object Storage Device，对象存储设备)的映射关系；(sdID，对象存储设备的实例ID号)
能够通过pool name检索该pool关联的映射关系；
能够通过rados(Reliable Autonomic Distributed Object Store，可靠的、自主的、分布式对象存储)ID检索该rados对象关联的映射关系；
能够通过rbd镜像检索该镜像关联的映射关系；(rbd，rados block device，Ceph存储系统对外提供的块设备服务)
能够通过文件名字检索该文件关联的映射关系；
能够通过对象存储的对象名字检索该对象关联的映射关系。
在配置所述数据代理模块、数据服务器、数据分析模块、数据可视化模块时，其所在物理主机或是虚拟机需要时钟同步。
所述数据库，部署两套主备集群，一套用于获取ceph的内部数据结构，一套用于配置可视化web组件。
第二方面，本申请还提供了一种可视化ceph内部数据结构映射关系的方法，使用所述的视化ceph内部数据结构映射关系的系统实现，如图2所示，包括如下步骤：
步骤S1：所述数据服务器发送获取数据的请求到所述数据代理模块，所述数据代理模块接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
此阶段为数据获取阶段，如图3所示，数据代理模块(data-agent)部署在ceph集群中的一台主机上面，数据服务器(data-server)会依据配置的数据代理模块(data-agent)的IP，主动连接数据代理模块(data-agent)，连接成功后，启动获取流程，数据代理模块(data-agent)会依据所在的主机的CPU/内存/IO负载情况，发送获取的数据，如果数据代理模块(data-agent)发现所在的主机CPU/内存/IO负载过高，会发送中断数据获取阶段的指令，告知数据服务器(data-server)延迟获取数据。
步骤S2：所述数据服务器将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
步骤S3：所述数据分析模块接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
此阶段为数据解析阶段，如图4所示，数据服务器(data-server)获取到数据，并将数据写入数据库完毕后，通知数据分析模块，数据分析模块(data-analyse)会读取数据库，分析数据，并生成一个ceph内部数据结构映射表，并将该表写入数据库。
步骤S4：所述数据可视化模块接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
此阶段为数据展示阶段，如图5所示，数据分析模块(data-analyse)将分析结果写入数据库后，通知数据可视化模块(data-visual)，读取数据，并数据以前端网页方式展示给用户
具体实施中各个模块设计如下：
数据服务器(data-server)
该模块主要功能是拉取数据，并将数据写入数据库。
设计要求:
(1)需要与数据代理模块(data-agent)进行鉴权确认，
(2)使用加密数据传输。这样做的原因是由于获取的是存储系统的信息，需要对其进行保护。
(3)数据库写入的内容是加密写入。
(4)配置文件来设置数据代理模块(data-agent)的IP、端口号以及拉取数据信息的方式比如是时间间隔还是时间点。
其流程图如图6所示。
数据代理模块(data-agent)：
该模块主要功能是获取ceph内部数据结构，并发送给数据服务器模块(data-server)。
设计要求:
(1)需要与数据服务器模块(data-server)进行鉴权确认。
(2)使用加密数据传输。这样做的原因是由于获取的是存储系统的信息，需要对其进行保护。
(3)配置文件来设置数据服务器模块(data-server)的IP、端口号用于鉴权，并非所有IP和端口号都可以连接数据代理模块(data-agent)。
数据代理模块实现流程图如图7所示。
数据分析模块(data-analyse)
该模块主要功能是读取数据库数据并分析，输出ceph内存数据结构关系。
设计要求:
(1)数据服务器模块(data-server)授权给数据分析模块读数据库中表的读写权限。
(2)解密数据，并进行分析。
(3)分析结果写入数据库。
数据分析模块流程图如图8所示。
具体实施中注意的几个问题：
(1)配置数据分析模块(data-analyse)、数据服务器模块(data-server)、数据代理模块(data-agent)、数据可视化模块(data-visual)所在物理主机或是虚拟机的时钟同步。
(2)在ceph集群中选取其中一个主机，将数据代理模块(data-agent)部署在选中的主机上面，同时配置数据服务器模块(data-server)的IP/端口号/拉取数据信息的方式。
(3)选取一台物理主机或一台虚拟机部署数据服务器模块(data-server)，并配置数据代理模块(data-agent)的IP/端口号、数据分析模块(data-analyse)的IP/端口号以及主动连接数据服务器模块(data-server)的时间间隔或时间点。
(4)数据分析模块(data-analyse)部署在数据服务器模块(data-server)同一台物理主机或一台虚拟机，并配置数据可视化模块(data-visual)的IP/端口号。
(5)数据可视化模块(data-visual)部署在数据分析模块(data-analyse)同一台物理主机或一台虚拟机，并部署web相关组件。
(6)数据库部署2套主备集群，一套用于ceph的内部数据结构获取系统，一套用于可视化web组件相关，数据库的部署可以与数据可视化模块(data-visual)部署在同一台物理主机或虚拟机，也可以分开部署。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种可视化ceph内部数据结构映射关系的系统，其特征在于，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；
所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据分析模块、所述数据库相连接；
所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述数据库，用于保存所述待分析数据以及所述映射表；
所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
2.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述所在主机的情况，包括：CPU、内存或IO负载情况，如果所在的主机的CPU、内存、IO负载一个或多个高于设定阈值，则所述数据代理模块发送中断数据获取阶段的指令，告知所述数据服务器延迟获取数据。
3.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据代理模块部署在ceph集群其中的一台主机上面，同时配置所述数据服务器模块的IP、端口号和拉取数据信息的方式。
4.如权利要求1述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据服务器，依据所述数据代理模块配置的IP，主动连接所述数据代理模块，连接成功后，发送所述获取数据的请求到所述数据代理模块。
5.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据代理模块，需要所述数据服务器进行鉴权确认，即所述数据代理模块是否有权限发送所述需要获取的数据。
6.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据代理模块，对所述需要获取的数据进行加密数据传输；所述数据分析模块，调取加密后需要获取的数据，并对其进行解密，当得到所述映射表后，对所述映射表进行加密并且发送到所述数据库中；所述数据可视化模块，调取加密后的映射表并对其进行解密，将解密后的映射表以可视化形式显示出来。
7.如权利要求6可视化ceph内部数据结构映射关系的系统，其特征在于，所述可视化形式显示出来，需要显示各种映射关系，包括显示内容如下：
能够可视化展示ceph内部数据结构；
能够通过cephclusterID检索该集群的映射关系；
能够通过osdID检索该osd关联的映射关系；
能够通过pool name检索该pool关联的映射关系；
能够通过rados对象ID检索该rados对象关联的映射关系；
能够通过rbd镜像检索该镜像关联的映射关系；
能够通过文件名字检索该文件关联的映射关系；
能够通过对象存储的对象名字检索该对象关联的映射关系。
8.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，在配置所述数据代理模块、数据服务器、数据分析模块、数据可视化模块时，其所在物理主机或是虚拟机需要时钟同步。
9.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，
所述数据库，部署两套主备集群，一套用于获取ceph的内部数据结构，一套用于配置可视化web组件。
10.一种可视化ceph内部数据结构映射关系的方法，其特征在于，使用如权利要求1-9任一项所述的可视化ceph内部数据结构映射关系的系统，包括如下步骤：
所述数据服务器发送获取数据的请求到所述数据代理模块，所述数据代理模块接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述数据可视化模块接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。
CN202110100339.9A 2021-01-25 2021-01-25 一种可视化ceph内部数据结构映射关系的系统和方法 Active CN112883025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110100339.9A CN112883025B (zh) 2021-01-25 2021-01-25 一种可视化ceph内部数据结构映射关系的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110100339.9A CN112883025B (zh) 2021-01-25 2021-01-25 一种可视化ceph内部数据结构映射关系的系统和方法

Publications (2)

Publication Number Publication Date
CN112883025A true CN112883025A (zh) 2021-06-01
CN112883025B CN112883025B (zh) 2021-11-16

Family

ID=76051310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110100339.9A Active CN112883025B (zh) 2021-01-25 2021-01-25 一种可视化ceph内部数据结构映射关系的系统和方法

Country Status (1)

Country Link
CN (1) CN112883025B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations
CN107291594A (zh) * 2017-06-30 2017-10-24 上海白虹软件科技股份有限公司 openstack平台对ceph进行监控和管理的装置及方法
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理系统
CN109614219A (zh) * 2018-10-19 2019-04-12 东莞理工学院 一种遥感图像处理Docker集群的condor任务映射方法
CN109901928A (zh) * 2019-03-01 2019-06-18 厦门容能科技有限公司 一种推荐云主机配置的方法及云主机
CN109918354A (zh) * 2019-03-01 2019-06-21 浪潮商用机器有限公司 一种基于hdfs的磁盘定位方法、装置、设备及介质
CN110457018A (zh) * 2019-08-16 2019-11-15 浪潮云信息技术有限公司 一种基于Hadoop的数据管理系统及其管理方法
CN111158859A (zh) * 2019-12-30 2020-05-15 中电工业互联网有限公司 基于麒麟操作系统的应用管理系统及其实现与使用方法
CN111400027A (zh) * 2019-11-15 2020-07-10 杭州海康威视系统技术有限公司 一种分布式任务处理方法、装置及系统
US10761752B1 (en) * 2017-05-23 2020-09-01 Kmesh, Inc. Memory pool configuration for allocating memory in a distributed network
CN111930706A (zh) * 2020-07-08 2020-11-13 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于远程调用的分布式网络文件存储系统和方法
CN112035316A (zh) * 2020-08-28 2020-12-04 浪潮云信息技术股份公司 一种云监控系统监控分析数据的方法
CN112069189A (zh) * 2020-09-16 2020-12-11 深圳市硅格半导体有限公司 多层级映射表格的更新方法、系统、终端设备及存储介质
CN112199431A (zh) * 2020-10-16 2021-01-08 成都房联云码科技有限公司 一种基于元数据进行数据共享的方法及数据共享系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349993A1 (en) * 2015-05-29 2016-12-01 Cisco Technology, Inc. Data-driven ceph performance optimizations
US10761752B1 (en) * 2017-05-23 2020-09-01 Kmesh, Inc. Memory pool configuration for allocating memory in a distributed network
CN107291594A (zh) * 2017-06-30 2017-10-24 上海白虹软件科技股份有限公司 openstack平台对ceph进行监控和管理的装置及方法
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理系统
CN109614219A (zh) * 2018-10-19 2019-04-12 东莞理工学院 一种遥感图像处理Docker集群的condor任务映射方法
CN109918354A (zh) * 2019-03-01 2019-06-21 浪潮商用机器有限公司 一种基于hdfs的磁盘定位方法、装置、设备及介质
CN109901928A (zh) * 2019-03-01 2019-06-18 厦门容能科技有限公司 一种推荐云主机配置的方法及云主机
CN110457018A (zh) * 2019-08-16 2019-11-15 浪潮云信息技术有限公司 一种基于Hadoop的数据管理系统及其管理方法
CN111400027A (zh) * 2019-11-15 2020-07-10 杭州海康威视系统技术有限公司 一种分布式任务处理方法、装置及系统
CN111158859A (zh) * 2019-12-30 2020-05-15 中电工业互联网有限公司 基于麒麟操作系统的应用管理系统及其实现与使用方法
CN111930706A (zh) * 2020-07-08 2020-11-13 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于远程调用的分布式网络文件存储系统和方法
CN112035316A (zh) * 2020-08-28 2020-12-04 浪潮云信息技术股份公司 一种云监控系统监控分析数据的方法
CN112069189A (zh) * 2020-09-16 2020-12-11 深圳市硅格半导体有限公司 多层级映射表格的更新方法、系统、终端设备及存储介质
CN112199431A (zh) * 2020-10-16 2021-01-08 成都房联云码科技有限公司 一种基于元数据进行数据共享的方法及数据共享系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘衍庆: "基于ceph的云存储系统的设计与实现", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
孙嘉岑: "基于CEPH分布式文件系统的云盘系统的设计与实现", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
彭潇: "基于Ceph的OpenStack存储克隆链", 《计算机与现代化》 *
朱盼盼: "一种分布式存储监控管理系统的设计与实现", 《保密科学技术》 *

Also Published As

Publication number Publication date
CN112883025B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN107273280B (zh) 一种日志处理方法、装置、电子设备和存储介质
JP4604877B2 (ja) 表示画像制御プログラム、画像配信装置、表示画像制御装置、表示画像制御方法
CN104331035B (zh) 基于面向服务架构的小卫星测试遥测遥控监控系统及方法
EP2458486A1 (en) Information processing device, information processing method, and program
CN107092652B (zh) 目标页面的导航方法及装置
CN105988688A (zh) 一种截图的方法及装置
JP2018085765A (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN105208340A (zh) 一种视频数据的显示方法和装置
US10390076B2 (en) Image receiving/reproducing device, image generating/transmitting device, display system, image receiving/reproducing method, image generating/transmitting method, and computer readable medium
CN104079717B (zh) 一种显示设备界面的方法及服务器
US20180357807A1 (en) Interface to index and display geospatial data
CN102902501A (zh) 文件多屏扩展显示的方法
CN112883025B (zh) 一种可视化ceph内部数据结构映射关系的系统和方法
JP2016173622A (ja) 情報処理システム
KR950020260A (ko) 단말기 장치 배치 방법 및 단말기 장치의 메모리 배치 장치
JP5354070B2 (ja) 画像配信装置。
CN108427544B (zh) 一种单双屏应用切换方法以及接口
CN104346117B (zh) 一种数据信号输出的方法和装置
JP5726058B2 (ja) 通信指令システム
CN112364951A (zh) 虚拟工牌的管理方法、相关设备、存储介质及系统
US9900175B2 (en) Display apparatus, display method, and display program
CN107436841A (zh) 页面的预览方法及装置
CN110866618A (zh) 设备信息的处理方法及系统
CN115567575B (zh) 多窗口消息实时触发的方法及系统
JP5965661B2 (ja) 表示画面変換装置、表示画面変換方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant