CN116932555B - 一种目标对象切片位置确定方法、装置、设备及存储介质 - Google Patents

一种目标对象切片位置确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116932555B
CN116932555B CN202311024927.4A CN202311024927A CN116932555B CN 116932555 B CN116932555 B CN 116932555B CN 202311024927 A CN202311024927 A CN 202311024927A CN 116932555 B CN116932555 B CN 116932555B
Authority
CN
China
Prior art keywords
storage
slice
target
target search
storage container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311024927.4A
Other languages
English (en)
Other versions
CN116932555A (zh
Inventor
王宁
郭盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hexin Digital Technology Co ltd
Hexin Technology Co ltd
Original Assignee
Shanghai Hexin Digital Technology Co ltd
Hexin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hexin Digital Technology Co ltd, Hexin Technology Co ltd filed Critical Shanghai Hexin Digital Technology Co ltd
Priority to CN202311024927.4A priority Critical patent/CN116932555B/zh
Publication of CN116932555A publication Critical patent/CN116932555A/zh
Application granted granted Critical
Publication of CN116932555B publication Critical patent/CN116932555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及集群管理领域,公开了一种目标对象切片位置确定方法、装置、设备及存储介质,该方法包括:获取目标查找对象的对象名称和对应的存储容器信息;基于对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表;基于目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置,本发明根据目标查找对象的对象名称,在对象存储集群中快速定位目标查找对象,并根据存储容器信息在对象存储集群中筛选出目标存储容器,以确定出目标查找对象的切片列表,利用存储节点定位命令确定出各个切片的存储位置,无需对节点存储空间进行全覆盖扫描,提高切片存储位置的查找效率。

Description

一种目标对象切片位置确定方法、装置、设备及存储介质
技术领域
本发明涉及集群管理领域,具体涉及一种目标对象切片位置确定方法、装置、设备及存储介质。
背景技术
OpenStack Swift是一种开源的对象存储系统,旨在提供高可扩展性、高可靠性和高性能的数据存储服务。OpenStack Swift通过将对象切片打散到集群中的所有存储介质中,以保证在硬盘掉盘掉电等情况下,依然保证数据的可靠性和安全性。在分布式存储系统中,数据被分散存储至不同的节点,相应的对象切片也被划分到不同的位置。
在现有技术中,通过对各个节点的存储空间进行全覆盖扫描,以精准地查找到特定对象切片的位置。然而,进行全覆盖扫描会增加系统的响应时间的性能,导致查询效率较低。
发明内容
有鉴于此,本发明提供了一种目标对象切片位置确定方法、装置、计算机设备及存储介质,以解决查找特点对象切片位置的问题。
第一方面,本发明提供了一种目标对象切片位置确定方法,该方法包括:
获取目标查找对象的对象名称和对应的存储容器信息;
基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表;
基于所述目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
本发明通过根据目标查找对象的对象名称,以在对象存储集群中快速定位目标查找对象,并根据存储容器信息在对象存储集群中筛选出目标存储容器,以确定出目标查找对象的切片列表,利用存储节点定位命令确定出各个切片的存储位置,从而无需对节点存储空间进行全覆盖扫描,提高了切片存储位置的查找效率和可靠性。
在一种可选的实施方式中,所述方法还包括:
获取当前登录账号信息;
基于所述当前登录账号信息,对当前登录账号的身份进行验证;
若当前登录账号身份验证成功,则执行所述获取目标查找对象的对象名称和对应的存储容器信息的步骤。
本发明通过获取当前登录账号信息,对登录账号的身份进行验证,以判断该登录账号能否访问目标查找对象的相关信息,并仅在身份验证成功时获取目标查找对象的相关信息,以提高安全性。
在一种可选的实施方式中,所述基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表,包括:
基于所述存储容器信息,在对象存储集群中确定目标存储容器;
获取所述目标存储容器内存储的所有对象列表;
利用切片查找命令,从所述目标存储容器内存储的所有对象列表中筛选出目标查找对象对应的切片列表,所述切片查找命令的参数中包含有目标查找对象的对象名称。
本发明通过从对象存储集群中筛选出目标存储容器,并获取目标存储容器中存储的所有对象列表,以确定出所有对象列表,通过切片查找命令查找到目标查找对象的切片列表,以覆盖目标存储容器内的所有对象,从而保证切片列表的完整性。
在一种可选的实施方式中,所述利用存储节点定位命令确定目标查找对象各个切片对应的存储位置,包括:
利用swift-get-nodes命令,基于所述对象名称以及所述存储容器信息确定目标查找对象各个切片对应的存储位置。
本发明通过swift-get-nodes命令,以快速定位目标查找对象各个切片对应的存储位置,提高切片存储位置查找效率。
在一种可选的实施方式中,所述方法还包括:
获取目标查找对象各个切片的所有副本的存储位置信息;
将所述各个切片的所有副本的存储位置信息确定为目标查找对象各个切片对应的存储位置。
本发明通过获取目标查找对象各个切片的所有副本存储位置信息,以全面获取目标查找对象切片的存储位置,从而提高目标查找对象切片位置的准确性。
在一种可选的实施方式中,所述获取目标查找对象各个切片的所有副本的存储位置信息,包括:
分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并将所述节点IP地址和目录位置确定为副本的存储位置信息。
本发明分别获取所有副本的节点IP地址和目录信息,以确定副本的存储位置信息,从而确定出目标查找对象切片的位置信息。
在一种可选的实施方式中,所述方法还包括:
基于所述目标查找对象各个切片对应的存储位置生成目标查找对象对应的切片位置列表,并向用户反馈所述切片位置列表。
本发明通过生成目标查找对象对应的切片位置列表,以便于管理人员根据切片位置列表找到目标对象切片的位置,向用户反馈切片位置信息,以便于用户及时了解切片存储位置。
第二方面,本发明提供了一种目标对象切片位置确定装置,该装置包括:
第一获取模块,用于获取目标查找对象的对象名称和对应的存储容器信息;
筛选模块,用于基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表;
第一确定模块,用于基于所述目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的目标对象切片位置确定方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的目标对象切片位置确定方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的目标对象切片位置确定方法的流程示意图;
图2是根据本发明实施例的另一目标对象切片位置确定方法的流程示意图;
图3是根据本发明实施例的又一目标对象切片位置确定方法的流程示意图;
图4是根据本发明实施例的整体过程实现流程示意图;
图5是根据本发明实施例的目标对象切片位置确定装置的结构框图;
图6是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
OpenStack Swift是一种分布式对象存储系统,它可以为大规模的数据存储提供高可用性、可扩展性和数据安全性。Swift是OpenStack的一个核心组件,它允许用户将大量的数据存储在云上,并且可以随时访问、检索和管理这些数据。Swift最初是由Rackspace开发的,现在已经成为了开源社区的一部分,得到了众多公司的支持和使用。它是一款功能强大的对象存储系统,广泛应用于云计算、大数据、多媒体存储等领域,是当前业界性能最好、最受欢迎的开源存储方案之一。
然而,在大规模分布式存储中,查找对象切片位置是一个十分困难的问题。要想精准地查找特定对象切片的位置,则需要对各个节点的存储空间进行全覆盖式扫描,这无疑会对系统的响应时间和性能造成不小的影响。
另外,如果某个节点出现故障或数据损坏,会导致全部或部分的切片数据无法被查找到,甚至可能影响整个对象的完整性。因此,查找OpenStack Swift中对象切片的位置是一个具有挑战性的任务,需要通过合理的算法和数据结构设计,来提高查询的效率和可靠性。
根据本发明实施例,提供了一种目标对象切片位置确定方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种目标对象切片位置确定方法,可用于移动终端,图1是根据本发明实施例的目标对象切片位置确定方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取目标查找对象的对象名称和对应的存储容器信息。
在本发明实施例中,获取目标查找对象的object对象名称和对应的container存储容器信息,并通过export STORAGE_OBJECT='<Swift Object Name>'填写object信息,通过export STORAGE_CONTAINER='<Swift Container Name>'填写container信息。
步骤S102,基于对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表。
在本发明实施例中,基于object对象名称和对应的container存储容器信息,在swift对象存储集群中筛选出存储有目标查找对象的存储容器确定为目标存储容器,并获取目标存储容器中目标查找对象对应的切片列表。
步骤S103,基于目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
在本发明实施例中,存储节点定位命令可以定位到每个切片的存储位置,基于目标查找对象的各个切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。其中,在运行存储节点定位命令时,需要设置目标查找对象的对象名称及对应的存储容器信息。
本实施例提供的目标对象切片位置确定方法,通过根据目标查找对象的对象名称,以在对象存储集群中快速定位目标查找对象,并根据存储容器信息在对象存储集群中筛选出目标存储容器,以确定出目标查找对象的切片列表,利用存储节点定位命令确定出各个切片的存储位置,从而无需对节点存储空间进行全覆盖扫描,提高了切片存储位置的查找效率和可靠性。
在本实施例中提供了一种目标对象切片位置确定方法,图2是根据本发明实施例的目标对象切片位置确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取当前登录账号信息。
步骤S202,基于当前登录账号信息,对当前登录账号的身份进行验证。
步骤S203,若当前登录账号身份验证成功,则执行步骤S204。
在本发明实施例中,获取当前登录账号account信息,并通过如下代码对当前登录账号的身份进行验证:
#填写Account信息
export OS_USERNAME='<OpenStack User Name>'
export OS_PASSWORD='<OpenStack User Password>'
export OS_TENANT_NAME='<OpenStack Tenant Name>'
export OS_AUTH_URL='https://<OpenStack Identity Service Endpoint>/v2.0/'
根据当前登录账号,确认当前登录账号对应的用户是否能够访问目标查找对象及对应的访问权限,并在当前登录账号身份验证成功时,获取目标查找对象的对象名称及对应的存储容器信息。若当前登录账号身份验证失败,则拒绝当前登录账号访问目标查找对象。
对登录账号的身份进行验证,以判断该登录账号能否访问目标查找对象的相关信息,并仅在身份验证成功时获取目标查找对象的相关信息,以提高安全性。
步骤S204,获取目标查找对象的对象名称和对应的存储容器信息。
详细请参见图1所示实施例的步骤S101,在此不再赘述。
步骤S205,基于对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表。
具体地,上述步骤S205包括:
步骤S2051,基于存储容器信息,在对象存储集群中确定目标存储容器。
步骤S2052,获取目标存储容器内存储的所有对象列表。
步骤S2053,利用切片查找命令,从目标存储容器内存储的所有对象列表中筛选出目标查找对象对应的切片列表。
其中,切片查找命令的参数中包含有目标查找对象的对象名称。
在本发明实施例中,根据container存储容器信息,在swift集群中筛选出目标存储容器,并找到目标存储容器内存储的所有object对象列表。
运行切片查找swift list命令,可以获取目标查找对象的切片列表,在切片查找命令中的prefix参数中指定目标查找对象的对象名称,通过如下代码获得目标查找对象的切片列表:
以上命令中,需要设置环境变量`OS_USERNAME`、`OS_PASSWORD`、`OS_TENANT_NAME`和`OS_AUTH_URL`,环境变量分别为OpenStack用户名、密码、租户名和身份认证服务的访问URL。同时需要设置环境变量`STORAGE_CONTAINER`和`STORAGE_OBJECT`分别为Swift存储容器名称和对象键名。
命令中使用了`swift list`命令,其参数`--prefix`用于指定对象切片名称前缀,这里假设切片名称前缀为`${STORAGE_OBJECT}-slice-`,则可以列出所有以该前缀为名称前缀的对象切片。`--long`参数用于输出对象切片的详细信息。
通过从对象存储集群中筛选出目标存储容器,并获取目标存储容器中存储的所有对象列表,以确定出所有对象列表,通过切片查找命令查找到目标查找对象的切片列表,以覆盖目标存储容器内的所有对象,从而保证切片列表的完整性。
步骤S206,基于目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
具体地,上述步骤S206包括:
步骤S2061,利用swift-get-nodes命令,基于对象名称以及存储容器信息确定目标查找对象各个切片对应的存储位置。
在本发明实施例中,swift-get-nodes命令是在OpenStack Swift存储集群环境中定位对象副本位置的工具之一。它通过输入账户名、存储容器信息和对象名称,输出该对象的切片所在的存储节点信息。
以下是使用`swift-get-nodes`命令的示例:
#使用swift-get-nodes命令获取对象切片副本位置
swift-get-nodes-a${STORAGE_AUTH}/
${STORAGE_CONTAINER}+segments
${STORAGE_OBJECT_SEGMENTS}|grep Server/
其中,需要设置环境变量`STORAGE_AUTH`为Swift的Account登录账号信息。`STORAGE_CONTAINER`和`STORAGE_OBJECT_SEGMENTS`分别为Swift存储容器名称和目标查找对象切片名称。
执行命令后,将输出该目标查找对象切片所在的存储节点信息。
本实施例提供的目标对象切片位置确定方法,通过swift-get-nodes命令,以快速定位目标查找对象各个切片对应的存储位置,提高切片存储位置查找效率。
在本实施例中提供了一种目标对象切片位置确定方法,图3是根据本发明实施例的目标对象切片位置确定方法的流程图,如图3所示,该流程包括如下步骤:
步骤S301,获取目标查找对象的对象名称和对应的存储容器信息。
详细请参见图1所示实施例的步骤S101,在此不再赘述。
步骤S302,基于对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表。
详细请参见图1所示实施例的步骤S102,在此不再赘述。
步骤S303,基于目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
详细请参见图1所示实施例的步骤S103,在此不再赘述。
步骤S304,获取目标查找对象各个切片的所有副本的存储位置信息。
步骤S305,将各个切片的所有副本的存储位置信息确定为目标查找对象各个切片对应的存储位置。
在本发明实施例中,利用swift-get-nodes命令查找目标查找对象切片的全部副本所在的存储位置信息。
具体地,上述步骤S304包括:
步骤S3041,分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并将节点IP地址和目录位置确定为副本的存储位置信息。
在本发明实施例中,利用swift-get-nodes命令分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并通过如下代码实现:
swift-get-nodes-a${STORAGE_AUTH}/
${STORAGE_CONTAINER}+segments
${STORAGE_OBJECT_SEGMENTS}|grep Server/
其中,需要设置环境变量`STORAGE_AUTH`为Swift的Account当前登录信息。`STORAGE_CONTAINER`和`STORAGE_OBJECT_SEGMENTS`分别为Swift存储容器名称和目标查找对象切片名称。
执行命令后,返回的信息示例如下:
Curl-I-XHEAD
“http://192.168.0.1:6000/sb3/245255/${OS_USERNAME}/${ST_CONTAINER}/${ST_OBJECT}
通过字符提取出信息{节点IP}:192.168.0.1和{目录位置}:/sb3/245255/${STORAGE_AUTH}/${ST_CONTAINER}/${ST_OBJECT},就可以组成具体物理位置:{节点IP}+{目录位置}
记录每一条的物理位置信息到表格中,如表1所示:
表1
利用swift-get-nodes命令查找目标查找对象切片的全部副本所在的存储位置信息的示例如下:
192.168.0.1:6000;
192.168.0.2:6000;
192.168.0.3:6000;
该目标查找对象切片有三个副本,存储位置分别分布在`192.168.0.1:6000`、`192.168.0.2:6000`和`192.168.0.3:6000`上。
通过获取目标查找对象各个切片的所有副本存储位置信息,以全面获取目标查找对象切片的存储位置,从而提高目标查找对象切片位置的准确性。
步骤S306,基于目标查找对象各个切片对应的存储位置生成目标查找对象对应的切片位置列表,并向用户反馈切片位置列表。
在本发明实施例中,根据不同的物理节点信息,将对象存储集群中所有物理节点中切片信息进行聚合,生成目标查找对象对应的切片位置列表,该列表中包含有所有切片所在节点及物理位置信息。其中,使用swift命令行工具统计切片数量,该切片位置列表中条目数与切片数量一致。
本实施例提供的目标对象切片位置确定方法,分别获取所有副本的节点IP地址和目录信息,以确定副本的存储位置信息,从而确定出目标查找对象切片的位置信息,通过生成目标查找对象对应的切片位置列表,以便于管理人员根据切片位置列表找到目标对象切片的位置,向用户反馈切片位置信息,以便于用户及时了解切片存储位置。
需要说明的是,如图4所示,图4为确定目标查找对象所有切片位置确定实现流程图,当开始启动时,输入account登录账号信息、container存储容器信息以及object对象名称,在swift集群中找到相关object对应的切片列表,针对每个切片,查找相关的存储位置信息。从存储位置信息中提取切片物理位置信息,并聚合所有切片物理位置,最终返回列表信息。
在本实施例中还提供了一种目标对象切片位置确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种目标对象切片位置确定装置,如图5所示,包括:
第一获取模块501,用于获取目标查找对象的对象名称和对应的存储容器信息。
筛选模块502,用于基于对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表。
第一确定模块503,用于基于目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置。
在一些可选的实施方式中,该装置还包括:
第二获取模块,用于获取当前登录账号信息。
验证模块,用于基于当前登录账号信息,对当前登录账号的身份进行验证。
执行模块,用于若当前登录账号身份验证成功,则执行获取目标查找对象的对象名称和对应的存储容器信息的步骤。
在一些可选的实施方式中,筛选模块502包括:
第一确定单元,用于基于存储容器信息,在对象存储集群中确定目标存储容器。
第一获取单元,用于获取目标存储容器内存储的所有对象列表。
筛选单元,用于利用切片查找命令,从目标存储容器内存储的所有对象列表中筛选出目标查找对象对应的切片列表,切片查找命令的参数中包含有目标查找对象的对象名称。
在一些可选的实施方式中,第一确定模块503包括:
第二确定单元,用于利用swift-get-nodes命令,基于对象名称以及存储容器信息确定目标查找对象各个切片对应的存储位置。
在一些可选的实施方式中,该装置还包括:
第三获取模块,用于获取目标查找对象各个切片的所有副本的存储位置信息。
第二确定模块,用于将各个切片的所有副本的存储位置信息确定为目标查找对象各个切片对应的存储位置。
在一些可选的实施方式中,第三获取模块包括:
第二获取单元,用于分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并将节点IP地址和目录位置确定为副本的存储位置信息。
在一些可选的实施方式中,该装置还包括:
反馈模块,用于基于目标查找对象各个切片对应的存储位置生成目标查找对象对应的切片位置列表,并向用户反馈切片位置列表。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本实施例中的目标对象切片位置确定装置是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备,具有上述图5所示的目标对象切片位置确定装置。
请参阅图6,图6是本发明可选实施例提供的一种计算机设备的结构示意图,如图6所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息,以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入,例如触摸屏等。输出装置40可以包括显示设备等。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种目标对象切片位置确定方法,其特征在于,所述方法包括:
获取目标查找对象的对象名称和对应的存储容器信息;
基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表;
基于所述目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置;
所述方法还包括:
利用swift-get-nodes命令分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并通过字符提取出节点IP地址和目录位置,将所述节点IP地址和目录位置确定为副本的存储位置信息;
将所述各个切片的所有副本的存储位置信息确定为目标查找对象各个切片对应的存储位置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取当前登录账号信息;
基于所述当前登录账号信息,对当前登录账号的身份进行验证;
若当前登录账号身份验证成功,则执行所述获取目标查找对象的对象名称和对应的存储容器信息的步骤。
3.根据权利要求1所述的方法,其特征在于,所述基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表,包括:
基于所述存储容器信息,在对象存储集群中确定目标存储容器;
获取所述目标存储容器内存储的所有对象列表;
利用切片查找命令,从所述目标存储容器内存储的所有对象列表中筛选出目标查找对象对应的切片列表,所述切片查找命令的参数中包含有目标查找对象的对象名称。
4.根据权利要求1所述的方法,其特征在于,所述利用存储节点定位命令确定目标查找对象各个切片对应的存储位置,包括:
利用swift-get-nodes命令,基于所述对象名称以及所述存储容器信息确定目标查找对象各个切片对应的存储位置。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述目标查找对象各个切片对应的存储位置生成目标查找对象对应的切片位置列表,并向用户反馈所述切片位置列表。
6.一种目标对象切片位置确定装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标查找对象的对象名称和对应的存储容器信息;
筛选模块,用于基于所述对象名称和存储容器信息,在对象存储集群中筛选出目标存储容器中存储的目标查找对象对应的切片列表;
第一确定模块,用于基于所述目标查找对象对应的切片列表,利用存储节点定位命令确定目标查找对象各个切片对应的存储位置;
第二获取模块,用于利用swift-get-nodes命令分别获取目标查找对象各个切片的所有副本的节点IP地址和目录位置,并通过字符提取出节点IP地址和目录位置,将所述节点IP地址和目录位置确定为副本的存储位置信息;
第二确定模块,用于将所述各个切片的所有副本的存储位置信息确定为目标查找对象各个切片对应的存储位置。
7.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至5中任一项所述的目标对象切片位置确定方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至5中任一项所述的目标对象切片位置确定方法。
CN202311024927.4A 2023-08-14 2023-08-14 一种目标对象切片位置确定方法、装置、设备及存储介质 Active CN116932555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311024927.4A CN116932555B (zh) 2023-08-14 2023-08-14 一种目标对象切片位置确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311024927.4A CN116932555B (zh) 2023-08-14 2023-08-14 一种目标对象切片位置确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116932555A CN116932555A (zh) 2023-10-24
CN116932555B true CN116932555B (zh) 2024-04-30

Family

ID=88375379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311024927.4A Active CN116932555B (zh) 2023-08-14 2023-08-14 一种目标对象切片位置确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116932555B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077199A (zh) * 2012-12-26 2013-05-01 北京思特奇信息技术股份有限公司 一种文件资源查找定位方法及装置
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN106257450A (zh) * 2015-06-19 2016-12-28 杭州海康威视数字技术股份有限公司 集群系统的文件定位、存储方法和装置
CN110445822A (zh) * 2018-05-03 2019-11-12 中移(苏州)软件技术有限公司 一种对象存储方法及装置
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN111352577A (zh) * 2018-12-24 2020-06-30 杭州海康威视系统技术有限公司 一种对象存储方法及装置
CN112256201A (zh) * 2020-10-23 2021-01-22 南京鹏云网络科技有限公司 一种分布式块存储系统及其卷信息管理方法
CN112632342A (zh) * 2020-12-29 2021-04-09 北京大米科技有限公司 数据查询方法、装置、存储介质及电子设备
CN113810780A (zh) * 2021-11-17 2021-12-17 三节课信息咨询(北京)有限公司 视频传输方法、装置、及存储介质
CN113886434A (zh) * 2021-11-02 2022-01-04 北京百度网讯科技有限公司 基于数据库集群的查询和存储方法、装置以及设备
CN114301931A (zh) * 2022-03-11 2022-04-08 上海凯翔信息科技有限公司 一种基于云端nas的数据同步系统
CN115361378A (zh) * 2022-08-19 2022-11-18 平安银行股份有限公司 测试环境文件查找方法及其系统、计算机设备
CN115842833A (zh) * 2022-11-24 2023-03-24 国家电投集团重庆狮子滩发电有限公司 一种超融合虚拟存储的处理方法、装置及系统
CN116414624A (zh) * 2023-03-10 2023-07-11 湖南快乐阳光互动娱乐传媒有限公司 一种对象备份方法及装置
CN116521083A (zh) * 2023-04-28 2023-08-01 济南浪潮数据技术有限公司 一种分布式存储集群数据的存储方法、装置及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077199A (zh) * 2012-12-26 2013-05-01 北京思特奇信息技术股份有限公司 一种文件资源查找定位方法及装置
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN106257450A (zh) * 2015-06-19 2016-12-28 杭州海康威视数字技术股份有限公司 集群系统的文件定位、存储方法和装置
CN110445822A (zh) * 2018-05-03 2019-11-12 中移(苏州)软件技术有限公司 一种对象存储方法及装置
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统
CN111352577A (zh) * 2018-12-24 2020-06-30 杭州海康威视系统技术有限公司 一种对象存储方法及装置
CN111258508A (zh) * 2020-02-16 2020-06-09 西安奥卡云数据科技有限公司 一种分布式对象存储中的元数据管理方法
CN112256201A (zh) * 2020-10-23 2021-01-22 南京鹏云网络科技有限公司 一种分布式块存储系统及其卷信息管理方法
CN112632342A (zh) * 2020-12-29 2021-04-09 北京大米科技有限公司 数据查询方法、装置、存储介质及电子设备
CN113886434A (zh) * 2021-11-02 2022-01-04 北京百度网讯科技有限公司 基于数据库集群的查询和存储方法、装置以及设备
CN113810780A (zh) * 2021-11-17 2021-12-17 三节课信息咨询(北京)有限公司 视频传输方法、装置、及存储介质
CN114301931A (zh) * 2022-03-11 2022-04-08 上海凯翔信息科技有限公司 一种基于云端nas的数据同步系统
CN115361378A (zh) * 2022-08-19 2022-11-18 平安银行股份有限公司 测试环境文件查找方法及其系统、计算机设备
CN115842833A (zh) * 2022-11-24 2023-03-24 国家电投集团重庆狮子滩发电有限公司 一种超融合虚拟存储的处理方法、装置及系统
CN116414624A (zh) * 2023-03-10 2023-07-11 湖南快乐阳光互动娱乐传媒有限公司 一种对象备份方法及装置
CN116521083A (zh) * 2023-04-28 2023-08-01 济南浪潮数据技术有限公司 一种分布式存储集群数据的存储方法、装置及介质

Also Published As

Publication number Publication date
CN116932555A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN111522922B (zh) 日志信息查询方法、装置、存储介质及计算机设备
CN111226197B (zh) 认知学习工作流执行
US11379482B2 (en) Methods, systems, and computer readable mediums for performing an aggregated free-form query
US20120124063A1 (en) Method and system for specifying, preparing and using parameterized database queries
US8719392B2 (en) Searching a managed network for setting and configuration data
US10810176B2 (en) Unsolicited bulk email detection using URL tree hashes
CN110888837B (zh) 对象存储小文件归并方法及装置
CN108154024B (zh) 一种数据检索方法、装置及电子设备
US11973850B2 (en) System and method for automatic deployment of a cloud environment
US20240232420A9 (en) System and method of dynamic search result permission checking
US9389991B1 (en) Methods, systems, and computer readable mediums for generating instruction data to update components in a converged infrastructure system
CN116932555B (zh) 一种目标对象切片位置确定方法、装置、设备及存储介质
US11003848B2 (en) Variable data template management by template shape
KR102503028B1 (ko) 블룸필터를 이용한 분산식별자 검색 방법
US11714898B2 (en) Security scanning of image for virtual machine creation
US20150347402A1 (en) System and method for enabling a client system to generate file system operations on a file system data set using a virtual namespace
US11409769B2 (en) Computer-implemented method and system for attribute discovery for operation objects from operation data
CN114070632A (zh) 一种自动化渗透测试方法、装置及电子设备
CN112817703A (zh) 访问虚拟机控制台的方法、装置及云管理平台
CN114765599A (zh) 子域名采集方法、装置
CN112738157A (zh) 一种文件上传方法、系统及设备
CN114116780A (zh) 数据查询方法、装置、系统及可读存储介质
US9501534B1 (en) Extreme value computation
US9298597B2 (en) Automated testing of websites based on mode
US8423532B1 (en) Managing data indexed by a search engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant