CN111274176A - 一种信息处理方法、电子设备、系统及存储介质 - Google Patents

一种信息处理方法、电子设备、系统及存储介质 Download PDF

Info

Publication number
CN111274176A
CN111274176A CN202010043666.0A CN202010043666A CN111274176A CN 111274176 A CN111274176 A CN 111274176A CN 202010043666 A CN202010043666 A CN 202010043666A CN 111274176 A CN111274176 A CN 111274176A
Authority
CN
China
Prior art keywords
target
target storage
storage node
virtual memory
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010043666.0A
Other languages
English (en)
Other versions
CN111274176B (zh
Inventor
柯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010043666.0A priority Critical patent/CN111274176B/zh
Publication of CN111274176A publication Critical patent/CN111274176A/zh
Application granted granted Critical
Publication of CN111274176B publication Critical patent/CN111274176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/20Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种信息处理方法,该方法包括:在所述电子设备的存储区域中,确定目标内存区域;获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置。本申请实施例还提供了一种电子设备、系统及存储介质。

Description

一种信息处理方法、电子设备、系统及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种信息处理方法、电子设备、系统及存储介质。
背景技术
随着移动互联网络的广泛应用以及移动终端的普及,人们随时随刻地可以在互联网上分享和存储一些通过移动终端上的一些数据信息,例如视频信息等。在目前相关技术中,通常采用文件系统的方式对高清视频(例如4K或8K)在互联网中进行共享存储,并为了减少共享存储的数据的丢失,通常在互联网存储节点中还采用多副本存储的方式进行共享存储。但是,在现有多副本存储实现过程中,电子设备首先将待共享存储的数据信息发送至主存储节点后,主存储节点将接收到的待共享存储数据信息分别依次发送至其他副本存储节点,并在其他副本存储节点均接收到待共享存储数据信息后,主存储节点还需向电子设备进行信息反馈,从而实现待共享存储数据信息的共享存储过程。
但是目前这种存储方式由于存储路径较长,导致时延较长,造成电子设备和存储节点的工作性能较差,实时性较低。
申请内容
为解决上述技术问题,本申请实施例期望提供一种信息处理方法、电子设备、系统及存储介质,解决了目前由于存储路径较长导致时延较长的问题,缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
本申请的技术方案是这样实现的:
第一方面,一种信息处理方法,所述方法应用于电子设备,所述方法包括:
在所述电子设备的存储区域中,确定目标内存区域;
获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;
基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;
基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置。
可选的,所述基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接,包括:
基于所述虚拟内存文件,确定所述虚拟内存文件对应的属性信息;
基于所述属性信息,确定所述目标存储节点;
通过所述RDMA网络与所述目标存储节点建立通信链接。
可选的,所述基于所述属性信息,确定目标存储节点,包括:
基于所述属性信息,确定预设存储节点;其中,所述预设存储节点包括至少两个;
获取所述属性信息对应的预设备份数量;其中,所述预设备份数量大于或等于2;
从所述预设存储节点中确定所述预设备份数量个存储节点,并将所述预设备份数量个存储节点作为所述目标存储节点;其中,所述预设存储节点的数量大于或者等于所述预设备份数量。
可选的,所述目标内存区域包括RDMA专用内存池,所述获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到所述虚拟内存文件,包括:
在所述RDMA专用内存池中,申请至少一个内存;
将所述目标数据信息采用写操作写到所述至少一个内存中,得到所述虚拟内存文件;其中,所述目标存储位置至少包括以下之一:所述至少一个内存在所述RDMA专用内存池中的地址信息和所述目标数据信息在所述至少一个内存中的存储位置。
可选的,所述通过所述RDMA网络与所述目标存储节点建立通信链接,包括:
根据RDMA要求进行RDMA注册,得到RDMA远程访问密钥;
发送所述RDMA远程访问密钥至所述目标存储节点;
接收所述目标存储节点发送的验证通过信息,并与所述目标存储节点建立通信链接;其中,所述验证通过信息用于指示所述目标存储节点对所述RDMA远程访问密钥进行验证处理,并所述RDMA远程访问密钥通过验证。
可选的,所述基于所述虚拟内存文件,发送通知信息至所述目标存储节点之后,所述方法还包括:
接收所述目标存储节点发送的用于请求获取所述虚拟内存文件的请求指令;其中,所述请求指令是所述目标存储节点接收到所述通知信息后生成的;
响应所述请求指令,发送所述目标存储位置中存储的所述虚拟内存文件至所述目标存储节点;其中,所述虚拟内存文件用于作为副本数据存储在所述目标存储节点中。
可选的,所述响应所述请求指令,发送所述目标存储位置中存储的所述虚拟内存文件至所述目标存储节点之后,所述方法还包括:
接收所述目标存储节点用于指示已接收到所述虚拟内存文件的反馈信息;
响应所述反馈信息,释放所述至少一个内存中的所述虚拟内存文件。
第二方面,一种电子设备,所述电子设备包括:处理器、存储器和通信总线,其中:
所述存储器,用于存储可执行指令;
所述通信总线,用于实现所述处理器和所述存储器之间的通信连接;
所述处理器,用于执行所述存储器中存储的信息处理程序,实现以下步骤:
在所述电子设备的存储区域中,确定目标内存区域;
获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;
基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;
基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置。
第三方面,一种信息处理系统,所述系统包括电子设备和目标存储节点;其中:
所述电子设备,用于在所述电子设备的存储区域中,确定目标内存区域;获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置;
所述目标存储节点,用于接收电子设备发送的所述通知信息,并响应所述通知信息,从所述电子设备的目标存储位置处获取虚拟内存文件。
第四方面,一种存储介质,所述存储介质上存储有信息处理程序,所述信息处理程序被处理器执行时实现如上述任一项所述的信息处理方法的步骤。
本申请实施例提供了一种信息处理方法、电子设备、系统及存储介质,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
附图说明
图1为本申请实施例提供的一种信息处理方法的流程示意图;
图2为本申请实施例提供的另一种信息处理方法的流程示意图;
图3为本申请实施例提供的又一种信息处理方法的流程示意图;
图4为本申请实施例提供的再一种信息处理方法的流程示意图;
图5为本申请实施例提供的一种应用场景示意图;
图6为本申请实施例提供的另一种应用场景示意图;
图7为本申请实施例提供的一种电子设备的结构示意图;
图8为本申请实施例提供的一种信息处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请的实施例提供一种信息处理方法,参照图1所示,方法应用于电子设备,该方法包括以下步骤:
步骤101、在电子设备的存储区域中,确定目标内存区域。
在本申请实施例中,电子设备可以是能够与互联网进行通信链接的设备,例如可以是电脑一体机、台式电脑、笔记本电脑、平板电脑、车载电脑或智能手机等。电子设备还具备一定的存储区域,该存储区域至少包括内存区域。目标内存区域为用于存储发送给目标存储节点的特定数据信息的内存区域。
步骤102、获取目标数据信息,将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件。
在本申请实施例中,目标数据信息为电子设备用于待存储至远程服务器中的数据信息,可以是视频信息、音频信息、图片信息、文本文档信息等。文件系统作为一种应用较为广泛的存储方式,因此,基于目标存储数据信息进行文件打开或创建,即首先检测是否存在与目标存储信息对应的文件,若存在与目标存储信息对应的文件,则打开该文件,并将目标存储信息存储至该文件中,从而得到虚拟内存文件;若不存在与目标存储信息对应的文件,则创建一个文件,并将该目标存储信息存储至该新创建的文件中,从而得到虚拟内存文件。
步骤103、基于虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与目标存储节点建立通信链接。
其中,目标存储节点包括至少两个存储节点。
在本申请实施例中,目标存储节点与虚拟内存文件具有一定的关联关系,该目标存储节点是用于存储该虚拟内存文件的存储节点,示例性的,该虚拟内存文件为某一应用程序创建的,则对应的目标存储节点可以是该某一应用程序的提供商所提供的存储节点。为了保证存储的虚拟内存文件的数据的准确性,通常目标存储节点的数量为至少两个,这样,在用户从目标存储节点中获取对应的数据时,在目标存储节点中一个存储节点的备份数据丢失时,可以从目标存储节点中的至少其他一个存储节点中获取相应的备份数据;或者,用户从目标存储节点中获取对应的数据时,可以对目标存储节点中存储的备份数据进行相应的比较,例如目标存储节点包括至少3个存储节点时,对3个存储节点中存储的该虚拟内存文件对应的数据信息进行比较,在至少两个存储节点中存储的该虚拟内存文件对应的备份数据信息的相同率超过特定阈值例如95%时,从这至少两个存储节点中获取对应的备份数据信息发送给用户。
步骤104、基于虚拟内存文件,发送通知信息至目标存储节点。
其中,通知信息用于通知目标存储节点虚拟内存文件存储在电子设备的目标存储位置。
在本申请实施例中,在电子设备准备好虚拟内存文件后,电子设备发送通知信息至目标存储节点,通知信息用于通知目标存储节点对应的虚拟内存文件在电子设备中的目标存储位置,从而实现目标存储节点在接收到通信信息后,从相应的目标存储位置处获取虚拟内存文件并进行存储,从而实现对虚拟内存文件中的目标数据信息的备份过程。
本申请实施例提供了一种信息处理方法,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
基于前述实施例,本申请的实施例提供一种信息处理方法,参照图2所示,方法应用于电子设备,该方法包括以下步骤:
步骤201、在电子设备的存储区域中,确定目标内存区域。
其中,目标内存区域包括RDMA专用内存池。
在本申请实施例中,电子设备提前在电子设备的内存区域中申请一定的内存池,并将申请到的内存池作为目标内存区域即RDMA专用内存池,以便与电子设备基于RDMA建立通信链接的目标存储节点从该RDMA专用内存池中获取对应的虚拟内存文件,从而实现对虚拟内存文件进行备份处理。
步骤202、获取目标数据信息,将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件。
在本申请其他实施例中,步骤202可以由以下步骤202a~202b来实现:
步骤202a、在RDMA专用内存池中,申请至少一个内存。
在本申请实施例中,在RDMA专用内存池中,根据目标数据信息的大小,申请至少一个状态为空闲状态的内存。在一些应用场景中,在RDMA专用内存池中,申请至少一个内存的实现方式可以采用无锁技术来实现,由于每块内存都有自身对应的身份标识(ID),每个内存的状态均包括繁忙(busy)状态和空闲(free)状态,因此,可以通过原子操作指令例如_sync_bool_compare_and_swap(&ID,Free,busy)来判断每块ID内存的状态,如果ID的状态为free,则在RDMA专用内存池中,申请内存成功。需说明的是,如果目标数据信息所需的存储区域大小简称目标数据信息的大小超过一个内存,则电子设备继续在RDMA专用内存池中,申请状态为空闲的内存,直至申请的内存能够将目标数据信息全部进行存储。
步骤202b、将目标数据信息采用写操作写到至少一个内存中,得到虚拟内存文件。
其中,目标存储位置至少包括以下之一:至少一个内存在RDMA专用内存池中的地址信息和目标数据信息在至少一个内存中的存储位置。
在本申请实施例中,电子设备在将目标数据信息全部写到所申请的至少一个内存后,即可返回。
步骤203、基于虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与目标存储节点建立通信链接。
其中,目标存储节点包括至少两个存储节点。
在本申请其他实施例中,步骤203可以由以下步骤203a~203c来实现:
步骤203a、基于虚拟内存文件,确定虚拟内存文件对应的属性信息。
在本申请实施例中,虚拟内存文件对应的属性信息可以是指虚拟内存文件的类型,或者虚拟内存文件所对应的提供商信息等。
步骤203b、基于属性信息,确定目标存储节点。
在本申请实施例中,电子设备根据虚拟内存文件对应的属性信息,确定虚拟内存文件对应的开发商所提供的存储节点作为目标存储节点,也可以根据属性信息中设定的备份数量来确定目标存储节点,还可以是根据属性信息中指定的存储节点来确定的目标存储节点。
步骤203c、通过RDMA网络与目标存储节点建立通信链接。
在本申请实施例中,电子设备与目标存储节点通过RDMA网络技术建立通信链接,从而实现一对多的RDMA连接机制,即一个电子设备与多个目标存储节点的RDMA连接机制。
步骤204、基于虚拟内存文件,发送通知信息至目标存储节点。
其中,通知信息用于通知目标存储节点虚拟内存文件存储在电子设备的目标存储位置。
在本申请实施例中,电子设备将目标数据信息写入到目标内存区域的目标存储位置处,得到虚拟内存文件后,生成携带有虚拟内存文件目标存储位置的通知信息,并发送通知信息至目标存储节点。由于目标存储节点是多个存储节点,所以,目标存储节点即多个存储节点可以同时从电子设备的目标存储位置处获取对应的虚拟内存文件,从而目标存储节点得到目标数据信息并进行相应的存储,实现对目标数据信息的备份。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例提供了一种信息处理方法,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
基于前述实施例,本申请的实施例提供一种信息处理方法,参照图3所示,方法应用于电子设备,该方法包括以下步骤:
步骤301、在电子设备的存储区域中,确定目标内存区域。
其中,目标内存区域包括RDMA专用内存池。
步骤302、在RDMA专用内存池中,申请至少一个内存。
步骤303、将目标数据信息采用写操作写到至少一个内存中,得到虚拟内存文件。
其中,目标存储位置至少包括以下之一:至少一个内存在RDMA专用内存池中的地址信息和目标数据信息在至少一个内存中的存储位置。
步骤304、基于虚拟内存文件,确定虚拟内存文件对应的属性信息。
步骤305、基于属性信息,确定目标存储节点。
在本申请其他实施例中,步骤305可以由以下步骤305a~305c来实现:
步骤305a、基于属性信息,确定预设存储节点。
其中,预设存储节点包括至少两个。
在本申请实施例中,预设存储节点可以是属性信息对应的开发商所提供的存储节点。
步骤305b、获取属性信息对应的预设备份数量。
其中,预设备份数量大于或等于2。
在本申请实施例中,预设备份数量可以是用户自己进行设定的,也可以是开发设计人员设定的。通常情况下预设备份数量至少为2份。
步骤305c、从预设存储节点中确定预设备份数量个存储节点,并将预设备份数量个存储节点作为目标存储节点。
其中,预设存储节点的数量大于或者等于预设备份数量。
在本申请实施例中,从预设存储节点中确定预设备份数量个存储节点,可以通过预设存储节点中的剩余存储空间来确定的,例如可以从预设存储节点中确定剩余存储空间最多的预设备份数量个存储节点为目标存储节点;也可以是根据该虚拟内存文件对应的存储用户信息来确定的,例如,从预设存储节点中确定预设备份数量个存储有该用户信息对应的数据最多的存储节点。
步骤306、通过RDMA网络与目标存储节点建立通信链接。
在本申请其他实施例中,步骤306可以由以下步骤306a~306c来实现:
步骤306a、根据RDMA要求进行RDMA注册,得到RDMA远程访问密钥。
步骤306b、发送RDMA远程访问密钥至目标存储节点。
步骤306c、接收目标存储节点发送的验证通过信息,并与目标存储节点建立通信链接。
其中,验证通过信息用于指示目标存储节点对RDMA远程访问密钥进行验证处理,并RDMA远程访问密钥通过验证。
步骤307、基于虚拟内存文件,发送通知信息至目标存储节点。
其中,通知信息用于通知目标存储节点虚拟内存文件存储在电子设备的目标存储位置。
在本申请实施例中,目标存储位置包括以下至少之一:存储目标数据信息的至少一个内存在RDMA专用内存池中地址、虚拟内存文件的ID、虚拟内存文件偏移地址等。
需说明的是,在一些应用场景中,电子设备发送通知信息至目标存储节点后,目标存储节点可以通过rdma read(RDMA网卡提供功能)指令即数据读取指令,从通知信息中通知的电子设备内存池的目标存储位置处读取虚拟内存文件中的数据,并对读取到的数据进行存储,实现备份。
步骤308、接收目标存储节点发送的用于请求获取虚拟内存文件的请求指令。
其中,请求指令是目标存储节点接收到通知信息后生成的。
步骤309、响应请求指令,发送目标存储位置中存储的虚拟内存文件至目标存储节点。
其中,虚拟内存文件用于作为副本数据存储在目标存储节点中。
在本申请其他实施例中,如图4所示,电子设备执行步骤309之后,还可以选择继续执行步骤310~311:
步骤310、接收目标存储节点用于指示已接收到虚拟内存文件的反馈信息。
步骤311、响应反馈信息,释放至少一个内存中的虚拟内存文件。
在本申请实施例中,电子设备响应反馈信息,通知RDMA虚拟内存驱动,通过RDMA虚拟内存驱动来释放至少一个内存。
本申请实施例还提供一种应用场景,如图5所示,包括客户端A和存储节点B、存储节点C和存储节点D,客户端A分别与存储节点B、存储节点C和存储节点D之间建立的是RDMA连接;其中,客户端A为本申请前述实施例中的电子设备,存储节点B、存储节点C和存储节点D为本申请前述实施例中的目标存储节点,客户端A中安装有应用程序A1,应用程序A1在运行过程中得到目标数据信息后,应用程序A1将目标数据信息存储在客户端A的RDMA专用内存池的至少一个内存中,得到虚拟内存文件A2,然后存储节点B、存储节点C和存储节点D同时获取虚拟内存文件A2。
如图6所示,为基于图5所示的应用场景提供的一种应用场景,其中,客户端A包括应用程序A1、RDMA专用内存池A2和RDMA虚拟内存驱动A3。其中:应用程序A1根据目标数据信息的属性信息,确定目标存储节点:存储节点B、存储节点C和存储节点D,其中,目标数据信息的属性信息可以是应用程序A1来定义的,例如可以是应用程序A1的开放商信息,对应的目标存储节点可以是开发商提供的后端存储节点;应用程序A1从RDMA专用内存池的多个内存中,基于目标数据信息确定目标存储位置为ID1的内存,对应的,应用程序A1通过与ID1对应的写任务1将目标数据信息写入目标存储位置ID1的内存中,得到虚拟内存文件。需说明的是,应用程序A1的写操作在RDMA虚拟内存驱动A3上执行。对应的,当存储节点B、存储节点C和存储节点D从目标存储位置ID1的内存中同时读取虚拟内存文件,并存储节点B、存储节点C和存储节点D分别读取的虚拟内存文件进行存储,从而得到三份备份数据。在存储节点B、存储节点C和存储节点D分别读取的虚拟内存文件后,RDMA虚拟内存驱动A3删除目标存储位置ID1的内存中虚拟内存文件,实现目标存储位置ID1的内存的释放。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例提供了一种信息处理方法,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
基于前述实施例,本申请的实施例提供一种电子设备,该电子设备可以应用于图1~4对应的实施例提供的信息处理方法中,参照图7所示,该电子设备4可以包括:处理器41、存储器42和通信总线43,其中:
通信总线43,用于实现处理器41和存储器42之间的通信连接;
处理器41用于执行存储器42中存储的信息处理程序,以实现以下步骤:
在电子设备的存储区域中,确定目标内存区域;
获取目标数据信息,将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件;
基于虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与目标存储节点建立通信链接;其中,目标存储节点包括至少两个存储节点;
基于虚拟内存文件,发送通知信息至目标存储节点;其中,通知信息用于通知目标存储节点虚拟内存文件存储在电子设备的目标存储位置。
在本申请其他实施例中,处理器执行基于虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与目标存储节点建立通信链接,以实现以下步骤:
基于虚拟内存文件,确定虚拟内存文件对应的属性信息;
基于属性信息,确定目标存储节点;
通过RDMA网络与目标存储节点建立通信链接。
在本申请其他实施例中,处理器执行基于属性信息,确定目标存储节点,以实现以下步骤:
基于属性信息,确定预设存储节点;其中,预设存储节点包括至少两个;
获取属性信息对应的预设备份数量;其中,预设备份数量大于或等于2;
从预设存储节点中确定预设备份数量个存储节点,并将预设备份数量个存储节点作为目标存储节点;其中,预设存储节点的数量大于或者等于预设备份数量。
在本申请其他实施例中,处理器执行目标内存区域包括RDMA专用内存池,获取目标数据信息,将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,以实现以下步骤:
在RDMA专用内存池中,申请至少一个内存;
将目标数据信息采用写操作写到至少一个内存中,得到虚拟内存文件;其中,目标存储位置至少包括以下之一:至少一个内存在RDMA专用内存池中的地址信息和目标数据信息在至少一个内存中的存储位置。
在本申请其他实施例中,处理器执行通过RDMA网络与目标存储节点建立通信链接,以实现以下步骤:
根据RDMA要求进行RDMA注册,得到RDMA远程访问密钥;
发送RDMA远程访问密钥至目标存储节点;
接收目标存储节点发送的验证通过信息,并与目标存储节点建立通信链接;其中,验证通过信息用于指示目标存储节点对RDMA远程访问密钥进行验证处理,并RDMA远程访问密钥通过验证。
在本申请其他实施例中,处理器执行基于虚拟内存文件,发送通知信息至目标存储节点之后,还用于执行以下步骤:
接收目标存储节点发送的用于请求获取虚拟内存文件的请求指令;其中,请求指令是目标存储节点接收到通知信息后生成的;
响应请求指令,发送目标存储位置中存储的虚拟内存文件至目标存储节点;其中,虚拟内存文件用于作为副本数据存储在目标存储节点中。
在本申请其他实施例中,处理器执行响应请求指令,发送目标存储位置中存储的虚拟内存文件至目标存储节点之后,还用于执行以下步骤:
接收目标存储节点用于指示已接收到虚拟内存文件的反馈信息;
响应反馈信息,释放至少一个内存中的虚拟内存文件。
需要说明的是,本实施例中处理器所执行的步骤的具体实现过程,可以参照图1~4对应的实施例提供的信息处理方法中的实现过程,此处不再赘述。
本申请实施例提供了一种电子设备,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
基于前述实施例,参照图8所示,本申请的实施例提供一种信息处理系统5,该系统包括电子设备51和目标存储节点52;其中:
电子设备51,用于电子设备,用于在电子设备的存储区域中,确定目标内存区域;获取目标数据信息,将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件;基于虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与目标存储节点建立通信链接;其中,目标存储节点包括至少两个存储节点;基于虚拟内存文件,发送通知信息至目标存储节点;其中,通知信息用于通知目标存储节点虚拟内存文件存储在电子设备的目标存储位置;
目标存储节点52,用于接收电子设备发送的通知信息,并响应通知信息,从电子设备的目标存储位置处获取虚拟内存文件。
在本申请其他实施例中,电子设备还用于实现以下步骤:
基于虚拟内存文件,确定虚拟内存文件对应的属性信息;
基于属性信息,确定目标存储节点;
通过RDMA网络与目标存储节点建立通信链接。
在本申请其他实施例中,电子设备还用于实现以下步骤:
基于属性信息,确定预设存储节点;其中,预设存储节点包括至少两个;
获取属性信息对应的预设备份数量;其中,预设备份数量大于或等于2;
从预设存储节点中确定预设备份数量个存储节点,并将预设备份数量个存储节点作为目标存储节点;其中,预设存储节点的数量大于或者等于预设备份数量。
在本申请其他实施例中,目标内存区域包括RDMA专用内存池,电子设备还用于实现以下步骤:
在RDMA专用内存池中,申请至少一个内存;
将目标数据信息采用写操作写到至少一个内存中,得到虚拟内存文件;其中,目标存储位置至少包括以下之一:至少一个内存在RDMA专用内存池中的地址信息和目标数据信息在至少一个内存中的存储位置。
在本申请其他实施例中,电子设备还用于实现以下步骤:
根据RDMA要求进行RDMA注册,得到RDMA远程访问密钥;
发送RDMA远程访问密钥至目标存储节点;
对应的,目标存储节点接收电子设备发送的RDMA远程访问密钥,并对RDMA远程访问密钥进行验证处理,并在RDMA远程访问密钥通过验证时,发送验证通过信息至电子设备;
接收目标存储节点发送的验证通过信息,并与目标存储节点建立通信链接;其中,验证通过信息用于指示目标存储节点对RDMA远程访问密钥进行验证处理,并RDMA远程访问密钥通过验证。
在本申请其他实施例中,电子设备基于虚拟内存文件,发送通知信息至目标存储节点之后,目标存储节点接收电子设备发送的通信信息后,生成用于请求获取虚拟内存文件的请求指令至电子设备,对应的,电子设备还用于实现以下步骤:
接收目标存储节点发送的用于请求获取虚拟内存文件的请求指令;其中,请求指令是目标存储节点接收到通知信息后生成的;
响应请求指令,发送目标存储位置中存储的虚拟内存文件至目标存储节点;其中,虚拟内存文件用于作为副本数据存储在目标存储节点中;
对应的,目标存储节点接收电子设备发送的虚拟内存文件进行存储,并生成用于指示已接收到虚拟内存文件的反馈信息,发送反馈信息至电子设备。
电子设备还用于实现以下步骤:
接收目标存储节点用于指示已接收到虚拟内存文件的反馈信息;
响应反馈信息,释放至少一个内存中的虚拟内存文件。
需要说明的是,本实施例中电子设备和目标存储节点所执行的步骤的具体实现过程,可以参照图1~4对应的实施例提供的信息处理方法中的实现过程,此处不再赘述。
本申请实施例提供了一种信息处理系统,通过在电子设备的存储区域中,确定目标内存区域,并获取目标数据信息,然后将目标数据信息存储至目标内存区域的目标存储位置处,得到虚拟内存文件,并基于虚拟内存文件确定目标存储节点,通过远程直接数据存储RDMA网络与目标存储节点建立通信链接后,基于虚拟内存文件,发送通知信息至目标存储节点。这样,电子设备通过RDMA网络与目标存储节点建立通信链接后,电子设备将待存储至目标存储节点的虚拟内存文件通过RDMA网络同时发送至至少两个目标存储节点,解决了目前由于存储路径较长导致时延较长的问题,明显缩短了保存路径,降低了时延,保证了实时性,提高了电子设备和存储节点的工作性能。
基于前述实施例,本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~4对应的实施例提供的方法实现过程,此处不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。

Claims (10)

1.一种信息处理方法,所述方法应用于电子设备,所述方法包括:
在所述电子设备的存储区域中,确定目标内存区域;
获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;
基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;
基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置。
2.根据权利要求1所述的方法,所述基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接,包括:
基于所述虚拟内存文件,确定所述虚拟内存文件对应的属性信息;
基于所述属性信息,确定所述目标存储节点;
通过所述RDMA网络与所述目标存储节点建立通信链接。
3.根据权利要求2所述的方法,所述基于所述属性信息,确定目标存储节点,包括:
基于所述属性信息,确定预设存储节点;其中,所述预设存储节点包括至少两个;
获取所述属性信息对应的预设备份数量;其中,所述预设备份数量大于或等于2;
从所述预设存储节点中确定所述预设备份数量个存储节点,并将所述预设备份数量个存储节点作为所述目标存储节点;其中,所述预设存储节点的数量大于或者等于所述预设备份数量。
4.根据权利要求1所述的方法,所述目标内存区域包括RDMA专用内存池,所述获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到所述虚拟内存文件,包括:
在所述RDMA专用内存池中,申请至少一个内存;
将所述目标数据信息采用写操作写到所述至少一个内存中,得到所述虚拟内存文件;其中,所述目标存储位置至少包括以下之一:所述至少一个内存在所述RDMA专用内存池中的地址信息和所述目标数据信息在所述至少一个内存中的存储位置。
5.根据权利要求2所述的方法,所述通过所述RDMA网络与所述目标存储节点建立通信链接,包括:
根据RDMA要求进行RDMA注册,得到RDMA远程访问密钥;
发送所述RDMA远程访问密钥至所述目标存储节点;
接收所述目标存储节点发送的验证通过信息,并与所述目标存储节点建立通信链接;其中,所述验证通过信息用于指示所述目标存储节点对所述RDMA远程访问密钥进行验证处理,并所述RDMA远程访问密钥通过验证。
6.根据权利要求4所述的方法,所述基于所述虚拟内存文件,发送通知信息至所述目标存储节点之后,所述方法还包括:
接收所述目标存储节点发送的用于请求获取所述虚拟内存文件的请求指令;其中,所述请求指令是所述目标存储节点接收到所述通知信息后生成的;
响应所述请求指令,发送所述目标存储位置中存储的所述虚拟内存文件至所述目标存储节点;其中,所述虚拟内存文件用于作为副本数据存储在所述目标存储节点中。
7.根据权利要求6所述的方法,所述响应所述请求指令,发送所述目标存储位置中存储的所述虚拟内存文件至所述目标存储节点之后,所述方法还包括:
接收所述目标存储节点用于指示已接收到所述虚拟内存文件的反馈信息;
响应所述反馈信息,释放所述至少一个内存中的所述虚拟内存文件。
8.一种电子设备,所述电子设备包括:处理器、存储器和通信总线,其中:
所述存储器,用于存储可执行指令;
所述通信总线,用于实现所述处理器和所述存储器之间的通信连接;
所述处理器,用于执行所述存储器中存储的信息处理程序,实现以下步骤:
在所述电子设备的存储区域中,确定目标内存区域;
获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;
基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;
基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置。
9.一种信息处理系统,所述系统包括电子设备和目标存储节点;其中:
所述电子设备,用于在所述电子设备的存储区域中,确定目标内存区域;获取目标数据信息,将所述目标数据信息存储至所述目标内存区域的目标存储位置处,得到虚拟内存文件;基于所述虚拟内存文件确定目标存储节点,通过远程直接数据存取RDMA网络与所述目标存储节点建立通信链接;其中,所述目标存储节点包括至少两个存储节点;基于所述虚拟内存文件,发送通知信息至所述目标存储节点;其中,所述通知信息用于通知所述目标存储节点所述虚拟内存文件存储在所述电子设备的目标存储位置;
所述目标存储节点,用于接收电子设备发送的所述通知信息,并响应所述通知信息,从所述电子设备的目标存储位置处获取虚拟内存文件。
10.一种存储介质,所述存储介质上存储有信息处理程序,所述信息处理程序被处理器执行时实现如权利要求1至7中任一项所述的信息处理方法的步骤。
CN202010043666.0A 2020-01-15 2020-01-15 一种信息处理方法、电子设备、系统及存储介质 Active CN111274176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043666.0A CN111274176B (zh) 2020-01-15 2020-01-15 一种信息处理方法、电子设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043666.0A CN111274176B (zh) 2020-01-15 2020-01-15 一种信息处理方法、电子设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111274176A true CN111274176A (zh) 2020-06-12
CN111274176B CN111274176B (zh) 2022-04-22

Family

ID=70998900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043666.0A Active CN111274176B (zh) 2020-01-15 2020-01-15 一种信息处理方法、电子设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111274176B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238856A (zh) * 2021-03-09 2021-08-10 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591702A (zh) * 2011-12-31 2012-07-18 华为技术有限公司 虚拟化处理方法及相关装置和计算机系统
CN102833580A (zh) * 2012-09-19 2012-12-19 南京斯坦德通信股份有限公司 基于infiniband的高清视频应用系统及方法
CN103092676A (zh) * 2013-01-04 2013-05-08 华为技术有限公司 虚拟机集群的模拟输入输出方法、装置及系统
US20140297775A1 (en) * 2013-03-26 2014-10-02 Vmware, Inc. Method and system for providing remote direct memory access to virtual machines
CN105487990A (zh) * 2014-09-19 2016-04-13 中兴通讯股份有限公司 一种cpu与芯片之间传输消息报文的方法及装置
CN105518611A (zh) * 2014-12-27 2016-04-20 华为技术有限公司 一种远程直接数据存取方法、设备和系统
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN107832169A (zh) * 2017-08-09 2018-03-23 平安壹钱包电子商务有限公司 内存数据迁移方法、装置、终端设备和存储介质
CN108701004A (zh) * 2017-01-25 2018-10-23 华为技术有限公司 一种数据处理的系统、方法及对应装置
CN109144972A (zh) * 2017-06-26 2019-01-04 华为技术有限公司 一种数据迁移的方法以及数据节点
CN109739615A (zh) * 2018-12-04 2019-05-10 联想(北京)有限公司 一种虚拟硬盘的映射方法、设备和云计算平台

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591702A (zh) * 2011-12-31 2012-07-18 华为技术有限公司 虚拟化处理方法及相关装置和计算机系统
CN102833580A (zh) * 2012-09-19 2012-12-19 南京斯坦德通信股份有限公司 基于infiniband的高清视频应用系统及方法
CN103092676A (zh) * 2013-01-04 2013-05-08 华为技术有限公司 虚拟机集群的模拟输入输出方法、装置及系统
US20140297775A1 (en) * 2013-03-26 2014-10-02 Vmware, Inc. Method and system for providing remote direct memory access to virtual machines
CN105487990A (zh) * 2014-09-19 2016-04-13 中兴通讯股份有限公司 一种cpu与芯片之间传输消息报文的方法及装置
CN105518611A (zh) * 2014-12-27 2016-04-20 华为技术有限公司 一种远程直接数据存取方法、设备和系统
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN108701004A (zh) * 2017-01-25 2018-10-23 华为技术有限公司 一种数据处理的系统、方法及对应装置
CN109144972A (zh) * 2017-06-26 2019-01-04 华为技术有限公司 一种数据迁移的方法以及数据节点
CN107832169A (zh) * 2017-08-09 2018-03-23 平安壹钱包电子商务有限公司 内存数据迁移方法、装置、终端设备和存储介质
CN109739615A (zh) * 2018-12-04 2019-05-10 联想(北京)有限公司 一种虚拟硬盘的映射方法、设备和云计算平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238856A (zh) * 2021-03-09 2021-08-10 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置
CN113238856B (zh) * 2021-03-09 2022-07-26 西安奥卡云数据科技有限公司 一种基于rdma的内存管理方法及装置

Also Published As

Publication number Publication date
CN111274176B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN110958218B (zh) 基于多网通信的数据传输方法及相关设备
US10380103B2 (en) Object data updating method and apparatus in an object storage system
EP2948846B1 (en) Resource calling for hybrid applications
US9804878B2 (en) Using a status indicator for a merge operation for writing data associated with a virtual machine
CN110704161B (zh) 虚拟机创建方法、装置及计算机设备
CN106873902B (zh) 一种文件存储系统、数据调度方法及数据节点
CN115470156A (zh) 基于rdma的内存使用方法、系统、电子设备和存储介质
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
CN111274176B (zh) 一种信息处理方法、电子设备、系统及存储介质
CN109144403B (zh) 一种用于云盘模式切换的方法与设备
CN113966590B (zh) 一种站点会话终止方法、装置、终端设备及介质
CN109445966B (zh) 事件处理方法、装置、介质和计算设备
WO2020119608A1 (zh) 基于Spark Shuffle的远程直接内存访问系统及方法
US9886298B2 (en) Detecting an interrupted operation associated with a virtual machine
CN113411363A (zh) 一种镜像文件的上传方法、相关设备及计算机存储介质
CN108491160B (zh) 一种数据写入方法及装置
CN116225314A (zh) 数据写入方法、装置、计算机设备和存储介质
CN113568881A (zh) 一种实现读写共享的方法、系统、设备及介质
US9170942B1 (en) System, apparatus, and method of automatic data padding
CN109347896B (zh) 一种信息处理方法、设备和计算机可读存储介质
CN109324931B (zh) 在重复数据删除系统中实现vmware挂载恢复的方法
CN113126912A (zh) 一种个人磁盘的挂载方法及装置
US11553031B2 (en) Method and apparatus for processing data
US7565395B2 (en) Mechanism for preserving session state when using an access-limited buffer
CN117255101B (zh) 分布式存储系统的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant