CN114895851A - 数据处理方法、装置、存储介质以及电子设备 - Google Patents

数据处理方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN114895851A
CN114895851A CN202210499150.6A CN202210499150A CN114895851A CN 114895851 A CN114895851 A CN 114895851A CN 202210499150 A CN202210499150 A CN 202210499150A CN 114895851 A CN114895851 A CN 114895851A
Authority
CN
China
Prior art keywords
metadata
data
information
file
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210499150.6A
Other languages
English (en)
Inventor
李二郎
雷俊
张旭明
王豪迈
胥昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingchen Tianhe Technology Co ltd
Original Assignee
Beijing Xingchen Tianhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingchen Tianhe Technology Co ltd filed Critical Beijing Xingchen Tianhe Technology Co ltd
Priority to CN202210499150.6A priority Critical patent/CN114895851A/zh
Publication of CN114895851A publication Critical patent/CN114895851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、存储介质以及电子设备。该方法包括:获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。通过本申请,解决了相关技术中不同协议间数据转换效率低的问题。

Description

数据处理方法、装置、存储介质以及电子设备
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、存储介质以及电子设备。
背景技术
在进行数据存储的时候,对数据的存储一般采用多种协议实现,例如NFS文件协议、S3对象协议等,采用文件协议和对象协议实现的数据存储则分别为文件存储和对象存储,相同的数据在使用不同的协议的情况下,对应使用的元数据也不同,所以通过在采用不同协议存储相同数据时,需要通过不同协议分别对数据进行存储,例如,文件数据存储在文件存储数据池中,对象数据存储在对象存储数据池中,从而可以使用不同的协议对数据进行读写操作。但是,相关技术中采用的数据存储方法将相同的数据按照协议的不同分别进行存储,导致相同的数据占用了较多的存储空间,浪费存储资源。
在相关技术中,虽然还可以将数据和数据对应的元数据进行分别存储,将数据存储在数据池中,将不同协议的元数据存储在不同的元数据池中,从而可以达到节约存储空间的效果。但是,在采用不同协议进行数据操作的时候,相关技术中的存储方式不能实现真正的双向实时共享元数据。例如,某数据仅在文件存储元数据池中存储有文件元数据的情况下,在通过对象存储协议对该数据进行操作时,需要将文件元数据存储至对象存储元数据池,在对象存储元数据池中得到该数据对应的对象元数据,才能完成相应的数据操作。同时,将相同数据对应的不同协议的元数据存储在不同的数据池会占用大量的存储空间,从而影响数据操作的效率以及存储空间的利用率。
针对相关技术中不同协议间数据转换效率低的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据处理方法、装置、存储介质以及电子设备,以解决相关技术中不同协议间数据转换效率低的问题。
根据本申请的一个方面,提供了一种数据处理方法。该方法包括:获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。
可选地,获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息包括:确定数据流所采用的协议类型,得到目标协议类型;将数据流发送至与目标协议类型对应的服务进程中;通过服务进程解析数据流,得到初始请求信息。
可选地,在数据信息为文件数据的情况下,第一元数据为文件元数据,确定第一元数据对应的第二元数据包括:将文件元数据转换为对象格式的元数据,得到对象元数据;将得到的对象元数据确定为第二元数据。
可选地,在数据信息为对象数据的情况下,第一元数据为对象元数据,确定第一元数据对应的第二元数据包括:将对象元数据转换为文件格式的元数据,得到文件元数据;将得到的文件元数据确定为第二元数据。
可选地,在请求信息为写请求的情况下,第一元数据中包含存储路径,根据执行函数、第一元数据和第二元数据执行数据处理操作包括:判断数据信息中是否存在待存储数据;在数据信息中不存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中;在数据信息中存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中,并将待存储数据存储至数据存储池的存储路径下。
可选地,在根据执行函数将待存储数据存储至数据存储池的存储路径下之后,该方法还包括:获取存储池返回的存储结果,并将存储结果发送至客户端。
可选地,在请求信息为读请求的情况下,第一元数据中包含待读取数据的数据名称,根据执行函数、第一元数据和第二元数据执行数据处理操作包括:根据执行函数从第一元数据中获取数据名称,并从元数据存储池中获取包含数据名称的目标元数据;从目标元数据中获取读取路径,并根据读取路径从数据存储池获取待读取数据,并将待读取数据发送至客户端。
根据本申请的另一方面,提供了一种数据处理装置。该装置包括:第一获取单元,用于获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;第二获取单元,用于从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;确定单元,用于从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;执行单元,用于根据执行函数、第一元数据和第二元数据执行数据处理操作。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种数据处理方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据处理方法。
通过本申请,采用以下步骤:获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。解决了相关技术中不同协议间数据转换效率低的问题。通过将不同文件协议的数据指令进行解析,得到对应的操作指令信息和待操作的数据,并将不同协议的指令信息转换为通用的执行函数,同时根据一种协议的对应的元数据生成另一种协议对应的元数据,调用执行函数基于两种协议对应的元数据对数据进行操作,进而达到了提高不同协议间数据转换的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据处理方法的流程图;
图2是根据本申请实施例提供的可选的数据处理方法的系统架构图;
图3是根据本申请实施例提供的数据处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
数据存储池:数据部分的存储池。
元数据存储池:数据对应的元数据部分的存储池。
根据本申请的实施例,提供了一种数据处理方法。
S3:本申请中泛指基于Amazon Simple Storage Service的对象存储服务协议。
图1是根据本申请实施例的数据处理方法的流程图。如图1所示,该方法包括以下步骤:
步骤S102,获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息。
具体的,可以通过网关进行数据流的接收,并将数据流进行解析,得到客户端发送的初始请求信息,并根据初始请求信息识别客户端发送的数据存储指令或数据读写指令。
需要说明的是,在网关接收到数据流之前,还需要在网关与客户端之间建立数据传输通道,例如,在客户端与网关之间建立TCP协议连接,并根据TCP连接进行数据流的传输。
为了保证能够准确地对数据流进行解析,可选地,在本申请实施例提供的数据处理方法中,获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息包括:确定数据流所采用的协议类型,得到目标协议类型;将数据流发送至与目标协议类型对应的服务进程中;通过服务进程解析数据流,得到初始请求信息。
需要说明的是,由于客户端需要进行的操作不同,所以在传输文件数据时使用的文件协议可能会出现差异,例如:NFS协议,CIFS协议,FTP协议等,同样的,在传输对象数据时使用的对象协议可能会出现差异,例如:S3协议或swift协议等。为了能够准确地对数据流进行解析,所以需要先获取对象数据或文件数据的协议类型,并在网关中获取与该协议类型对应的进程,从而通过对应的进程进行协议的解析,从而得到初始请求信息。
例如,在数据流传输的为NFS协议的文件数据时,网关会识别NFS协议,并根据该文件协议获取到对应的服务进程,例如XNFSD进程,并将该数据流输入到XNFSD进程中进行解析,从而获取到数据流中的初始请求信息。
步骤S104,从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据。
具体的,在得到初始请求信息后,可以获取初始请求信息中的目标指令信息和数据信息,其中,目标指令信息用于记录客户端发出的对数据信息的操作指令,例如,将数据信息进行存储,数据信息中包括元数据和数据,例如,文件数据和文件数据对应的元文件数据。
需要说明的是,由于不同的进程解析出的目标指令信息的协议不相同,所以需要根据预设的转换关系将目标指令信息转换为动态链接库中的通用执行函数,并根据执行函数进行数据信息的存储,进而保证数据池中的数据可以被不同的进程中的指令通过相同的通用执行函数进行操作,从而可以成功的对不同协议的数据进行操作。
步骤S106,从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据。
具体的,在确定执行函数后,需要对数据信息执行对应的操作,此时,需要先确定数据信息中的元数据协议,并根据元数据协议获取另一种元数据协议对应的元数据,也即,在存储数据之前将多种协议的数据对应的元数据进行生成并一同存储,进而在使用任意协议对该数据进行操作时均可以在元数据存储池中获取到对应的元数据信息,从而达到多协议数据存储在相同存储池中,并且可以将该数据对多种协议进行共享的效果。
可选地,在本申请实施例提供的数据处理方法中,在数据信息为文件数据的情况下,第一元数据为文件元数据,确定第一元数据对应的第二元数据包括:将文件元数据转换为对象格式的元数据,得到对象元数据;将得到的对象元数据确定为第二元数据。
具体的,当第一元数据为文件元数据的情况下,可以根据文件元数据的内容将元数据转换成对象元数据,并将文件元数据与对象元数据共同作为数据信息中的数据对应的元数据,从而使得文件协议和对象协议均可以对该数据进行操作。
可选地,在本申请实施例提供的数据处理方法中,在数据信息为对象数据的情况下,第一元数据为对象元数据,确定第一元数据对应的第二元数据包括:将对象元数据转换为文件格式的元数据,得到文件元数据;将得到的文件元数据确定为第二元数据。
同样的,当第一元数据为对象元数据的情况下,可以根据对象元数据的内容将元数据转换成文件元数据,并将文件元数据与对象元数据共同作为数据信息中的数据对应的元数据,从而使得文件协议和对象协议均可以对该数据进行操作。
步骤S108,根据执行函数、第一元数据和第二元数据执行数据处理操作。
具体的,在得到文件元数据与对象元数据之后,可以根据执行函数将文件元数据、对象元数据和数据信息中的数据进行对应的存储或者读写操作。
本申请实施例提供的数据处理方法,通过获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。解决了相关技术中不同协议间数据转换效率低的问题。通过将不同文件协议的数据指令进行解析,得到对应的操作指令信息和待操作的数据,并将不同协议的指令信息转换为通用的执行函数,同时根据一种协议的对应的元数据生成另一种协议对应的元数据,调用执行函数基于两种协议对应的元数据对数据进行操作,进而达到了提高不同协议间数据转换的效果。
可选地,在本申请实施例提供的数据处理方法中,在请求信息为写请求的情况下,第一元数据中包含存储路径,根据执行函数、第一元数据和第二元数据执行数据处理操作包括:判断数据信息中是否存在待存储数据;在数据信息中不存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中;在数据信息中存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中,并将待存储数据存储至数据存储池的存储路径下。
需要说明的是,对数据信息的操作可以为对元数据的操作或是对数据的操作,在请求信息为写请求的情况下,可以通过确定数据信息中是否存在待存储数据的方法,进行数据存储操作的判断。
具体的,在数据信息中不存在待存储数据的情况下,证明指令信息中仅包含了对元数据的更改和写入,此时,可以直接根据元数据中的信息将数据信息中的元数据向元数据存储池中进行存储或改写,从而完成目标指令信息。
在数据信息中存在待存储数据的情况下,表明指令信息中不仅包含了对元数据的更改和写入,还包含了对待存储数据的变更,此时,在完成对元数据的更改和写入后,还需要获取元数据中的存储路径,并根据存储路径确定数据存储的位置,从而将待存储数据向存储路径对应的存储区域写入数据,从而完成待存储数据的写入。
可选地,在本申请实施例提供的数据处理方法中,在根据执行函数将待存储数据存储至数据存储池的存储路径下之后,该方法还包括:获取存储池返回的存储结果,并将存储结果发送至客户端。
具体的,在写入数据后,数据存储池和元数据存储池会将存储结果返回至网关中,网关再将存储结果返回至客户端中,从而使客户端得知数据是否存储成功。
可选地,在本申请实施例提供的数据处理方法中,在请求信息为读请求的情况下,第一元数据中包含待读取数据的数据名称,根据执行函数、第一元数据和第二元数据执行数据处理操作包括:根据执行函数从第一元数据中获取数据名称,并从元数据存储池中获取包含数据名称的目标元数据;从目标元数据中获取读取路径,并根据读取路径从数据存储池获取待读取数据,并将待读取数据发送至客户端。
具体的,在请求信息为读请求的情况下,可以获取元数据中的数据名称,从而根据数据名称从元数据存储池中获取该数据名称对应的元数据信息,同时根据读请求中的数据协议进行文件数据或对象数据的确定,从而得到文件数据或对象数据在元数据存储池中对应的待获取元数据,并根据元数据信息中的存储路径,也即读取路径进行元数据对应的待获取数据的确定,从而将待获取数据和待获取元数据作为待读取数据从存储池中返回至网关中,并在网关中将待读取数据返回至客户端,从而完成任意协议的数据读取操作。
图2是根据本申请实施例提供的可选的数据处理方法的系统架构图,如图2所示,当待存储数据为文件数据的情况下,客户端可以为NFS协议的文件存储应用,此时,文件存储应用向网关中发送数据流,网关确定该数据流对应的文件协议为NFS协议,于是可以将该数据流发送至XNFSD进程中,并在XNFSD进程中对数据流进行解析,从而得到初始请求信息。
进一步的,在解析到初始请求信息中得到目标指令信息和数据信息后,可以通过预设转换关系将目标指令信息转换为动态链接库中的通用执行函数,并根据通用执行函数对数据信息执行相应的存储操作,此时,可以将执行函数可以将数据信息发送至XPS进程中,并在XPS进程中将数据信息中的元数据进行变更,从而根据文件元数据得到对象元数据,并将所述文件元数据和对象元数据一同存储至元数据存储池中,并根据元数据中的存储路径将数据存储至数据存储池中,从而完成数据的存储。
在接收到从对象存储应用对上述待存储数据进行读取的数据流后,首先判断数据流的协议,例如S3协议,则网关确定该数据流对应的文件协议为S3协议,于是可以将该数据流发送至XS3D进程中,并在XS3D进程中对数据流进行解析,从而得到初始请求信息。
进一步的,在解析到初始请求信息中得到目标指令信息和数据信息后,可以通过预设转换关系将目标指令信息转换为动态链接库中的通用执行函数,并根据通用执行函数执行相应的读操作,可以获取数据信息中的元数据中的数据名称,从而根据数据名称从元数据存储池中获取该数据名称对应的元数据信息,同时根据读请求中的数据协议进行文件数据或对象数据的确定,从而得到文件数据或对象数据在元数据存储池中对应的待获取元数据,并根据元数据信息中的存储路径,也即读取路径进行元数据对应的待获取数据的确定,从而将待获取数据和待获取元数据作为待读取数据从存储池中返回至网关中,并在网关中将待读取数据返回至客户端,从而完成任意协议的数据读取操作。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据处理装置,需要说明的是,本申请实施例的数据处理装置可以用于执行本申请实施例所提供的用于数据处理方法。以下对本申请实施例提供的数据处理装置进行介绍。
图3是根据本申请实施例的数据处理装置的示意图。如图3所示,该装置包括:第一获取单元31,第二获取单元32,确定单元33,执行单元34。
第一获取单元31,用于获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息。
第二获取单元32,用于从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据。
确定单元33,用于从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据。
执行单元34,用于根据执行函数、第一元数据和第二元数据执行数据处理操作。
本申请实施例提供的数据处理装置,通过第一获取单元31用于获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;第二获取单元32用于从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;确定单元33用于从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;执行单元34用于根据执行函数、第一元数据和第二元数据执行数据处理操作。解决了相关技术中不同协议间数据转换效率低的问题。通过将不同文件协议的数据指令进行解析,得到对应的操作指令信息和待操作的数据,并将不同协议的指令信息转换为通用的执行函数,同时根据一种协议的对应的元数据生成另一种协议对应的元数据,调用执行函数基于两种协议对应的元数据对数据进行操作,进而达到了提高不同协议间数据转换的效果。
可选地,在本申请实施例提供的数据处理装置中,第一获取单元31包括:第一确定模块,用于确定数据流所采用的协议类型,得到目标协议类型;发送模块,用于将数据流发送至与目标协议类型对应的服务进程中;解析模块,用于通过服务进程解析数据流,得到初始请求信息。
可选地,在本申请实施例提供的数据处理装置中,在数据信息为文件数据的情况下,第一元数据为文件元数据,确定单元33包括:第一转换模块,用于将文件元数据转换为对象格式的元数据,得到对象元数据;第二确定模块,用于将得到的对象元数据确定为第二元数据。
可选地,在本申请实施例提供的数据处理装置中,在数据信息为对象数据的情况下,第一元数据为对象元数据,确定单元33包括:第二转换模块,用于将对象元数据转换为文件格式的元数据,得到文件元数据;第三确定模块,用于将得到的文件元数据确定为第二元数据。
可选地,在本申请实施例提供的数据处理装置中,在请求信息为写请求的情况下,第一元数据中包含存储路径,执行单元34包括:判断模块,用于判断数据信息中是否存在待存储数据;第一存储模块,用于在数据信息中不存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中;第二存储模块,用于在数据信息中存在待存储数据的情况下,根据执行函数将第一元数据和第二元数据存储至元数据存储池中,并将待存储数据存储至数据存储池的存储路径下。
可选地,在本申请实施例提供的数据处理装置中,该装置还包括:第三获取单元,用于获取存储池返回的存储结果,并将存储结果发送至客户端。
可选地,在本申请实施例提供的数据处理装置中,在请求信息为读请求的情况下,第一元数据中包含待读取数据的数据名称,执行单元34包括:第一获取模块,用于根据执行函数从第一元数据中获取数据名称,并从元数据存储池中获取包含数据名称的目标元数据;第二获取模块,用于从目标元数据中获取读取路径,并根据读取路径从数据存储池获取待读取数据,并将待读取数据发送至客户端。
上述数据处理装置包括处理器和存储器,上述第一获取单元31,第二获取单元32,确定单元33,执行单元34等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中不同协议间数据转换效率低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据处理方法。
本发明实施例提供了一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取客户端发送的数据流,并对数据流进行解析,得到初始请求信息;从初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将目标指令信息转换为执行函数,其中,数据信息为文件数据或对象数据;从数据信息中获取元数据,得到第一元数据,并确定第一元数据对应的第二元数据,其中,在第一元数据为文件元数据的情况下,第二元数据为对象元数据,在第一元数据为对象元数据的情况下,第二元数据为文件元数据;根据执行函数、第一元数据和第二元数据执行数据处理操作。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取客户端发送的数据流,并对所述数据流进行解析,得到初始请求信息;
从所述初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将所述目标指令信息转换为执行函数,其中,所述数据信息为文件数据或对象数据;
从所述数据信息中获取元数据,得到第一元数据,并确定所述第一元数据对应的第二元数据,其中,在所述第一元数据为文件元数据的情况下,所述第二元数据为对象元数据,在所述第一元数据为所述对象元数据的情况下,所述第二元数据为所述文件元数据;
根据所述执行函数、所述第一元数据和所述第二元数据执行数据处理操作。
2.根据权利要求1所述的方法,其特征在于,获取客户端发送的数据流,并对所述数据流进行解析,得到初始请求信息包括:
确定所述数据流所采用的协议类型,得到目标协议类型;
将所述数据流发送至与所述目标协议类型对应的服务进程中;
通过所述服务进程解析所述数据流,得到所述初始请求信息。
3.根据权利要求1所述的方法,其特征在于,在所述数据信息为所述文件数据的情况下,所述第一元数据为所述文件元数据,确定所述第一元数据对应的第二元数据包括:
将所述文件元数据转换为对象格式的元数据,得到所述对象元数据;
将得到的所述对象元数据确定为所述第二元数据。
4.根据权利要求1所述的方法,其特征在于,在所述数据信息为所述对象数据的情况下,所述第一元数据为所述对象元数据,确定所述第一元数据对应的第二元数据包括:
将所述对象元数据转换为文件格式的元数据,得到所述文件元数据;
将得到的所述文件元数据确定为所述第二元数据。
5.根据权利要求2所述的方法,其特征在于,在所述请求信息为写请求的情况下,所述第一元数据中包含存储路径,根据所述执行函数、所述第一元数据和所述第二元数据执行数据处理操作包括:
判断所述数据信息中是否存在待存储数据;
在所述数据信息中不存在所述待存储数据的情况下,根据所述执行函数将所述第一元数据和所述第二元数据存储至元数据存储池中;
在所述数据信息中存在所述待存储数据的情况下,根据所述执行函数将所述第一元数据和所述第二元数据存储至元数据存储池中,并将所述待存储数据存储至数据存储池的所述存储路径下。
6.根据权利要求5所述的方法,其特征在于,在根据执行函数将所述待存储数据存储至数据存储池的所述存储路径下之后,所述方法还包括:
获取所述存储池返回的存储结果,并将所述存储结果发送至所述客户端。
7.根据权利要求1所述的方法,其特征在于,在所述请求信息为读请求的情况下,所述第一元数据中包含待读取数据的数据名称,根据所述执行函数、所述第一元数据和所述第二元数据执行数据处理操作包括:
根据所述执行函数从所述第一元数据中获取所述数据名称,并从元数据存储池中获取包含所述数据名称的目标元数据;
从所述目标元数据中获取读取路径,并根据所述读取路径从数据存储池获取所述待读取数据,并将所述待读取数据发送至所述客户端。
8.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取客户端发送的数据流,并对所述数据流进行解析,得到初始请求信息;
第二获取单元,用于从所述初始请求信息中获取目标指令信息和数据信息,并根据预设转换关系将所述目标指令信息转换为执行函数,其中,所述数据信息为文件数据或对象数据;
确定单元,用于从所述数据信息中获取元数据,得到第一元数据,并确定所述第一元数据对应的第二元数据,其中,在所述第一元数据为文件元数据的情况下,所述第二元数据为对象元数据,在所述第一元数据为所述对象元数据的情况下,所述第二元数据为所述文件元数据;
执行单元,用于根据所述执行函数、所述第一元数据和所述第二元数据执行数据处理操作。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据处理方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。
CN202210499150.6A 2022-05-09 2022-05-09 数据处理方法、装置、存储介质以及电子设备 Pending CN114895851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499150.6A CN114895851A (zh) 2022-05-09 2022-05-09 数据处理方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499150.6A CN114895851A (zh) 2022-05-09 2022-05-09 数据处理方法、装置、存储介质以及电子设备

Publications (1)

Publication Number Publication Date
CN114895851A true CN114895851A (zh) 2022-08-12

Family

ID=82721110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499150.6A Pending CN114895851A (zh) 2022-05-09 2022-05-09 数据处理方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN114895851A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555493A (zh) * 2024-01-11 2024-02-13 北京星辰天合科技股份有限公司 数据处理方法、系统、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240100B1 (en) * 2000-04-14 2007-07-03 Akamai Technologies, Inc. Content delivery network (CDN) content server request handling mechanism with metadata framework support
CN102929958A (zh) * 2012-10-10 2013-02-13 无锡江南计算技术研究所 元数据的处理方法,代理、转发设备,服务器及计算系统
US20130042088A1 (en) * 2011-08-09 2013-02-14 International Business Machines Corporation Collective Operation Protocol Selection In A Parallel Computer
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备
CN110781152A (zh) * 2019-10-09 2020-02-11 济南浪潮数据技术有限公司 一种多协议数据共享架构
CN112925477A (zh) * 2021-01-28 2021-06-08 上海商汤智能科技有限公司 一种数据处理方法、装置以及存储系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240100B1 (en) * 2000-04-14 2007-07-03 Akamai Technologies, Inc. Content delivery network (CDN) content server request handling mechanism with metadata framework support
US20130042088A1 (en) * 2011-08-09 2013-02-14 International Business Machines Corporation Collective Operation Protocol Selection In A Parallel Computer
CN102929958A (zh) * 2012-10-10 2013-02-13 无锡江南计算技术研究所 元数据的处理方法,代理、转发设备,服务器及计算系统
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备
CN110781152A (zh) * 2019-10-09 2020-02-11 济南浪潮数据技术有限公司 一种多协议数据共享架构
CN112925477A (zh) * 2021-01-28 2021-06-08 上海商汤智能科技有限公司 一种数据处理方法、装置以及存储系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555493A (zh) * 2024-01-11 2024-02-13 北京星辰天合科技股份有限公司 数据处理方法、系统、装置、存储介质及电子设备
CN117555493B (zh) * 2024-01-11 2024-05-10 北京星辰天合科技股份有限公司 数据处理方法、系统、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US20170060731A1 (en) Dynamically providing application analytic information
CN110798490B (zh) 基于数据中台接入第三方系统的方法、装置及数据中台
US10951540B1 (en) Capture and execution of provider network tasks
CN111177237B (zh) 一种数据处理系统、方法及装置
CN114996134A (zh) 容器化部署方法、电子设备及存储介质
CN114895851A (zh) 数据处理方法、装置、存储介质以及电子设备
CN111142849A (zh) 流程处理方法、装置、存储介质及处理器
CN113987401A (zh) 网络通用日志的记录方法、装置、存储介质及处理器
CN114895852A (zh) 数据处理方法、系统、装置、存储介质以及电子设备
CN113297267A (zh) 数据缓存和任务处理方法、装置、设备以及存储介质
CN110958278B (zh) 基于api网关实现的数据处理方法、系统和api网关
CN116841653A (zh) 运维作业的执行方法、装置、处理器及电子设备
CN110019497B (zh) 一种数据读取方法及装置
CN112769928B (zh) 一种基于业务场景的信息交互方法及设备
CN115237960A (zh) 信息推送方法、装置、存储介质以及电子设备
CN111459474B (zh) 一种模板化的数据处理方法及装置
CN106548331B (zh) 一种确定发布顺序的方法及装置
CN114385128A (zh) 数据处理方法、设备、装置、存储介质及程序产品
CN111966892A (zh) 一种数据处理方法和装置,计算机存储介质和电子设备
CN109347811B (zh) 异构通行证管理方法、设备及统一通行证系统
CN112787880B (zh) 回放数据获取与流量回放方法、设备及存储介质
CN113641644A (zh) 数据推送系统
CN118134403A (zh) 工单的处理方法、装置、存储介质及电子设备
CN110909284A (zh) 一种数据处理系统以及方法
CN118210762A (zh) 动画数据传导方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination