CN110275782A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN110275782A
CN110275782A CN201810205501.1A CN201810205501A CN110275782A CN 110275782 A CN110275782 A CN 110275782A CN 201810205501 A CN201810205501 A CN 201810205501A CN 110275782 A CN110275782 A CN 110275782A
Authority
CN
China
Prior art keywords
data processing
processing request
file system
request
processing result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810205501.1A
Other languages
English (en)
Other versions
CN110275782B (zh
Inventor
杨天洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810205501.1A priority Critical patent/CN110275782B/zh
Publication of CN110275782A publication Critical patent/CN110275782A/zh
Application granted granted Critical
Publication of CN110275782B publication Critical patent/CN110275782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/545Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理方法及装置,应用于用户态文件系统,其中方法包括:用户态文件系统的第一进程获取数据处理请求,将数据处理请求发送至用户态文件系统的第二进程;第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程;第一进程接收处理结果并输出。

Description

数据处理方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
目前,可以在Linux系统下开发文件系统,比如开发用户态文件系统(FUSE,FileSystem in User Space),Linux系统通过FUSE内核模块对用户态文件系统进行支持。在Linux系统下开发用户态文件系统时无需直接对内核进行编程,具有生产效率高的优势。
在Linux系统中,文件系统用于对系统中的进程发送的数据处理请求进行处理,以保证依托于该文件系统的程序正常运行,因此,有必要提供一种技术方案,提高文件系统进行数据处理的可靠程度。
发明内容
本申请实施例的目的是提供一种数据处理方法及装置,以提高文件系统进行数据处理的可靠程度。
为达到上述目的,本申请实施例是这样实现的:
本申请实施例提供了一种数据处理方法,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种数据处理方法,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
本申请实施例还提供了一种数据处理方法,应用于第一文件系统,包括:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种数据处理装置,应用于用户态文件系统,包括:
第一请求获取单元,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
第一请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第一结果输出模块,用于所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种数据处理装置,应用于用户态文件系统,包括:
第二请求获取单元,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
第二请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第二结果输出模块,用于所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
本申请实施例还提供了一种数据处理装置,应用于第一文件系统,包括:
第三请求获取单元,用于所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
第三请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第三结果输出单元,用于所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种数据处理设备,应用于用户态文件系统,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种数据处理设备,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
本申请实施例还提供了一种数据处理设备,应用于第一文件系统,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种存储介质,该存储介质用于存储计算机可执行指令,该存储介质应用于用户态文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例还提供了一种存储介质,该存储介质用于存储计算机可执行指令,该存储介质应用于用户态文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
本申请实施例还提供了一种存储介质,该存储介质用于存储计算机可执行指令,该存储介质应用于第一文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
本申请实施例中,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程接收处理结果并输出。通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的数据处理方法的流程示意图;
图2为本申请一实施例提供的用户态文件系统的组成示意图;
图3为本申请一实施例提供的具有用户态文件系统的计算机设备的组成示意图;
图4为本申请另一实施例提供的数据处理方法的流程示意图;
图5为本申请一实施例提供的第一进程和第二进程之间的流程示意图;
图6为本申请一实施例提供的FUSE内核模块、第一进程及第二进程之间的流程示意图;
图7为本申请另一实施例提供的数据处理方法的流程示意图;
图8为本申请另一实施例提供的数据处理方法的流程示意图;
图9为本申请一实施例提供的数据处理装置的模块组成示意图;
图10为本申请另一实施例提供的数据处理装置的模块组成示意图;
图11为本申请另一实施例提供的数据处理装置的模块组成示意图;
图12为本申请一实施例提供的数据处理设备的结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为提高文件系统进行数据处理的可靠程度,本申请实施例提供了一种数据处理方法、一种数据处理装置、一种数据处理设备及一种存储介质,下面进行详细介绍。
图1为本申请一实施例提供的数据处理方法的流程示意图,该方法应用于用户态文件系统,如图1所示,该方法包括以下步骤:
步骤S102,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程;
步骤S104,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程;
步骤S106,第一进程接收处理结果并输出。
本申请实施例中,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程接收处理结果并输出。通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。
用户态文件系统存在于一个计算机设备内。图2为本申请一实施例提供的用户态文件系统的组成示意图。如图2所示,用户态文件系统包括FUSE内核模块,第一进程和第二进程。另外,用户态文件系统还包括用户态文件系统的文件描述符(又称为fd),文件描述符的具体取值存储在第一进程的内存中,文件描述符的具体结构存储在FUSE内核模块中,通过文件描述符,第一进程能够从FUSE内核模块中获取数据处理请求。
相应地,上述步骤S102中,第一进程获取数据处理请求,具体为:
从内存中获取第一文件描述符,第一文件描述符为用户态文件系统的文件描述符;
根据第一文件描述符,从用户态文件系统的内核模块中,获取数据处理请求;其中,用户态文件系统的内核模块,即为上述的FUSE内核模块。
具体地,FUSE内核模块为多个用户态文件系统共享的内核模块,其中存储有每个用户态文件系统的文件描述符的具体结构,以及每个用户态文件系统的数据处理请求。第一进程从内存中获取第一文件描述符的具体取值,然后,根据第一文件描述符的具体取值,以及FUSE内核模块中存储的各个文件描述符的具体结构,从FUSE内核模块中,获取得到用户态文件系统的数据处理请求。
本申请实施例中,第一进程可以每隔预定时间如30ms,根据第一文件描述符从FUSE内核模块中获取一次数据处理请求,从而以定时的方式获取数据处理请求,达到及时处理数据处理请求的效果。
图3为本申请一实施例提供的具有用户态文件系统的计算机设备的组成示意图,如图3所示,该计算机设备包括用户空间(user space)和内核空间(kernel space)两部分,用户空间包括业务进程(user)、上述的第一进程和第二进程,内核空间包括虚拟文件系统(VFS,Virtual File System)和FUSE内核模块。图3中,业务进程将数据处理请求发送至虚拟文件系统VFS,虚拟文件系统VFS将接收到的数据处理请求输出至FUSE内核模块,第一进程从FUSE内核模块处获取数据处理请求,将数据处理请求发送至第二进程进行处理。
本实施例中,第二进程对数据处理请求进行处理,包括根据数据处理请求进行数据读操作、数据写操作、数据生成操作和数据丢弃操作等,比如,文件读写操作、数据缓存操作、特殊文件操作的非标准实现等。一个实施例中,数据处理请求为获取当前时间,第二进行对数据处理请求进行处理具体为,获取当前时间。
第二进程对数据处理请求进行处理,得到处理结果后,将处理结果返回至第一进程,第一进程将处理结果输出至FUSE内核模块,至此完成一个数据处理请求的处理。
考虑到第二进程在对数据处理请求进行处理时,可能出现进程异常退出的情况,图4为本申请另一实施例提供的数据处理方法的流程示意图,如图4所示,该方法在图1的基础上,还包括以下步骤:
步骤S108,若第二进程退出,则第一进程重启第二进程;
步骤S110,第一进程确定第二进程未返回处理结果的数据处理请求,将确定的数据处理请求作为待处理数据处理请求;
步骤S112,第一进程向重启后的第二进程发送待处理数据处理请求;
步骤S114,重启后的第二进程接收待处理数据处理请求并处理。
一个实施例中,第二进程为第一进程的子进程;则上述步骤S108中,第一进程重启第二进程具体为:第一进程按照重启子进程的方式,重启第二进程。具体地,在主进程和子进程的进程结构中,子进程发生退出时,主进程会接收到相应的通知,从而主进程获知子进程退出,并重启子进程。
上述步骤S110中,第一进程确定第二进程未返回处理结果的数据处理请求,具体为:
第一进程在获取到数据处理请求后,将数据处理请求保存在内存中;
第一进程在接收到第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的处理结果对应的数据处理请求;
第一进程将内存中保留的数据处理请求,确定为第二进程未返回处理结果的数据处理请求。其中,未返回处理结果的数据处理请求即为待处理数据处理请求。
具体地,第一进程从FUSE内核模块中获取得到数据处理请求后,将数据处理请求保存在内存中,并在保存后,将数据处理请求发送至第二进程。第二进程对接收到的数据处理请求进行处理后,将处理结果返回至第一进程,第一进程在保存的多个数据处理请求中,确定返回的处理结果对应的数据处理请求,在内存中删除确定的数据处理请求,并将处理结果输出至FUSE内核模块。由此,返回处理结果的数据处理请求将不存在于第一进程的内存中,因此第一进程在确定第二进程重启后,将内存中保留的数据处理请求,确定为第二进程未返回处理结果的数据处理请求并发送至重启后的第二进程,重启后的第二进程对接收到的数据处理请求进行处理。
上述过程中,第一进程在接收到第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的处理结果对应的数据处理请求,可以为:
第一进程在接收到第二进程发送的数据处理请求的处理结果后,确定接收到的处理结果对应的数据处理请求的标识;
第一进程根据确定得到的标识,以及,内存中保存的各个数据处理请求所对应的标识,在内存中删除接收到的处理结果对应的数据处理请求。
具体地,第一进程在获取到数据处理请求后,在将数据处理请求保存在内存中之前,还解析获取到的数据处理请求所对应的标识(ID,identy),第一进程在接收到第二进程发送的数据处理请求的处理结果后,确定接收到的处理结果对应的数据处理请求的标识,第一进程根据接收到的处理结果对应的数据处理请求的标识,以及内存中保存的各个数据处理请求所对应的标识,在内存中确定接收到的处理结果对应的数据处理请求并删除该请求。
本申请实施例中,能够在第二进程异常退出时快速恢复第二进程。第一进程可以保存获取到的每个数据处理请求,并删除其中的已经返回处理结果的数据处理请求,从而在第二进程重启后,向重启后的第二进程发送还没有返回处理结果的数据处理请求,以使重启后的第二进程继续进行数据处理,避免数据处理中断。第一进程利用数据处理请求的标识删除返回处理结果的数据处理请求,具有实现方式简单快速的优点。
在其他实施例中,第一进程也可以不保存获取到的每个数据处理请求,第一进程记录获取到的每个数据处理请求的标识,并确定接收到的处理结果对应的数据处理请求的标识,从而确定没有返回处理结果的数据处理请求的标识,之后,第一进程根据文件描述符以及没有返回处理结果的数据处理请求的标识,从FUSE内核空间中再次获取没有返回处理结果的数据处理请求,并将获取的数据处理请求作为待处理数据处理请求发送至重启后的第二进程,以避免数据处理的中断。
本实施例中,第一进程接收到第二进程根据待处理数据处理请求返回的处理结果后,还将该处理结果输出至FUSE内核模块中,以完成数据处理请求的处理。
本申请实施例中,第一进程用于保存文件描述符,获取数据处理请求,第二进程用于处理数据处理请求,将处理结果返回至第一进程。由于在对数据处理方式进行调整时,调整对象为第二进程对数据处理请求进行处理的方式,与第一进程的功能无关,因此本实施例中,在对数据处理方式进行调整时,只需更新第二进程即可,且维持第一进程不变,无需改动第一进程。可见,将获取数据处理请求和数据处理请求处理过程分开不同进程实现,在需要对数据处理方式进行更新时,不影响持续获取数据处理请求,不影响依托于用户态文件系统的程序的正常运行,具有方便数据处理方式更新的有益效果。
图5为本申请一实施例提供的第一进程和第二进程之间的流程示意图,如图5所示,第一进程用于,从FUSE内核模块中获取数据处理请求,将其保存在内存中,特别是保存在FUSE请求容器中,并将数据处理请求发送至第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程在FUSE请求容器中,删除该处理结果对应的数据处理请求,并将处理结果输出至FUSE内核模块。
图6为本申请一实施例提供的FUSE内核模块、第一进程及第二进程之间的流程示意图,其中第二进程为第一进程的子进程,如图6所示,该流程包括以下步骤:
步骤S602,第一进程从FUSE内核模块中获取第一数据处理请求;
步骤S604,第一进程将第一数据处理请求发送至第二进程;
步骤S606,第二进程对第一数据处理请求进行处理,将第一处理结果发送至第一进程;
步骤S608,第一进程接收第一处理结果,将第一处理结果输出至FUSE内核模块;
步骤S610,第一进程从FUSE内核模块中获取第二数据处理请求;
步骤S612,第一进程将第二数据处理请求发送至第二进程;
步骤S614,第二进程异常退出,并向第一进程发送通知;
步骤S616,第一进程重启第二进程;
步骤S618,第一进程再次将第二数据处理请求发送至第二进程;
步骤S620,第二进程对第二数据处理请求进行处理,将第二处理结果发送至第一进程;
步骤S622,第二进程接收第二处理结果,将第二处理结果输出至FUSE内核模块。
综上,通过本申请实施例提供的数据处理方法,利用第一进程实现获取数据处理请求,第二进程实现处理数据处理请求的机制,通过在第二进程异常退出后重启第二进程,能够保证数据处理请求的不中断处理,从而保证数据处理请求处理的稳定性、连续性和高可用性,保证依托于用户态文件系统的程序的稳定运行。进一步地,本申请实施例中的数据处理方法,不涉及Linux系统内核的修改,通过Linux系统提供的接口即可实现,不存在内核修改的风险。
对应上述的数据处理方法,本申请实施例还提供了另一种数据处理方法,该方法应用于用户态文件系统,图7为本申请另一实施例提供的数据处理方法的流程示意图,如图7所示,该方法包括:
步骤S702,用户态文件系统的第一进程获取数据处理请求,将数据处理请求保存在内存中,并将数据处理请求发送至用户态文件系统的第二进程;
步骤S704,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程;
步骤S706,第一进程接收处理结果并输出,以及将处理结果对应的数据处理请求从内存中删除。
本申请实施例中,通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。进一步地,第一进程将数据处理请求保存在内存中,并根据第二进程返回的处理结果删除处理完成的数据处理请求,能够起到监控数据处理请求的处理进度的作用,从而进一步提高用户态文件系统进行数据处理的可靠程度。
一个实施例中,第二进程为第一进程的子进程;上述方法还包括:
若第二进程退出,则第一进程重启第二进程;
第一进程获取内存中存储的数据处理请求,将存储的数据处理请求作为待处理数据处理请求发送至重启后的第二进程;
重启后的第二进程接收待处理数据处理请求并处理。
第一进程可以采用重启子进程的方式重启第二进程。由于返回处理结果的数据处理请求被第一进程从内存中删除,因此第一进程的内存中存储的数据处理请求为没有返回处理结果的数据处理请求,因此第一进程将存储的数据处理请求作为待处理数据处理请求发送至重启后的第二进程,以使得重启后的第二进程接收待处理数据处理请求并处理,从而保证数据处理的连续性和稳定性。
可见,通过图7中的方法,可以提高用户态文件系统进行数据处理的可靠程度,并在第二进程退出后及时进行重启,从而不影响数据处理请求的持续获取,保证数据处理的连续性和稳定性,保证用户态文件系统的高可用性,保证依托于用户态文件系统的程序的稳定运行。
对应上述的数据处理方法,本申请实施例还提供了另一种数据处理方法,该方法应用于第一文件系统,图8为本申请另一实施例提供的数据处理方法的流程示意图,如图8所示,该方法包括:
步骤S802,第一文件系统的第一进程从内核空间获取数据处理请求,将数据处理请求发送至第一文件系统的第二进程;其中,第一进程和第二进程均位于用户空间;
步骤S804,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程;
步骤S806,第一进程接收处理结果并输出。
本实施例中,第一文件系统的第一进程和第二进程均位于用户空间,第一文件系统的第一进程从内核空间获取数据处理请求。一个实施例中,第一文件系统为上述的用户态文件系统。
本申请实施例中,通过在第一文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高第一文件系统进行数据处理的可靠程度。
一个实施例中,第二进程为第一进程的子进程;图8中的方法还包括:
若第二进程退出,则第一进程重启第二进程;
第一进程确定第二进程未返回处理结果的待处理数据处理请求;
第一进程向重启后的第二进程发送待处理数据处理请求;
重启后的第二进程接收待处理数据处理请求并处理。
具体地,第一进程按照重启子进程的方式启动第二进程。第一进程可以保存获取到的每个数据处理请求,并在接收到第二进程返回的处理结果后,删除接收到的处理结果对应的数据处理请求,则第一进程重启第二进程后,将保存的数据处理请求作为第二进程未返回处理结果的待处理数据处理请求发送至重启后的第二进程,重启后的第二进程接收待处理数据处理请求并处理,并将处理结果返回第一进程。
由于第二进程负责数据处理,因此本实施例中,在对数据处理方式进行调整时,更新第二进程,且维持第一进程不变,无需更新第一进程。
综上,通过图8中的方法,能够提高第一文件系统进行数据处理的可靠程度,并且在对数据处理方式进行调整时,更新第二进程,且维持第一进程不变,从而保证第一进程持续获取数据处理请求,保证数据的不中断处理,保证依托于第一文件系统的程序的稳定运行。
对应上述的数据处理方法,本申请实施例还提供了一种数据处理装置,该装置应用于用户态文件系统,图9为本申请一实施例提供的数据处理装置的模块组成示意图,如图9所示,该装置包括:
第一请求获取单元81,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
第一请求处理单元82,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第一结果输出单元83,用于所述第一进程接收所述处理结果并输出。
可选地,第一请求获取单元81具体用于:
从内存中获取第一文件描述符,所述第一文件描述符为所述用户态文件系统的文件描述符;
根据所述第一文件描述符,从所述用户态文件系统的内核模块中,获取数据处理请求。
可选地,该装置还包括:
第一重启单元,用于若所述第二进程退出,则所述第一进程重启所述第二进程;
第一确定单元,用于所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
第一发送单元,用于所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
第一复用单元,用于重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,所示第一确定单元具体用于:
所述第一进程在获取到数据处理请求后,将所述数据处理请求保存在内存中;
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求;
所述第一进程将内存中保留的数据处理请求,确定为所述第二进程未返回处理结果的数据处理请求。
可选地,所述第一确定单元还具体用于:
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,确定接收到的所述处理结果对应的数据处理请求的标识;
所述第一进程根据确定得到的标识,以及,内存中保存的各个数据处理请求所对应的标识,在内存中删除接收到的所述处理结果对应的数据处理请求。
可选地,所述第二进程为所述第一进程的子进程;所述第一重启单元具体用于:
所述第一进程按照重启子进程的方式,重启所述第二进程。
可选地,还包括:
第一更新单元,用于在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
本申请实施例中,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程接收处理结果并输出。通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。
对应上述的数据处理方法,本申请实施例还提供了一种数据处理装置,该装置应用于用户态文件系统,图10为本申请另一实施例提供的数据处理装置的模块组成示意图,如图10所示,该装置包括:
第二请求获取单元91,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
第二请求处理单元92,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第二结果输出单元93,用于所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
可选地,所述第二进程为所述第一进程的子进程;该装置还包括:
第二重启单元,用于若所述第二进程退出,则所述第一进程重启所述第二进程;
第二发送单元,用于所述第一进程获取内存中存储的数据处理请求,将存储的所述数据处理请求作为待处理数据处理请求发送至重启后的所述第二进程;
第二复用单元,用于重启后的所述第二进程接收所述待处理数据处理请求并处理。
本申请实施例中,通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。进一步地,第一进程将数据处理请求保存在内存中,并根据第二进程返回的处理结果删除处理完成的数据处理请求,能够起到监控数据处理请求的处理进度的作用,从而进一步提高用户态文件系统进行数据处理的可靠程度。
对应上述的数据处理方法,本申请实施例还提供了一种数据处理装置,该装置应用于第一文件系统,图11为本申请另一实施例提供的数据处理装置的模块组成示意图,如图11所示,该装置包括:
第三请求获取单元1001,用于所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
第三请求处理单元1002,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第三结果输出单元1003,用于所述第一进程接收所述处理结果并输出。
可选地,所述第二进程为所述第一进程的子进程;所述装置还包括:
第三重启单元,用于若所述第二进程退出,则所述第一进程重启所述第二进程;
第三确定单元,用于所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
第三发送单元,用于所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
第三复用单元,用于重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,所述装置还包括:
第二更新单元,用于在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
通过本实施例,能够提高第一文件系统进行数据处理的可靠程度,并且在对数据处理方式进行调整时,更新第二进程,且维持第一进程不变,从而保证第一进程持续获取数据处理请求,保证数据的不中断处理,保证依托于第一文件系统的程序的稳定运行。
进一步地,本申请实施例还提供了一种数据处理设备,图12为本申请一实施例提供的数据处理设备的结果示意图。
图12所示,数据处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器1201和存储器1202,存储器1202中可以存储有一个或一个以上存储应用程序或数据。其中,存储器1202可以是短暂存储或持久存储。存储在存储器1202的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地,处理器1201可以设置为与存储器1202通信,在数据处理设备上执行存储器1202中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源1203,一个或一个以上有线或无线网络接口1204,一个或一个以上输入输出接口1205,一个或一个以上键盘1206等。
在一个具体的实施例中,数据处理设备应用于用户态文件系统,包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
可选地,计算机可执行指令在被执行时,所述第一进程获取数据处理请求,包括:
从内存中获取第一文件描述符,所述第一文件描述符为所述用户态文件系统的文件描述符;
根据所述第一文件描述符,从所述用户态文件系统的内核模块中,获取数据处理请求。
可选地,计算机可执行指令在被执行时,还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,计算机可执行指令在被执行时,所述第一进程确定所述第二进程未返回处理结果的数据处理请求,包括:
所述第一进程在获取到数据处理请求后,将所述数据处理请求保存在内存中;
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求;
所述第一进程将内存中保留的数据处理请求,确定为所述第二进程未返回处理结果的数据处理请求。
可选地,计算机可执行指令在被执行时,所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求,包括:
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,确定接收到的所述处理结果对应的数据处理请求的标识;
所述第一进程根据确定得到的标识,以及,内存中保存的各个数据处理请求所对应的标识,在内存中删除接收到的所述处理结果对应的数据处理请求。
可选地,计算机可执行指令在被执行时,所述第二进程为所述第一进程的子进程;所述第一进程重启所述第二进程,包括:
所述第一进程按照重启子进程的方式,重启所述第二进程。
可选地,计算机可执行指令在被执行时,还包括:
在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
本申请实施例中,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程接收处理结果并输出。通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。
在另一个具体的实施例中,数据处理设备应用于用户态文件系统,包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
可选地,计算机可执行指令在被执行时,所述第二进程为所述第一进程的子进程;还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程获取内存中存储的数据处理请求,将存储的所述数据处理请求作为待处理数据处理请求发送至重启后的所述第二进程;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
本申请实施例中,通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。进一步地,第一进程将数据处理请求保存在内存中,并根据第二进程返回的处理结果删除处理完成的数据处理请求,能够起到监控数据处理请求的处理进度的作用,从而进一步提高用户态文件系统进行数据处理的可靠程度。
在另一个具体的实施例中,数据处理设备应用于第一文件系统,包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
可选地,计算机可执行指令在被执行时,所述第二进程为所述第一进程的子进程;还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,计算机可执行指令在被执行时,还包括:
在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
通过本实施例,能够提高第一文件系统进行数据处理的可靠程度,并且在对数据处理方式进行调整时,更新第二进程,且维持第一进程不变,从而保证第一进程持续获取数据处理请求,保证数据的不中断处理,保证依托于第一文件系统的程序的稳定运行。
进一步地,本申请实施例还提供了一种存储介质,用于存储计算机可执行指令。该存储介质可以为U盘、光盘、硬盘等。
一种具体的实施例中,该存储介质应用于用户态文件系统,存储的计算机可执行指令在被处理器执行时,能实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
可选地,存储的计算机可执行指令在被处理器执行时,所述第一进程获取数据处理请求,包括:
从内存中获取第一文件描述符,所述第一文件描述符为所述用户态文件系统的文件描述符;
根据所述第一文件描述符,从所述用户态文件系统的内核模块中,获取数据处理请求。
可选地,存储的计算机可执行指令在被处理器执行时,还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,存储的计算机可执行指令在被处理器执行时,所述第一进程确定所述第二进程未返回处理结果的数据处理请求,包括:
所述第一进程在获取到数据处理请求后,将所述数据处理请求保存在内存中;
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求;
所述第一进程将内存中保留的数据处理请求,确定为所述第二进程未返回处理结果的数据处理请求。
可选地,存储的计算机可执行指令在被处理器执行时,所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求,包括:
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,确定接收到的所述处理结果对应的数据处理请求的标识;
所述第一进程根据确定得到的标识,以及,内存中保存的各个数据处理请求所对应的标识,在内存中删除接收到的所述处理结果对应的数据处理请求。
可选地,存储的计算机可执行指令在被处理器执行时,所述第二进程为所述第一进程的子进程;所述第一进程重启所述第二进程,包括:
所述第一进程按照重启子进程的方式,重启所述第二进程。
可选地,存储的计算机可执行指令在被处理器执行时,还包括:
在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
本申请实施例中,用户态文件系统的第一进程获取数据处理请求,并将数据处理请求发送至用户态文件系统的第二进程,第二进程对数据处理请求进行处理,得到处理结果,将处理结果返回至第一进程,第一进程接收处理结果并输出。通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。
另一种具体的实施例中,该存储介质应用于用户态文件系统,存储的计算机可执行指令在被处理器执行时,能实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
可选地,存储的计算机可执行指令在被处理器执行时,所述第二进程为所述第一进程的子进程;还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程获取内存中存储的数据处理请求,将存储的所述数据处理请求作为待处理数据处理请求发送至重启后的所述第二进程;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
本申请实施例中,通过在用户态文件系统中将获取数据处理请求的功能和处理数据处理请求的功能分开不同进程实现,能够使得处理数据处理请求的第二进程异常退出后,获取数据处理请求的功能由第一进程继续实现,从而避免获取数据处理请求和处理数据处理请求均无法进行的情况,提高用户态文件系统进行数据处理的可靠程度。进一步地,第一进程将数据处理请求保存在内存中,并根据第二进程返回的处理结果删除处理完成的数据处理请求,能够起到监控数据处理请求的处理进度的作用,从而进一步提高用户态文件系统进行数据处理的可靠程度。
另一种具体的实施例中,该存储介质应用于第一文件系统,存储的计算机可执行指令在被处理器执行时,能实现以下流程:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
可选地,存储的计算机可执行指令在被处理器执行时,所述第二进程为所述第一进程的子进程;还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
可选地,存储的计算机可执行指令在被处理器执行时,在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
通过本实施例,能够提高第一文件系统进行数据处理的可靠程度,并且在对数据处理方式进行调整时,更新第二进程,且维持第一进程不变,从而保证第一进程持续获取数据处理请求,保证数据的不中断处理,保证依托于第一文件系统的程序的稳定运行。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (21)

1.一种数据处理方法,其特征在于,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
2.根据权利要求1所述的方法,其特征在于,所述第一进程获取数据处理请求,包括:
从内存中获取第一文件描述符,所述第一文件描述符为所述用户态文件系统的文件描述符;
根据所述第一文件描述符,从所述用户态文件系统的内核模块中,获取数据处理请求。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
4.根据权利要求3所述的方法,其特征在于,所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求,包括:
所述第一进程在获取到数据处理请求后,将所述数据处理请求保存在内存中;
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求;
所述第一进程将内存中保留的数据处理请求,确定为所述第二进程未返回处理结果的待处理数据处理请求。
5.根据权利要求4所述的方法,其特征在于,所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,在内存中删除接收到的所述处理结果对应的数据处理请求,包括:
所述第一进程在接收到所述第二进程发送的数据处理请求的处理结果后,确定接收到的所述处理结果对应的数据处理请求的标识;
所述第一进程根据确定得到的标识,以及,内存中保存的各个数据处理请求所对应的标识,在内存中删除接收到的所述处理结果对应的数据处理请求。
6.根据权利要求3所述的方法,其特征在于,所述第二进程为所述第一进程的子进程;所述第一进程重启所述第二进程,包括:
所述第一进程按照重启子进程的方式,重启所述第二进程。
7.根据权利要求1所述的方法,其特征在于,还包括:
在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
8.一种数据处理方法,其特征在于,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
9.根据权利要求8所述的方法,其特征在于,所述第二进程为所述第一进程的子进程;还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程获取内存中存储的数据处理请求,将存储的所述数据处理请求作为待处理数据处理请求发送至重启后的所述第二进程;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
10.一种数据处理方法,其特征在于,应用于第一文件系统,包括:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
11.根据权利要求10所述的方法,其特征在于,所述第二进程为所述第一进程的子进程;所述方法还包括:
若所述第二进程退出,则所述第一进程重启所述第二进程;
所述第一进程确定所述第二进程未返回处理结果的待处理数据处理请求;
所述第一进程向重启后的所述第二进程发送所述待处理数据处理请求;
重启后的所述第二进程接收所述待处理数据处理请求并处理。
12.根据权利要求10或11所述的方法,其特征在于,还包括:
在对数据处理方式进行调整时,更新所述第二进程,且维持所述第一进程不变。
13.一种数据处理装置,其特征在于,应用于用户态文件系统,包括:
第一请求获取单元,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
第一请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第一结果输出单元,用于所述第一进程接收所述处理结果并输出。
14.一种数据处理装置,其特征在于,应用于用户态文件系统,包括:
第二请求获取单元,用于所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
第二请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第二结果输出单元,用于所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
15.一种数据处理装置,其特征在于,应用于第一文件系统,包括:
第三请求获取单元,用于所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
第三请求处理单元,用于所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
第三结果输出单元,用于所述第一进程接收所述处理结果并输出。
16.一种数据处理设备,其特征在于,应用于用户态文件系统,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
17.一种数据处理设备,其特征在于,应用于用户态文件系统,包括:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
18.一种数据处理设备,其特征在于,应用于第一文件系统,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
19.一种存储介质,该存储介质用于存储计算机可执行指令,其特征在于,该存储介质应用于用户态文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
20.一种存储介质,该存储介质用于存储计算机可执行指令,其特征在于,该存储介质应用于用户态文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述用户态文件系统的第一进程获取数据处理请求,将所述数据处理请求保存在内存中,并将所述数据处理请求发送至所述用户态文件系统的第二进程;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出,以及将所述处理结果对应的数据处理请求从内存中删除。
21.一种存储介质,该存储介质用于存储计算机可执行指令,其特征在于,该存储介质应用于第一文件系统,所述计算机可执行指令在被执行时实现以下流程:
所述第一文件系统的第一进程从内核空间获取数据处理请求,将所述数据处理请求发送至所述第一文件系统的第二进程;其中,所述第一进程和所述第二进程均位于用户空间;
所述第二进程对所述数据处理请求进行处理,得到处理结果,将所述处理结果返回至所述第一进程;
所述第一进程接收所述处理结果并输出。
CN201810205501.1A 2018-03-13 2018-03-13 数据处理方法及装置 Active CN110275782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810205501.1A CN110275782B (zh) 2018-03-13 2018-03-13 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810205501.1A CN110275782B (zh) 2018-03-13 2018-03-13 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110275782A true CN110275782A (zh) 2019-09-24
CN110275782B CN110275782B (zh) 2023-08-29

Family

ID=67958196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810205501.1A Active CN110275782B (zh) 2018-03-13 2018-03-13 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110275782B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586481A (zh) * 2020-05-06 2020-08-25 海信视像科技股份有限公司 一种终端及应用的处理方法
CN114253572A (zh) * 2021-11-15 2022-03-29 阿里巴巴(中国)有限公司 进程更新方法及装置
CN116107764A (zh) * 2023-04-03 2023-05-12 阿里云计算有限公司 数据处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040254658A1 (en) * 2003-05-29 2004-12-16 Sherriff Godfrey R. Batch execution engine with independent batch execution processes
CN102148848A (zh) * 2010-02-10 2011-08-10 中兴通讯股份有限公司 一种数据的管理方法和系统
CN102841840A (zh) * 2012-07-11 2012-12-26 山东大学 基于消息重排序和消息数目检验消息日志恢复方法
CN103823721A (zh) * 2014-02-26 2014-05-28 京信通信系统(广州)有限公司 一种进程间通信的方法及设备
CN105159786A (zh) * 2015-07-03 2015-12-16 北京奇虎科技有限公司 一种进程间通信的方法和装置
CN106201690A (zh) * 2016-07-07 2016-12-07 乐视控股(北京)有限公司 应用运行控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040254658A1 (en) * 2003-05-29 2004-12-16 Sherriff Godfrey R. Batch execution engine with independent batch execution processes
CN102148848A (zh) * 2010-02-10 2011-08-10 中兴通讯股份有限公司 一种数据的管理方法和系统
CN102841840A (zh) * 2012-07-11 2012-12-26 山东大学 基于消息重排序和消息数目检验消息日志恢复方法
CN103823721A (zh) * 2014-02-26 2014-05-28 京信通信系统(广州)有限公司 一种进程间通信的方法及设备
CN105159786A (zh) * 2015-07-03 2015-12-16 北京奇虎科技有限公司 一种进程间通信的方法和装置
CN106201690A (zh) * 2016-07-07 2016-12-07 乐视控股(北京)有限公司 应用运行控制方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余平等: "客户/服务器数据库应用系统设计方法与原则", 《现代计算机》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586481A (zh) * 2020-05-06 2020-08-25 海信视像科技股份有限公司 一种终端及应用的处理方法
CN111586481B (zh) * 2020-05-06 2022-06-14 海信视像科技股份有限公司 一种终端及应用的处理方法
CN114253572A (zh) * 2021-11-15 2022-03-29 阿里巴巴(中国)有限公司 进程更新方法及装置
CN116107764A (zh) * 2023-04-03 2023-05-12 阿里云计算有限公司 数据处理方法及系统
CN116107764B (zh) * 2023-04-03 2023-09-26 阿里云计算有限公司 数据处理方法及系统

Also Published As

Publication number Publication date
CN110275782B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110019903A (zh) 图像处理引擎组件的生成方法、搜索方法及终端、系统
CN108959341A (zh) 一种数据同步的方法、装置及设备
CN110275782A (zh) 数据处理方法及装置
CN109561133A (zh) 业务处理方法、装置、设备及计算机可读存储介质
CN110096528A (zh) 一种分布式系统中生成序列的方法、装置及系统
CN110245279A (zh) 依赖树生成方法、装置、设备及存储介质
CN110134668A (zh) 应用于区块链的数据迁移方法、装置和设备
CN108549562A (zh) 一种图像加载的方法及装置
CN110401700A (zh) 模型加载方法及系统、控制节点及执行节点
CN108171267A (zh) 用户群划分方法及装置、消息推送方法及装置
CN108460070A (zh) 一种基于数据库的数据处理方法、装置及设备
CN108268289A (zh) web应用的参数配置方法、装置及系统
CN110263050A (zh) 数据处理方法、装置、设备及存储介质
CN108830266A (zh) 一种图像识别的方法、装置及设备
CN109766167A (zh) 定时任务分发的方法、装置、系统及设备
CN108427737A (zh) 一种数据清理方法、设备及计算机可读介质
CN109284066A (zh) 一种数据处理方法、装置、设备及系统
WO2021164368A1 (zh) 一种容器应用启动方法、系统、装置及电子设备
CN110532295A (zh) 一种计算机实施的信息处理、信息查询的方法及装置
CN110134735A (zh) 分布式事务日志的存储方法及装置
CN109003090A (zh) 风险控制方法和装置
CN108959330A (zh) 一种数据库的处理、数据查询方法及设备
CN108536613A (zh) 数据清理方法、装置、及服务器
CN109144600A (zh) 一种应用程序的运行方法、设备及计算机可读介质
CN109460312A (zh) 请求失败的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant