CN115129665A - 一种文件处理方法、系统以及计算机设备和介质 - Google Patents
一种文件处理方法、系统以及计算机设备和介质 Download PDFInfo
- Publication number
- CN115129665A CN115129665A CN202110318231.7A CN202110318231A CN115129665A CN 115129665 A CN115129665 A CN 115129665A CN 202110318231 A CN202110318231 A CN 202110318231A CN 115129665 A CN115129665 A CN 115129665A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- batch
- module
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种文件处理方法、系统以及相关联的计算机设备和介质,其特征在于,所述方法包括:接收文件以及与所述文件对应的文件模板和校验规则;根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据;以及根据所述校验规则来校验所述第一数据。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种将文件处理、上传、存储等的方法、系统以及计算机设备和介质。
背景技术
随着信息技术的快速发展,应用软件架构发生了巨大变化,传统的整体式架构转变为新型的微服务架构。
在微服务架构中,通常会运行存储服务器,该存储服务器负责将客户的上传数据保存下来,提供底层的存储服务。当客户端上传数据块(可以是一个文件或一块数据)到存储服务器时,存储服务器将这个文件或这块数据保存到本地一个文件中去。
将文件存储到服务器重复性高、方法复杂,几乎全部是纯人工操作,最终导致测试效率低下。同时由于存储检测方案是人工校验,传统的业务测试方法准确性低,测试入口较多,数据构造复杂,极易造成业务数据的漏测、错误,从而影响整个微服务的功能调整。
因此目前缺乏一种高效率、文件上传及批处理处理方案。
发明内容
按照本发明的一个方面,提供了一种应用于上传微服务节点的文件处理方法,所述方法包括:接收文件以及与所述文件对应的文件模板和校验规则;根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据;以及根据所述校验规则来校验所述第一数据。
进一步地,在根据本发明的另一个方面中,所述方法还包括:接收与所述文件对应的数据解析结构,所述数据解析结构被用于解析所述第一数据的数据层级关系。
进一步地,在根据本发明的另一个方面中,所述方法还包括:通知微服务节点启动批处理操作。
进一步地,在根据本发明的另一个方面中,所述方法还包括:接收批处理操作的回写信息。
进一步地,在根据本发明的另一个方面中,所述方法还包括:存储所述文件、所述第一数据以及所述回写信息。
进一步地,在根据本发明的另一个方面中,所述文件模板、所述数据解析结构以及所述校验规则由用户进行编辑。
进一步地,在根据本发明的另一个方面中,所述第一数据是所述文件的上传结构数据标识。
按照本发明的仍有另一个方面,提供了一种应用于批处理微服务节点的文件处理方法,所述方法包括:接收批处理操作的通知以及批处理逻辑;从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据;按照所述批处理逻辑对所述文件、所述文件模板、所述数据解析结构、所述校验规则以及从所述文件中抽取的所述第一数据执行批处理;以及向所述上传微服务节点发送回写信息。
进一步地,在根据本发明的仍有另一个方面中,所述批处理包括按照批处理逻辑组合所述文件模板、所述数据解析结构和所述校验规则来对所述文件进行解析和校验。
进一步地,在根据本发明的仍有另一个方面中,所述批处理逻辑由用户进行编辑。
进一步地,在根据本发明的仍有另一个方面中,按照所述批处理逻辑对所述文件、所述文件模板、所述数据解析结构、所述校验规则以及从所述文件中抽取的所述数据执行批处理包括:发送批处理请求至所述批处理微服务节点外的独立业务模块,使所述独立业务模块执行批处理。
进一步地,在根据本发明的仍有另一个方面中,向所述上传微服务节点发送回写信息包括:经由所述独立业务模块向所述上传微服务节点发送回写信息。
进一步地,在根据本发明的仍有另一个方面中,所述回写信息是所述文件的批处理标识。
按照本发明的还有另一个方面,提供了一种应用于上传微服务节点的文件处理系统,所述系统包括:接收模块,所述接收模块接收文件以及与所述文件对应的文件模板和校验规则;解析模块,所述解析模块根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据;以及校验模块,所述校验模块根据所述校验规则来校验所述第一数据。
进一步地,在根据本发明的还有另一个方面中,在所述系统中所述接收模块还接收与所述文件对应的数据解析结构,并且所述解析模块根据所述数据解析结构来解析所述第一数据的数据层级关系。进一步地,在根据本发明的还有另一个方面中,所述系统还包括:消息模块,所述消息模块通知微服务节点启动批处理操作。
进一步地,在根据本发明的还有另一个方面中,在所述系统中所述接收模块还接收批处理操作的回写信息。
进一步地,在根据本发明的还有另一个方面中,所述系统还包括:存储模块,所述存储模块存储所述文件、所述第一数据以及所述回写信息。
进一步地,在根据本发明的还有另一个方面中,所述文件模板、所述数据解析结构以及所述校验规则由用户进行编辑。
进一步地,在根据本发明的还有另一个方面中,所述第一数据是所述文件的上传结构数据标识。
按照本发明的其他一个方面,提供了一种应用于批处理微服务节点的文件处理系统,其特征在于,所述系统包括:接收模块,所述接收模块接收批处理操作的通知以及批处理逻辑;读取模块,所述读取模块从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据;批处理模块,所述批处理模块按照所述批处理逻辑对所述文件、所述文件模板、所述数据解析结构、所述校验规则以及从所述文件中抽取的所述数据执行批处理;以及消息模块,所述消息模块向所述上传微服务节点发送回写信息。
进一步地,在根据本发明的其他一个方面中,所述批处理包括按照批处理逻辑组合所述文件模板、所述数据解析结构和所述校验规则来对所述文件进行解析和校验。
进一步地,在根据本发明的其他一个方面中,所述批处理逻辑由用户进行编辑。
进一步地,在根据本发明的其他一个方面中,所述批处理模块按照所述批处理逻辑对所述文件、所述文件模板、所述数据解析结构、所述校验规则以及从所述文件中抽取的所述数据执行批处理包括:所述批处理模块发送批处理请求至所述批处理微服务节点外的独立业务模块,使所述独立业务模块执行批处理。
进一步地,在根据本发明的其他一个方面中,所述消息模块向所述上传微服务节点发送回写信息包括:所述消息模块经由所述独立业务模块向所述上传微服务节点发送回写信息。
进一步地,在根据本发明的其他一个方面中,所述回写信息是所述文件的批处理标识。
按照本发明的又一个方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现根据本发明的一个方面的方法的步骤。
按照本发明的再一个方面,提供一种记录介质,其上存储有计算机程序,该程序被计算机执行以实现根据本发明的一个方面的方法的步骤。
根据本发明的一个或多个实施例,可以对文件进行自动处理和上传,而无需同时人工对文件内的数据进行提取校验;
根据本发明的一个或多个实施例,采用本发明方法对文件上传可以使用户不需要关心文件处理,数据校验,文件存储等具体操作,只需要编辑相关需求和逻辑,从而实现大量数据的批量处理。
附图说明
图1示出了根据本发明的一个实施例的文件处理方法中各方的关系图。
图2示出了根据本发明的另一个实施例的文件处理方法中各方的关系图。
图3示出了根据本发明的一个实施例的文件处理方法3000的流程图。
图4示出了根据本发明的一个实施例的文件处理方法4000的流程图。
图5示出了根据本发明的一个实施例的文件处理系统5000的框图。
图6示出了根据本发明的一个实施例的文件处理系统6000的框图。
图7是根据本发明的一个实施例的本文所述方法的计算机设备的示例框图7000。
具体实施方式
以下将结合附图对本发明涉及的文件处理方法、系统、设备以及计算机介质作进一步的详细描述。需要注意的是,以下的具体实施方式是示例性而非限制的,其旨在提供对本发明的基本了解,并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
下文参考本发明实施例的方法和装置的框图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以构成机器,以便由计算机或其它可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。
可以将这些计算机程序指令存储在计算机可读存储器中,这些指令可以指示计算机或其它可编程处理器以特定方式实现功能,以便存储在计算机可读存储器中的这些指令构成包含实施流程图和/或框图的一个或多个框中指定的功能/操作的指令部件的制作产品。
可以将这些计算机程序指令加载到计算机或其它可编程数据处理器上以使一系列的操作步骤在计算机或其它可编程处理器上执行,以便构成计算机实现的进程,以使计算机或其它可编程数据处理器上执行的这些指令提供用于实施此流程图和/或框图的一个或多个框中指定的功能或操作的步骤。还应该注意在一些备选实现中,框中所示的功能/操作可以不按流程图所示的次序来发生。例如,依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行,具体取决于所涉及的功能/操作。
如背景技术所述的,在现有对微服务的开发中,需要启动所有的微服务节点或者开发针对所有微服务节点的单元测试。然而常规方法中的开发方法带来巨大的资源消耗并且难以调试。为了解决这个问题,本公开提出了一种文件处理方法、系统以及计算机设备和介质。本发明所涉及的方法、设备以及计算机介质可以用于微服务链路中的微服务节点开发节点之间的文件处理。
图1示出了根据本发明的一个实施例的文件处理方法中各方的关系图。如图1中所示,基础的文件处理方法可以包括三方,即,用户、上传微服务节点以及批处理微服务节点,其中上传微服务节点包括可以能保存并共享数据的服务器或数据库微服务节点,而批处理微服务节点包括可以能执行数据处理的处理器微服务节点或者仅接收启动批处理通知并转而在其他专用业务模块上执行批处理的节点。批处理微服务节点可以对微服务进行批处理管理。具体而言,批处理微服务节点可以调度批处理实例,其中批处理实例可以位于专用的业务模块中,具体而言批处理可以包括上传微服务解析完文件之后的数据。然而根据本发明的文件处理方法不限于这类节点,方法还可以在与所述上传微服务节点、批处理微服务节点相连的其他服务器、业务执行模块等中执行。
在根据本发明的文件处理方法中,可以由用户编辑文件模板、数据解析结构、校验规则、批处理逻辑等,并且由用户将与所述文件模板、数据解析结构、校验规则相关联的待处理文件上传至上传微服务节点。通过这种方式,文件模板、数据解析结构、校验规则、批处理逻辑可以灵活修改并且无需编码到微服务节点的程序中。上传微服务节点在接收到文件模板、数据解析结构、校验规则以及所述待处理文件后,可以在对待处理文件执行解析、校验处理,以得到针对所述文件的上传结构数据标识。上传结构数据标识包括所上传的文件中提取出的部分数据,该部分数据是针对业务需求抽象出的数据模型,具体可以包括诸如日期、地点、邮箱地址、付费关系以及各种层级关系等。通过提取出所述上传结构数据标识,数量繁多且内容巨大的文件可以被简化为简单的数据模型,其也能包含文件中的关键信息。通过将该数据模型上传及处理,可以加快文件上传速度并且减少微服务节点数据处理量。上传和处理的具体处理方法将在下文中详细说明。此外上传微服务节点还可以将所述文件以及所得的上传结构数据标识存储在节点上或者节点外的相连存储器中,以供其他微服务节点读取,从而实现文件和标识的共享。
在上传微服务节点向批处理微服务节点发出批处理通知后,批处理微服务节点可以对从上传微服务节点中取得相应数据,诸如文件模板、数据解析结构、校验规则、相关联文件以及上传结构数据标识并且通过接收由用户编写的批处理逻辑,对从上传微服务节点接收的以上数据执行批处理。批处理包括对一个或多个文件执行组合的业务逻辑以及相关校验,以满足不同的实际业务需求。具体而言,批处理包括组合不同的业务处理需求以及校验规则对一个或多个文件并行处理。例如对微服务节点中的数据做出变更,诸如变更文件中用户的付款信息、票据信息等,也可以对数据做出分类、查重、比对以及核查所得数据是否对应于所要求的数据结构。批处理可以通过现有的批处理框架执行。具体而言,批处理中的业务处理/业务校验可以在批处理微服务节点上实现,也可以在与该节点相连的其他独立业务模块上实现。在完成批处理后,批处理微服务节点将业务处理结果以及批处理标识回写到上传微服务节点以供存储调用。需要说明的是,在本申请的上下文中,术语“批处理标识”指的是在微服务节点中确定此批处理的字符串,一个批处理将产生一个批处理标识并且与其他批处理的批处理标识不相同。
图2示出了根据本发明的另一个实施例的文件处理方法中各方的关系图。具体而言,图2示出了批处理微服务节点仅接收启动批处理通知并转而在其他专用业务模块上执行批处理的示意图。如图2中所示,用户编写的批处理逻辑被直接发送到专门执行批处理的业务模块。上传微服务节点将同时批处理微服务节点执行批处理。批处理微服务节点转而在其外的业务模块上启动批处理。如图2中所述,在文件在上传微服务节点被解析、校验以及数据解析(可选的)后,上传微服务节点向批处理微服务节点通知启动批处理。批处理微服务节点启动批处理并且具体由业务模块执行批处理。在该实施例中,批处理运行实例植入在业务模块中,业务模块是专用的微服务,其中植入有批处理的操作实例。业务模块通过调用这些实例从而可对上传微服务解析完之后的数据进行批处理操作。以示例的方式,批处理可以包括对上传微服务解析完之后的数据批量进行操作。在该实施例中,批处理在批处理微服务节点外的业务模块上执行并且批处理后的业务信息从业务模块被回写到上传微服务节点。以示例的方式,批处理的操作实例包括传微服务解析完文件之后的数据,其中数据可以包括JSON文件数据。其他部分与图1所示的实施例相同。
图3示出了根据本发明的一个实施例的文件处理方法3000的流程图。方法3000应用于上传微服务节点,具体开始于步骤301,接收文件以及与所述文件对应的文件模板和校验规则,并且可选地接收文件的数据解析结构。文件可以包括excel表格、word文档等包含实际信息的文档。针对不同文件,可以由用户编辑或者配置文件模板,其不需要硬编码至程序中,而是可以由用户灵活修改。具体而言,文件模板在上传中提供文件内的所需格式信息,例如列名之类的对应数据结构。根据文件模板解析文件后,得到第一数据。第一数据可以是文件的上传结构数据标识。文件模板可以附加于第一数据中。
在步骤302,根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据。通过文件模板,上传微服务节点可以解析文件内是否存在相应关键数据,例如列名之类的对应数据结构。如果存在的话,则节点按照模板从所述文件中提取出第一数据,其他与文件模板相同或相似的数据可以不被保留。借助于此,可以通过第一数据与文件模板的组合还原出原上传文件。这样的处理可以加快文件处理速度,减少文件处理运算。
在步骤303,根据所述校验规则来校验所述第一数据,根据所述校验规则来校验所述第一数据,即校验所得的第一数据是否满足用户需求。校验规则同文件模板一样可以由用户编辑或者配置,其不需要硬编码至程序中,而是可以由用户灵活修改。同时校验规则组合各项数据的具体校验规则。校验规则也可以附加于第一数据中。
可选地,方法还包括步骤304,即按照所述数据解析结构来解析第一数据的数据层级。数据层级可以反映第一数据内数据结构的上下级关系。例如,第一数据可以是经提取的合同数据,其中包含合同条款、合同条款名称、合同对象、合同对象数量等。在这种数据中,数据层级可以反映合同条款名称是合同条款的一个下级数据,而合同对象数量是合同对象的一个下级数据。
通过以上处理,文件、文件模板、数据解析结构、校验规则、以及所得的第一数据可以被存储在上传微服务节点以供共享或者调用。例如上传微服务节点可以将数据提供到批处理微服务节点执行批处理,并接受批处理结果。具体将在下文介绍。
如上所述,可选地,方法还包括步骤305,即通知批处理微服务节点执行批处理。批处理是对一个或多个文件执行组合的业务逻辑,从而满足用户需求。批处理具体包括业务处理/业务校验等。方法还可以包括存储步骤,即将节点所接收的以及处理所得的相关数据存储,以供其他节点调用和共享。
图4示出了根据本发明的一个实施例的文件处理方法4000的流程图。方法4000应用于与上传微服务节点相连的批处理微服务节点,具体开始于步骤401,接收批处理操作的通知以及批处理逻辑。批处理微服务节点可以接收来自上传微服务节点的批处理操作通知以及由用户编辑的批处理逻辑。批处理逻辑包括组合不同的业务处理需求以及校验规则对一个或多个文件同时进行处理。例如对微服务节点中的数据做出变更,诸如变更文件中用户的付款信息、票据信息等,也可以对数据做出分类、查重、比对以及核查所得数据是否对应于所要求的数据结构,例如核查所得身份证号是否为18位。
在步骤402,在收到批处理通知后,批处理微服务节点从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据,以取得相应数据。
在步骤403,在取得相应数据后,批处理微服务节点对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述第一数据执行批处理。批处理包括组合的业务处理和业务校验,同时批处理也可以是对一个或多个文件执行批处理逻辑。批处理包括对文件的解析和校验,也可以包括其他用户所需的操作。另外,批处理可以在批处理微服务节点上执行,也可以在与批处理微服务节点相连的其他独立业务处理模块上执行,从而提升批处理运算效率。
在步骤404,在完成批处理后,批处理微服务节点向所述上传微服务节点发送回写信息。回写信息包括批处理所得的结果以及批处理标识。批处理通过现有批处理框架提供的接口实现,通过各服务底层依赖的调度插件,启动对应的批处理。批处理可以是多个文件执行同样的处理,也可以是组合不同的业务需求逻辑对多个文件执行处理,以获得满足业务逻辑的结果。在批处理中,可以由用户编辑所述业务需求逻辑。如果批处理是在与批处理微服务节点相连的其他独立业务处理模块上执行的话,则由其他独立业务处理模块发送回写信息。回写信息可以存储在上传微服务节点中以供其他调用和共享。
图5示出了根据本发明的一个实施例的文件处理系统5000的框图。文件处理系统5000应用于上传微服务节点,具体包括接收模块501、解析模块502、校验模块503以及可选的消息模块504和可选的存储模块505。在接收模块501中,系统5000接收文件以及与所述文件对应的文件模板和校验规则。文件可以包括excel表格、word文档等包含实际信息的文档。针对不同文件,可以由用户编辑或者配置文件模板,其不需要硬编码至程序中,而是可以由用户灵活修改。具体而言,文件模板在上传中提供文件内的所需格式信息,例如列名之类的对应数据结构。根据文件模板解析文件后,得到第一数据。第一数据可以是文件的上传结构数据标识。文件模板可以附加于第一数据中。
在解析模块502中,系统5000根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据。通过文件模板,上传微服务节点可以解析文件内是否存在相应关键数据,例如列名之类的对应数据结构。如果存在的话,则节点按照模板从所述文件中提取出第一数据,其他与文件模板相同或相似的数据可以不被保留。借助于此,可以通过第一数据与文件模板的组合还原出原上传文件。这样的处理可以加快文件处理速度,减少文件处理运算。
在校验模块503中,系统5000根据所述校验规则来校验所述第一数据,根据所述校验规则来校验所述第一数据,即校验所得的第一数据是否满足用户需求。校验规则同文件模板一样可以由用户编辑或者配置,其不需要硬编码至程序中,而是可以由用户灵活修改。同时校验规则组合各项数据的具体校验规则。校验规则也可以附加于第一数据中。
可选地,所述接收模块501还可以接收所述第一数据的数据解析结构,所述解析模块502按照所述数据解析结构来解析第一数据的数据层级。数据层级可以反映第一数据内数据结构的上下级关系。例如,第一数据可以是经提取的合同数据,其中包含合同条款、合同条款名称、合同对象、合同对象数量等。在这种数据中,数据层级可以反映合同条款名称是合同条款的一个下级数据,而合同对象数量是合同对象的一个下级数据。
通过以上处理,文件、文件模板、数据解析结构、校验规则、以及所得的第一数据可以被存储在上传微服务节点以供共享或者调用。例如上传微服务节点可以将数据提供到批处理微服务节点执行批处理,并接受批处理结果。具体将在下文介绍。
如上所述,可选地,系统5000还包括消息模块504,即通知批处理微服务节点执行批处理。批处理是对一个或多个文件执行组合的业务逻辑,从而满足用户需求。批处理具体包括业务处理/业务校验等。
可选地,系统5000还包括存储模块505,在存储模块505中,将节点所接收的以及处理所得的相关数据存储,以供其他节点调用和共享,以供其他节点调用和共享。
图6示出了根据本发明的一个实施例的文件处理系统6000的框图。系统6000应用于与上传微服务节点相连的批处理微服务节点,具体包括接收模块601、读取模块602、批处理模块603和消息模块604。在接收模块601中,系统6000接收批处理操作的通知以及批处理逻辑。批处理微服务节点可以接收来自上传微服务节点的批处理操作通知以及由用户编辑的批处理逻辑。批处理逻辑包括组合不同的业务处理需求以及校验规则。例如对数据进行分类、查重、比对以及核查所得数据是否对应于所要求的数据结构,例如核查所得身份证号是否为18位。
在读取模块602中,系统6000在收到批处理通知后,批处理微服务节点从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据,以取得相应数据。
在批处理模块603中,在取得相应数据后,系统6000批处理微服务节点对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述第一数据执行批处理。批处理包括组合的业务处理和业务校验,同时批处理也可以是对一个或多个文件执行批处理逻辑。批处理包括对文件的解析和校验,也可以包括其他用户所需的操作。另外,批处理可以在批处理微服务节点上执行,也可以在与批处理微服务节点相连的其他独立业务处理模块上执行,从而提升批处理运算效率。
在批处理模块604中,系统6000在完成批处理后向所述上传微服务节点发送回写信息。回写信息包括批处理所得的结果以及批处理标识。批处理通过现有批处理框架提供的接口实现,通过各服务底层依赖的调度插件,启动对应的批处理。批处理可以是多个文件执行同样的处理,也可以是组合不同的业务需求逻辑对多个文件执行处理,以获得满足业务逻辑的结果。在批处理中,可以由用户编辑所述业务需求逻辑。如果批处理是在与批处理微服务节点相连的其他独立业务处理模块上执行的话,则由其他独立业务处理模块发送回写信息。回写信息可以存储在上传微服务节点中以供其他调用和共享。
根据本发明的一个或多个实施例的方法和系统为多种不同的上传需求,提供了统一的上传方案。抽象出上传的统一流程:解析文件抽取数据、校验数据合法性、执行业务需求逻辑处理以及将文件和数据存储。
同时根据本发明的一个或多个实施例的方法和系统节省了上传的开发量。使用上传框架后,各业务组只有配置工作(配置只需要配置一次即可)和各自真正不同的业务员逻辑处理操作编码工作量。
根据本发明的一个或多个实施例的方法和系统对程序模块进行了解耦。业务服务不需要关心文件处理,数据校验,文件存储等。只需要关心他们真正的业务需求逻辑。并且业务逻辑和校验可以随意组合,例如某列数据应用多个校验规则,批处理之后再调批处理,达到业务逻辑的组合。
虽然在此之前对文件处理的方法和系统的实施例进行了说明,但是本发明不限定于这些实施例,也可以将本发明实施为以下方式:用于执行上述方法的计算机设备或者用于执行上述方法的计算机程序的方式或者用于实现上述装置的功能的计算机程序的方式或者记录有该计算机程序的计算机可读取的记录介质的方式。
在图7中示出了根据本发明的一个实施例的用于如上所述的一种数据加解密方法的计算机设备。如图7中所示,计算机设备7000包括存储器701和处理器702。虽然未图示,但是计算机设备7000还包括存储在存储器701上并可在处理器702上运行的计算机程序。所述处理器执行所述程序时同时实现图1、图2、图3和图4所示的方法步骤。
另外,如上所述,本发明也可以被实施为一种记录介质,在其中存储有用于使计算机执行如上所述的数据加解密方法的程序。
在此,作为记录介质,能采用盘类(例如,磁盘、光盘等)、卡类(例如,存储卡、光卡等)、半导体存储器类(例如,ROM、非易失性存储器等)、带类(例如,磁带、盒式磁带等)等各种方式的记录介质。
通过在这些记录介质中记录使计算机执行上述实施例中的数据加解密方法的计算机程序或使计算机实现上述实施例中的数据加解密方法的功能的计算机程序并使其流通,从而能使成本的低廉化以及可携带性、通用性提高。
而且,在计算机上装载上述记录介质,由计算机读出在记录介质中记录的计算机程序并储存在存储器中,计算机所具备的处理器(CPU:Central Processing Unit(中央处理单元)、MPU:Micro Processing Unit(微处理单元))从存储器读出该计算机程序并执行,由此,能执行上述实施例中的数据遮掩、还原方法并能实现上述实施例中的数据遮掩、还原方法的装置的功能。
本领域普通技术人员应当了解,本发明不限定于上述的实施例,本发明可以在不偏离其主旨与范围内以许多其它的形式实施。因此,所展示的示例与实施例被视为示意性的而非限制性的,在不脱离如所附各权利要求所定义的本发明精神及范围的情况下,本发明可能涵盖各种的修改与替换。
Claims (28)
1.一种应用于上传微服务节点的文件处理方法,其特征在于,所述方法包括:
接收文件以及与所述文件对应的文件模板和校验规则;
根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据;以及
根据所述校验规则来校验所述第一数据。
2.根据权利要求1所述的方法,其中,所述方法还包括:
接收与所述文件对应的数据解析结构,所述数据解析结构被用于解析所述第一数据的数据层级关系。
3.根据权利要求2所述的方法,其中,所述方法还包括:
通知微服务节点启动批处理操作。
4.根据权利要求3所述的方法,其中,所述方法还包括:
接收批处理操作的回写信息。
5.根据权利要求4所述的方法,其中,所述方法还包括:
存储所述文件、所述第一数据以及所述回写信息。
6.根据权利要求2所述的方法,其中,所述文件模板、所述数据解析结构以及所述校验规则由用户来进行编辑。
7.根据权利要求1或5所述的方法,其中,所述第一数据是所述文件的上传结构数据标识。
8.一种应用于批处理微服务节点的文件处理方法,其特征在于,所述方法包括:
接收批处理操作的通知以及批处理逻辑;
从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据;
按照所述批处理逻辑对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述第一数据执行批处理;以及
向所述上传微服务节点发送回写信息。
9.根据权利要求8所述的方法,其中,所述批处理包括按照所述批处理逻辑组合所述文件模板、数据解析结构和所述校验规则来对所述文件进行解析和校验。
10.根据权利要求9所述的方法,其中,所述批处理逻辑由用户来进行编辑。
11.根据权利要求9所述的方法,其中,按照所述批处理逻辑对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述第一数据执行批处理包括:
发送批处理请求至所述批处理微服务节点外的独立业务模块,使所述独立业务模块执行批处理。
12.根据权利要求11所述的方法,其中,向所述上传微服务节点发送回写信息包括:
经由所述独立业务模块向所述上传微服务节点发送回写信息。
13.根据权利要求8或12所述的方法,其中所述回写信息是所述文件的批处理标识。
14.一种应用于上传微服务节点的文件处理系统,其特征在于,所述系统包括:
接收模块,所述接收模块接收文件以及与所述文件对应的文件模板和校验规则;
解析模块,所述解析模块根据所述文件模板来解析所述文件,以从所述文件中抽取第一数据;以及
校验模块,所述校验模块根据所述校验规则来校验所述第一数据。
15.根据权利要求14所述的系统,其中,所述接收模块还接收与所述文件对应的数据解析结构,并且所述解析模块根据所述数据解析结构来解析所述第一数据的数据层级关系。
16.根据权利要求15所述的系统,其中,所述系统还包括:
消息模块,所述消息模块通知微服务节点启动批处理操作。
17.根据权利要求16所述的系统,其中,在所述系统中所述接收模块还接收批处理操作的回写信息。
18.根据权利要求17所述的系统,其中,所述系统还包括:
存储模块,所述存储模块存储所述文件、所述第一数据以及所述回写信息。
19.根据权利要求15所述的系统,其中,所述文件模板、所述数据解析结构以及所述校验规则由用户进行编辑。
20.根据权利要求14或18所述的系统,其中,所述第一数据是所述文件的上传结构数据标识。
21.一种应用于批处理微服务节点的文件处理系统,其特征在于,所述系统包括:
接收模块,所述接收模块接收批处理操作的通知以及批处理逻辑;
读取模块,所述读取模块从上传微服务节点中读取文件、文件模板、数据解析结构、校验规则以及从所述文件中抽取的数据;
批处理模块,所述批处理模块按照所述批处理逻辑对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述数据执行批处理;以及
消息模块,所述消息模块向所述上传微服务节点发送回写信息。
22.根据权利要求21所述的系统,其中,所述批处理包括按照批处理逻辑组合所述文件模板、数据解析结构和所述校验规则来对所述文件进行解析和校验。
23.根据权利要求22所述的系统,其中,所述批处理逻辑由用户进行编辑。
24.根据权利要求22所述的系统,其中,所述批处理模块按照所述批处理逻辑对所述文件、所述文件模板、数据解析结构、所述校验规则以及从所述文件中抽取的所述数据执行批处理包括:
所述批处理模块发送批处理请求至所述批处理微服务节点外的独立业务模块,使所述独立业务模块执行批处理。
25.根据权利要求24所述的系统,其中,所述消息模块向所述上传微服务节点发送回写信息包括:
所述消息模块经由所述独立业务模块向所述上传微服务节点发送回写信息。
26.根据权利要求21或25所述的系统,其中,所述回写信息是所述文件的批处理标识。
27.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现根据权利要求1至13中任一项所述的方法的步骤。
28.一种记录介质,其上存储有计算机程序,其特征在于,该程序被计算机执行以实现根据权利要求1至13中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110318231.7A CN115129665A (zh) | 2021-03-25 | 2021-03-25 | 一种文件处理方法、系统以及计算机设备和介质 |
PCT/CN2022/080050 WO2022199387A1 (zh) | 2021-03-25 | 2022-03-10 | 一种文件处理方法、系统以及计算机设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110318231.7A CN115129665A (zh) | 2021-03-25 | 2021-03-25 | 一种文件处理方法、系统以及计算机设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115129665A true CN115129665A (zh) | 2022-09-30 |
Family
ID=83375057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110318231.7A Pending CN115129665A (zh) | 2021-03-25 | 2021-03-25 | 一种文件处理方法、系统以及计算机设备和介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115129665A (zh) |
WO (1) | WO2022199387A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002950435A0 (en) * | 2002-07-29 | 2002-09-12 | Trade Wind Communications Ltd | A Bulk Communications Process Using Multiple Delivery Media |
US8984384B1 (en) * | 2010-06-30 | 2015-03-17 | Emc Corporation | Distributed storage system with efficient handling of file updates |
CN106294400A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
CN106302581A (zh) * | 2015-05-21 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 批量数据的导入方法及系统 |
CN111031110B (zh) * | 2019-11-29 | 2023-01-24 | 山东英信计算机技术有限公司 | 一种文件上传方法、装置及电子设备和存储介质 |
-
2021
- 2021-03-25 CN CN202110318231.7A patent/CN115129665A/zh active Pending
-
2022
- 2022-03-10 WO PCT/CN2022/080050 patent/WO2022199387A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022199387A1 (zh) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309071B (zh) | 测试代码的生成方法及模块、测试方法及系统 | |
CN112256558B (zh) | 一种测试用例的生成方法、装置、计算机设备及存储介质 | |
US20210311858A1 (en) | System and method for providing a test manager for use with a mainframe rehosting platform | |
CN107122296B (zh) | 用于测试接口的数据断言的方法及设备 | |
CN109034993A (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
US20080172652A1 (en) | Identifying Redundant Test Cases | |
CN111782207B (zh) | 任务流代码生成方法、装置、设备及存储介质 | |
CN112256581B (zh) | 高仿真证券业交易类系统的日志回放测试方法及装置 | |
CN101996131A (zh) | 基于xml封装关键字的gui自动测试方法及自动测试平台 | |
US9009175B2 (en) | System and method for database migration and validation | |
US8799861B2 (en) | Performance-testing a system with functional-test software and a transformation-accelerator | |
WO2020232883A1 (zh) | 脚本缺陷扫描方法、装置、计算机设备和存储介质 | |
CN112445866A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
US10073938B2 (en) | Integrated circuit design verification | |
CN111459474B (zh) | 一种模板化的数据处理方法及装置 | |
CN117271478A (zh) | 数据迁移方法、装置、存储介质以及电子设备 | |
CN111858636A (zh) | 一种基于配置化管理的数据采集方法及系统 | |
CN115129665A (zh) | 一种文件处理方法、系统以及计算机设备和介质 | |
CN112445461B (zh) | 一种业务规则生成方法、装置、电子设备和可读存储介质 | |
CN115221125A (zh) | 文件处理方法、装置、电子设备及可读存储介质 | |
CN113296847A (zh) | 一种基于自解析节点的工作流引擎的实现方法 | |
EP4081911A1 (en) | Edge table representation of processes | |
CN110262927A (zh) | 应用于数据备份的处理方法和装置 | |
CN115115433B (zh) | 订单数据处理方法、装置、计算机设备和存储介质 | |
CN108763095A (zh) | 一种代码测试方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |