CN116383310B - 一种日终文件同步方法、装置、设备和存储介质 - Google Patents
一种日终文件同步方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116383310B CN116383310B CN202310644728.7A CN202310644728A CN116383310B CN 116383310 B CN116383310 B CN 116383310B CN 202310644728 A CN202310644728 A CN 202310644728A CN 116383310 B CN116383310 B CN 116383310B
- Authority
- CN
- China
- Prior art keywords
- file
- day
- data
- generator
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000001360 synchronised effect Effects 0.000 claims description 27
- 238000012805 post-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 4
- 230000002354 daily effect Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005111 flow chemistry technique Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据同步领域,公开了一种日终文件同步方法、装置、设备和存储介质。该方法包括:获取日终业务数据,对日终业务数据进行初始处理;根据日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与数据类别对应的文件类型的日终文件;根据日终文件,对应生成目标扩展文件;根据所有文件类型的预设配置信息,将每个日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径。本申请实施例通过调用各个文件类型相应的文件生成器来生成日终文件,并将其存放于目标路径以实现日终文件同步,整个文件同步过程实现简单,具有较好的通用性和扩展性,提高了文件同步效率。
Description
技术领域
本申请涉及数据同步领域,尤其涉及一种日终文件同步方法、装置、设备和存储介质。
背景技术
随着业务发展,银行等金融企业内部的系统越来越多,系统之间数据同步共享是无法避免的。并且,随着行内表外业务的发展,每天都需要同步越来越多的日终文件给到各个合作方。进而,如何提高日终文件同步效率是个亟需解决的问题。
发明内容
有鉴于此,为了解决现有技术存在的不足,本申请提供了一种日终文件同步方法、装置、设备和存储介质。
第一方面,本申请提供一种日终文件同步方法,包括:
获取日终业务数据,对所述日终业务数据进行初始处理;
根据初始处理后的所述日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件;
根据所述日终文件,对应生成目标扩展文件;
根据所有所述文件类型的预设配置信息,将每个所述日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成所述日终文件的同步操作。
在可选的实施方式中,所述对所述日终业务数据进行初始处理,包括:
根据所述日终业务数据,组装生成文件基础参数;其中,所述文件基础参数用于生成所述日终文件;
根据所述文件基础参数生成文件路径参数;其中,所述文件路径参数用于指示存放待生成的日终文件的目标路径。
在可选的实施方式中,所述方法还包括:
预先注册用于生成相应文件类型的文件生成器;其中,
预先设置文件同步调度入口基类,并继承所述文件同步调度入口基类;
在所述文件同步调度入口基类中,自定义文件类型属性;所述文件类型属性用于枚举文件类型;
通过调用所述文件类型属性,对应注册文件生成器。
在可选的实施方式中,若所述数据类别为数据类,所述调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件,包括:
获取与数据类对应的文件生成器,通过所述文件生成器执行文件头生成方法,生成文件头;
通过所述文件生成器执行数据生成方法,生成文件数据行;
根据所述文件头和所述文件数据行进行文件数据组装处理,生成数据类的日终文件。
在可选的实施方式中,在所述生成数据类的日终文件之后,还包括:
获取用户的文件格式需求;
根据所述文件格式需求,通过所述文件生成器,对所述日终文件执行文件格式的后置处理流程,生成符合所述文件格式需求的日终文件;其中,所述后置处理流程包括文件尾行定制流程、文件分隔符定制流程、文件压缩流程、文件加密流程。
在可选的实施方式中,若所述数据类别为影像类,所述调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件,包括:
获取与影像类对应的文件生成器;
通过所述文件生成器,从影像文件平台中间件中获取影像文件,并将所述影像文件作为日终文件。
在可选的实施方式中,所述方法还包括:
若确定所述数据类别为数据类的日终文件生成失败,则重新初始化处理所述日终业务数据,进而对应生成所述日终文件及所述目标扩展文件,以实现所述日终文件的同步。
第二方面,本申请提供一种日终文件同步装置,包括:
初始化模块,用于获取日终业务数据,对所述日终业务数据进行初始处理;
分发模块,用于根据初始处理后的所述日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件;
生成模块,用于根据所述日终文件,对应生成目标扩展文件;
存储模块,用于根据所有所述文件类型的预设配置信息,将每个所述日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成所述日终文件的同步操作。
第三方面,本申请提供一种计算机设备,所述计算机设备包括存储器和至少一个处理器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施前述的日终文件同步方法。
第四方面,本申请提供一种计算机存储介质,其存储有计算机程序,所述计算机程序被执行时,实施根据前述的日终文件同步方法。
本申请实施例具有如下有益效果:
本申请实施例提供了一种日终文件同步方法,通过获取日终业务数据,对日终业务数据进行初始处理;根据初始处理后的日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与数据类别对应的文件类型的日终文件;根据日终文件,对应生成目标扩展文件;根据所有文件类型的预设配置信息,将每个日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径。本申请实施例通过调用各个文件类型相应的文件生成器来生成日终文件,并将其存放于目标路径以实现日终文件同步,整个文件同步过程实现简单,具有较好的通用性和扩展性,提高了文件同步效率。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对本申请保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本申请实施例中日终文件同步方法的第一个实施方式示意图;
图2示出了本申请实施例中日终文件同步方法的第二个实施方式示意图;
图3示出了本申请实施例中日终文件同步方法的第三个实施方式示意图;
图4示出了本申请实施例中日终文件同步方法的第四个实施方式示意图;
图5示出了本申请实施例中日终文件同步装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
本申请提供一种日终文件同步方法,请参照图1,下面对该方法进行详细说明。
S10,获取日终业务数据,对日终业务数据进行初始处理。
S20,根据初始处理后的日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与数据类别对应的文件类型的日终文件。
在银行系统内部的数据集中服务平台(如GreenPlum,或其他大数据平台),获取日终业务所需要同步的业务数据(即日终业务数据),并对该日终业务数据进行初始处理。其中,初始处理包括如数据清洗等预处理操作,其具体处理流程的设置具体可根据实际需求进行设置,在此不做限定。其中,日终业务数据的数据类别包括数据类、影像类等,其具体数据类别的设置在此不做限定,可根据实际需求进行设置。本实施例以数据类和影像类两类为例进行说明。
进一步地,对日终业务数据进行清洗后,根据清洗后的日终业务数据,组装生成文件基础参数;其中,文件基础参数用于生成日终文件,该文件基础参数也即是用于组装文件生成的必要参数,如文件类型、日期等,具体可根据实际需求进行设置,在此不做限定。而后,根据文件基础参数生成文件路径参数;其中,文件路径参数用于指示存放待生成的日终文件的目标路径。
值得说明的是,本申请实施例在系统内部预先定义了一个文件同步方法接口基类,该接口基类可以作为所有文件的生成调度入口,实现了统一入口管控。后续所有类型的文件同步处理都可以直接调用该接口,便于后续的扩展。
每个数据类别的日终业务数据对应生成相应文件类别的日终文件,其中,数据类的日终业务数据对应生成数据类的日终文件,影像类的日终业务数据对应生成影像类的日终文件。
进而,每种文件类别的日终文件对应一个抽象类,其中,生成数据类文件共用一个抽象类,生成影像类文件共用一个抽象类,每个抽象类都继承了上述的文件同步方法接口基类。
可以理解,用于生成数据类的日终文件的抽象类都对于数据类的日终文件的生成、同步的全流程处理以及异常处理过程进行了封装,用于影像类的日终文件的抽象类对于影像类的日终文件的下载、同步的全流程处理以及异常处理过程进行了封装,保证整个文件处理过程在数据库里的生命周期的都是一致的,有效的保证了全流程的幂等,如果在同步文件出现异常时,无需考虑该类文件是否异常,或是在哪个流程节点异常,都可以直接从第一个步骤开始重新执行该完整流程,以重新实现文件同步。
具体地,本申请实施例设置了FileGenerator作为统一的文件同步方法接口基类(即文件同步调度入口基类),BaseDataFileGenerator是继承该基类的用于生成数据类的日终文件的抽象类,ImgFileGenerator是继承该基类的用于生成影像类的日终文件的抽象类,CustInfoGenerator是继承BaseDataFileGenerator的具体生成器实现类。BaseDataFileGenerator、ImgFileGenerator的核心方法都是generate(FileParam)这个方法,并且,该方法封装了文件生成、同步的全流程处理以及异常处理的处理过程。FileGenerateService则封装了一些文件处理的公共方法,例如,生成目标扩展文件(即OK文件),下载、上传文件等。
对日终业务数据进行初始处理即是对FileParam文件流程参数的转换处理,也即是,通过对日终业务数据进行格式转换处理来生成相应的日终文件,该过程对应于FileGenerateService的assembleFileParam(String,JobParam,FileSubParam)方法,该方法用于组装文件生成的必要参数(即FileParam),如文件类型,日期,合作机构编号、以及带参数的文件路径等。
在一实施方式中,根据初始处理后的日终业务数据,生成多张文件同步表,并将该文件同步表同步至银行系统中相应的服务平台,该文件同步表用于记录待生成日终文件的同步状态。其中,同一数据类别的日终业务数据对应生成一张或多张文件同步表,也即是,该文件同步表按照日终业务数据的数据类别进行分类,一张文件同步表对应记录同一数据类别的日终业务数据的同步情况。
示范性地,文件同步表的公共字段包括如日期(即generate_date)、数据同步机构(即org_no)、文件类型(即file_type)等字段。其中,服务平台有一个统一的任务分发入口,只会同步该文件同步表中状态为“已同步完成”的数据。
其中,通过任务分发器,获取指定的文件生成器,通过文件生成器调用指定的文件生成方法,对文件路径进行参数替换,生成文件路径参数,并通过BaseDataFileGenerator.generateFileParam(FileParam)方法,落地数据文件生成文件同步表,且设置文件同步表中日终文件同步的状态为初始化。
具体地,在本实施例中,根据文件类型,选择指定的文件生成器进行文件数据组装处理,以生成相应的文件同步表,其文件生成器包括数据类文件生成器以及影像类文件生成器,其中数据类的日终文件指按照约定的统一表头、分隔符组装数据行的文件,一般格式都是txt;影像类的日终文件指如照片、视频、pdf等一般需要影像文件平台中间件进行存储的文件。
进一步地,预先注册用于生成相应文件类型的文件生成器;其中,预先设置文件同步调度入口基类,并继承文件同步调度入口基类;在文件同步调度入口基类中,自定义文件类型属性;文件类型属性用于枚举文件类型;通过调用文件类型属性,对应注册文件生成器。
由于所有的文件生成器底层都是继承了FileGenerator这个文件同步方法接口基类,而后通过beanMap(Map<String,FileGenerator>)的方式注入到银行系统内部的spring容器中,以使得所有继承FileGenerator的类都会在spring容器初始化的时候注入进来。预先定义一个名为Generator的自定义Class级别的注解,该注解只有一个文件类型属性(即type属性),文件类型属性为FileTypeEnum(即文件类型枚举),所有文件生成器都会引用该注解,例如:CustInfoGenerator这个具体生成器实现类用于生成客户信息文件,它引用的注解的文件类型属性就是FileTypeEnum.CUS_INFO,进而通过该注解枚举文件类型来注册指定的文件生成器。
如图2所示,若数据类别为数据类,则本实施例中生成数据类的日终文件的过程具体包括如下步骤:
S21,获取与数据类对应的文件生成器,通过文件生成器执行文件头生成方法,生成文件头。
S22,通过文件生成器执行数据生成方法,生成文件数据行。
S23,根据文件头和文件数据行进行文件数据组装处理,生成数据类的日终文件。
在预先注册了文件生成器后,若要生成数据类的日终文件时,获取与数据类对应的文件生成器,即获取引用的文件类型属性为数据类的文件生成器。而后,通过该文件生成器执行相应的数据生成方法,生成文件数据行,也即是通过文件生成器向待生成文件中引入数据内容,可以理解为对文件内容进行写入操作。
具体地,通过调用generateHeader(FileParam)抽象方法,获取指定的文件生成器及其generateHeader方法去生成文件头,该文件头包括文件的日期以及总数据量等内容,同理,后续通过调用generateData(FileParam)方法按照指定文件生成器实现的方法去生成文件数据行。进而,对文件头和文件数据行进行组装,生成数据类的日终文件。
进一步地,如图3所示,在生成数据类的日终文件之后,本申请实施例还具体包括如下步骤:
S51,获取用户的文件格式需求。
S52,根据文件格式需求,通过文件生成器,对日终文件执行文件格式的后置处理流程,生成符合文件格式需求的日终文件。
其中,后置处理流程包括文件尾行定制流程、文件分隔符定制流程、文件压缩流程、文件加密流程。
可以理解,在生成数据类的日终文件后,可根据用户需求,对该日终文件进行后续处理,以生成符合用户需求的日终文件。其中,数据行生成后,获取用户预先设置的文件格式需求,根据该文件格式需求判断是否需要对文件格式进行特殊转换的后置处理流程,例如,该文件格式需求可以是删除文件头,或是定制文件尾行,或是定制文件分隔符,或是将日终文件进行压缩处理,对日终文件进行加密等。进而,即可根据文件格式需求,通过文件生成器调用对应的实现方法来对该日终文件执行相应格式转换处理,以生成符合用户的文件格式需求的日终文件。
作为一种可选的实施方式,如图4所示,若数据类别为影像类,则本实施例中生成影像类的日终文件的过程具体包括如下步骤:
S24,获取与影像类对应的文件生成器。
S25,通过文件生成器,从影像文件平台中间件中获取影像文件,并将影像文件作为日终文件。
可以理解,影像类的日终文件的生成过程与数据类的日终文件的生成过程并不相同,且影像类的日终业务数据即是从系统的影像文件平台中间件上下载的影像文件,该影像类的日终文件的生成过程即是从影像文件平台中间件上下载相关的影像文件的过程。
S30,根据日终文件,对应生成目标扩展文件。
S40,根据所有文件类型的预设配置信息,将每个日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成日终文件的同步操作。
在生成了日终文件之后,更新相应的文件同步表中的状态为生成文件成功。而后,在生成了日终文件后,系统对应生成目标扩展文件。其中,目标扩展文件是以ok为扩展名,具体是QEDIT Data File为QEDIT软件程序开发的Robelle文件类型。在本实施例中,该目标扩展文件是一种代表相应的日终文件已经同步完成的标志性文件。也即是,在生成了目标扩展文件时,表示该日终文件完成同步,而后,更新相应文件同步表中的状态为已同步完成。
进一步地,各种文件类型对应的预设配置信息都规定有该文件类型对应存放于目标的目标路径,进而,可根据该预设配置信息,将每个日终文件及其对应的目标扩展文件按照相应类型的目录格式存放于目标路径中,其中,先将日终文件存放于对应的目标路径中,而后再将该日终文件对应的目标扩展文件存放于同一目标路径中。具体可通过SFTP(即SSHFile Transfer Protocol))安全文件传输协议将相关文件上传至目标位置。
作为一种可选的实施方式,若确定数据类别为数据类的日终文件生成失败,则重新初始化处理日终业务数据,并更新原始的文件同步表的状态为初始化状态,进而对应重新生成日终文件及其目标扩展文件,以实现日终文件的同步。同理,影像类的日终文件生成失败时,也相应重新初始处理相应的日终业务数据,以对应重新生成相应类型的日终文件及其目标扩展文件,从而实现日终文件的同步。
另外,若确定数据类或影像类的日终文件未成功生成或文件调度失败(即日终文件未成功存放于目标路径),则重新初始化处理相应类型的日终业务数据,并更新原始的文件同步表的状态为初始化状态,进而对应重新生成日终文件及其目标扩展文件,以实现日终文件的同步。
也即是,在日终文件生成失败和日终文件调度失败时,均需要重新执行日终文件同步全流程操作,与此同时,在相应的文件同步表中并不是重新落地一条新记录,而是更新原来的记录的状态为初始化,后续再执行相应操作,以保证整个文件过程的幂等性。
在本实施例中,通过封装包括数据类、影像类的日终文件同步的通用核心方法,并设置可扩展的接口方法,使得日终文件同步过程实现简单,且具有较好的通用性、扩展性,该日终文件的同步方法不局限于应用场景,进而具有较好实用性。此外,本实施例所提供的日终文件同步方法保证了全流程幂等,一旦某一步骤失败,需要重新执行时,仅需重新执行指定调度任务就可以,无需生成新的记录,从而简化文件同步的重跑流程。
从开发角度,本实施例中文件生成器的核心方法都是直接引入抽象数据实体DAO方法,增加一个数据类的日终文件理论上只需要添加一条后台数据库配置,用模板引擎生成对应的实体类以及具体文件生成流程方法类,就可以完成全流程的文件同步,而增加一个影像类文件,更是只需要添加一条后数据库配置就能实现了(其中,所有影像类文件共用一个文件生成器),该过程非常方便,从而可以节约开发成本,且保证系统稳定性。
本实施例还可以根据用户的文件格式要求(例如删除文件头,添加文件尾,对文件内容进行加密,修改文件数据行的分隔符等要求),执行后置处理流程,生成符合文件格式需求的日终文件,完美的支持了数据类的日终文件的定制化,且该过程,无需变动数据类的文件生成器的核心流程方法,只需要对于定制化后置处理器增加对应的处理方法就可以实现,无需重写一整套文件格式生成逻辑,简化整体处理过程。
请参照图5,本申请还提供了一种日终文件同步装置,该装置包括:
初始化模块110,用于获取日终业务数据,对所述日终业务数据进行初始处理;
分发模块120,用于根据初始处理后的所述日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件;
生成模块130,用于根据所述日终文件,对应生成目标扩展文件;
存储模块140,用于根据所有所述文件类型的预设配置信息,将每个所述日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成所述日终文件的同步操作。
上述的日终文件同步装置对应于上述实施例的日终文件同步方法;上述实施例中的任何可选项也适用于本实施例,这里不再详述。
本申请实施例还提供了一种计算机设备,该所述计算机设备包括存储器和至少一个处理器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述实施例的日终文件同步方法。
存储器可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据(比如日终文件等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述实施例的日终文件同步方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (7)
1.一种日终文件同步方法,其特征在于,包括:
预先注册用于生成相应文件类型的文件生成器;其中,预先设置文件同步调度入口基类,并继承所述文件同步调度入口基类;在所述文件同步调度入口基类中,自定义文件类型属性,并通过调用所述文件类型属性,对应注册文件生成器;所述文件类型属性用于枚举文件类型;
获取日终业务数据,对所述日终业务数据进行初始处理;
根据初始处理后的所述日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件;其中,若所述数据类别为数据类,所述调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件,包括:获取与数据类对应的文件生成器,通过所述文件生成器执行文件头生成方法,生成文件头;通过所述文件生成器执行数据生成方法,生成文件数据行;根据所述文件头和所述文件数据行进行文件数据组装处理,生成数据类的日终文件;进而,获取用户的文件格式需求;根据所述文件格式需求,通过所述文件生成器,对所述日终文件执行文件格式的后置处理流程,生成符合所述文件格式需求的日终文件;其中,所述后置处理流程包括文件尾行定制流程、文件分隔符定制流程、文件压缩流程、文件加密流程;
根据所述日终文件,对应生成目标扩展文件;
根据所有所述文件类型的预设配置信息,将每个所述日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成所述日终文件的同步操作。
2.根据权利要求1所述的日终文件同步方法,其特征在于,所述对所述日终业务数据进行初始处理,包括:
根据所述日终业务数据,组装生成文件基础参数;其中,所述文件基础参数用于生成所述日终文件;
根据所述文件基础参数生成文件路径参数;其中,所述文件路径参数用于指示存放待生成的日终文件的目标路径。
3.根据权利要求1所述的日终文件同步方法,其特征在于,若所述数据类别为影像类,所述调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件,包括:
获取与影像类对应的文件生成器;
通过所述文件生成器,从影像文件平台中间件中获取影像文件,并将所述影像文件作为日终文件。
4.根据权利要求1所述的日终文件同步方法,其特征在于,所述方法还包括:
若确定所述数据类别为数据类的日终文件生成失败,则重新初始化处理所述日终业务数据,进而对应生成所述日终文件及所述目标扩展文件,以实现所述日终文件的同步。
5.一种日终文件同步装置,其特征在于,包括:
注册模块,用于预先注册用于生成相应文件类型的文件生成器;其中,预先设置文件同步调度入口基类,并继承所述文件同步调度入口基类;在所述文件同步调度入口基类中,自定义文件类型属性,并通过调用所述文件类型属性,对应注册文件生成器;所述文件类型属性用于枚举文件类型;
初始化模块,用于获取日终业务数据,对所述日终业务数据进行初始处理;
分发模块,用于根据初始处理后的所述日终业务数据及其对应的数据类别,通过任务分发器,调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件;其中,若所述数据类别为数据类,所述调用对应的文件生成器生成与所述数据类别对应的文件类型的日终文件,包括:获取与数据类对应的文件生成器,通过所述文件生成器执行文件头生成方法,生成文件头;通过所述文件生成器执行数据生成方法,生成文件数据行;根据所述文件头和所述文件数据行进行文件数据组装处理,生成数据类的日终文件;进而,获取用户的文件格式需求;根据所述文件格式需求,通过所述文件生成器,对所述日终文件执行文件格式的后置处理流程,生成符合所述文件格式需求的日终文件;其中,所述后置处理流程包括文件尾行定制流程、文件分隔符定制流程、文件压缩流程、文件加密流程;
生成模块,用于根据所述日终文件,对应生成目标扩展文件;
存储模块,用于根据所有所述文件类型的预设配置信息,将每个所述日终文件以及相应的目标扩展文件按照对应文件类型的目录格式存放于目标路径,以完成所述日终文件的同步操作。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和至少一个处理器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-4中任一项所述的日终文件同步方法。
7.一种计算机存储介质,其特征在于,其存储有计算机程序,所述计算机程序被执行时,实施根据权利要求1-4中任一项所述的日终文件同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310644728.7A CN116383310B (zh) | 2023-06-02 | 2023-06-02 | 一种日终文件同步方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310644728.7A CN116383310B (zh) | 2023-06-02 | 2023-06-02 | 一种日终文件同步方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116383310A CN116383310A (zh) | 2023-07-04 |
CN116383310B true CN116383310B (zh) | 2023-08-04 |
Family
ID=86979109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310644728.7A Active CN116383310B (zh) | 2023-06-02 | 2023-06-02 | 一种日终文件同步方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383310B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1890644A (zh) * | 2003-10-02 | 2007-01-03 | 索尼株式会社 | 文件管理装置、文件管理方法、文件管理方法程序以及记录该文件管理方法程序的记录介质 |
CN108197155A (zh) * | 2017-12-08 | 2018-06-22 | 深圳前海微众银行股份有限公司 | 信息数据同步方法、装置及计算机可读存储介质 |
CN109976803A (zh) * | 2017-12-27 | 2019-07-05 | 航天信息股份有限公司 | 一种文件的生成方法及装置 |
CN111913973A (zh) * | 2020-07-05 | 2020-11-10 | 中信银行股份有限公司 | 一种数据同步方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2994132C (en) * | 2017-02-03 | 2023-09-05 | MOW Equipment Solutions, Inc. | Railway fastener removal system |
-
2023
- 2023-06-02 CN CN202310644728.7A patent/CN116383310B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1890644A (zh) * | 2003-10-02 | 2007-01-03 | 索尼株式会社 | 文件管理装置、文件管理方法、文件管理方法程序以及记录该文件管理方法程序的记录介质 |
CN108197155A (zh) * | 2017-12-08 | 2018-06-22 | 深圳前海微众银行股份有限公司 | 信息数据同步方法、装置及计算机可读存储介质 |
CN109976803A (zh) * | 2017-12-27 | 2019-07-05 | 航天信息股份有限公司 | 一种文件的生成方法及装置 |
CN111913973A (zh) * | 2020-07-05 | 2020-11-10 | 中信银行股份有限公司 | 一种数据同步方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116383310A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1577765A2 (en) | Flexible deployment of software applications | |
CN108039975A (zh) | 容器集群管理系统及其应用方法 | |
CN110275861A (zh) | 数据存储方法及装置、存储介质、电子装置 | |
CN101727648B (zh) | 服务系统中的超时控制方法及服务系统 | |
US20140040791A1 (en) | Development platform for software as a service (saas) in a multi-tenant environment | |
CN109634774A (zh) | 数据备份、恢复方法及装置 | |
CN109918435A (zh) | 一种业务接口的处理方法及系统 | |
CN112463211A (zh) | 一种兼容多种开发架构的系统架构改造方法及系统架构 | |
CN111638972B (zh) | 基于微服务的请求响应方法、系统、设备及存储介质 | |
CN110333889A (zh) | 容器服务用户集群的升级方法及系统 | |
CN106649164A (zh) | 一种硬件接口管理方法 | |
CN109189342A (zh) | 一种磁盘挂载方法、装置、设备及存储介质 | |
CN114064213A (zh) | 基于Kubernets容器环境的快速编排服务方法及系统 | |
CN109614271A (zh) | 多个集群数据一致性的控制方法、装置、设备及存储介质 | |
CN108984339A (zh) | 数据恢复方法及相关产品 | |
CN116383310B (zh) | 一种日终文件同步方法、装置、设备和存储介质 | |
Katzer | Learning Serverless | |
CN110471745A (zh) | 一种服务编排方法及装置 | |
CN110908644A (zh) | 状态节点的配置方法、装置、计算机设备和存储介质 | |
CN102184105A (zh) | 基于组件方式的数据处理方法及数据中心系统 | |
CN113157414B (zh) | 任务处理方法、装置、非易失性存储介质及处理器 | |
CN106126313A (zh) | 一种基于Ambari集成Solr的方法及服务器 | |
CN112083952A (zh) | 一种基于spring架构的异常处理方法及系统 | |
CN111930690A (zh) | 文件生成方法及装置 | |
CN116560722B (zh) | 运维流程处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |