CN116775575A - 一种文件合并方法、装置、电子设备及存储介质 - Google Patents
一种文件合并方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116775575A CN116775575A CN202310760276.9A CN202310760276A CN116775575A CN 116775575 A CN116775575 A CN 116775575A CN 202310760276 A CN202310760276 A CN 202310760276A CN 116775575 A CN116775575 A CN 116775575A
- Authority
- CN
- China
- Prior art keywords
- target
- file
- sub
- data
- headers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 230000008859 change Effects 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002844 melting Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 208000025174 PANDAS Diseases 0.000 description 4
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 4
- 240000004718 Panda Species 0.000 description 4
- 235000016496 Panda oleosa Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
本发明涉及数据处理技术领域,尤其涉及一种文件合并方法、装置、电子设备及存储介质。该方法包括:接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;根据与获得的文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个子金融文件中的多个目标表头分别对应的初始数据;目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;分别对每个目标表头对应的初始数据进行数据变更处理,获得每个目标表头对应的目标数据;数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;将获得的每个目标表头对应的目标数据进行合并,获得目标文件。
Description
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种文件合并方法、装置、电子设备及存储介质。
背景技术
目前,对数据进行处理时,可能存在由于数据来源不同,存储数据的文件的文件类型不一致的情况。这样,需要将存储数据的文件转换为固定类型的文件,以对数据进行处理。
然而,现有技术中对数据进行处理时,一般是先手动对数据进行整理,再将整理后的数据输入到同一格式的文件中,获得最终的数据集,这样的方式,对数据的转换效率较低。
发明内容
本发明实施例的目的是提供一种文件合并方法、装置、电子设备及存储介质,用于提高对数据的转换效率。
第一方面,本发明实施例提供一种文件合并方法,所述方法包括:
接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;
根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据;所述目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;
分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据;所述数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;
将获得的每个所述目标表头对应的目标数据进行合并,获得目标文件。
在一种可能的实施方式中,根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据,包括:
从所述多个子金融文件中,确定文件类型信息相同的多个候选子金融文件;
如果所述多个候选子金融文件中的第一子金融文件的表头,与所述多个候选子金融文件中的其他子金融文件的表头不一致,则剔除所述第一子金融文件的数据;
将所述多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个所述候选子金融文件中的所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据,包括:
根据所述多个目标表头,配置包含所述多个目标表头的连接字符串;
根据所述连接字符串设置提取语句,基于所述提取语句从每个所述子金融文件中提取所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据,包括:
针对每个目标表头对应的所述初始数据,执行以下操作:
如果目标表头对应的初始数据中未包括数值,将所述目标表头对应的初始数据设置为固定数值;
将所述目标表头对应的初始数据中数值枚举转换成目标文件类型对应的数据格式,获得目标数据。
第二方面,本发明实施例提供一种文件合并装置,所述装置包括:
接收单元,用于接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;
提取单元,用于根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据;所述目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;
处理单元,用于分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据;所述数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;
获得单元,用于将获得的每个所述目标表头对应的目标数据进行合并,获得目标文件。
在一种可能的实施方式中,所述提取单元,具体用于:
从所述多个子金融文件中,确定文件类型信息相同的多个候选子金融文件;
如果所述多个候选子金融文件中的第一子金融文件的表头,与所述多个候选子金融文件中的其他子金融文件的表头不一致,则剔除所述第一子金融文件的数据;
将所述多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个所述候选子金融文件中的所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,所述提取单元,具体用于:
根据所述多个目标表头,配置包含所述多个目标表头的连接字符串;
根据所述连接字符串设置提取语句,基于所述提取语句从每个所述子金融文件中提取所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,所述处理单元,具体用于:
针对每个目标表头对应的所述初始数据,执行以下操作:
如果目标表头对应的初始数据中未包括数值,将所述目标表头对应的初始数据设置为固定数值;
将所述目标表头对应的初始数据中数值枚举转换成目标文件类型对应的数据格式,获得目标数据。
第三方面,本发明实施例提供了一种电子设备,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明第一方面实施例提供的任一方法。
第四方面,本发明实施例提供了一种计算机存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行本发明第一方面实施例提供的任一方法。
第五方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行第一方面实施例提供的任一方法。
本发明有益效果如下:
在本发明实施例中,电子设备可以接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;根据与获得的文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个子金融文件中的多个目标表头分别对应的初始数据;目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;分别对每个目标表头对应的初始数据进行数据变更处理,获得每个目标表头对应的目标数据;数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;将获得的每个目标表头对应的目标数据进行合并,获得目标文件。这样,电子设备可以通过提取目标表头对应的初始数据,并对初始数据进行数据格式转换处理,实现对多种文件类型不同的金融子文件实现合并处理,提高不同文件类型的文件的转换效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一种应用场景示意图;
图2为本发明实施例中的一种文件合并方法流程示意图;
图3为本发明实施例中的一种文件合并装置的组成结构示意图;
图4为本发明实施例中的一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的说明书和权利要求书中术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
以及,除非有相反的说明,本发明实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的大小、内容、顺序、时序、优先级或者重要程度等。例如,第一文件类型和第二文件类型,只是为了区分文件类型,而并不是表示这两个文件类型的内容、大小、优先级或者重要程度等的不同。
本发明技术方案中,对数据的采集、传播、使用等,均符合国家相关法律法规要求。
如前所述,相关技术在对不同文件类型的文件进行数据合并处理时,由操作人员手动进行数据整理,并将整理后的数据输入到目标文件类型的空文件中,实现不同文件类型的文件的合并处理。这样的方式,不仅操作效率较低,且容易出现由于人工操作失误所导致的合并数据出错的情况,导致不同类型的文件合并处理的效率较低。
有鉴于此,本发明提供了一种文件合并方法,通过该方法,电子设备可以接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;根据与获得的文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个子金融文件中的多个目标表头分别对应的初始数据;目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;分别对每个目标表头对应的初始数据进行数据变更处理,获得每个目标表头对应的目标数据;数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;将获得的每个目标表头对应的目标数据进行合并,获得目标文件。这样,电子设备可以通过提取目标表头对应的初始数据,并对初始数据进行数据格式转换处理,实现对多种文件类型不同的金融子文件实现合并处理,提高不同文件类型的文件的转换效率。
在介绍完本发明实施例的设计思想之后,下面对本发明实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本发明实施例提供的技术方案。
本发明实施例提供的方案可以适用于所有的需要进行不同类型的文件合并处理的各种业务场景中,例如金融业务场景,测试业务场景等。
参阅图1所示,为本发明实施例提供的一种场景示意图,在该场景中可以包括多个终端设备101和服务器102,其中,终端设备101-1、终端设备101-2、……、终端设备101-n中可以被不同的用户使用,每个终端设备上设置有各自的金融数据处理系统。可选的,每个终端设备101中存储的金融文件的文件类型可以相同,也可以不相同。
在本发明实施例中,用户可以在终端设备101上,登录相应的金融数据处理系统,并在登录后通过终端设备101与服务器102之间建立通信,从而服务器102为金融数据处理系统提供服务。
在本发明实施例中,终端设备101例如可以为手机、平板电脑(PAD)、个人计算机(Personal computer,PC)、智能电视、智能车载设备以及可穿戴设备等设备,本发明实施例中对此不做限定。
在本发明实施例中,服务器102可以是以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,也可以是物理服务器,但并不局限于此。
其中,终端设备101和服务器102之间,以及各个终端设备101之间均可以通过一个或者多个网络103进行直接或间接的通信连接。该网络103可以是有线网络,也可以是无线网络,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(Wireless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本发明实施例对此不做限制。
当然,本发明实施例提供的方法并不限用于图1所示的应用场景中,还可以用于其他可能的应用场景,本发明实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述,在此先不过多赘述。
为进一步说明本发明实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本发明实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本发明实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并行执行。
请参见图2,图2为本发明实施例中的一种文件合并方法流程示意图。方法的流程可以由电子设备执行,该电子设备可以为图1中的服务器102,该方法的具体实施流程如下:
步骤201:接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息。
在本发明实施例中,电子设备可以接收来自不同存储系统的多个子金融文件。其中,每个存储系统可被设置于一个终端设备,每个存储系统存储的子金融文件与其它存储系统存储的子金融文件的文件类型信息不同。
例如,电子设备接收来自存储系统1的子金融文件1、存储系统2的子金融文件2、存储系统3的子金融文件3以及来自存储系统4的子金融文件4,然后电子设备可以对子金融文件1、子金融文件2、子金融文件3以及子金融文件4进行分析,确定子金融文件1对应的文件类型信息为dat、子金融文件2对应的文件类型信息为txt、子金融文件3对应的文件类型信息为json以及子金融文件4对应的文件类型信息为xlsx。
可选的,子金融文件的文件类型信息可以为dat、txt、csv、xlsx、xls、json等,本发明实施例中对此不做限制。
步骤202:根据与获得的文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个子金融文件中的多个目标表头分别对应的初始数据。
在本发明实施例中,电子设备可以从多个子金融文件中,确定文件类型信息相同的多个候选子金融文件。如果多个候选子金融文件中的第一子金融文件的表头,与多个候选子金融文件中的其他子金融文件的表头不一致,则剔除第一子金融文件的数据;将多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个候选子金融文件中的多个目标表头分别对应的初始数据。
例如,假设子金融文件1的文件类型为Excel,子金融文件2的文件类型为dat。其中,子金融文件1包含表头有:资金来源、存储类型、购买、持有、时点、月日均、客户信息。子金融文件2根据位置顺序包含表头有:客户信息、资金来源、存储类型、购买、持有、时点、月日均。电子设备确定目标表头为:来源、类型、购买、持有、月日均。
在本发明实施例中,电子设备通过先确定同类型的候选子金融文件,再对候选子金融文件中不满足要求的子金融文件进行剔除处理的方法,高效且快速的实现对候选子金融文件的目标表头的确定和目标表头对应的初始数据的获取。
在本发明实施例中,电子设备还可以基于pandas对多个子金融文件中的内容进行读取,获得多个目标表头。其中,pandas可以理解为一种基于Python的一种开源的数值计算扩展工具为解决数据分析任务而创建的工具,该工具包括处理数据的函数和方法。例如读取数据的方法为读取方法read_csv,读取方法read_excel,读取方法read_json等。具体的,前述多个目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据。其中,资金来源例如是贷款或者存款,存储类型例如是定期存款、大额存款或者活期存储等,客户数据例如是包含客户身份信息、客户联系电话等数据。
在本发明实施例中,电子设备确定多个目标表头,即确定待合并的数据的项目之后,可以根据多个目标表头,配置包含多个目标表头的连接字符串;根据连接字符串设置提取语句,基于提取语句从每个子金融文件中提取多个目标表头分别对应的初始数据。其中,连接字符串例如是:(资金来源|存储类型|持有资产|月日均资产|客户数据);提取语句例如是基于结构化查询语言(structured query language,SQL)语句和连接字符串设置的一个SQL语句。
这样,本发明实施例中可以基于提取语句,针对不同文件类型的子金融文件执行提取目标表头的操作,获得目标表头对应的初始数据,从而可以准确高效的获取待合并的数据。
可选的,如果某一类子金融文件中无表头,电子设备可以确定该类子金融文件根据读取数据时的位置顺序映射的各数据所属表头,并按照目标表头对应的位置顺序,提取该类子金融文件中目标表头对应的初始数据,实现对该初始数据的获取。
步骤203:分别对每个目标表头对应的初始数据进行数据变更处理,获得每个目标表头对应的目标数据;数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式。
在本发明实施例中,电子设备获得目标表头对应的初始数据之后,还可以对每个目标表头对应的初始数据进行数据变更处理,获得每个目标表头对应的目标数据。
在本发明实施例中,电子设备可以针对每个目标表头对应的初始数据,执行以下操作:如果目标表头对应的初始数据中未包括数值,将目标表头对应的初始数据设置为固定数值;将目标表头对应的初始数据中数值枚举转换成目标文件类型对应的数据格式,获得目标数据。
具体的,如果电子设备确定目标表头对应的初始数据中有些子数据没有具体数值,可以将该子数据位置处的数值设置为其他不具有相应含义的固定值,例如0000000。这样,可以避免后续数据合并时出现合并错误的问题出现。可选的,电子设备可以基于pandas设置数据变更方法df.loc[df[‘字段名’].insn([列表]),‘字段名’]=‘映射结果值’将字段进行映射处理,从而获得目标数据。
步骤204:将获得的每个目标表头对应的目标数据进行合并,获得目标文件。
在本发明实施例中,电子设备可以按照目标表头,对从每个子金融文件中提取和数据变更处理后获得的目标数据进行合并,获得多个包含目标数据的目标表头,并对多个包含目标数据的目标表头按照顺序排列处理,获得目标文件。可选的,电子设备用pandas的写入方法(例如to_csv,to_excel,tojson,to_sql等方法)将目标数据写入到配置的执行文件类型或数据表中。这样,电子设备可以获得多种文件类型合并后的文件,并基于此进行后续处理。
基于相同的发明构思,本发明实施例还提供一种文件合并装置。如图3所示,其为文件合并装置300的结构示意图,可以包括:
接收单元301,用于接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;
提取单元302,用于根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据;所述目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;
处理单元303,用于分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据;所述数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;
获得单元304,用于将获得的每个所述目标表头对应的目标数据进行合并,获得目标文件。
在一种可能的实施方式中,所述提取单元302,具体用于:
从所述多个子金融文件中,确定文件类型信息相同的多个候选子金融文件;
如果所述多个候选子金融文件中的第一子金融文件的表头,与所述多个候选子金融文件中的其他子金融文件的表头不一致,则剔除所述第一子金融文件的数据;
将所述多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个所述候选子金融文件中的所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,所述提取单元302,具体用于:
根据所述多个目标表头,配置包含所述多个目标表头的连接字符串;
根据所述连接字符串设置提取语句,基于所述提取语句从每个所述子金融文件中提取所述多个目标表头分别对应的初始数据。
在一种可能的实施方式中,所述处理单元303,具体用于:
针对每个目标表头对应的所述初始数据,执行以下操作:
如果目标表头对应的初始数据中未包括数值,将所述目标表头对应的初始数据设置为固定数值;
将所述目标表头对应的初始数据中数值枚举转换成目标文件类型对应的数据格式,获得目标数据。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的文件合并方法和装置之后,接下来,介绍根据本发明的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思,本发明实施例中还提供了一种电子设备。在该实施例中,电子设备的结构可以如图4所示,该电子设备例如为前述图1中的服务器102,如图4所示,本发明实施例中的电子设备包括至少一个处理器401,以及与至少一个处理器401连接的存储器402和通信接口403,本发明实施例中不限定处理器401与存储器402之间的具体连接介质,图4中是以处理器401和存储器402之间通过系统总线400连接为例,系统总线400在图4中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。系统总线400可以分为地址总线、数据总线、控制总线等,为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本发明实施例中,存储器402存储有可被至少一个处理器401执行的指令,至少一个处理器401通过执行存储器402存储的指令,可以执行前述的文件合并方法中所包括的步骤。
其中,处理器401是电子设备的控制中心,可以利用各种接口和线路连接整个故障检测设备的各个部分,通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据,可以实现电子设备的各种功能。可选的,处理器401可包括一个或多个处理单元,处理器401可集成应用处理器和调制解调处理器,其中,处理器401主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。在一些实施例中,处理器401和存储器402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通信接口403是能够用于进行通信的传输接口,可以通过通信接口403接收数据或者发送数据。
此外,该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)404、用于存储操作系统405、应用程序406和其他程序模块407的大容量存储设备408。
基本输入/输出系统404包括有用于显示信息的显示器409和用于用户输入信息的诸如鼠标、键盘之类的输入设备410。其中显示器409和输入设备410都通过连接到系统总线400的基本输入/输出系统404连接到处理器401。其中,基本输入/输出系统404还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
具体的,大容量存储设备408通过连接到系统总线400的大容量存储控制器(未示出)连接到处理器401。其中,大容量存储设备408及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说,大容量存储设备408可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本发明的各种实施例,该电子设备还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该电子设备可以通过连接在系统总线400上的通信接口403连接到网络411,或者说,也可以使用通信接口403来连接到其他类型的网络或远程计算机系统(未示出)。
本发明实施例还提供一种计算机存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行上述实施例文件合并方法的技术方案。
本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行计算机程序时可实现上述实施例中文件合并方法的技术方案。
本领域所属的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序指令属于计算机程序,计算机程序可以存储于一计算机可读存储介质中,该计算机程序在执行时,执行包括上述方法实施例的步骤;可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中,远程计算装置可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算装置,或者,可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种文件合并方法,其特征在于,所述方法包括:
接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;
根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据;所述目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;
分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据;所述数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;
将获得的每个所述目标表头对应的目标数据进行合并,获得目标文件。
2.如权利要求1所述的方法,其特征在于,根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据,包括:
从所述多个子金融文件中,确定文件类型信息相同的多个候选子金融文件;
如果所述多个候选子金融文件中的第一子金融文件的表头,与所述多个候选子金融文件中的其他子金融文件的表头不一致,则剔除所述第一子金融文件的数据;
将所述多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个所述候选子金融文件中的所述多个目标表头分别对应的初始数据。
3.如权利要求1所述的方法,其特征在于,根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据,包括:
根据所述多个目标表头,配置包含所述多个目标表头的连接字符串;
根据所述连接字符串设置提取语句,基于所述提取语句从每个所述子金融文件中提取所述多个目标表头分别对应的初始数据。
4.如权利要求1-3任一项所述的方法,其特征在于,分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据,包括:
针对每个目标表头对应的所述初始数据,执行以下操作:
如果目标表头对应的初始数据中未包括数值,将所述目标表头对应的初始数据设置为固定数值;
将所述目标表头对应的初始数据中数值枚举转换成目标文件类型对应的数据格式,获得目标数据。
5.一种文件合并装置,其特征在于,所述装置包括:
接收单元,用于接收来自不同存储系统的多个子金融文件,并确定每个子金融文件对应的文件类型信息;
提取单元,用于根据与获得的所述文件类型信息对应的字段提取规则以及多个目标表头,分别提取每个所述子金融文件中的所述多个目标表头分别对应的初始数据;所述目标表头包括资金来源、存储类型、持有资产、月日均资产以及客户数据;
处理单元,用于分别对每个目标表头对应的所述初始数据进行数据变更处理,获得每个所述目标表头对应的目标数据;所述数据变更处理用于将初始数据的数据格式转换为目标文件类型对应的数据格式;
获得单元,用于将获得的每个所述目标表头对应的目标数据进行合并,获得目标文件。
6.如权利要求5所述的装置,其特征在于,所述提取单元,具体用于:
从所述多个子金融文件中,确定文件类型信息相同的多个候选子金融文件;
如果所述多个候选子金融文件中的第一子金融文件的表头,与所述多个候选子金融文件中的其他子金融文件的表头不一致,则剔除所述第一子金融文件的数据;
将所述多个候选子金融文件中均存在的多个表头,作为多个目标表头,并分别提取每个所述候选子金融文件中的所述多个目标表头分别对应的初始数据。
7.如权利要求5所述的装置,其特征在于,所述提取单元,具体用于:
根据所述多个目标表头,配置包含所述多个目标表头的连接字符串;
根据所述连接字符串设置提取语句,基于所述提取语句从每个所述子金融文件中提取所述多个目标表头分别对应的初始数据。
8.一种电子设备,其特征在于,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以实现如权利要求1-4中任一项所述的方法。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序用于使计算机能够执行如权利要求1-4任一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述如权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310760276.9A CN116775575A (zh) | 2023-06-26 | 2023-06-26 | 一种文件合并方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310760276.9A CN116775575A (zh) | 2023-06-26 | 2023-06-26 | 一种文件合并方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116775575A true CN116775575A (zh) | 2023-09-19 |
Family
ID=88013033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310760276.9A Pending CN116775575A (zh) | 2023-06-26 | 2023-06-26 | 一种文件合并方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116775575A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117574184A (zh) * | 2024-01-16 | 2024-02-20 | 支付宝(杭州)信息技术有限公司 | 证据合并处理方法及装置 |
-
2023
- 2023-06-26 CN CN202310760276.9A patent/CN116775575A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117574184A (zh) * | 2024-01-16 | 2024-02-20 | 支付宝(杭州)信息技术有限公司 | 证据合并处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108073429B (zh) | 一种支付方式配置方法、装置、设备及存储介质 | |
CN109815147B (zh) | 测试案例生成方法、装置、服务器和介质 | |
US20220360628A1 (en) | Technologies for conversion of acquirer files for big data ingestion | |
CN116775575A (zh) | 一种文件合并方法、装置、电子设备及存储介质 | |
CN112801800A (zh) | 行为资金分析系统、方法、计算机设备及存储介质 | |
CN111062799A (zh) | 家庭客户的管理方法、装置、电子设备及存储介质 | |
CN113010116A (zh) | 一种数据处理方法、装置、终端设备及可读存储介质 | |
CN110647523B (zh) | 数据质量的分析方法及装置、存储介质、电子设备 | |
US20240037084A1 (en) | Method and apparatus for storing data | |
US20210349920A1 (en) | Method and apparatus for outputting information | |
CN111143434A (zh) | 数据智能核对方法、装置、设备及存储介质 | |
CN111241180A (zh) | 一种信息处理的方法、装置、设备及存储介质 | |
CN109740130B (zh) | 用于生成文件的方法和装置 | |
US20230222461A1 (en) | System and method for payment processing telemetry | |
CN113238940A (zh) | 一种接口测试结果的比对方法、装置、设备和存储介质 | |
CN112950382A (zh) | 交易业务撮合匹配方法、装置、电子设备及介质 | |
CN111352751A (zh) | 数据文件生成方法、装置、计算机设备及存储介质 | |
CN113360556B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
CN110750563A (zh) | 多模型数据处理方法、系统、装置、电子设备及存储介质 | |
CN114584616B (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
US11875374B2 (en) | Automated auditing and recommendation systems and methods | |
CN109920466B (zh) | 一种硬盘测试数据解析方法、装置、终端及存储介质 | |
CN112347095B (zh) | 数据表的处理方法、装置和服务器 | |
CN110134691B (zh) | 数据校验方法、装置、设备和介质 | |
CN107609008A (zh) | 一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |