CN108664634B - 数据管理方法、装置、计算机设备及存储介质 - Google Patents
数据管理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN108664634B CN108664634B CN201810461451.3A CN201810461451A CN108664634B CN 108664634 B CN108664634 B CN 108664634B CN 201810461451 A CN201810461451 A CN 201810461451A CN 108664634 B CN108664634 B CN 108664634B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- preset
- server
- file data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明实施例提供一种数据管理方法、装置、计算机设备及存储介质。所述方法包括:创建数据对接平台;接收由第一服务器上传到所述数据对接平台的文件数据,所述文件数据被上传到所述数据对接平台的预设文件目录中,所述文件数据是由第一服务器在检测到生成了预定数据后,将所述预定数据按照预设格式生成的数据;通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据所述数据库中的文件数据进行核算操作。本发明实施通过将数据对接平台中的文件数据同步至数据库中,使得第二服务器根据数据库中的文件数据进行核算操作,提高了核算数据的效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据管理方法、装置、计算机设备及存储介质。
背景技术
一个公司或者集团可以同时为客户提供多种服务,多种服务对应不同的业务,不同的业务属于不同的子公司或者不同的部门管理,不同的子公司或者不同的部门和总公司对应有各自的数据管理的机制。如在一个银行中,银行可以为客户提供信用卡、理财、保险等多种服务,这些服务属于不同的子公司管理。若一个业务员,同时为客户推荐了多种服务,在计算该业务员对应的业务绩效时,由于对应的业务种类繁多,同时可能会存在不同服务对应的业务销售额不同,且不同业务对应的业务绩效计算标准不同的情况。现有计算业务员的业务绩效时,需要相关人员手工计算该业务员对应的所有绩效,如此导致计算业务绩效时,工作量大且繁琐,且很容易出错,计算业务绩效的效率低下,同时数据的准确性和安全性得不到保障。另一方面,由于不同的子公司或者不同的部门和总公司对应有各自的数据管理的机制,总公司(第二服务器)不能直接获取子公司或者其下部门(第一服务器)的数据,如此导致数据的获取极为不便,从而导致计算业务绩效的效率极低。
发明内容
本发明实施例提供一种数据管理方法、装置、计算机设备及存储介质,可提高核算数据的效率。
第一方面,本发明实施例提供了一种数据管理方法,该方法包括:
创建数据对接平台,所述数据对接平台用于保存文件数据;
接收由第一服务器上传到所述数据对接平台的文件数据,其中,所述文件数据被上传到所述数据对接平台的预设文件目录中,所述文件数据是由所述第一服务器在检测到生成了预定数据后,将所述预定数据按照预设格式生成的数据;
通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据所述数据库中的文件数据进行核算操作。
第二方面,本发明实施例提供了一种数据管理装置,该装置包括用于执行上述第一方面所述一种数据管理方法对应的单元。
第三方面,本发明实施例提供了一种计算机设备,所述计算机设备包括存储器,以及与所述存储器相连的处理器;
所述存储器用于存储计算机程序,所述处理器用于运行所述存储器中存储的计算机程序,以执行上述第一方面所述的数据管理方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,实现上述第一方面所述的数据管理方法。
本发明实施例通过创建数据对接平台,接收由预设权限的第一服务器上传到数据对接平台预设文件目录中的文件数据,实现将第一服务器的文件数据上传到数据对接平台中,相对于手工计算来说,提高了数据的准确性。将第一服务器的文件数据上传到数据对接平台中的预设文件目录中,并将数据对接平台中的文件数据同步至数据库中,以达到第二服务器可以获取到第一服务器的文件数据,使得第二服务器根据所述数据库中的文件数据进行核算操作,提高了核算数据的效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一个应用场景示意图;
图2是本发明实施例提供的一种数据管理方法的流程示意图;
图3是本发明实施例提供的一种数据管理方法的子流程示意图;
图4是本发明另一实施例提供的一种数据管理方法的流程示意图;
图5是本发明另一实施例提供的一种数据管理方法的流程示意图;
图6是本发明又一实施例提供的一种数据管理方法的流程示意图;
图7是本发明实施例提供的一种数据管理装置的示意性框图;
图8是本发明实施例提供的同步单元的示意性框图;
图9是本发明另一实施例提供的一种数据管理装置的示意性框图;
图10是本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。也应当理解,尽管术语第一、第二等可以在此用来描述各种元素,但这些元素不应该受限于这些术语。这些术语仅用来将这些元素彼此区分开。例如,在不脱离本发明范围的前提下,第一服务器可以被称为第二服务器,并且类似地,第二服务器可以被称为第一服务器。第一服务器和第二服务器均为服务器,但它们并非同一服务器。
本发明中描述的终端包括但不限于移动电话、膝上型计算机或平板计算机之类的便携式设备。还应当理解的是,在某些实施例中,所述终端还包括非便携式设备,如台式计算机等。以下方法实施例可以应用在任一终端上,该终端以服务器的形式存在。
图1是本发明实施例提供的一个应用场景示意图。在图1所示的应用场景中,分别包括子公司所对应的第一服务器和总公司对应的第二服务器。其中,子公司可以有一个,也可以有多个,那么对应的,就有一个第一服务器或多个第一服务器。首先在第二服务器中创建数据对接平台,该数据对接平台用于保存文件数据。若有子公司所对应的第一服务器检测到生成了佣金数据,读取生成的佣金数据,将该佣金数据按照预设格式生成对应的文件数据,并将生成的文件数据上传到数据对接平台中的预设文件目录中。需要注意的是,不同子公司的文件数据上传到数据对接平台中的不同的文件目录中。第一服务器的文件数据与文件目录的关系需预先配置。最后通过同步工具,读取预设文件目录中的文件数据,并解析文件数据,将解析后的数据同步至第二服务器的数据库中,以使第二服务器根据数据库中的文件数据进行核算操作。需要指出的是,实现核算操作、保存文件数据的数据库、创建的数据对接平台可以位于同一台第二服务器上,也可以位于不同台第二服务器上。该方案将不同子公司的佣金数据通过数据对接平台保存,以使第二服务器通过数据对接平台获取需要的佣金数据,以用于计算业务员的个人绩效。通过数据对接平台可以获取需要的佣金数据,实现了数据的快速获取,提高了业务员业绩计算的效率。
在其他实施例中,第二服务器可以是需要佣金数据的总部,第一服务器是提供佣金数据的各部门。可以理解地,与数据对接平台对接的第一服务器一不定是子公司对应的服务器,也可以是一个公司的各部门对应的服务器。在其他实施例中,第二服务器可以是需要佣金数据的子公司或者部门,第一服务器可以是为第二服务器提供佣金数据的其他子公司或者其他部门。可以理解地,在需要佣金数据的子公司或者部门所对应的第二服务器上创建数据对接平台,以通过数据对接平台可以获取该子公司或者部门需要的佣金数据,并同步至数据库。在其他实施例中,第一服务器提供的数据也可以是其他类型的预定数据。
图2为本发明实施例提供的一种数据管理方法的流程示意图。该方法包括以下步骤S201-S203。
S201,创建数据对接平台,该数据对接平台用于保存文件数据。
在第二服务器中创建一个数据对接平台,该数据对接平台占用第二服务器的部分内存空间。该数据对接平台相当于一个文件系统,用来保存文件,如用来保存各子公司上传的文件数据。
S202,接收由第一服务器上传到数据对接平台的文件数据,该文件数据被上传到数据对接平台的预设文件目录中,该文件数据是由第一服务器在检测到生成了预定数据后,将预定数据按照预设格式生成的数据。
具体地,预定数据可以是佣金数据,还可以是其他类型的数据。以下以佣金数据为例详细说明本发明的技术方案。预设文件目录中可以包括一个文件目录,也可以包括多个文件目录。
在一些实施例中,还可以设置第一服务器的预设权限,有预设权限的第一服务器才可以上传文件数据。
其中,预先设置第一服务器的预设权限和第一服务器对应的预设文件目录。其中,预设权限包括可以上传文件数据的权限,以及对数据对接平台某个文件目录进行读写的权限。第一服务器的预设权限和第一服务器对应的预设文件目录保存在配置文件中,该配置文件保存在数据对接平台上。该配置文件中的数据表示第一服务器的预设权限、以及有预设权限的第一服务器的文件数据与预设文件目录之间的对应关系,即一个或者多个有预设权限的第一服务器的文件数据分别应该放在预设文件目录中的哪个文件目录中。如可以在配置文件中保存有预设权限的第一服务器的IP地址以及对应IP地址所对应的文件目录。如若A子公司对应的第一服务器的IP地址没有在权限文件中,则表示A子公司对应的第一服务器没有预设权限,不能访问数据对接平台,B子公司对应的第一服务器的IP地址在配置文件中,且该第一服务器所对应的是文件目录1,则表示B子公司对应的第一服务器有预设权限,B子公司对应的第一服务器中的文件数据可以保存在数据对接平台中的文件目录1中,即B子公司对应的第一服务器可以对数据对接平台文件目录1中的文件数据进行读写。C子公司对应的第一服务器的IP地址在配置文件中,且该第一服务器所对应的是文件目录2,则表示C子公司对应的第一服务器有预设权限,C子公司对应的第一服务器中的文件数据可以保存在数据对接平台中的文件目录2中,也即C子公司对应的第一服务器可以对数据对接平台文件目录2中的文件数据进行读写。每个子公司所对应的第一服务器在上传文件数据前,需要进行设置,即设置第一服务器的预设权限和第一服务器对应的预设文件目录。在该实施例中,第一服务器也可以通过其他方式来表示,如第一服务器的域名等。在其他实施例中,第一服务器所对应的权限还可以包括预设权限之外的其他权限,以赋予第一服务器更多的功能。在该实施例中,通过权限设置和访问预设文件目录的设置,可以保障数据对接平台上数据的安全性。
各子公司对应的第一服务器若检测到生成了佣金数据,读取生成的佣金数据,将佣金数据按照预预设格式生成文件数据,将文件数据上传到数据对接平台上对应的预设文件目录中。若数据对接平台设置有第一服务器的预设权限,则接收由第一服务器上传到数据对接平台的文件数据,包括:接收由预设权限的第一服务器上传到数据对接平台的文件数据。具体地,接收由预设权限的第一服务器上传到数据对接平台的文件数据包括:第二服务器中的数据对接平台接收第一服务器上传的文件数据;数据对接平台判断上传该文件数据对应的第一服务器是否有预设权限,如根据第一服务器的IP地址来进行判断;若有预设权限,获取保存该第一服务器文件数据的文件目录;将该文件数据保存到对应的文件目录中;若没有预设权限,则进行提示。其中,需要注意的是第一服务器上传的文件数据为预设格式,该预设格式可以为任意格式,只要方便读取数据和转换数据即可,如预设格式为字段1[逗号]字段2[逗号]字段3[逗号]...[分号]。在其他实施例中,预设格式根据需要处理的数据的不同而不同。如第一服务器的佣金数据的格式如表1所示,表1中包括年月、业务员编号、佣金等字段,如表1中第一行表示:2017年6月,编号为1010002的业务员,佣金为500 元。预设格式可以为:年月[逗号]业务员编号[逗号]佣金[逗号]...[分号]。按照预设格式生成的文件数据,可以是txt文件,txt文件中数据对应如下:
201706,1010002,500,...;
201706,1020015,200,...;
年月 | 业务员编号 | 佣金(单位:元) | |
201706 | 1010002 | 500 | ...... |
201706 | 1020015 | 200 | ...... |
...... | ...... | ...... | ...... |
表1子公司对应的第一服务器生成的佣金数据示例
将第一服务器对应的佣金数据按照预预设格式生成文件数据的目的是为了方便第二服务器对文件数据的统一处理。可以理解为,不同的第一服务器对应的佣金数据可能会存在一些差别如数据类型的差别等,若不转换为预设格式,那么在第二服务器上需要分别对不同的第一服务器对应的佣金数据进行解析,以使得与第二服务器数据库中的数据格式匹配。如此,不同的第一服务器需要对应不同的解析代码,这将会加大开发成本,加大后期维护的成本。将不同第一服务器对应的佣金数据转换为统一格式的文件数据,在第二服务器上可以对所有的文件数据进行统一处理,以降低开发成本,同时降低后期维护的成本。
S203,通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。
其中,同步工具可以为Kettle。Kettle是一款开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,它可以用来管理来自不同数据库的数据。其中,ETL(Extract-Transform-Load),用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load) 至目的端的过程。
具体地,如图3所示,步骤S203包括步骤S301-S303。
S301,通过同步工具,获取预设文件目录中的预设格式的文件数据。
S302,解析所述文件数据,以符合数据库中的数据格式。具体地,将预设格式的文件数据解析成与数据库表中对应字段格式一致的数据,以进一步将解析后的数据同步至数据库。
S303,将解析后的数据同步至数据库中。具体地,将解析后的预设文件目录中的文件数据同步至数据库中预设文件目录对应的目标表中。其中,预设文件目录与目标表之间的对应关系预先设定。表2是预设文件目录与目标表之间的对应关系示例。表2中的字段包括预设文件目录,第一服务器名称(编号),目标表。如表1中第一行表示:将文件目录1中的编号为A的第一服务器对应的文件数据保存到数据库中的目标表AAA中。
预设文件目录 | 第一服务器编号 | 目标表 |
文件目录1 | A | AAA |
文件目录2 | B | BBB |
...... | ...... | ...... |
表2预设文件目录与目标表之间的对应关系示例
该实施例中,获取预设文件目录中所有文件目录对应的文件数据;解析所有文件目录对应的数据;将解析后的所有数据同步至数据库中。在其他实施例中,对于预设文件目录中的每一个文件目录,执行步骤S301-S303。即获取预设文件目录中一个文件目录中的文件数据;对该文件数据进行解析,将解析后的数据同步至数据库中;判断是否已经获取了预设文件目录中的所有文件目录中的文件数据;若还存在有文件目录的文件数据未获取,获取下一个文件目录中的文件数据;接着执行对该文件数据进行解析的步骤。
在一实施例中,如若各子公司计算出来的佣金数据非常大,对应的预设格式的文件数据也非常大,为了加快上传的速度,将对应的文件数据进行压缩。那么第二服务器接收到的上传到数据对接平台预设文件目录中的文件数据为压缩文件。对应的,在解析所述文件数据之前,所述方法还包括:
判断预设文件目录中的文件数据是否为压缩文件;若预设文件目录中的文件数据为压缩文件,将压缩文件进行解压;所述解析所述文件数据,包括:解析解压后的文件数据;若预设文件目录中的文件数据不是压缩文件,执行所述解析所述文件数据的步骤。具体地,可获取预设文件目录中的文件数据的后缀名,根据预设文件目录中的文件数据的后缀名来判断是否为压缩文件。也可以通过其他可行的方式来判断是否为压缩文件。
在一实施例中,在获取预设文件目录中的文件数据之前,所述方法还包括:
检测预设文件目录中的文件数据是否已经写入完毕;若预设文件目录中的文件数据已经写入完毕,执行获取预设文件目录中的文件数据;若预设文件目录中的一个文件目录正在写入文件数据,获取下一个文件目录中的文件数据或者等待该文件目录写入完毕。
其中,写入文件数据可以理解为子公司对应的第一服务器正在上传文件数据到数据对接平台。为了提高获取的文件数据的准确性,在获取文件数据之前,检测预设文件目录是否正在写入文件数据,若正在写入文件数据,那么可能会导致获取失败,或者获取的数据不完整/不准确。具体的,可以预先设置规则,以通过预先设置的规则来确定每个文件目录是否正在写入文件数据。如各子公司在数据对接平台中对应文件目录写完数据(上传完文件数据)后,在同一个文件目录下创建另一个文件,如OK.txt,若检测到同一个文件目录下已经存在 OK.txt,那么表示该文件目录下的文件数据已经上传完毕/写入完毕。也可以在对应文件目录上传完文件数据后,在该文件数据中加入标识,如在该文件数据的开头加入标识。若检测到该标识,则表示该文件数据已经上传完毕/写入完毕。还可以通过文件数据的命名来检测,如若文件数据的名称中含有对应的标识,则表示该文件数据已经上传完毕/写入完毕,若文件数据的名称中没有对应的标识,则表示正在写入文件数据。还可以在数据对接平台的日志文件中记录写入时间、写入完毕时间等信息,通过在日志文件中查找相应信息来确定该文件数据是否写入完毕。
在一实施例中,由于每个月对应的计算佣金数据以及统计业务绩效的时间相对固定,因此可设置一个同步更新时间,在到达同步更新时间时,将数据对接平台中的文件数据同步至数据库中。具体的,如图4所示,该实施例中对应的一种数据管理方法包括步骤S401-S404。其中,该实施例与图2所示的实施例的区别在于:增加了步骤S403。下面将描述该实施例与图2所示实施例的区别之处,其他的部分请参看图2所示实施例对应的描述。
S403,检测是否到达预设的同步更新时间。预先设置一个同步更新时间,如若每个月的15号计算业务绩效,那么将每个月15号作为同步更新时间。检测是否到达预设的同步更新时间,以在到达同步更新时间时,将所有的文件数据进行同步。其中,预设的同步更新时间对应的单位不限定。如可以为天、也可以为具体的某一时刻。
S404,若到达预设的同步更新时间,通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。可以理解地,若预设的同步更新时间对应的单位为天,那么到了该天后,可以设置为在该天之中,每隔预设时间如半个小时等,执行通过同步工具将预设文件目录中的预设格式的文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。若预设的同步更新时间对应的单位为某一时刻,到了某一时刻后,执行通过同步工具将预设文件目录中的预设格式的文件数据同步至数据库中。具体地,将预设文件目录中的文件数据同步至数据库中的对应的目标表。其中,预设文件目录与目标表之间的对应关系可参考表2所示。
该实施例检测是否到达预设的同步更新时间,若到达预设的同步更新时间,通过同步工具,将所述文件数据同步至数据库中。如此,就只需要在到达预设的同步更新时间时进行同步,而不必实时进行同步,降低了第二服务器的功耗。
在一实施例中,有预设权限的各子公司对应的第一服务器在上传了对应的文件数据后,若发现上传的文件数据有误,那么将原上传的文件数据删除,或者将原上传的文件数据覆盖,以将更新的文件数据同步至数据库中。具体的,如图5所示,该实施例与图4所示实施例的区别在于:增加了步骤S505-506。
S505,检测预设文件目录中的文件数据是否已更新。具体地,可将预设文件目录中的每一个文件目录中的文件数据的更新时间等都写在数据对接平台上日志文件中,检测该日志文件,以确定所有文件目录中的文件数据是否已更新。
S506,若预设文件目录中的文件数据已更新,通过同步工具,将更新后的文件数据同步至数据库中。
该实施例中,检测数据对接平台预设文件目录中的每一个文件目录中的文件数据是否已更新,若已更新,则将更新后的文件数据同步至数据库中。如此,可以及时的将更新的数据同步至数据库中。
在一实施例中,若该公司又扩展了其他业务,该业务也对应的成立了一个子公司,那么当该子公司所对应的第一服务器需要对接数据对接平台时,即需新增第一服务器时,可以快速实现对接。具体的,该实施例中对应的一种数据管理方法包括步骤S601-S606。其中,该实施例与图2所示的实施例的区别在于:增加了步骤S604-S606。下面将描述该实施例与图2所示实施例的区别之处,其他的部分请参看图2所示实施例对应的描述。其中,将该新增子公司所对应的第一服务器称为新增的第一服务器。
S604,设置新增的第一服务器对应的文件目录。具体的,在配置文件中添加该第一服务器的文件数据对应的文件目录。若数据对接平台上设置有第一服务器的预设权限,那么该新增的第一服务器也需要设置预设权限。具体地,S604,包括:设置新增的第一服务器的预设权限和该新增的第一服务器对应的文件目录。在配置文件中添加该新增的第一服务器的预设权限和该第一服务器的文件数据对应的文件目录。
S605,接收由新增的第一服务器上传到数据对接平台中的文件数据,该新增的第一服务器的文件数据被上传到数据对接平台的所述文件目录中,该文件数据是在该新增的第一服务器检测到生成了预定数据后,按照预设格式生成的。
S606,通过同步工具,将新增的第一服务器的文件数据同步至数据库中。
图7是本发明实施例提供的一种数据管理装置的示意性框图。该装置应用于终端中。如图7所示,该装置70包括创建单元701、接收单元702、同步单元703。
创建单元701,用于创建数据对接平台,该数据对接平台用于保存文件数据。
在第二服务器中创建一个数据对接平台,该数据对接平台占用第二服务器的部分内存空间。该数据对接平台相当于一个文件系统,用来保存文件,如用来保存各子公司上传的文件数据。
接收单元702,用于接收由第一服务器上传到数据对接平台的文件数据,该文件数据被上传到数据对接平台的预设文件目录中,该文件数据是由第一服务器在检测到生成了预定数据后,将预定数据按照预设格式生成的数据。
具体地,预定数据可以是佣金数据,还可以是其他类型的数据。以下装置的技术方案中以佣金数据为例来进行说明。预设文件目录中可以包括一个文件目录,也可以包括多个文件目录。
在一些实施例中,还可以设置第一服务器的预设权限,有预设权限的第一服务器才可以上传文件数据。
其中,预先设置第一服务器的预设权限和第一服务器对应的预设文件目录。其中,预设权限包括可以上传文件数据的权限,以及对数据对接平台某个文件目录进行读写的权限。第一服务器的预设权限和第一服务器对应的预设文件目录保存在配置文件中,该配置文件保存在数据对接平台上。该配置文件中的数据表示第一服务器的预设权限、以及有预设权限的第一服务器的文件数据与预设文件目录之间的对应关系,即一个或者多个有预设权限的第一服务器的文件数据分别应该放在预设文件目录中的哪个文件目录中。如可以在配置文件中保存有预设权限的第一服务器的IP地址以及对应IP地址所对应的文件目录。在本实施例中,第一服务器也可以通过其他方式来表示,如第一服务器的域名等。本实施例通过权限设置和访问预设文件目录的设置,可以保障数据对接平台上数据的安全性。
各子公司对应的第一服务器若检测到生成了佣金数据,读取生成的佣金数据,将佣金数据按照预预设格式生成文件数据,将文件数据上传到数据对接平台上对应的预设文件目录中。若数据对接平台设置有第一服务器的预设权限,则接收单元,用于接收由预设权限的第一服务器上传到数据对接平台的文件数据。具体地,用于接收第一服务器上传的文件数据;判断上传该文件数据对应的第一服务器是否有预设权限,如根据第一服务器的IP地址来进行判断;若有预设权限,获取保存该第一服务器文件数据的文件目录;将该文件数据保存到对应的文件目录中;若没有预设权限,则进行提示。其中,需要注意的是第一服务器上传的文件数据为预设格式,该预设格式可以为任意格式,只要方便读取数据和转换数据即可,如预设格式为字段1[逗号]字段2[逗号]字段3[逗号]...[分号]。如第一服务器的佣金数据的格式如表1所示。预设格式可以为:年月[逗号]业务员编号[逗号]佣金[逗号]...[分号]。按照预设格式生成的文件数据,可以是txt文件。将不同第一服务器对应的佣金数据转换为统一格式的文件数据,在第二服务器上可以对所有的文件数据进行统一处理,以降低开发成本,同时降低后期维护的成本。
同步单元703,用于通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。其中,同步工具可以为Kettle。
如图8所示,同步单元703包括同步获取单元801、解析单元802、数据同步单元803。
同步获取单元801,用于通过同步工具,获取预设文件目录中的预设格式的文件数据。
解析单元802,用于解析所述文件数据,以符合数据库中的数据格式。具体地,将预设格式的文件数据解析成与数据库表中对应字段一致的数据,以进一步将解析后的数据同步至数据库。
数据同步单元803,用于将解析后的数据同步至数据库中。具体地,将解析后的预设文件目录中的文件数据同步至数据库中预设文件目录对应的目标表中。其中,预设文件目录与目标表之间的对应关系预先设定。预设文件目录与目标表之间的对应关系如表2所示。
在一实施例中,如若各子公司计算出来的佣金数据非常大,对应的预设格式的文件数据也非常大,为了加快上传的速度,将对应的文件数据进行压缩。那么第二服务器接收到的上传到数据对接平台预设文件目录中的文件数据为压缩文件。对应的,所述同步单元还包括:压缩判断单元、解压单元。其中,压缩判断单元,用于判断预设文件目录中的文件数据是否为压缩文件。解压单元,用于若预设文件目录中的文件数据为压缩文件,将压缩文件进行解压。所述解析单元,用于解析解压后的文件数据;若预设文件目录中的文件数据不是压缩文件,解析所述文件数据。具体地,可获取预设文件目录中的文件数据的后缀名,根据预设文件目录中的文件数据的后缀名来判断是否为压缩文件。也可以通过其他可行的方式来判断是否为压缩文件。
在一实施例中,所述同步单元还包括:写完毕检测单元、等待写入单元。其中,写完毕检测单元,用于检测预设文件目录中的文件数据是否已经写入完毕,若预设文件目录中的文件数据已经写入完毕,触发同步获取单元,若预设文件目录中的一个文件目录正在写入文件数据,触发同步获取单元,以获取下一个文件目录中的文件数据或者若预设文件目录中的一个文件目录正在写入文件数据,触发等待写入单元,该等待写入单元,用于等待该文件目录写入完毕。其中,写入文件数据可以理解为子公司对应的第一服务器正在上传文件数据到数据对接平台。为了提高获取的文件数据的准确性,在获取文件数据之前,检测预设文件目录是否正在写入文件数据,若正在写入文件数据,那么可能会导致获取失败,或者获取的数据不完整/不准确。具体的,可以预先设置规则,以通过预先设置的规则来确定每个文件目录是否正在写入文件数据。
在一实施例中,由于每个月对应的计算佣金数据以及统计业务绩效的时间相对固定,因此可设置一个同步更新时间,在到达同步更新时间时,将数据对接平台中的文件数据同步至数据库中。具体的,如图9所示,数据管理装置90 包括创建单元901、接收单元902、时间检测单元903、同步单元904。该实施例的区别与图7所示实施例的区别在于:增加了时间检测单元903。下面将详细介绍该实施例与图7所示实施例的区别之处,其他的部分请参看图7所示实施例对应的描述。
时间检测单元903,用于检测是否到达预设的同步更新时间。预先设置一个同步更新时间,如若每个月的15号计算业务绩效,那么将每个月15号作为同步更新时间。检测是否到达预设的同步更新时间,以在到达预设的同步更新时间时将所有的文件数据进行同步。其中,预设的同步更新时间对应的单位不限定。如可以为天、也可以为具体的某一时刻。
同步单元904,用于若到达预设的同步更新时间,通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。可以理解地,若预设的同步更新时间对应的单位为天,那么到了该天后,可以设置为在该天之中,每隔预设时间如半个小时等,执行通过同步工具将预设文件目录中的预设格式的文件数据同步至数据库中,以使得第二服务器根据数据库中的文件数据进行核算操作。若预设的同步更新时间对应的单位为某一时刻,到了某一时刻后,执行通过同步工具将预设文件目录中的预设格式的文件数据同步至数据库中。具体地,将预设文件目录中的文件数据同步至数据库中的对应的目标表。其中,预设文件目录与目标表之间的对应关系可参考表2所示。
在一实施例中,有预设权限的各子公司对应的第一服务器在上传了对应的文件数据后,若发现上传的文件数据有误,那么将原上传的文件数据删除,或者将原上传的文件数据覆盖,以将更新的文件数据同步至数据库中。在图9所示实施例的基础上,所述数据管理装置还包括更新检测单元。其中,更新检测单元,用于检测预设文件目录中的文件数据是否已更新。具体地,可将预设文件目录中的每一个文件目录中的文件数据的更新时间等都写在日志文件中,检测该日志文件,以确定所有文件目录中的文件数据是否已更新。同步单元,还用于若预设文件目录中的文件数据已更新,通过同步工具,将更新后的文件数据同步至数据库中。
在一实施例中,若该公司又扩展了其他业务,该业务也对应的成立了一个子公司,那么当该子公司所对应的第一服务器需要对接数据对接平台时,即需新增第一服务器时,可以快速实现对接。具体的,在图7所示实施例的基础上,所述数据管理装置还包括设置单元。其中,设置单元,用于设置新增的第一服务器对应的文件目录。具体的,在配置文件中添加该第一服务器的文件数据对应的文件目录。若数据对接平台上设置有第一服务器的预设权限,那么该新增的第一服务器也需要设置预设权限。具体地,设置单元,用于设置新增的第一服务器的预设权限和该新增的第一服务器对应的文件目录。在配置文件中添加该新增的第一服务器的预设权限和该第一服务器的文件数据对应的文件目录。接收单元,还用于接收由新增的第一服务器上传到数据对接平台中的文件数据,该新增的第一服务器的文件数据被上传到数据对接平台的所述文件目录中,该文件数据是在该新增的第一服务器检测到生成了预定数据后,按照预设格式生成的数据。同步单元,还用于通过同步工具,将新增的第一服务器的文件数据同步至数据库中。
上述装置实施例的实现过程和达到的有益效果可参看对应的方法实施例对应的描述。
上述装置可以实现为一种计算机程序的形式,计算机程序可以在如图10 所示的计算机设备上运行。
图10为本发明实施例提供的一种计算机设备的示意性框图。该设备10包括通过系统总线101连接的处理器102、存储器和网络接口103,其中,存储器可以包括非易失性存储介质104和内存储器105。
该非易失性存储介质104可存储操作系统1041和计算机程序1042。该计算机程序1042被执行时,可使得处理器102执行一种数据管理方法。该处理器 102用于提供计算和控制能力,支撑整个设备10的运行。该内存储器105为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器 102执行时,可使得处理器102执行一种数据管理方法。该网络接口103用于进行网络通信,如接收消息等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的设备10的限定,具体的设备10可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器102用于运行存储在存储器中的计算机程序,以实现如下步骤:
创建数据对接平台,所述数据对接平台用于保存文件数据;接收由第一服务器上传到所述数据对接平台的文件数据,其中,所述文件数据被上传到所述数据对接平台的预设文件目录中,所述文件数据是由所述第一服务器在检测到生成了预定数据后,将所述预定数据按照预设格式生成的数据;通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据所述数据库中的文件数据进行核算操作。
在一实施例中,所述处理器102在执行所述通过同步工具,将所述文件数据同步至数据库中时,具体执行:
通过同步工具,获取所述预设文件目录中的预设格式的文件数据;解析所述文件数据,以符合所述数据库中的数据格式;将解析后的文件数据同步至数据库中。
在一实施例中,所述处理器102在执行所述获取所述预设文件目录中的所述文件数据时,具体执行:
检测所述预设文件目录中的文件数据是否已经写入完毕;若所述文件目录中的文件数据已经写入完毕,执行所述获取所述预设文件目录中的所述文件数据的步骤。
在一实施例中,所述处理器102在执行所述解析所述文件数据之前,还具体执行:
判断所述预设文件目录中的文件数据是否为压缩文件;若预设文件目录中的文件数据为压缩文件,将所述压缩文件进行解压;所述解析所述文件数据,包括:解析解压后的文件数据;若预设文件目录中的文件数据不是压缩文件,执行解析所述文件数据的步骤。
在一实施例中,所述处理器102在执行所述通过同步工具,将所述文件数据同步至数据库中之前,还具体执行:
检测是否到达预设的同步更新时间;若到达预设的同步更新时间,执行所述通过同步工具,将所述文件数据同步至数据库中的步骤。
在一实施例中,所述处理器102还具体执行:
检测所述预设文件目录中的文件数据是否已更新;若所述预设文件目录中的文件数据已更新,通过同步工具,将更新后的文件数据同步至数据库中。
在一实施例中,所述处理器102在新增第一服务器之后,还具体执行:
设置新增的第一服务器对应的文件目录。接收由新增的第一服务器上传到所述数据对接平台中的文件数据,所述新增的第一服务器的文件数据被上传到所述数据对接平台中对应的文件目录中;通过同步工具,将新增的第一服务器的文件数据同步至数据库中。
应当理解,在本发明实施例中,所称处理器102可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时实现以下步骤:
创建数据对接平台,所述数据对接平台用于保存文件数据;接收由第一服务器上传到所述数据对接平台的文件数据,其中,所述文件数据被上传到所述数据对接平台的预设文件目录中,所述文件数据是由所述第一服务器在检测到生成了预定数据后,将所述预定数据按照预设格式生成的数据;通过同步工具,将所述文件数据同步至数据库中,以使得第二服务器根据所述数据库中的文件数据进行核算操作。
在一实施例中,所述处理器在执行所述通过同步工具,将所述文件数据同步至数据库中时,具体实现:
通过同步工具,获取所述预设文件目录中的预设格式的文件数据;解析所述文件数据,以符合所述数据库中的数据格式;将解析后的文件数据同步至数据库中。
在一实施例中,所述处理器在执行所述获取所述预设文件目录中的所述文件数据时,具体实现:
检测所述预设文件目录中的文件数据是否已经写入完毕;若所述文件目录中的文件数据已经写入完毕,执行所述获取所述预设文件目录中的所述文件数据的步骤。
在一实施例中,所述处理器在执行所述解析所述文件数据之前,还具体实现:
判断所述预设文件目录中的文件数据是否为压缩文件;若预设文件目录中的文件数据为压缩文件,将所述压缩文件进行解压;所述解析所述文件数据,包括:解析解压后的文件数据;若预设文件目录中的文件数据不是压缩文件,执行解析所述文件数据的步骤。
在一实施例中,所述处理器在执行所述通过同步工具,将所述文件数据同步至数据库中之前,还具体实现:
检测是否到达预设的同步更新时间;若到达预设的同步更新时间,执行所述通过同步工具,将所述文件数据同步至数据库中的步骤。
在一实施例中,所述处理器还具体实现:
检测所述预设文件目录中的文件数据是否已更新;若已更新,通过同步工具,将更新后的文件数据同步至数据库中。
在一实施例中,所述处理器在新增第一服务器之后,还具体实现:
设置新增的第一服务器对应的文件目录。接收由新增的第一服务器上传到所述数据对接平台中的文件数据,所述新增的第一服务器的文件数据被上传到所述数据对接平台中对应的文件目录中;通过同步工具,将新增的第一服务器的文件数据同步至数据库中。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元,例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(SmartMedia Card, SMC),安全数字(SecureDigital,SD)卡等。进一步地,所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置、设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置、设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种数据管理方法,其特征在于,所述方法包括:
创建数据对接平台,所述数据对接平台用于保存文件数据;
接收由设有预设权限的第一服务器上传到所述数据对接平台的文件数据,其中,所述文件数据被上传到所述数据对接平台的预设文件目录中,所述文件数据是由所述第一服务器在检测到生成了预定数据后,将所述预定数据按照预设格式生成的数据,所述预设权限包括可以上传文件数据的权限及对所述数据对接平台的预设文件目录进行读写的权限;
检测所述预设文件目录中的文件数据是否已经写入完毕;
若所述预设文件目录中的文件数据已经写入完毕,则通过同步工具,获取所述预设文件目录中的预设格式的文件数据;
解析所述文件数据,以符合数据库中的数据格式;
将解析后的所述文件数据同步至数据库中,以使得第二服务器根据所述数据库中的文件数据进行核算操作。
2.根据权利要求1所述的方法,其特征在于,在所述解析所述文件数据之前,所述方法还包括:
判断所述预设文件目录中的文件数据是否为压缩文件;
若所述预设文件目录中的文件数据为压缩文件,将所述压缩文件进行解压;
所述解析所述文件数据,包括:解析解压后的文件数据;
若所述预设文件目录中的文件数据不是压缩文件,执行解析所述文件数据的步骤。
3.根据权利要求1所述的方法,其特征在于,在所述通过同步工具,将所述文件数据同步至数据库中之前,所述方法还包括:
检测是否到达预设的同步更新时间;
若到达预设的同步更新时间,执行所述通过同步工具,将所述文件数据同步至数据库中的步骤。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述预设文件目录中的文件数据是否已更新;
若所述预设文件目录中的文件数据已更新,通过同步工具,将更新后的文件数据同步至数据库中。
5.根据权利要求1所述的方法,其特征在于,当新增第一服务器时,所述方法还包括:
设置新增的第一服务器对应的文件目录;
接收由新增的第一服务器上传到所述数据对接平台中的文件数据,所述新增的第一服务器的文件数据被上传到所述数据对接平台中对应的文件目录中;
通过同步工具,将新增的第一服务器的文件数据同步至数据库中。
6.一种数据管理装置,其特征在于,所述装置包括用于执行如权利要求1-5任一项所述方法的单元。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器,以及与所述存储器相连的处理器;
所述存储器用于存储计算机程序;所述处理器用于运行所述存储器中存储的计算机程序,以执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810461451.3A CN108664634B (zh) | 2018-05-15 | 2018-05-15 | 数据管理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810461451.3A CN108664634B (zh) | 2018-05-15 | 2018-05-15 | 数据管理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108664634A CN108664634A (zh) | 2018-10-16 |
CN108664634B true CN108664634B (zh) | 2022-05-27 |
Family
ID=63779577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810461451.3A Active CN108664634B (zh) | 2018-05-15 | 2018-05-15 | 数据管理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108664634B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114780368B (zh) * | 2022-05-05 | 2023-04-25 | 湖南长银五八消费金融股份有限公司 | 表数据同步方法与装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106469158A (zh) * | 2015-08-17 | 2017-03-01 | 杭州海康威视系统技术有限公司 | 数据同步方法和装置 |
CN106777291A (zh) * | 2016-12-29 | 2017-05-31 | 四川九鼎瑞信软件开发有限公司 | 一种文件资源管理方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102752372A (zh) * | 2012-06-18 | 2012-10-24 | 天津神舟通用数据技术有限公司 | 一种基于文件的数据库同步方法 |
JP6013957B2 (ja) * | 2013-03-25 | 2016-10-25 | シャープ株式会社 | ファイル管理方法およびファイル管理システム |
CN106095954B (zh) * | 2016-06-14 | 2019-05-24 | 上海棉联电子商务有限公司 | 用于企业供应链的数据库管理方法 |
CN107770170B (zh) * | 2017-10-18 | 2020-08-18 | 陕西云基华海信息技术有限公司 | 一种数据共享平台系统 |
-
2018
- 2018-05-15 CN CN201810461451.3A patent/CN108664634B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106469158A (zh) * | 2015-08-17 | 2017-03-01 | 杭州海康威视系统技术有限公司 | 数据同步方法和装置 |
CN106777291A (zh) * | 2016-12-29 | 2017-05-31 | 四川九鼎瑞信软件开发有限公司 | 一种文件资源管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108664634A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122364B (zh) | 数据操作方法和数据管理服务器 | |
CN107679057B (zh) | 数据对接方法、装置、服务器和存储介质 | |
CN106407356B (zh) | 一种数据备份方法及装置 | |
US9141680B2 (en) | Data consistency and rollback for cloud analytics | |
CA2831381C (en) | Recovery of tenant data across tenant moves | |
CN107577420B (zh) | 文件处理方法和装置、服务器 | |
US20120278429A1 (en) | Cluster system, synchronization controlling method, server, and synchronization controlling program | |
WO2019071968A1 (zh) | 薪资计算方法、应用服务器及计算机可读存储介质 | |
CN109672722B (zh) | 数据部署方法及装置、计算机存储介质和电子设备 | |
US20150261766A1 (en) | Method and apparatus for determining a range of files to be migrated | |
CN107330024B (zh) | 标签系统数据的存储方法和装置 | |
CN110737719B (zh) | 数据同步方法、装置、设备及计算机可读存储介质 | |
US20190065518A1 (en) | Context aware delta algorithm for genomic files | |
CN110851209A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN112825069A (zh) | 数据库数据的分析方法、设备、系统及存储介质 | |
CN108664634B (zh) | 数据管理方法、装置、计算机设备及存储介质 | |
US9569516B2 (en) | Method and device for executing an enterprise process | |
US20190384754A1 (en) | In-place updates with concurrent reads in a decomposed state | |
CN108108478B (zh) | 数据格式转换方法、系统及电子设备 | |
US10129328B2 (en) | Centralized management of webservice resources in an enterprise | |
CN116204540A (zh) | 操作日志记录方法、装置、设备及存储介质 | |
US20220382637A1 (en) | Snapshotting hardware security modules and disk metadata stores | |
WO2015016807A1 (en) | Database analysis and validation | |
CN108595924B (zh) | 一种业务权限管理方法、装置、计算机设备及存储介质 | |
US20170075920A1 (en) | System and methods for detecting precise file system events from a large number and assortment of automatically-generated file system events during user operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |