CN116226134A

CN116226134A - 数据写入文件和数据写入数据库的方法、装置

Info

Publication number: CN116226134A
Application number: CN202310234758.0A
Authority: CN
Inventors: 申超; 李晓帅
Original assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Current assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Priority date: 2023-03-13
Filing date: 2023-03-13
Publication date: 2023-06-06

Abstract

本发明公开了数据写入文件和数据写入数据库的方法、装置，涉及计算机技术领域。数据写入文件的方法的一具体实施方式包括：根据数据库表集包括的卸数状态确定目标数据库表；对目标数据库表的表对象进行解析，得到目标数据字段；将目标数据字段写入存储文件，更新目标数据库表的卸数状态。该实施方式能够与数据库解耦，降低研发成本。数据写入数据库的方法的一具体实施方式包括：根据数据库表集包括的装数状态确定目标数据库表；对目标数据库表对应的目标存储文件进行解析，得到目标数据字段；将目标数据字段写入目标数据库表，更新目标数据库表的装数状态。该实施方式能够与数据库解耦，降低研发成本。

Description

数据写入文件和数据写入数据库的方法、装置

技术领域

本发明涉及计算机技术领域，尤其涉及数据写入文件和数据写入数据库的方法、装置。

背景技术

数据库的应用场景广泛、功能多样，并且很多功能是使用存储过程或者通过创建数据库函数来实现的，例如，在对数据库表进行多条语句的组合操作时，使用存储过程对多条语句进行封装执行。通常，在将数据从数据库写入文件或者将数据从文件写入数据库时，也会使用存储过程或者创建数据库函数来实现，数据写入文件或者数据写入数据库的过程与特定的数据库耦合，不同数据库对应的数据写入文件或者数据写入数据库的逻辑不同。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

不同数据库对应的数据写入文件或者数据写入数据库的逻辑不同，导致研发成本和维护成本较高。

发明内容

有鉴于此，本发明实施例提供数据写入文件和数据写入数据库的方法、装置，能够将数据写入文件和数据写入数据库的操作与数据库解耦，降低研发成本和维护成本。

为实现上述目的，根据本发明实施例的第一方面，提供了一种数据写入文件的方法，包括：

响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表；

对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段；

将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态。

可选地，使用分布式集群执行数据写入文件的方法；确定对应的数据库表集，包括：

对所述卸数请求进行解析，得到集群节点标识；

确定所述集群节点标识指示的集群节点，根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集。

可选地，使用多线程执行数据写入文件的方法；根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集，包括：

根据所述集群节点的线程数量，对所述集群节点包括的数据库表进行划分，根据划分结果确定所述集群节点包括的每个线程对应的数据库表集。

可选地，所述目标数据库表有多个；根据所述写入结果更新所述目标数据库表的卸数状态，包括：

将写入结果指示写入成功并且未更新卸数状态的目标数据库表作为待更新数据库表，根据预先设置的卸数数量阈值对所述待更新数据库表的卸数状态进行批量更新。

可选地，在确定目标数据库表之后，所述方法还包括：

对对所述目标数据库表的表对象进行解析和/或将所述目标数据库表对应的目标数据字段写入预先创建的存储文件的步骤进行异常监测，得到监测结果；

在监测结果指示异常的情况下，中断正在执行的步骤，对所述待更新数据库表的卸数状态进行更新，存储所述卸数请求。

可选地，所述方法还包括：

响应于接收到恢复执行请求，获取所述恢复执行请求对应的目标卸数请求，根据所述目标卸数请求，确定未更新卸数状态的目标数据库表；

对所述未更新卸数状态的目标数据库表的表对象进行解析，得到对应的目标数据字段，将所述对应的目标数据字段写入所述存储文件，得到写入结果，根据所述写入结果更新所述未更新卸数状态的目标数据库表的卸数状态。

可选地，对所述表对象进行解析，得到目标数据字段，包括：

根据预先设置的配置文件，确定字段读取顺序；

根据所述字段读取顺序依次根据反射技术调用所述表对象包括的字段获取方法，以获取所述表对象包括的目标数据字段。

可选地，在获取所述表对象包括的目标数据字段之后，所述方法还包括：

判断所述目标数据字段是否符合文件写入条件；

在所述目标数据字段不符合文件写入条件的情况下，根据所述配置文件，对所述目标数据字段进行标准化处理。

根据本发明实施例的第二方面，提供一种数据写入数据库的方法，包括：

响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表；

确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段；

将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态。

可选地，所述目标数据库表有多个；更新所述目标数据库表的装数状态，包括：

确定已完成目标数据字段写入操作的目标数据库表，得到目标数据库表集；

根据预先设置的装数数量阈值，批量更新所述目标数据库表集包括的目标数据库表的装数状态。

可选地，对所述目标存储文件进行解析，得到目标数据字段，包括：

根据所述目标存储文件的文件类型，获取对应的文件解析规则；

根据所述文件解析规则对所述目标存储文件进行解析，得到目标数据字段。

根据本发明实施例的第三方面，提供一种数据写入文件的装置，包括：

确定模块，用于响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表；

解析模块，用于对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段；

写入模块，用于将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态。

对所述卸数请求进行解析，得到集群节点标识；

可选地，所述装置还包括：

监测模块，用于对对所述目标数据库表的表对象进行解析和/或将所述目标数据库表对应的目标数据字段写入预先创建的存储文件的步骤进行异常监测，得到监测结果；

中断模块，用于在监测结果指示异常的情况下，中断正在执行的步骤，对所述待更新数据库表的卸数状态进行更新，存储所述卸数请求。

可选地，所述装置还包括：

恢复模块，用于响应于接收到恢复执行请求，获取所述恢复执行请求对应的目标卸数请求，根据所述目标卸数请求，确定未更新卸数状态的目标数据库表；

继续执行模块，用于对所述未更新卸数状态的目标数据库表的表对象进行解析，得到对应的目标数据字段，将所述对应的目标数据字段写入所述存储文件，得到写入结果，根据所述写入结果更新所述未更新卸数状态的目标数据库表的卸数状态。

根据预先设置的配置文件，确定字段读取顺序；

可选地，所述装置还包括：

判定模块，用于判断所述目标数据字段是否符合文件写入条件；

标准化模块，用于在所述目标数据字段不符合文件写入条件的情况下，根据所述配置文件，对所述目标数据字段进行标准化处理。

根据本发明实施例的第四方面，提供一种数据写入数据库的装置，包括：

确定模块，用于响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表；

解析模块，用于确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段；

写入模块，用于将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态。

根据本发明实施例的第五方面，提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。

根据本发明实施例的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。

根据本发明实施例的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：根据数据库表的卸数状态确定目标数据库表，对目标数据库表进行解析得到目标数据字段，将目标数据字段写入存储文件并更新目标数据库表的卸数状态，能够将数据写入文件的过程与数据库解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本；根据集群节点标识确定集群节点，根据集群节点的线程数量对数据库表进行划分，根据划分结果在集群节点包括的数据库表中确定数据库表集，能够同时确定多个集群节点的数据库表集，提高数据写入文件的效率和准确性；根据卸数数量阈值对待更新数据库表的卸数状态进行批量更新，能够提高卸数状态更新的效率和准确性，避免资源抢占；在监测结果指示异常的情况下，对待更新数据库表的卸数状态进行更新，存储卸数请求，能够保证在方法中断之前符合要求的数据库表均被更新了卸数状态，便于后续根据卸数请求继续执行数据写入文件的方法，提高数据写入效率和准确性；根据字段读取顺序、根据反射技术获取表对象包括的目标数据字段，能够提高目标数据字段的获取效率和准确性；在目标数据字段不符合文件写入条件的情况下，对目标数据字段进行标准化处理，能够使得目标数据字段符合文件写入条件，提高数据写入文件的效率和准确性；对目标存储文件进行解析得到目标数据字段，将目标数据字段写入目标数据库表并更新目标数据库表的装数状态，能够将数据写入数据库的过程与数据库解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本；根据装数数量阈值对待更新数据库表的装数状态进行批量更新，能够提高装数状态更新的效率和准确性，避免资源抢占；根据文件解析规则对目标存储文件进行解析，得到目标数据字段，能够提高目标存储文件解析的灵活性、解析效率和准确性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据写入文件的方法的主要流程的示意图；

图2是根据本发明一个可参考实施例的数据写入文件的方法的整体流程的示意图；

图3是根据本发明一个可参考实施例的数据写入文件的方法的主要流程的示意图；

图4是根据本发明实施例的数据写入数据库的方法的主要流程的示意图；

图5是根据本发明一个可参考实施例的数据写入数据库的方法的整体流程的示意图；

图6是根据本发明一个可参考实施例的数据写入数据库的方法的主要流程的示意图；

图7是根据本发明实施例的数据写入文件的装置的主要模块的示意图；

图8是根据本发明实施例的数据写入数据库的装置的主要模块的示意图；

图9是本发明实施例可以应用于其中的示例性系统架构图；

图10是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本发明的技术方案中，所涉及的用户个人信息的收集、使用、保存、共享和转移等处理，均符合相关法律法规的规定，且需要告知用户并获得用户的同意或授权，当适用时，对用户个人信息进行了去标识化和/或匿名化和/或加密的技术处理。

数据库已广泛应用于各种场景之中，常见的数据库包括：Oracle数据库、MySQL数据库等等。使用数据库的存储过程或者通过创建数据库函数能够实现很多功能，例如，使用数据库函数对数据库表包括的数据字段进行格式调整。通常，在将数据从数据库写入文件或者将数据从文件写入数据库时，也会使用存储过程或者创建数据库函数来实现，数据写入文件或者数据写入数据库的过程与特定的数据库耦合，不同数据库对应的数据写入文件或者数据写入数据库的逻辑不同。

不同数据库对应的数据写入文件或者数据写入数据库的逻辑不同，导致研发成本和维护成本较高；并且在数据库出现问题时，不能保证数据写入文件或者数据写入数据库正常执行，存在执行隐患。

有鉴于此，根据本发明实施例的第一方面，提供了一种数据写入文件的方法。

图1是根据本发明实施例的数据写入文件的方法的主要流程的示意图。如图1所示，根据本发明实施例的数据写入文件的方法主要包括如下的步骤S101至步骤S103。

步骤S101，响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表。

卸数请求是将数据从数据库写入文件的请求；卸数过程指的是将数据库中的数据抽取出来，进行必要的数据格式化、数据标准化或者数据映射，再转储至文件的过程。在接收到卸数请求之后，对卸数请求携带的参数进行解析得到数据库标识，根据数据库标识确定对应的目标数据库，将目标数据库包括的数据库表作为数据库表集；或者对卸数请求携带的参数进行解析得到一组数据库表标识，将一组数据库表标识对应的数据库表作为数据库表集。

每个数据库表具有对应的卸数状态，卸数状态指示将数据从数据库写入文件的执行状态，卸数状态包括：未开始执行、已执行完毕、暂停执行、执行异常等等状态，其中“未开始执行”表示数据库表在此之前未被执行过数据写入文件的操作，“已执行完毕”表示数据库表中的数据已被写入文件，“暂停执行”表示之前执行过该数据库表的数据写入文件的操作但是未执行完毕，目前因网络资源抢占或者需先执行其他操作等原因而暂停数据写入文件的操作，“执行异常”表示在执行数据写入文件的过程中数据库表出现数据乱码或失去连接等异常情况；使用不同的数字、英文字母，或者数字和英文字母的组合表示不同的卸数状态。将数据库表集中卸数状态为“未开始执行”的数据库表作为目标数据库表，在网络资源充足或者其他优先级更高的操作已完成的情况下，将数据库表集中卸数状态为“暂停执行”的数据库表作为目标数据库表。具体地，将卸数状态符合要求的数据库表对应的数据库表标识存储至预先设置的数组或者链表中，根据数组或链表包括的数据库表标识获取对应的目标数据库表。

图2是根据本发明一个可参考实施例的数据写入文件的方法的整体流程的示意图。示例性地，如图2所示，由数据写入方法对应的启动类生成定时任务，本发明实施例的执行主体在对接收到的定时任务进行解析确定对应的数据库表集，判断数据库表集包括的数据库表的卸数状态是否均为已执行完毕，若是则结束本次方法的执行，否则，将卸数状态为未开始执行的数据库表作为目标数据库表。

再示例性地，在接收到卸数请求之后，对卸数请求携带的参数进行解析得到数据库标识“dataBase001”，连接数据库标识为“dataBase001”的数据库，将该数据库包括的数据库表作为数据库表集，该数据库包括三个数据库表，分别为“table01”、“table02”和“table03”，获取数据库表的卸数状态对照表，得到“{‘table01’:‘finished’；‘table02’:‘finished’；‘table03’:‘notStarted’}”，其中，“‘table01’:‘finished’”表示数据库表“table01”的卸数状态为“已执行完毕”，“‘table02’:‘finished’”表示数据库表“table02”的卸数状态为“已执行完毕”，“‘table03’:‘notStarted’”表示数据库表“table03”的卸数状态为“未开始执行”，因此将数据库表“table03”作为目标数据库表。

根据卸数状态能够快速了解每个数据库表的数据写入文件的执行状态，根据卸数状态确定目标数据库表，能够准确迅速地找到卸数请求对应的需要执行数据写入文件操作的目标数据库表。

根据本发明一个可参考的实施例，使用分布式集群执行数据写入文件的方法；确定对应的数据库表集，包括：对所述卸数请求进行解析，得到集群节点标识；确定所述集群节点标识指示的集群节点，根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集。

预先设置多个分布式集群节点，每个集群节点包括对应的数据库表，在接收到的卸数请求之后，对卸数请求的参数进行解析，得到集群节点标识，确定对应的目标集群节点，将目标集群节点包括的数据库表作为数据库表集；在卸数请求的参数包括数据库表标识的情况下，将数据库表标识对应的数据库表作为数据库表集。分布式集群的集群节点是可配置的，本发明实施例的执行主体在接收到集群节点修改请求之后，根据集群节点修改请求携带的参数对集群节点进行添加或删除；集群节点包括的数据库表是可配置的，本发明实施例的执行主体在接收到集群节点库表修改请求之后，根据集群节点库表修改请求携带的参数对数据库表进行添加或删除。

示例性地，在当前的分布式集群中，包括集群节点A、集群节点B和集群节点C，其中，集群节点A包括数据库表“table04”和“table05”，集群节点B包括数据库表“table06”和“table07”，集群节点C包括数据库表“table08”和“table09”；在接收到的卸数请求之后，对卸数请求的参数进行解析，得到“{‘node’:‘A,C’；‘table’:‘table06,table08,table09’}”，其中，“‘node’:‘A,C’”表示卸数请求对应的集群节点为集群节点A和集群节点C，“‘table’:‘table06,table08,table09’”表示卸数请求对应的数据库表集为数据库表“table06”、数据库表“table08”和数据库表“table09”组成的数据库表集。

根据集群节点标识确定集群节点，根据数据库表标识确定数据库表集，能够同时确定多个集群节点的数据库表集，提高数据写入文件的效率和准确性。

根据本发明一个可参考的实施例，使用多线程执行数据写入文件的方法；根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集，包括：根据所述集群节点的线程数量，对所述集群节点包括的数据库表进行划分，根据划分结果确定所述集群节点包括的每个线程对应的数据库表集。

在每个集群节点内，根据预先设置的线程数创建对应数量的线程，根据线程数量对集群节点包括的数据库表进行等量划分，对多个线程进行编号，根据编号依次对每个线程分配数据库表，使得多个线程对应的数据库表的数量相等或者数量之差不大于1；在预先设置每个线程对应的数据库表的数量的情况下，根据编号依次对每个线程分配对应的数量的数据库表，直至确定每个数据库表对应的线程。线程数和每个线程对应的数据库表的数量是可配置的，获取当前集群节点的数据写入文件的执行数据，执行数据包括：执行起始时间、执行结束时间、网络带宽、CPU使用率、执行异常信息等等，根据上述执行数据对集群节点的线程数和每个线程对应的数据库表的数量进行修改。

示例性地，当前集群节点对应的线程数为3，分别为线程“thread01”至线程“thread03”，每个线程对应的数据库表的数量均为4，当前集群节点包括10个数据库表，分别为数据库表“dbTable01”至数据库表“dbTable10”，根据线程数和线程对应的数据库表的数量进行划分，得到线程“thread01”对应的数据库表集为数据库表“dbTable01”至数据库表“dbTable04”，线程“thread02”对应的数据库表集为数据库表“dbTable05”至数据库表“dbTable08”，线程“thread03”对应的数据库表集为数据库表“dbTable09”至数据库表“dbTable10”。

根据集群节点标识确定集群节点，根据集群节点的线程数量对数据库表进行划分，根据划分结果在集群节点包括的数据库表中确定数据库表集，能够同时确定集群节点内多个线程对应的数据库表集，提高数据写入文件的效率和准确性。

步骤S102，对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段。

在确定目标数据库表之后，根据ORM(Object Relational Mapping，对象关系映射)框架获取目标数据库表对应的表对象，常用的ORM框架包括：Hibernate框架、MyBatis框架、Spring Data JPA框架等等，或者预先获取用于对数据库进行操作的开源类包，对开源类包进行适应性修改，例如，将开源类包包括的配置文件修改为本发明实施例适用的、在开源类包中添加本发明实施例适用的数据库操作业务逻辑等等，根据修改后的开源类包获取目标数据库对应的表对象，开源类包包括：Spring Data JDBC等等。

对获取到的表对象之后，调用表对象包括的字段获取方法，获取表对象包括的目标数据字段，具体地，读取预先设置的配置文件，确定目标数据字段的字段名称，调用含有该字段名称的字段获取方法，从表对象中获取该字段名称对应的目标数据字段；在字段获取方法还包括方法入参的情况下，读取预先设置的配置文件，获取目标数据字段对应的方法入参，在调用对应的字段获取方法的同时传入方法入参，从而获取该字段名称对应的目标数据字段。在目标数据库表包括的多个表对象的情况下，根据表对象的获取顺序依次对获取到的表对象进行解析，得到目标数据库表对应的每个表对象包括的目标数据字段。

示例性地，在确定目标数据库表“user”之后，使用Spring Data JPA框架获取目标数据库表“user”的表对象，目标数据库表“user”用于存储用户的个人信息，该表对象包括指示用户标识的数据字段“id”、指示用户姓名的数据字段“name”和指示用户年龄的数据字段“age”，其中，数据字段“id”的获取方法的方法名称为getId()，数据字段“name”的获取方法的方法名称为getName()，数据字段“age”的获取方法的方法名称为getAge()；读取预先设置的配置文件，确定需要解析的数据字段为“id”，则调用目标数据库表“user”的表对象的getId()方法，获取指示用户标识的目标数据字段“id”。

使用ORM框架或者开源类包获取表对象，调用字段获取方法获取目标数据字段，能够提高目标数据字段的获取效率和准确性。

根据本发明一个可参考的实施例，对所述表对象进行解析，得到目标数据字段，包括：根据预先设置的配置文件，确定字段读取顺序；根据所述字段读取顺序依次根据反射技术调用所述表对象包括的字段获取方法，以获取所述表对象包括的目标数据字段。

读取预先设置的配置文件，获取目标数据库表对应的字段顺序列表，字段顺序列表指示表对象包括的数据字段的读取顺序，每个目标数据库表具有对应的字段顺序列表，字段顺序列表可以包括表对象对应的全部数据字段，也可以包括表对象对应的部分数据字段，目标数据字段是字段顺序列表包括的数据字段。

在根据字段顺序列表确定字段读取顺序之后，使用Java反射技术先获取表对象对应的Class对象，Class对象包括表对象在运行时的类型信息，例如，表对象的数据字段信息、方法信息等等，使用Class对象依次调用包含对应字段名称的字段获取方法，从而按字段读取顺序获取对应的目标数据字段

示例性地，获取到的表对象包括数据字段D、数据字段E和数据字段F，读取预先设置的配置文件，得到字段读取顺序为“F-E”，即先读取数据字段F，再读取数据字段E，使用Java反射技术先获取表对象对应的Class对象“clazz”，使用clazz.getDeclaredMethods(“getF”,String.class)方法获取表对象包括的目标数据字段F，使用clazz.getDeclaredMethods(“getE”,String.class)方法获取表对象包括的目标数据字段E。

在表对象包括的字段获取方法被设置为不可直接调用的情况下，使用反射技术根据获取表对象包括的目标数据字段，能够提高目标数据字段的获取效率和准确性。

根据本发明一个可参考的实施例，在获取所述表对象包括的目标数据字段之后，所述方法还包括：判断所述目标数据字段是否符合文件写入条件；在所述目标数据字段不符合文件写入条件的情况下，根据所述配置文件，对所述目标数据字段进行标准化处理。

在获取到目标数据字段之后，读取预先设置的配置文件，获取目标数据字段对应的文件写入条件，文件写入条件指示写入文件的目标数据字段应符合哪些条件，文件写入条件包括：目标数据字段的字段长度、数据类型、数据格式符合对应的要求等等。在目标数据字段符合文件写入条件的情况下，直接将目标数据字段写入预先设置的存储文件；在目标数据字段不符合文件写入条件的情况下，则不能直接将目标数据字段写入预先设置的存储文件。

在判定目标数据字段不符合文件写入条件的情况下。读取配置文件获取对应的数据字段模板，数据字段模板指示目标数据字段对应的标准字段应满足哪些条件，例如，目标数据字段的标准长度、标准数据类型、标准数据格式等等。根据数据字段模板对目标数据字段进行标准化处理，使标准化之后的目标数据字段符合文件写入条件。

示例性地，如图2所示，在确定目标数据库表之后，获取目标数据库表的表对象，对表对象进行解析得到目标数据字段，对目标数据字段进行格式化、标准化处理。

再示例性地，获取到表对象包括的三个目标数据字段，分别为小数数据字段“1.234”、英文数据字段“QwerT”和二进制数据字段“110101”，读取预先设置的配置文件，得到文件写入条件包括“{‘numPoint’:‘1-2’；‘letter’:‘all-low,all-up’；‘binary’:‘/4’}”，其中，“‘numPoint’:‘1-2’”表示小数点位数为一位或者两位，“‘letter’:‘all-low,all-up’”表示英文字母全部小写或者全部大写，“‘binary’:‘/4’”表示二进制数据的长度应能被4整除；将目标数据字段与文件写入条件进行比较，判定目标数据字段不符合文件写入条件；读取预先设置的配置文件，得到数据字段模板包括“{‘numPoint’:‘1’；‘letter’:‘all-low’；‘binary’:‘8’}”，其中，“‘numPoint’:‘1’”表示对目标数据字段的小数点位数保留一位，“‘letter’:‘all-low’”表示将目标数据字段的英文字母全部改为小写，“‘binary’:‘08’”表示指示二进制数据的目标数据字段的长度为8，长度不够则在左侧补0；根据上述数据字段模板对目标数据字段进行标准化，得到符合文件写入条件的目标字段为“1.2”、“qwert”和“00110101”。

在目标数据字段不符合文件写入条件的情况下，对目标数据字段进行标准化处理，能够使得目标数据字段符合文件写入条件，提高数据写入文件的效率和准确性。

步骤S103，将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态。

在获取到符合文件写入条件的目标数据字段之后，获取预先创建的存储文件，存储文件用于存储目标数据库表包括的目标数据字段，或者存储目标数据库包括的目标数据字段，或者存储当前集群节点包括的目标数据字段。将目标数据字段写入存储文件，在确定目标数据字段全部写入成功之后，确定目标数据字段对应的目标数据库表，将目标数据库表的卸数状态修改为“已执行完毕”，以指示目标数据库表包括的目标数据字段均已写入存储文件。

示例性地，如图2所示，将处理后的目标数据字段写入预先设置的存储文件，生成写入结果，判断写入结果是否为写入成功，若是，则将写入成功的目标数据库表的卸数状态修改为“已执行完毕”，否则，不修改目标数据库表的卸数状态，继续判断卸数状态，重复上述流程直至目标数据库表的目标数据字段成功写入存储文件并对应修改卸数状态。

再示例性地，在获取到符合文件写入条件的目标数据字段之后，读取配置文件确定目标数据字段对应的存储文件，与存储文件建立连接，将目标数据字段写入缓存，由本发明实施例的执行主体所在的操作系统在目标数据字段均写入缓存后，将目标数据字段由缓存写入存储文件；在缓存中不存在目标数据字段的情况下，判定目标数据字段全部写入成功；读取配置文件确定目标数据字段对应的目标数据库表，修改目标数据库表的卸数状态修改为“已执行完毕”。

将目标数据字段写入存储文件并更新目标数据库表的卸数状态，能够将数据写入文件的过程与数据库解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本。

根据本发明一个可参考的实施例，所述目标数据库表有多个；根据所述写入结果更新所述目标数据库表的卸数状态，包括：将写入结果指示写入成功并且未更新卸数状态的目标数据库表作为待更新数据库表，根据预先设置的卸数数量阈值对所述待更新数据库表的卸数状态进行批量更新。

目标数据库表可以是一个或者多个，在目标数据库表对应的目标数据字段成功写入存储文件之后，不立即修改该目标数据库表对应的卸数状态，将对应的目标数据字段写入成功并且还未更新卸数状态的目标数据库表作为待更新数据库表；读取配置文件，获取预先设置的卸数数量阈值，卸数数量阈值指示每次更新卸数状态时的目标数据库表的数量阈值，在待更新数据库表的数量等于卸数数量阈值的情况下，对待更新数据库表的卸数状态进行更新，具体地，将卸数状态更新为“已执行完毕”。

在目标数据库表总数不能被卸数数量阈值整除的情况下，最后会剩余一组数量小于卸数数量阈值的待更新数据库表，不能根据上述业务逻辑进行卸数状态更新；因此，在上述业务逻辑的基础上，定时判断全部目标数据库表是否均已得到写入成功的写入结果，在全部目标数据库表均已得到写入成功的写入结果的情况下，直接对待更新数据库表的卸数状态进行更新，此时无需考虑待更新数据库表的数量与卸数数量阈值之间的关系。

还可以读取配置文件，获取预先设置的卸数时间阈值，卸数时间阈值指示两次更新卸数状态的操作之间的时间间隔，在距离上次执行更新卸数状态的操作的时间等于卸数时间阈值的情况下，对待更新数据库表的卸数状态进行更新。

示例性地，预先开启定时检测写入结果的任务，有10个目标数据库表，读取配置文件，得到卸数数量阈值为4；每当有4个目标数据库表得到写入成功的写入结果之后，便将这4个待更新数据库表的卸数状态更新为“已执行完毕”；在进行两轮更新之后，更新了8个目标数据库表的卸数状态，此时，还剩2个待更新数据库表，待更新数据库表的数量小于卸数数量阈值；但是定时检测任务检测到全部目标数据库表均得到写入成功的写入结果，则直接将剩余2个待更新数据库表的卸数状态更新为“已执行完毕”。

根据卸数数量阈值对待更新数据库表的卸数状态进行批量更新，能够提高卸数状态更新的效率和准确性，避免资源抢占。

根据本发明一个可参考的实施例，在确定目标数据库表之后，所述方法还包括：对对所述目标数据库表的表对象进行解析和/或将所述目标数据库表对应的目标数据字段写入预先创建的存储文件的步骤进行异常监测，得到监测结果；在监测结果指示异常的情况下，中断正在执行的步骤，对所述待更新数据库表的卸数状态进行更新，存储所述卸数请求。

预先建立异常捕获机制，对本发明实施例的数据写入文件的方法包括的步骤进行异常监测，具体地，对步骤：对所述目标数据库表的表对象进行解析，和/或步骤：将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，进行异常监测，在正常执行的情况下得到指示无异常情况的检查结果，在业务逻辑存在矛盾之处、与目标数据库的连接断开、空闲内存容量不足等情况下，得到指示异常的监测结果；在得到指示异常的监测结果之后，停止正在执行的步骤，使用异常捕获机制对当前写入结果指示写入成功并且未更新卸数状态的目标数据库表(即待更新数据库表)更新卸数状态，并存储对应的卸数请求。

示例性地，使用“try-catch”语句块将步骤：对所述目标数据库表的表对象进行解析，和步骤：将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，对应的业务逻辑代码包围，从而对上述两个步骤建立异常捕获机制，并在异常捕获机制中编写捕获异常后的方法退出的步骤；业务逻辑代码抛出空闲内存容量不足的问题，该问题被异常捕获机制监测到，立即停止正在执行的业务逻辑代码，执行方法退出的步骤，具体地，将当前的待更新数据库表的卸数状态更新为“已执行完毕”，将卸数请求包括的接口方法、参数等等信息存储至数据库，然后退出方法。

在监测结果指示异常的情况下，对待更新数据库表的卸数状态进行更新，存储卸数请求，能够保证在方法中断之前符合要求的目标数据库表均被更新了卸数状态，便于后续根据卸数请求继续执行数据写入文件的方法，提高数据写入效率和准确性。

根据本发明一个可参考的实施例，所述方法还包括：响应于接收到恢复执行请求，获取所述恢复执行请求对应的目标卸数请求，根据所述目标卸数请求，确定未更新卸数状态的目标数据库表；对所述未更新卸数状态的目标数据库表的表对象进行解析，得到对应的目标数据字段，将所述对应的目标数据字段写入所述存储文件，得到写入结果，根据所述写入结果更新所述未更新卸数状态的目标数据库表的卸数状态。

恢复执行请求是用于恢复执行之前被中断的数据写入文件的方法的请求，对恢复执行请求携带的参数进行解析得到卸数请求的存储标识，根据存储标识确定对应的目标卸数请求，目标卸数请求是之前由于监测到异常情况而中断执行的卸数请求。根据目标卸数请求，确定对应的数据库表集，确定数据表集包括的数据库表的卸数状态，将卸数状态为“未开始执行”的数据库表作为目标数据库表；获取目标数据库表的表对象，对表对象进行解析得到目标数据字段，将目标数据字段写入目标数据库表对应的存储文件，在得到指示写入成功的写入结果的情况下，更新目标数据库表的卸数状态。

示例性地，目标卸数请求对应的目标数据库表包括；数据库表G、数据库表H、数据库表I、数据库表J、数据库表K，在监测到异常情况之后，将作为待更新数据库表的数据库表G、数据库表H和数据库表I的卸数状态修改为“已执行完毕”；在接收到恢复执行请求之后，再次获取目标卸数请求，再次确定目标卸数请求对应的目标数据库表包括：数据库表J和数据库表K，因此，在监测到异常情况之前的方法执行结果的基础上继续获取数据库表J和数据库表K对应的目标数据字段，将目标数据字段写入存储文件，更新数据库表J和数据库表K对应的卸数状态。

获取目标卸数请求，在之前方法执行结果的基础上继续执行剩余目标数据库表对应的数据写入文件的操作，能够提高数据写入文件的效率和准确性，提高数据写入文件的稳定性和高可用性。

图3是根据本发明一个可参考实施例的数据写入文件的方法的主要流程的示意图。如图3所示，所述数据写入文件的方法包括以下步骤：

步骤S301，响应于接收到卸数请求，对卸数请求进行解析，得到集群节点标识，确定集群节点标识指示的集群节点；

步骤S302，根据集群节点的线程数量，对集群节点包括的数据库表进行划分，根据划分结果确定集群节点包括的每个线程对应的数据库表集；

步骤S303，根据数据库表集对应的卸数状态，确定目标数据库表，获取目标数据库表的表对象；

步骤S304，根据预先设置的配置文件，确定字段读取顺序，根据字段读取顺序依次根据反射技术调用表对象包括的字段获取方法，以获取表对象包括的目标数据字段；

步骤S305，判断目标数据字段是否符合文件写入条件，若是则跳转至步骤S307，否则，跳转至步骤S306；

步骤S306，根据配置文件，对目标数据字段进行标准化；

步骤S307，将目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果；

步骤S308，判断写入结果是否指示写入成功，若是则跳转至步骤S309，否则，跳转至步骤S307；

步骤S309，将写入结果指示写入成功并且未更新卸数状态的目标数据库表作为待更新数据库表，根据预先设置的卸数数量阈值对待更新数据库表的卸数状态进行批量更新。

上述本发明一个可参考实施例的数据写入文件的方法的具体实施内容，在上面所述数据写入文件的方法中已经详细说明了，故在此重复内容不再说明。

根据本发明实施例的第二方面，提供了一种数据写入数据库的方法。

图4是根据本发明实施例的数据写入数据库的方法的主要流程的示意图。如图4所示，根据本发明实施例的数据写入数据库的方法主要包括如下的步骤S401至步骤S403。

步骤S401，响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表。

装数请求是将数据从文件写入数据库的请求；装数过程指的是将文件中的数据提取出来，进行必要的数据格式化、数据标准化或者数据映射，再转储至数据库的过程。在接收到装数请求之后，对装数请求携带的参数进行解析得到数据库标识，根据数据库标识确定对应的目标数据库，将目标数据库包括的数据库表作为数据库表集；或者对装数请求携带的参数进行解析得到一组数据库表标识，将一组数据库表标识对应的数据库表作为数据库表集。

每个数据库表具有对应的装数状态，装数状态指示将数据从文件写入数据库的执行状态，装数状态包括：未开始执行、已执行完毕、暂停执行、执行异常等等状态，其中“未开始执行”表示数据库表在此之前未被执行过数据写入数据库的操作，“已执行完毕”表示数据已被写入该数据库表，“暂停执行”表示之前执行过数据写入该数据库表的操作但是未执行完毕，目前因网络资源抢占或者需先执行其他操作等原因而暂停数据写入数据库的操作，“执行异常”表示在执行数据写入数据库的过程中数据库表出现数据乱码或失去连接等异常情况；使用不同的数字、英文字母，或者数字和英文字母的组合表示不同的装数状态。将数据库表集中装数状态为“未开始执行”的数据库表作为目标数据库表，在网络资源充足或者其他优先级更高的操作已完成的情况下，将数据库表集中卸数状态为“暂停执行”的数据库表作为目标数据库表。具体地，将装数状态符合要求的数据库表对应的数据库表标识存储至预先设置的数组或者链表中，根据数组或链表包括的数据库表标识获取对应的目标数据库表。目标数据库表即需要写入数据的数据库表。

优选地，使用分布式集群执行数据写入数据库的方法，对装数请求进行解析，得到集群节点标识；确定集群节点标识指示的集群节点，根据集群节点包括的数据库表，确定装数请求对应的数据库表集。再优选地，使用多线程执行数据写入数据库的方法；根据集群节点的线程数量，对集群节点包括的数据库表进行划分，根据划分结果确定集群节点包括的每个线程对应的数据库表集。

图5是根据本发明一个可参考实施例的数据写入数据库的方法的整体流程的示意图。示例性地，如图5所示，由数据写入数据库对应的启动类生成定时任务，本发明实施例的执行主体在对接收到的定时任务进行解析确定对应的数据库表集，判断数据库表集包括的数据库表的装数状态是否均为“已执行完毕”，若是则结束本次方法的执行，否则，将装数状态为“未开始执行”的数据库表作为目标数据库表。

再示例性地，在接收到装数请求之后，对装数请求携带的参数进行解析得到数据库标识“dataBase011”，连接数据库标识为“dataBase011”的数据库，将该数据库包括的数据库表作为数据库表集，该数据库包括三个数据库表，分别为“table11”、“table12”和“table13”，获取数据库表的卸数状态对照表，得到“{‘table11’:‘finished’；‘table12’:‘finished’；‘table13’:‘notStarted’}”，其中，“‘table01’:‘finished’”表示数据库表“table01”的装数状态为“已执行完毕”，“‘table02’:‘finished’”表示数据库表“table02”的装数状态为“已执行完毕”，“‘table03’:‘notStarted’”表示数据库表“table03”的装数状态为“未开始执行”，因此将数据库表“table03”作为目标数据库表。

根据装数状态能够快速了解每个数据库表的数据写入数据库的执行状态，根据装数状态确定目标数据库表，能够准确迅速地找到装数请求对应的需要执行数据写入数据库操作的目标数据库表。

步骤S402，确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段。

对装数请求携带的参数进行解析，得到目标数据库表对应的目标存储文件，或者得到存储文件标识，再根据存储文件标识确定目标存储文件；读取预先设置的配置文件，获取目标存储文件的文件结构和每部分结构包括的数据字段，根据文件结构获取目标存储文件在对应位置上的数据字段，将获取到的数据字段作为目标数据字段。

优选地，在获取到目标数据字段之后，判断目标数据字段是否符合数据库写入条件；在目标数据字段不符合数据库写入条件的情况下，读取配置文件，获取数据库字段模板，数据库字段模板指示目标数据字段对应的标准字段应满足哪些条件，例如，目标数据字段的标准长度、标准数据类型、标准数据格式等等。根据数据库字段模板对目标数据字段进行标准化处理，使标准化之后的目标数据字段符合数据库写入条件。

示例性地，如图5所示，确定目标数据库表对应的目标存储文件，对目标存储文件进行解析得到目标数据字段，对目标数据字段进行格式化、标准化处理。

再示例性地，确定目标存储文件为存储文件L，读取配置文件，得到存储文件L的文件结构包括三部分，其中，第一部分包括：数据字段m1，第二部分包括：数据字段m2、数据字段m3，第三部分包括：数据字段m4、数据字段m5；根据配置文件得到目标数据字段为：：数据字段m1、数据字段m3和数据字段m5；因此，读取目标存储文件的第一部分获取目标数据字段m1，读取目标存储文件的第二部分获取目标数据字段m3，读取目标存储文件的第三部分获取目标数据字段m5。

根据配置文件，对所述目标存储文件进行解析，得到目标数据字段，能够提高目标数据字段获取的效率和准确性。

根据本发明一个可参考的实施例，对所述目标存储文件进行解析，得到目标数据字段，包括：根据所述目标存储文件的文件类型，获取对应的文件解析规则；根据所述文件解析规则对所述目标存储文件进行解析，得到目标数据字段。

根据存储文件的文件类型，预先设置对应的文件解析规则，存储文件的文件类型包括：.doc、.docx等文档文件类型，.xlsx、.xls等表格文件类型，.txt、.log等文本文件类型等等。每种文件类型对应一种文件解析规则，例如，在存储文件的文件类型为“.doc”的情况下，解析规则为：从左至右、从上至下依次读取，每次读取一行，并解析该行包括的目标数据字段；在存储文件的文件类型为“.xlsx”的情况下，解析规则为：从左至右、从上至下依次读取，每次读取一个表格，并解析该表格内包括的目标数据字段。

根据文件解析规则对目标存储文件进行解析，得到目标数据字段，能够提高目标存储文件解析的灵活性、解析效率和准确性。

步骤S403，将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态。

在获取到目标数据字段之后，将目标数据字段写入目标数据库表，在确定目标数据字段全部写入成功之后，将目标数据库表的装数状态修改为“已执行完毕”，以指示目标数据字段均已写入目标数据库表。

再优选地，对对所述目标存储文件进行解析和/或将所述目标数据字段写入所述目标数据库表的步骤进行异常监测，得到监测结果；在监测结果指示异常的情况下，对准更新数据库表的装数状态进行更新，存储对应的装数请求，中断正在执行的步骤。响应于接收到继续执行请求，获取继续执行请求对应的目标装数请求，根据目标装数请求，确定未更新装数状态的目标数据库表；对未更新装数状态的目标数据库表对应的目标存储文件进行解析，得到对应的目标数据字段，将对应的目标数据字段写入未更新装数状态的目标数据库表，得到写入结果，根据写入结果更新未更新卸数状态的目标数据库表的装数状态。

示例性地，如图5所示，将处理后的目标数据字段写入目标数据库表，生成写入结果，判断目标数据字段是否写入成功，若是，则将目标数据库表的装数状态修改为“已执行完毕”，否则，不修改目标数据库表的装数状态，继续判断装数状态，重复上述流程直至目标数据字段成功写入目标数据库表并对应修改装数状态。

根据数据库表的装数状态确定目标数据库表，对目标数据库表对应的目标存储文件解析得到目标数据字段，将目标数据字段写入目标数据库表并更新目标数据库表的装数状态，能够将数据写入数据库的过程与数据库的类型解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本。

根据本发明一个可参考的实施例，所述目标数据库表有多个；更新所述目标数据库表的装数状态，包括：确定已完成目标数据字段写入操作的目标数据库表，得到目标数据库表集；根据预先设置的装数数量阈值，批量更新所述目标数据库表集包括的目标数据库表的装数状态。

目标数据库表可以是一个或者多个，在目标数据字段成功写入目标数据库表之后，不立即修改该目标数据库表对应的装数状态，将对应的目标数据字段写入成功并且还未更新装数状态的目标数据库表作为准更新数据库表；读取配置文件，获取预先设置的装数数量阈值，装数数量阈值指示每次更新装数状态时的目标数据库表的数量阈值，在准更新数据库表的数量等于装数数量阈值的情况下，对准更新数据库表的装数状态进行更新，具体地，将装数状态更新为“已执行完毕”。

在目标数据库表总数不能被装数数量阈值整除的情况下，最后会剩余一组数量小于装数数量阈值的准更新数据库表，不能根据上述业务逻辑进行装数状态更新；因此，在上述业务逻辑的基础上，定时判断全部目标数据库表是否均已得到写入成功的写入结果，在全部目标数据库表均已得到写入成功的写入结果的情况下，直接对准更新数据库表的装数状态进行更新，此时无需考虑待更新数据库表的数量与装数数量阈值之间的关系。

图6是根据本发明一个可参考实施例的数据写入数据库的方法的主要流程的示意图。如图6所示，所述数据写入数据库的方法包括以下步骤：

步骤S601，响应于接收到装数请求，对装数请求进行解析，得到集群节点标识，确定集群节点标识指示的集群节点；

步骤S602，根据集群节点的线程数量，对集群节点包括的数据库表进行划分，根据划分结果确定集群节点包括的每个线程对应的数据库表集；

步骤S603，根据数据库表集对应的装数状态，确定目标数据库表及其对应的目标存储文件；

步骤S604，确定目标存储文件的文件类型，根据预先设置的配置文件，确定文件解析规则，根据文件解析规则对存储文件进行解析得到目标数据字段；

步骤S605，判断是否符合数据库写入条件，若是则跳转至步骤S607，否则，跳转至步骤S606；

步骤S606，根据配置文件，对目标数据字段进行标准化；

步骤S607，将目标数据字段写入目标数据库表，得到写入结果；

步骤S608，判断写入结果是否指示写入成功，若是则跳转至步骤S609，否则，跳转至步骤S607；

步骤S609，将写入结果指示写入成功并且未更新装数状态目标数据库表作为准更新数据库表，根据预先设置的装数数据阈值对准更新数据库表的装数状态进行批量更新。

上述本发明一个可参考实施例的数据写入数据库的方法的具体实施内容，在上面所述数据写入数据库的方法中已经详细说明了，故在此重复内容不再说明。

根据本发明实施例的第三方面，提供一种数据写入文件的装置。

图7是根据本发明实施例的数据写入文件的装置的主要模块的示意图，如图7所示，所述数据写入文件的装置700主要包括：

确定模块701，用于响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表；

解析模块702，用于对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段；

写入模块703，用于将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态。

根据本发明一个可参考的实施例，使用分布式集群执行数据写入文件的方法；确定对应的数据库表集，包括：

对所述卸数请求进行解析，得到集群节点标识；

根据本发明另一个可参考的实施例，使用多线程执行数据写入文件的方法；根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集，包括：

根据本发明又一个可参考的实施例，所述目标数据库表有多个；根据所述写入结果更新所述目标数据库表的卸数状态，包括：

根据本发明还一个可参考的实施例，所述数据写入文件的装置700还包括：

根据本发明再一个可参考的实施例，所述数据写入文件的装置700还包括：

根据本发明一个可参考的实施例，对所述表对象进行解析，得到目标数据字段，包括：

根据预先设置的配置文件，确定字段读取顺序；

根据本发明另一个可参考的实施例，所述数据写入文件的装置700还包括：

需要说明的是，在本发明实施例所述数据写入文件的装置的具体实施内容，在上面所述数据写入文件的方法中已经详细说明了，故在此重复内容不再说明。

根据本发明实施例的第四方面，提供一种数据写入数据库的装置。

图8是根据本发明实施例的数据写入数据库的装置的主要模块的示意图，如图8所示，所述数据写入数据库的装置800主要包括：

确定模块801，用于响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表；

解析模块802，用于确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段；

写入模块803，用于将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态。

根据本发明一个可参考的实施例，所述目标数据库表有多个；更新所述目标数据库表的装数状态，包括：

根据本发明另一个可参考的实施例，对所述目标存储文件进行解析，得到目标数据字段，包括：

需要说明的是，在本发明实施例所述数据写入数据库的装置的具体实施内容，在上面所述数据写入数据库的方法中已经详细说明了，故在此重复内容不再说明。

根据本发明实施例的技术方案，根据数据库表的卸数状态确定目标数据库表，对目标数据库表进行解析得到目标数据字段，将目标数据字段写入存储文件并更新目标数据库表的卸数状态，能够将数据写入文件的过程与数据库解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本；根据集群节点标识确定集群节点，根据集群节点的线程数量对数据库表进行划分，根据划分结果在集群节点包括的数据库表中确定数据库表集，能够同时执行多个集群节点的数据库表集，提高数据写入文件的效率和准确性；根据卸数数量阈值对待更新数据库表的卸数状态进行批量更新，能够提高卸数状态更新的效率和准确性，避免资源抢占；在监测结果指示异常的情况下，对待更新数据库表的卸数状态进行更新，存储卸数请求，能够保证在方法中断之前符合要求的数据库表均被更新了卸数状态，便于后续根据卸数请求继续执行数据写入文件的方法，提高数据写入效率和准确性；根据字段读取顺序、根据反射技术获取表对象包括的目标数据字段，能够提高目标数据字段的获取效率和准确性；在目标数据字段不符合文件写入条件的情况下，对目标数据字段进行标准化处理，能够使得目标数据字段符合文件写入条件，提高数据写入文件的效率和准确性；对目标存储文件进行解析得到目标数据字段，将目标数据字段写入目标数据库表并更新目标数据库表的装数状态，能够将数据写入数据库的过程与数据库解耦，提供一种适用于各类数据库的方法，降低研发成本和维护成本；根据装数数量阈值对待更新数据库表的装数状态进行批量更新，能够提高装数状态更新的效率和准确性，避免资源抢占；根据文件解析规则对目标存储文件进行解析，得到目标数据字段，能够提高目标存储文件解析的灵活性、解析效率和准确性。

根据本发明实施例的第五方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面和/或本发明实施例第二方面提供的方法。

根据本发明实施例的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面和/或本发明实施例第二方面提供的方法。

根据本发明实施例的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面和/或本发明实施例第二方面提供的方法。

图9示出了可以应用本发明实施例的数据写入文件的方法或者数据写入文件的装置或者数据写入数据库的方法或者数据写入数据库的装置的示例性系统架构900。

如图9所示，系统架构900可以包括终端设备901、902、903，网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备901、902、903通过网络904与服务器905交互，以接收或发送消息等。终端设备901、902、903上可以安装有各种通讯客户端应用，例如数据写入类应用、数据存储类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备901、902、903可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器905可以是提供各种服务的服务器，例如对上游利用终端设备901、902、903所发来的数据写入文件请求或者数据写入数据库请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表；对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段；将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态；并将数据写入文件的处理结果(仅为示例)反馈给终端设备。

或者，后台管理服务器可以响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表；确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段；将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态；并将数据写入数据库的处理结果(仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据写入文件的方法一般由服务器905执行，相应地，所述数据写入文件的装置一般设置在服务器905中。本发明实施例所提供的数据写入文件的方法也可以由终端设备901、902、903执行，相应地，所述数据写入文件的装置可以设置在终端设备901、902、903中。

需要说明的是，本发明实施例所提供的数据写入数据库的方法一般由服务器905执行，相应地，所述数据写入数据库的装置一般设置在服务器905中。本发明实施例所提供的数据写入数据库的方法也可以由终端设备901、902、903执行，相应地，所述数据写入数据库的装置可以设置在终端设备901、902、903中。

应该理解，图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图10，其示出了适于用来实现本发明实施例的终端设备的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本发明实施例的系统中限定的上述功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明实施例中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括确定模块、解析模块和写入模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，确定模块还可以被描述为“确定目标数据库表的模块”。

作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：响应于接收到卸数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的卸数状态，确定目标数据库表；对所述目标数据库表的表对象进行解析，得到所述目标数据库表对应的目标数据字段；将所述目标数据库表对应的目标数据字段写入预先创建的存储文件，得到写入结果，根据所述写入结果更新所述目标数据库表的卸数状态。

或者，该设备实现如下方法：响应于接收到装数请求，确定对应的数据库表集，根据所述数据库表集包括的数据库表的装数状态，确定目标数据库表；确定所述目标数据库表对应的目标存储文件，对所述目标存储文件进行解析，得到目标数据字段；将所述目标数据字段写入所述目标数据库表，更新所述目标数据库表的装数状态。

上述具体实施方式，并不构成对本发明实施例保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明实施例的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明实施例保护范围之内。

Claims

1.一种数据写入文件的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，使用分布式集群执行数据写入文件的方法；确定对应的数据库表集，包括：

对所述卸数请求进行解析，得到集群节点标识；

3.根据权利要求2所述的方法，其特征在于，使用多线程执行数据写入文件的方法；根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集，包括：

4.根据权利要求1所述的方法，其特征在于，所述目标数据库表有多个；根据所述写入结果更新所述目标数据库表的卸数状态，包括：

5.根据权利要求4所述的方法，其特征在于，在确定目标数据库表之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，对所述表对象进行解析，得到目标数据字段，包括：

根据预先设置的配置文件，确定字段读取顺序；

8.根据权利要求7所述的方法，其特征在于，在获取所述表对象包括的目标数据字段之后，所述方法还包括：

判断所述目标数据字段是否符合文件写入条件；

9.一种数据写入数据库的方法，其特征在于，包括：

10.根据权利要求9所述的方法，其特征在于，所述目标数据库表有多个；更新所述目标数据库表的装数状态，包括：

11.根据权利要求9所述的方法，其特征在于，对所述目标存储文件进行解析，得到目标数据字段，包括：

12.一种数据写入文件的装置，其特征在于，包括：

13.根据权利要求12所述的装置，其特征在于，使用分布式集群执行数据写入文件的方法；确定对应的数据库表集，包括：

对所述卸数请求进行解析，得到集群节点标识；

14.根据权利要求13所述的装置，其特征在于，使用多线程执行数据写入文件的方法；根据所述集群节点包括的数据库表，确定所述卸数请求对应的数据库表集，包括：

15.根据权利要求12所述的装置，其特征在于，所述目标数据库表有多个；根据所述写入结果更新所述目标数据库表的卸数状态，包括：

16.一种数据写入数据库的装置，其特征在于，包括：

17.根据权利要求16所述的装置，其特征在于，所述目标数据库表有多个；更新所述目标数据库表的装数状态，包括：

18.根据权利要求16所述的装置，其特征在于，对所述目标存储文件进行解析，得到目标数据字段，包括：

19.一种电子设备，其特征在于，包括：

一个或者多个调用器；

存储装置，用于存储一个或者多个程序，

当所述一个或者多个程序被所述一个或者多个调用器执行时，所述一个或者多个调用器实现如权利要求1-11中任一所述的方法。

20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被调用器执行时实现如权利要求1-11中任一所述的方法。

21.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。