CN114390067A - 一种数据交换的方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种数据交换的方法、系统、装置及存储介质。该方法通过获取待交换数据，并对所述待交换数据进行预处理，接着对预处理后的待交换数据进行日志记录，生成第一对账文件，以记录待交换数据的数据特征，方便后续步骤验证待比对数据的准确性；然后，对所述待交换数据进行数据交换，得到待比对数据；对所述待比对数据进行日志记录，生成第二对账文件，从而记录待对比数据的数据特征，以便后续步骤进行调用；根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述交换后的数据，从而确认交换后的数据的准确性。本发明可广泛应用于网络数据交换技术领域内。

Description

一种数据交换的方法、系统、装置及存储介质

技术领域

本发明涉及网络数据交换技术领域，尤其是一种数据交换的方法、系统、装置及存储介质。

背景技术

随着网络隔离技术、跨网络数据交换等领域不断深入的研究，相关技术中，实现了外部公共网和内部涉密网之间的网络隔离，但是目前多数的数据交换平台在数据交换的过程中会出现交换后的数据与交换前的数据不一致的问题，无法保证数据交换的准确性与可靠性。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种数据交换的方法、系统、装置及存储介质，其能够通过对账技术保证数据传输的可靠性和可信性。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

一方面，本发明实施例提供了一种数据交换的方法，包括以下步骤：

获取待交换数据；

对所述待交换数据进行预处理；

对预处理后的待交换数据进行日志记录，生成第一对账文件；

对所述待交换数据进行数据交换，得到待比对数据；

对所述待比对数据进行日志记录，生成第二对账文件；

根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据；若否，则重新获取待交换数据。

进一步地，在所述重新获取待交换数据这一步骤之后，还包括：

将所述待比对数据删除。

进一步地，所述第一对账文件包括日志文件和源端文件，所述第二对账文件包括数据文件，所述根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，具体包括以下步骤：

根据所述日志文件和所述数据文件进行对账操作；

根据所述源端文件和所述数据文件进行对账操作。

进一步地，所述对所述待交换数据进行预处理，具体包括以下步骤：

对所述待交换数据按照预设分类方法进行封装；

将封装后的数据加载到缓冲区。

进一步地，在所述对所述待交换数据进行数据交换之后，所述方法还包括以下步骤：

确认完成数据交换，生成数据交换反馈。

另一方面，本发明实施例提出了一种数据交换的系统，包括：

第一模块，用于获取待交换数据；

第二模块，用于对所述待交换数据进行预处理；

第三模块，用于对预处理后的待交换数据进行日志记录，生成第一对账文件；

第四模块，用于对所述待交换数据进行数据交换，得到待比对数据；

第五模块，用于对对所述待比对数据进行日志记录，生成第二对账文件；

第六模块，用于根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据；若否，则重新获取待交换数据。

进一步地，所述系统还包括：

第七模块，用于监测所述系统，并记录每个节点的实时负载。

进一步地，所述系统还包括：

第八模块，用于根据所述第七模块获得的所述实时负载，调节每个节点的工作负载。

另一方面，本发明实施例提供了一种数据交换的装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的数据交换的方法。

另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的数据交换的方法。

本发明公开了一种数据交换的方法，具备如下有益效果：

本实施例通过获取待交换数据，并对所述待交换数据进行预处理，接着对预处理后的待交换数据进行日志记录，生成第一对账文件，以记录待交换数据的数据特征，方便后续步骤验证待比对数据的准确性；然后，对所述待交换数据进行数据交换，得到待比对数据；对所述待比对数据进行日志记录，生成第二对账文件，从而记录待对比数据的数据特征，以便后续步骤进行调用；根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述交换后的数据，从而确认交换后的数据的准确性。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明实施例提供的一种数据交换平台的模块框图；

图2为本发明实施例提供的一种数据交换平台的硬件结构图；

图3为本发明实施例提供的一种数据交换的方法的流程示意图；

图4为本发明实施例提供的一种数据交换的系统的结构示意图；

图5为本发明实施例提供的一种数据交换的装置的结构示意图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明实施例的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数，“至少一个”是指一个或者多个，“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

需要说明的是，本发明实施例中设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明实施例中的具体含义。例如，术语“连接”可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连。

在本发明实施例的描述中，参考术语“一个实施例/实施方式”、“另一实施例/实施方式”或“某些实施例/实施方式”、“在上述实施例/实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本公开的至少两个实施例或实施方式中。在本公开中，对上述术语的示意性表述不一定指的是相同的示实施例或实施方式。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或实施方式中以合适的方式结合。

需要说明的是，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

数据交换(Data Switching)是指在多个数据终端设备之间，为任意两个终端设备建立数据通信临时互连通路的过程。相关技术中，多数数据交换平台采用框架和插件的架构构建数据交换平台，框架以数据交换引擎为核心、插件即数据交换中间件，框架处理了并发、缓存等高速数据交换的大部分技术问题，并提供了简单的接口与插件交互，数据交换中间件将转换后的数据存储到异构系统中，实现异构数据之间的高速交换。但以上方案功能单一，通用性和灵活性差，且采用的部分技术已过时，使得在原有数据交换平台上进行数据传输和管理的效率越来越低，并且无法保证数据交换的可靠性。

为此，本申请提出了一种数据交换的方法、系统、装置及存储介质，通过获取待交换数据，并对所述待交换数据进行预处理，接着对预处理后的待交换数据进行日志记录，生成第一对账文件，以记录待交换数据的数据特征，方便后续步骤验证待比对数据的准确性；然后，对所述待交换数据进行数据交换，得到待比对数据；对所述待比对数据进行日志记录，生成第二对账文件，从而记录待对比数据的数据特征，以便后续步骤进行调用；根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述交换后的数据，从而确认交换后的数据的准确性。

参照图1，图1是本申请实施例中，提供了一种数据交换平台，包括第一数据获取模块101、第一数据库102、第二数据获取模块103、第二数据库104、对账模块105和数据交换中心106。其中，第一数据获取模块101用于获取待交换的数据，并将其传输至第一数据库102中。同理，第二数据获取模块103用于获取待交换的数据，并将其传输至第二数据库104中。第一数据库102和第二数据库104用于存储待交换的数据以及数据交换中心106传输的交换后的数据。数据交换中心106用于交换第一数据库102和第二数据库104中的数据，并根据交换的数据生成对账文件，再将所述对账文件发送至对账模块105中。对账模块105用于进行对账操作，以确保数据交换的准确性。需要说明的是，本申请实施例中仅示例性地给出数据交换平台的一部分模块，数据交换平台还可以包括其他现有的数据交换平台中包含的其他模块，以实现相应的功能，具体不作限定。

参照图2，图2是本申请各实施例涉及的数据交换平台的硬件结构示意图。本申请实施例中，数据交换平台可以包括处理器201(例如中央处理器Central Processing Unit、CPU)，通信总线202，输入端口203，输出端口204，存储器205。其中，通信总线202用于实现这些组件之间的连接通信；输入端口203用于数据输入；输出端口204用于数据输出，存储器205可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器205可选的还可以是独立于前述处理器201的存储装置。本领域技术人员可以理解，图2中示出的硬件结构并不构成对本申请的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图2，图2中作为一种可读存储介质的存储器205可以包括操作系统、网络通信模块、应用程序模块以及控制程序。在图2中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器201可以调用存储器205中存储的数据交换平台的控制程序，并执行本申请实施例提供的数据交换的方法。

基于图1和图2所示的数据交换平台，如图3所示，本申请实施例提供了一种空调器的控制方法，包括但不限于步骤S301、S302、S303、S304和S305：

S301、获取待交换数据。

需要说明的是，在步骤S301中的待交换数据可以为任何形式的数据，如：音乐、视频、图片和文字等数据。待交换数据可以通过如图1所示的第一数据获取模块101或者第二数据获取模块103获取。具体地，用户可以使用各种终端设备(如：智能手机、智能平板和电脑等)通过http协议接入第一数据获取模块101或者第二数据获取模块103的网络通信模块，并向第一数据获取模块101或者第二数据获取模块103中传输待交换的数据。可以理解的是，用户还可以使用终端设备下载对应的应用程序，应用程序上设置有自定义的显示界面，用户可以在显示界面上进行某种交互操作(如点击、触控、手势、输入框输入、下拉菜单选择等等)从而触发对应的操作指令给终端的通信模块，通信模块收到该操作指令之后调用需要发送的待交换的数据，进而将待交换的数据发送至第一数据获取模块101或者第二数据获取模块103中。

S302、对所述待交换数据进行预处理。

可选地，本实施例中步骤S302还可以进一步分为以下步骤：

对所述待交换数据按照预设分类方法进行封装；

将封装后的数据加载到缓冲区。

为了可靠和准确地发送到目的地，并且高效地利用传输资源，在步骤S302中，需要对待交换数据进行预处理。首先需要对待交换的数据按照预设的分类方法进行封装，例如：当该数据交换方法应用在检务领域时，则可以按照检察院的单位编码和部门受案号进行封装。然后，将封装后的数据加载到缓冲区。其中，缓冲区是前端用来存储、操纵数据的对象，可以用于存储查询到的数据。本实施例通过将待交换数据进行封装，并加载到缓冲区中，能够更加可靠和准确地将待交换数据发送到目的地，即提高了后续数据交换的可靠性，并且更能高效地利用传输资源。同时，将待交换数据加载到缓冲区中，能够方便后续步骤对待交换数据进行日志记录，提高数据的交换效率。

S303、对预处理后的待交换数据进行日志记录，生成第一对账文件。

需要说明的是，步骤S303中的第一对账文件是待交换数据在进行数据交换前，根据待交换数据的数据特征生成的。第一对账文件中包含待交换数据的部分或全部数据特征，用于和第二对账文件进行对账操作，从而判断数据的一致性。具体地，当第一数据获取模块101收到数据交换的请求时，将待交换数据传输给第一数据库102。第一数据库102在收到数据后，按照用户的需求对待交换的数据进行封，并将封装后的数据加载到缓冲区中去。接着，数据交换中心106对缓冲区中的数据进行日志记录并生成对应的第一对账文件。为了保证数据的准确性和可追溯性，数据交换中心106通过MQ消息队列对待交换数据重新排序并进行存储。可以理解的是，当第一数据获取模块103收到数据交换的请求时也同理。其中，消息队列是一种异步的服务间通信方式，是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。使用较多的消息队列有RocketMQ、RabbitMQ、Kafka。本实施例通过，对待交换数据进行日志记录并生成对应的第一对账文件，从而可以记录数据在交换前的数据特征，以便后续步骤调用该数据特征来判断数据交换的一致性。

S304、对所述待交换数据进行数据交换，得到待比对数据。

在步骤S304中，对待交换的数据进行数据交换，使目标数据库获得数据。需要说明的是，待对比数据是指待交换数据进行数据交换后，到达目标数据库的数据，并且该数据需要在后续步骤中进行比对(即进行对账操作)以进一步验证数据的准确性。具体地，第一数据库102将数据发送至数据交换中心106进行数据交换，向第二数据库104中传输数据，使得第二数据库中得到待对比数据。

S305、对所述待比对数据进行日志记录，生成第二对账文件。

与步骤S303类似，第二对账文件是根据待对比数据的数据特征生成的。第二对账文件中包含待对比数据的部分或全部数据特征，用于和第一对账文件进行对账操作，从而判断数据的一致性。

S306、根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据，若否，则重新获取待交换数据。

根据前面的描述，为了确保数据交换的一致性，需要对第一对账文件和第二对账文件进行对账操作。

可选地，本实施例中，第一对账文件包括日志文件和源端文件，第二对账文件包括数据文件，步骤S306还可以进一步分为以下步骤：

根据所述日志文件和所述数据文件进行对账操作；

根据所述源端文件和所述数据文件进行对账操作。

在本实施例中，对账操作分为两部分，一是日志文件与数据文件的对账。对账模块105对最终的数据文件和日志文件进行比对和差错修复；二是数据文件与源端文件的对账。对账模块对最终的数据文件和源端本地应答队列进行比对，确保数据的一致性。其中，第一对账文件中的日志文件是通过步骤S303日志记录生成的文件，第一对账文件中的源端文件可以通过获取原数据包的形式进行获取；第二对账文件中的数据文件是通过步骤S305日志记录生成的文件。具体地，对账模块105从数据交换中心106中获取第一对账文件以及第二对账文件，并进行对账操作，首先对数据文件和日志文件进行比对，当数据文件和日志文件不相对应时，重新获取待交换数据，以对错误的数据进行修复。接着，对最终的数据文件和源端本地应答队列进行比对，从而确保数据交换的一致性。

在一些实施例中，在所述若否，则重新获取待交换数据这一步骤之后，还包括以下步骤：

将所述待比对数据删除。

在本实施例中，若判断数据交换后的数据不一致时，则在重新获取待交换数据后，将待对比数据进行删除。通过这种方法可以有效地剔除错误数据，避免错误数据占用过多的存储空间。

可选地，数据交换平台还可以设有第七模块(图中未标出)。

第七模块，用于监测所述系统，并记录每个节点的实时负载。

通过设置第七模块，可以清楚的观测到各个数据上传节点的实时负载，以便运营人员对数据交换平台进行维护和改良。

可选地，数据交换平台还可以设有第八模块(图中未标出)。

第八模块，用于根据所述第七模块获得的所述实时负载，调节每个节点的负载。

通过设置第七模块，可以实时调节各个数据上传节点的负载，从而避免数据交换平台的数据节点因高负荷运行而导致的数据丢失。

基于前面描述，以在检务领域、用户通过下载对应的应用程序上传数据、数据交换中心设有第七模块和第八模块为例，本申请实施例的一种数据交换方法具体包括以下步骤：

获取待交换数据；

对所述待交换数据进行封装，并将封装后的数据加载到缓冲区中；

对缓冲区中的待交换数据进行日志记录，生成第一对账文件；

对所述待交换数据进行数据交换，得到待比对数据；

对缓冲区中的待比对数据进行日志记录，生成第二对账文件；

根据第一对账文件的日志文件和第二对账文件的数据文件进行对账操作；

根据第一对账文件的源端文件和第二对账文件的数据文件进行对账操作。

判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据；若否，则重新获取待交换数据。

示例性地，用户使用终端设备下载对应的应用程序，应用程序上设置有自定义的显示界面，用户可以在显示界面上点击“数据交换”，从而触发对应的操作指令给终端的通信模块，通信模块收到该操作指令之后调用需要发送的待交换的数据，进而将待交换的数据发送至第一数据获取模块101或者第二数据获取模块103中。第一数据获取模块101或者第二数据获取模块103按照检察院的单位编码和部门受案号进行封装，然后，将封装后的数据加载到缓冲区。接着，数据交换中心106对缓冲区中的数据进行日志记录并生成对应的第一对账文件。为了保证数据的准确性和可追溯性，数据交换中心106通过MQ消息队列对待交换数据重新排序并进行存储。随后，第一数据库102将数据发送至数据交换中心106进行数据交换，向第二数据库104中传输数据，使得第二数据库中得到待对比数据，并生成对应的第二对账文件。对账模块105从数据交换中心106中获取第一对账文件以及第二对账文件，并进行对账操作，首先对数据文件和日志文件进行比对，当数据文件和日志文件不相对应时，重新获取待交换数据，以对错误的数据进行修复。接着，对最终的数据文件和源端本地应答队列进行比对，从而确保数据交换的一致性。

由上述内容可知，本申请通过获取待交换数据，并对所述待交换数据进行预处理，接着对预处理后的待交换数据进行日志记录，生成第一对账文件，以记录待交换数据的数据特征，方便后续步骤验证待比对数据的准确性；然后，对所述待交换数据进行数据交换，得到待比对数据；对所述待比对数据进行日志记录，生成第二对账文件，从而记录待对比数据的数据特征，以便后续步骤进行调用；根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述交换后的数据，从而确认交换后的数据的准确性。

参照图4，本发明实施例提出的一种数据交换的系统，包括：

第一模块401，用于获取待交换数据；

第二模块402，用于对所述待交换数据进行预处理；

第三模块403，用于对预处理后的待交换数据进行日志记录，生成第一对账文件；

第四模块404，用于对所述待交换数据进行数据交换，得到待比对数据；

第五模块405，用于对对所述待比对数据进行日志记录，生成第二对账文件；

第六模块406，用于根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述交换后的数据；若否，则重新获取待交换数据。

第七模块407，用于监测所述系统，并记录每个节点的实时负载。

第八模块408，用于根据所述第七模块获得的所述实时负载，调节每个节点的负载。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图5，本发明实施例提供了一种数据交换的装置，包括：

至少一个处理器501；

至少一个存储器502，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器501执行时，使得所述至少一个处理器301实现图3所示的数据交换的方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现图3所示数据交换的方法。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种数据交换的方法，其特征在于，包括以下步骤：

获取待交换数据；

对所述待交换数据进行预处理；

对预处理后的待交换数据进行日志记录，生成第一对账文件；

对所述待交换数据进行数据交换，得到待比对数据；

对所述待比对数据进行日志记录，生成第二对账文件；

根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据；若否，则重新获取待交换数据。

2.根据权利要求1所述的数据交换的方法，其特征在于，在所述重新获取待交换数据这一步骤之后，还包括：

将所述待比对数据删除。

3.根据权利要求1所述的数据交换的方法，其特征在于，所述第一对账文件包括日志文件和源端文件，所述第二对账文件包括数据文件，所述根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，具体包括以下步骤：

根据所述日志文件和所述数据文件进行对账操作；

根据所述源端文件和所述数据文件进行对账操作。

4.根据权利要求1所述的数据交换的方法，其特征在于，所述对所述待交换数据进行预处理，具体包括以下步骤：

对所述待交换数据按照预设分类方法进行封装；

将封装后的数据加载到缓冲区。

5.根据权利要求1所述的数据交换的方法，其特征在于，在所述对所述待交换数据进行数据交换之后，所述方法还包括以下步骤：

确认完成数据交换，生成数据交换反馈。

6.一种数据交换的系统，其特征在于，包括：

第一模块，用于获取待交换数据；

第二模块，用于对所述待交换数据进行预处理；

第三模块，用于对预处理后的待交换数据进行日志记录，生成第一对账文件；

第四模块，用于对所述待交换数据进行数据交换，得到待比对数据；

第五模块，用于对对所述待比对数据进行日志记录，生成第二对账文件；

第六模块，用于根据所述第一对账文件和所述第二对账文件，判断所述待交换数据与所述待比对数据是否一致，若是，则保存所述待比对数据；若否，则重新获取待交换数据。

7.根据权利要求5所述的数据交换的系统，其特征在于，所述系统还包括：

第七模块，用于监测所述系统，并记录每个节点的实时负载。

8.根据权利要求6所述的数据交换的系统，其特征在于，所述系统还包括：

第八模块，用于根据所述第七模块获得的所述实时负载，调节每个节点的工作负载。

9.一种数据交换的装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的数据交换的方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-5中任一项所述的数据交换的方法。

Images