CN103888378A - 一种基于缓存机制的数据交换系统和方法 - Google Patents

Abstract

本发明提出一种基于缓存机制的数据交换系统和方法，其中系统包括：上游业务系统，用于向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；缓存系统，用于保存所述数据报文及对应的任务类型和业务主键；并保存所述任务主键的状态；数据中心，用于从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；还用于将缓存系统中该业务主键的状态修改为已处理状态，并删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。本发明能够在上游业务系统与下游系统之间设置缓存余地，减轻接口的业务复杂度高，从而提高交换成功率。

Description

一种基于缓存机制的数据交换系统和方法

技术领域

本发明涉及计算机互联网技术领域，尤其涉及一种基于缓存机制的数据交换系统和方法。

背景技术

在目前的电子商务平台上，上游业务系统向下游系统交换数据时一般采用调用网页服务（Webservice）接口的方式，如图1所示，Webservice接口的处理包括三大步骤：

第一，解析数据量大的XML报文，其中报文的大小不固定，几K到几百K不等；

第二，处理业务数据拼装实体参数，调用外部接口处理复杂业务逻辑等；

第三，数据库操作处理，插入业务数据库，持久化数据。

可见，现有方式中上游业务系统与下游系统之间没有缓存余地，二者之间的数据必须一次性传输，并且接口的业务复杂度高，容易交换失败。

发明内容

本发明提供了一种基于缓存机制的数据交换系统，能够在上游业务系统与下游系统之间设置缓存余地，减轻接口的业务复杂度高，从而提高交换成功率。

本发明还提供了一种基于缓存机制的数据交换方法，能够在上游业务系统与下游系统之间设置缓存余地，减轻接口的业务复杂度高，从而提高交换成功率。

本发明的技术方案是这样实现的：

一种基于缓存机制的数据交换系统，包括：

上游业务系统，用于向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

缓存系统，用于保存所述数据报文及对应的任务类型和业务主键；并保存所述任务主键的状态；

数据中心，用于从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；还用于将缓存系统中该业务主键的状态修改为已处理状态，并删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。

上述系统中，上游业务系统可以将数据报文对应的任务类型作为键（Key），将数据报文对应的业务主键作为域（Field），将数据报文作为值（Value），并将Key、Field和Value的对应关系写入缓存系统；并将Field的状态设置为待处理状态。

上述系统中，缓存系统可以包括：

Redis缓存，用于保存所述Key、Field和Value的对应关系；

数据库，用于保存Field的状态；

云存储系统，用于当所述Redis缓存出现故障时，保存上游业务系统所写入的Key、Field和Value的对应关系。

上述数据中心可以包括：

异步任务调度模块，用于从所述数据库获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述Redis缓存或云存储系统获取对应的数据报文，如果获取成功，则调度数据加工模块对所述数据报文进行校验，并将数据库中该业务主键的状态修改为已处理状态，删除Redis缓存或云存储系统中所保存的该任务类型、业务主键和数据报文的对应关系；

数据加工模块，用于在所述异步任务调度模块的调度下，对异步任务调度模块获取的数据报文进行校验，将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块；

存储模块，用于保存任务类型、业务主键和数据报文的对应关系。

上述异步任务调度模块还可以用于，调度所述数据加工模块对存储模块存储的数据报文进行组装；

数据加工模块还可以用于，在异步任务调度模块的调度下，将存储模块存储的数据报文组装成下游系统所需的数据，将组装完毕的数据保存入存储模块，并将组装完毕的数据同步至下游系统；

所述存储模块，还可以用于存储数据加工模块组装完毕的数据。

上述异步任务调度模块还可以用于，实时扫描所述存储模块保存的内容，如果出现异常则重新调度；

所述异步任务调度模块还可以用于，在数据加工模块将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块之前，判断存储模块中是否已存有该业务主键，如果没有，则指令数据加工模块将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块。

上述上游业务系统还可以用于，向缓存系统写入数据报文、对应的任务类型和业务主键之前，判断缓存系统中是否已存有该业务主键，如果没有，则向缓存系统写入数据报文、对应的任务类型和业务主键。

上述系统还可以包括监控系统，用于监控上游业务系统写入内容及数据中心读取内容时的响应时间及状态，还用于监控数据中心保存的数据报文的数据量。

一种基于缓存机制的数据交换方法，包括：

上游业务系统向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

数据中心从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。

上述方法中，上游业务系统向缓存系统写入数据报文、数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态的方式可以为：

上游业务系统将数据报文对应的任务类型作为键Key，将数据报文对应的业务主键作为域Field，将数据报文作为值Value，并将Key、Field和Value的对应关系写入缓存系统；并将Field的状态设置为待处理状态。

数据中心从缓存系统读取并保存待处理状态的业务主键所对应的数据报文的方式可以为：

从缓存系统获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述缓存系统获取对应的数据报文，如果获取成功，则对所述数据报文进行校验，保存校验完成的数据报文及与任务类型和业务主键的对应关系，并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中所保存的该任务类型、业务主键和数据报文的对应关系。

可见，本发明提出的基于缓存机制的数据交换系统和方法，通过在上游业务系统与下游系统之间设置缓存系统和数据中心，实现了在为数据交换提供缓冲缓存机制，并减小接口粒度，降低接口的业务复杂度，从而提高交换成功率。

附图说明

图1为现有技术中上游业务系统与下游系统的接口结构示意图；

图2为本发明提出的基于缓存机制的数据交换系统结构示意图；

图3为本发明实施例一的结构示意图；

图4为实施例一中数据中心的结构及与缓存池的连接关系示意图。

具体实施方式

本发明提出一种基于缓存机制的数据交换系统，如图2为该系统的结构示意图，包括：

上游业务系统210，用于向缓存系统220写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

缓存系统220，用于保存所述数据报文及对应的任务类型和业务主键；并保存所述任务主键的状态；

数据中心230，用于从所述缓存系统220读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；还用于将缓存系统220中该业务主键的状态修改为已处理状态，并删除缓存系统220中保存的该数据报文及对应的任务类型和业务主键。

上述系统中，上游业务系统210可以将数据报文对应的任务类型作为键（Key），将数据报文对应的业务主键作为域（Field），将数据报文作为值（Value），并将Key、Field和Value的对应关系写入缓存系统220；并将Field的状态设置为待处理状态。

上述缓存系统220可以包括：

Redis缓存221，用于保存所述Key、Field和Value的对应关系；

数据库222，用于保存Field的状态；

云存储系统223，用于当所述Redis缓存221出现故障时，保存上游业务系统210所写入的Key、Field和Value的对应关系。

上述系统中，数据中心230可以包括：

异步任务调度模块231，用于从所述数据库222获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述Redis缓存221或云存储系统223获取对应的数据报文，如果获取成功，则调度数据加工模块232对所述数据报文进行校验，并将数据库222中该业务主键的状态修改为已处理状态，删除Redis缓存221或云存储系统223中所保存的该任务类型、业务主键和数据报文的对应关系；

数据加工模块232，用于在所述异步任务调度模块231的调度下，对异步任务调度模块231获取的数据报文进行校验，将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块233；

存储模块233，用于保存任务类型、业务主键和数据报文的对应关系。

上述系统中，异步任务调度模块231还可以用于，调度所述数据加工模块232对存储模块233存储的数据报文进行组装；

数据加工模块232还可以用于，在所述异步任务调度模块231的调度下，将存储模块233存储的数据报文组装成下游系统所需的数据，将组装完毕的数据保存入存储模块233，并将组装完毕的数据同步至下游系统；

所述存储模块233，还可以用于存储所述数据加工模块232组装完毕的数据。

上述系统中，异步任务调度模块231还可以用于，实时扫描所述存储模块233保存的内容，如果出现异常则重新调度；

异步任务调度模块231还可以用于，在数据加工模块232将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块233之前，判断存储模块233中是否已存有该业务主键，如果没有，则指令数据加工模块232将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块233。

上述系统中，上游业务系统210还可以用于，向缓存系统220写入数据报文、对应的任务类型和业务主键之前，判断缓存系统220中是否已存有该业务主键，如果没有，则向缓存系统220写入数据报文、对应的任务类型和业务主键。

上述系统还可以包括监控系统240，用于监控上游业务系统210写入内容及数据中心230读取内容时的响应时间及状态，还用于监控数据中心230保存的数据报文的数据量。

以下结合附图举具体的实施例详细介绍。

实施例一：

本实施例介绍一个具体的基于缓存机制的数据交换系统。如图3为该数据交换系统的结构示意图，在上游业务系统与下游系统之间设置缓存池和数据中心。其中，在缓存池中，Redis缓存作为主要的缓存设备，云存储作为备份的缓存设备；当Redis缓存正常工作时，上游业务系统将数据报文写入Redis缓存；当Redis缓存出现故障时，上游业务系统将数据报文写入云存储。

应用图3所示的系统，上游业务系统向下游系统交换数据的过程包括以下几个部分：

第一部分：

上游业务系统调用上传（Upload）接口向Redis缓存写入数据报文，Upload接口只负责数据报文的写入。

在写入数据报文时，将数据报文作为值（Value），并需要按照数据报文对应的任务类型设计对应的键（Key），按照数据报文所包含数据所对应的业务主键设计对应的域（Field）。可以采用如下命令写入Redis缓存：

Redis Commond:HSET(Key,Field,Value)

如果Redis缓存出现故障，则上游业务系统调用Upload接口向云存储写入数据报文。

同时，上游业务系统调用上传Upload接口将Field写入一个数据库，该数据库为每个Field保存一个版本字段，用于表示该Field的状态。例如，版本字段为0时，表示对应Field的状态为待处理状态；版本字段为1时，表示对应Field的状态为已处理状态。初始状态下，上游业务系统向数据库写入Field时，将每个Field的状态均设置为待处理状态（也就是将对应的版本字段设置为0）。

第二部分：

数据中心调用下载（Download）接口从Redis缓存或云存储读取数据报文。

如图4为本实施例中数据中心的结构及与缓存池的连接关系示意图，其中，数据中心包括：异步任务调度模块、数据加工模块和存储模块。以下结合图4详细介绍数据中心从Redis缓存读取数据报文的具体方式。从云存储读取数据报文的具体方式与此类似。

首先，数据中心的异步任务调度模块调用Download接口，从上述数据库中提取待处理状态的Field（即版本字段为0的Field）；

接着，异步任务调度模块将待处理状态的Field与已知的Key结合，从Redis缓存读取对应的数据报文，可以采用多线程方式读取。读取的命令可以具体为：

Redis Commond:HGET(Key,Field)

如果读取成功，则异步任务调度模块将数据库中该Field的状态修改为已处理状态（也就是将Field的版本字段修改为0），同时删除Redis缓存中的该数据报文；如果没有读取成功，则不会更新Field的状态，而是由异步任务调度模块继续轮询等待待处理状态的Field，再次读取未读取成功的数据报文。

最后，在异步任务调度模块的调度下，数据中心的数据加工模块对读取的数据报文进行解析，校验数据报文的准确性和完整性，将符合业务逻辑的数据报文保存入数据中心的存储模块，存储的形式与在Redis缓存中的存储形式相同，即按照任务类型及业务主键以对象（Object）形式存储。

第三部分：

在异步任务调度模块的调度下，数据加工模块提取存储模块中的数据报文，将数据报文组装成下游系统所需的数据，所述的组装包括调用外部系统的接口、对数据进行转换等。前述过程采用单线程取数、多线程处理的方式。

之后，将组装完毕的数据同步至下游系统。

上述即为上游业务系统向下游系统交换数据报文的具体方式。本实施例提供的系统还能够实现任务补偿防重及容灾处理，具体可以包括：异步任务调度模块实时扫描数据中心的数据，只要有异常数据就不断重试；在向数据中心写入数据报文及同步数据库时，首先校验业务主键是否已经存在，如果已经存在则停止写入；上游业务系统向Redis缓存写入数据报文时，如果不成功，则自动切换向云存储写入数据报文，同时，数据中心在取数时优先下载云存储的数据。

此外，本实施例还设置监控系统，如图3所示，对上游业务系统向缓存池写入内容以及数据中心从缓存池下载内容时做响应时间监控及异常监控，并对数据中心的数据报文做数据量监控。

应用上述系统，本发明还提出一种基于缓存机制的数据交换方法，包括：

上游业务系统向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

数据中心从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。

上述方法中，上游业务系统向缓存系统写入数据报文、数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态的方式可以为：

上游业务系统将数据报文对应的任务类型作为Key，将数据报文对应的业务主键作为Field，将数据报文作为Value，并将Key、Field和Value的对应关系写入缓存系统；并将Field的状态设置为待处理状态。

数据中心从缓存系统读取并保存待处理状态的业务主键所对应的数据报文的方式可以为：

从缓存系统获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述缓存系统获取对应的数据报文，如果获取成功，则对所述数据报文进行校验，保存校验完成的数据报文及与任务类型和业务主键的对应关系，并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中所保存的该任务类型、业务主键和数据报文的对应关系。

综上可见，本发明提出的基于缓存机制的数据交换系统和方法，利用Redis支持哈希（Hash）数据类型的特点，合理设计哈希表的键（Key）与域（Field），将异步任务存入Redis队列，结合传统异步任务调度模式，合理划分队列，高效地处理数据及解决重试容灾等问题。本发明使用Redis缓存与云存储结合，给大数据提供缓冲缓存机制；降低接口复杂度，采取Upload/Download与异步重试提高接口成功率；减轻接口业务复杂度，减小接口粒度，提高了大数据交换对接口处理能力吞吐能力，解决大数据量带来的接口响应时间瓶颈。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种基于缓存机制的数据交换系统，其特征在于，所述系统包括：

上游业务系统，用于向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

缓存系统，用于保存所述数据报文及对应的任务类型和业务主键；并保存所述任务主键的状态；

数据中心，用于从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；还用于将缓存系统中该业务主键的状态修改为已处理状态，并删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。

2.根据权利要求1所述的系统，其特征在于，所述上游业务系统将数据报文对应的任务类型作为键Key，将数据报文对应的业务主键作为域Field，将数据报文作为值Value，并将Key、Field和Value的对应关系写入缓存系统；并将Field的状态设置为待处理状态。

3.根据权利要求2所述的系统，其特征在于，所述缓存系统包括：

Redis缓存，用于保存所述Key、Field和Value的对应关系；

数据库，用于保存Field的状态；

云存储系统，用于当所述Redis缓存出现故障时，保存上游业务系统所写入的Key、Field和Value的对应关系。

4.根据权利要求3所述的系统，其特征在于，所述数据中心包括：

异步任务调度模块，用于从所述数据库获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述Redis缓存或云存储系统获取对应的数据报文，如果获取成功，则调度数据加工模块对所述数据报文进行校验，并将数据库中该业务主键的状态修改为已处理状态，删除Redis缓存或云存储系统中所保存的该任务类型、业务主键和数据报文的对应关系；

数据加工模块，用于在所述异步任务调度模块的调度下，对异步任务调度模块获取的数据报文进行校验，将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块；

存储模块，用于保存任务类型、业务主键和数据报文的对应关系。

5.根据权利要求4所述的系统，其特征在于，所述异步任务调度模块还用于，调度所述数据加工模块对存储模块存储的数据报文进行组装；

所述数据加工模块还用于，在所述异步任务调度模块的调度下，将存储模块存储的数据报文组装成下游系统所需的数据，将组装完毕的数据保存入存储模块，并将组装完毕的数据同步至下游系统；

所述存储模块，还用于存储所述数据加工模块组装完毕的数据。

6.根据权利要求4或5所述的系统，其特征在于，所述异步任务调度模块还用于，实时扫描所述存储模块保存的内容，如果出现异常则重新调度；

所述异步任务调度模块还用于，在数据加工模块将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块之前，判断存储模块中是否已存有该业务主键，如果没有，则指令数据加工模块将校验完成的数据报文及与任务类型和业务主键的对应关系保存入存储模块。

7.根据权利要求1所述的系统，其特征在于，所述上游业务系统还用于，向缓存系统写入数据报文、对应的任务类型和业务主键之前，判断缓存系统中是否已存有该业务主键，如果没有，则向缓存系统写入数据报文、对应的任务类型和业务主键。

8.根据权利要求1所述的系统，其特征在于，所述系统还包括监控系统，用于监控上游业务系统写入内容及数据中心读取内容时的响应时间及状态，还用于监控数据中心保存的数据报文的数据量。

9.一种基于缓存机制的数据交换方法，应用于权利要求1所述的系统，其特征在于，所述方法包括：

上游业务系统向缓存系统写入数据报文、所述数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态；

数据中心从所述缓存系统读取并保存待处理状态的业务主键所对应的数据报文，将该数据报文组装成下游系统所需的数据，将组装完毕的数据同步至下游系统；并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中保存的该数据报文及对应的任务类型和业务主键。

10.根据权利要求9所述的方法，其特征在于，所述上游业务系统向缓存系统写入数据报文、数据报文对应的任务类型和业务主键，并将业务主键的状态设置为待处理状态的方式为：

上游业务系统将数据报文对应的任务类型作为键Key，将数据报文对应的业务主键作为域Field，将数据报文作为值Value，并将Key、Field和Value的对应关系写入缓存系统；并将Field的状态设置为待处理状态。

11.根据权利要求10所述的方法，其特征在于，所述数据中心从缓存系统读取并保存待处理状态的业务主键所对应的数据报文的方式为：

从缓存系统获取待处理状态的业务主键，根据该业务主键与已知的任务类型，从所述缓存系统获取对应的数据报文，如果获取成功，则对所述数据报文进行校验，保存校验完成的数据报文及与任务类型和业务主键的对应关系，并将缓存系统中该业务主键的状态修改为已处理状态，删除缓存系统中所保存的该任务类型、业务主键和数据报文的对应关系。

Images