CN110309184B - 一种航空运价数据的缓存方法及系统 - Google Patents

Abstract

本发明公开了一种航空运价数据的缓存方法及系统，首先将航空运价数据转换成一级缓存的数据格式，并存入一级缓存中，然后对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片生成分片数据，分片数据的每个数据节点中均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个数据子集组成可用分片算法的航空运价数据的数据全集，将分片数据生效后存储至二级缓存中。由于缓存至二级缓存的分片数据的每个数据节点中，仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

Description

一种航空运价数据的缓存方法及系统

技术领域

本发明涉及航空运输信息技术领域，更具体的说，涉及一种航空运价数据的缓存方法及系统。

背景技术

随着互联网技术的兴起和在线旅游市场的迅猛发展，网上预订和购买机票成为很多旅客出行方式的首选。然而，海量的机票搜索和预订请求，以及机票价格即时发布并生效的需求，对运价计算系统和运价搜索系统带来了新的挑战。

现有技术在进行数据缓存时，先将所有的生效数据从数据库导出，生成数据文件并压缩，然后利用数据分发网络，将压缩的数据文件分发到各个缓存服务的数据节点主机；当各个数据代理(一种后台程序)检测到数据文件达到本数据节点后，将压缩的数据文件进行解压，对解压后的数据进行完整性校验，并根据数据配置生成索引文件；数据代理将数据和索引文件装载到内存中使缓存生效。当用户请求机票价格数据时，机票计算网络服务会把用户请求转到数据代理，由数据代理从服务器的内存shm中搜索并计算出机票价格数据返回给用户。

由于现有技术缓存的数据副本都是全集，因此，缓存系统没有水平扩展能力，随着缓存数据总量的增大，内存资源会成为瓶颈，导致缓存系统的水平扩展能力较差。

发明内容

有鉴于此，本发明公开一种航空运价数据的缓存方法及系统，以提升缓存系统的水平扩展能力。

一种航空运价数据的缓存方法，包括：

将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集；

将所述分片数据生效后存储至二级缓存中。

可选的，所述一级缓存为Redis集群。

可选的，所述二级缓存为Linux内核级共享内存。

可选的，所述对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，具体包括：

将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集，m为正整数；

对各个所述数据子集按照包含的数据条数从大到小排序；

将获取的节点配置信息添加至第一预设列表，其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}；

将每个所述数据子集中的航空运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航空运价数据删除，直至所述数据子集中包含的航空运价数据清零；

将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成所述分片数据的各个数据节点。

可选的，还包括：

将被访问航空运价数据在所述二级缓存中的数据放置第二预设列表中；

判断所述被访问航空运价数据在所述一级缓存中是否有增量数据；

如果是，则从所述一级缓存中读取所述增量数据；

对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

可选的，所述预设融合算法为：将所述增量数据中操作时间早于第一时间的数据丢弃，其中，所述第一时间为：将所述被访问航空运价数据在所述二级缓存中的数据放置所述第二预设列表中的时间；如果所述增量数据的操作为删除，则删除所述第二预设列表中对应的数据；如果所述增量数据的操作为修改，则修改所述第二预设列表中对应的数据；如果所述增量数据的操作为插入数据，则在所述第二预设列表中插入对应的数据。

一种航空运价数据的缓存系统，包括：

转换单元，用于将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

生成单元，用于对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集；

存储单元，用于将所述分片数据生效后存储至二级缓存中。

可选的，所述生成单元，具体包括：

分类子单元，用于将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集，m为正整数；

排序子单元，用于对各个所述数据子集按照包含的数据条数从大到小排序；

添加子单元，用于将获取的节点配置信息添加至第一预设列表，其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}；

数据放置子单元，用于将每个所述数据子集中的航空运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航空运价数据删除，直至所述数据子集中包含的航空运价数据清零；

生成子单元，用于将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成所述分片数据的各个数据节点。

可选的，还包括：

放置单元，用于将被访问航空运价数据在所述二级缓存中的数据放置第二预设列表中；

判断单元，用于判断所述被访问航空运价数据在所述一级缓存中是否有增量数据；

读取单元，用于在所述判断单元判断为是的情况下，则从所述一级缓存中读取所述增量数据；

融合单元，用于对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

从上述的技术方案可知，本发明公开了一种航空运价数据的缓存方法及系统，首先将航空运价数据转换成一级缓存的数据格式，并存入一级缓存中，然后对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个数据子集组成可用分片算法的航空运价数据的数据全集，将分片数据生效后存储至二级缓存中。由于缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种航空运价数据的缓存方法采用的分布式二级缓存架构图；

图2为本发明实施例公开的一种航空运价数据的缓存方法流程图；

图3为本发明实施例公开的一种数据分片示意图；

图4为本发明实施例公开的一种对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据的方法流程图；

图5为本发明实施例公开的一种一级缓存和二级缓存的融合方法流程图；

图6为本发明实施例公开的一种航空运价数据的缓存系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种航空运价数据的缓存方法及系统，首先将航空运价数据转换成一级缓存的数据格式，并存入一级缓存中，然后对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个数据子集组成可用分片算法的航空运价数据的数据全集，将分片数据生效后存储至二级缓存中。由于缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

参见图1，本发明公开的一种航空运价数据的缓存方法采用的分布式二级缓存架构图，图1中的虚线框标识了分布式二级缓存架构的组成部分，分布式二级缓存架构主要包括：数据同步服务模块、一级缓存、二级缓存更新模块、二级缓存和数据访问接口模块，其中，分布式二级缓存架构中包括两个一级缓存和多个二级缓存。

数据同步服务模块，分别与数据录入系统和数据库连接，主要作用是处理航空公司数据提交请求，对提交数据进行分析处理后，存入一级缓存的全局数据区和增量数据区。

一级缓存，是一种key-value型内存存储系统，本发明采用Redis集群作为一级缓存。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、键值对(Key-Value)的高性能存储系统。

二级缓存更新模块，主要作用是将机票价格数据分发到各个二级缓存集群节点上。

数据访问接口模块，主要表现形式是一个C++运行时库，为运价计算系统和运价搜索系统提供访问运价数据的接口。

二级缓存，是一块线性内存表，本发明采用linux下的共享内存Shm，Shm是Linux内核级共享内存，是linux下的进程之间的一种通信方法。

参见图2，本发明一实施例公开的一种航空运价数据的缓存方法流程图，该方法包括步骤：

步骤S101、将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

从业务数据标准来看，航空运价数据是由航空公司发布，并由机票价格及使用该机票价格需要满足的一系列规则组成。

从数据格式来看，机票价格发布时会指定航班始发城市(机场)和航班目的城市(机场)。使用机票价格所需满足的规则表具有规则ID唯一标识。规则细节数据则通过规则ID与规则表关联。

从本质上看，运价计算系统和运价搜索系统的主要业务时查询从航班始发城市(机场)到航班目的城市(机场)的机票价格及服务，因此，机票价格和规则时相互依赖的，查询机票价格必然进行规则校验，机票价格和规则是一体的。为实现数据分片算法，必须将机票价格、规则表和规则细节数据综合在一起，否则在计算和机票价格查询时会造成数据上的割裂。

基于上述论述可知，为实现数据分片算法，需要对机票价格、规则表和规则细节数据进行预处理。本发明采用关联数据合并方法，具体是将机票价格、规则表和规则细节数据转换成一个二进制数据存储到一级缓存中。经过这种处理，在查询机票价格时，也可以查询到规则表和规则细节数据，不仅为数据分片算法提供了数据条件，而且也极大的减少了数据的访问频率，从而提升了系统性能。

步骤S102、对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据；

其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集。

在实际应用中，可以将航班始发城市和航班目的城市简称为OD，其中O指的是航班始发城市(Origin City，简称为O)，D指的是航班目的城市(Destination City，简称为D)。

数据分片，指的是按照一定的规则，将数据集划分成相互独立和正交的数据子集，然后将数据子集分布到不同的数据节点上。

业界对于数据分片的方式主要有以下三种：①、hash方式；②、一致性hash(consistent hash)和③、按照数据范围(range based)。从运价计算特性来看，这三种方式都不是最优的数据分片方式，运价计算业务是单请求高频查询内存的业务(最高达万次)。按上述三种方式，用户请求的响应可能不达标，这也是现有技术方案不做数据分片的原因。本申请的发明人经过研究发现，运价计算系统和运价搜索系统的本质是按照OD计算和检索机票价格，在业务处理时，低于复查行程也是将其拆分成多个OD来查询和计算，因此，本申请采用基于OD的数据分片方法，是相对最优的解决方案。

具体的，参见图3，本发明一实施例公开的数据分片示意图，图3中，数据集A为可用分片算法的航空运价数据的数据全集，数据集B为不可用分片算法的航空运价数据的数据全集，A1、A2、.....、An表示数据集A的相互独立、正交的数据子集，分片后，A1、A2、.....、An会分布到数据节点1节点2、......节点n中，数据集B在所有的数据节点中都有数据副本。

步骤S103、将所述分片数据生效后存储至二级缓存中。

综上可知，本发明公开的数据缓存方法，首先将航空运价数据转换成一级缓存的数据格式，并存入一级缓存中，然后对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个数据子集组成可用分片算法的航空运价数据的数据全集，将分片数据生效后存储至二级缓存中。由于缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

上述实施例中，在将航空运价数据转换成一级缓存的数据格式，也即在对航空运价数据进行预处理时，分两种情况，第一种是全量数据处理，第二中是系统运行时数据处理，下面分别针对这两种情况进行说明。

全量数据处理：在系统开始部署时，由于一级缓存的数据结构与数据库是不同的，因此为让系统正常运行，需要将数据库中存储的有效的航空运价数据全部按照一级缓存的数据结构存入。

全量数据预处理流程为：数据同步服务模块(见图1)启动，如果数据同步服务模块中的配置项bLoadAll的值为1时，数据同步服务模块读取配置文件，按照配置文件的顺序到数据库中读取相应的航空运价数据，如果所述航空运价数据不需要预处理，则直接调用Key-Value生成引擎，将航空运价数据生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中；如果所述航空运价数据需要预处理，则将航空运价数据生成数据对象，并对生成的数据对象序列化，通过调用Key-Value生成引擎，将序列化的数据对象生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中。

系统运行时数据处理：为保证数据的完整性，将录入系统的每一条航空运价数据，都保存到一级缓存中。

系统运行时数据处理流程为：数据同步服务模块(见图1)接收到数据录入系统保存数据的请求；如果航空运价数据不需要预处理，则直接调用Key-Value生成引擎，将航空运价数据生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中；如果所述航空运价数据需要预处理，则将航空运价数据生成数据对象，并对生成的数据对象序列化，通过调用Key-Value生成引擎，将序列化的数据对象生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中。

在实际应用中，具体将生成的以及缓存的数据格式存入一级缓存的全局数据区和增量数据区。

为进一步优化上述实施例，参见图4，本发明一实施例公开的一种对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据的方法流程图，该方法包括步骤：

步骤S201、将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集；

其中，每个数据子集中包含的航空运价数据的航班始发城市和航班目的城市相同，m为正整数。

步骤S202、对各个所述数据子集按照包含的数据条数从大到小排序；

需要说明的是，可用分片算法的航空运价数据在一级缓存中以表格的形式存储，在按照航班始发城市和航班目的城市分类成m个不同的数据子集后，每一个数据子集中包含的航空运价数据也是基于航班始发城市和航班目的城市以表格的形式存储，因此，每个数据子集中包含的数据条数也即该数据子集中包含的相同的航班始发城市和航班目的城市的航空运价数据的数量。

步骤S203、将获取的节点配置信息添加至第一预设列表；

其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}。

步骤S204、将每个所述数据子集中的航空运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航空运价数据删除，直至所述数据子集中包含的航电运价数据清零；

其中，每次将航空运价数据放置数据条数最少的数据列表中后，该数据列表对应的数据条数也相应加一。

步骤S205、将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成分片数据的各个数据节点。

综上可知，由于本发明缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

本领域技术人员知晓，传统的机票价格缓存方法无法实现航空运价数据的实时生效，为解决这一技术问题，本发明在上述实施例的基础上，将一级缓存和二级缓存的数据进行了融合，使得基于二级缓存保存的是存量生效机票价格数据，一级缓存保存的是所有机票价格数据及增量机票价格数据，存量数据和增量数据经过一定算法融合之后形成全量的机票价格数据，从而解决了航空运价数据发布后的实时性问题。

本发明的一级缓存和二级缓存融合技术解决了航空运价数据发布后的实时性问题，具体实现方法是将增量操作保存至一级缓存中，保存至一级缓存中的增量操作的数据结构如下表1：

表1

其中，一级缓存和二级缓存的融合工作是在数据访问接口模块中实现的。

参见图5，本发明一实施例公开的一种一级缓存和二级缓存的融合方法流程图，该方法包括步骤：

步骤S301、将被访问航空运价数据在二级缓存中的数据放置第二预设列表中；

步骤S302、判断所述被访问航空运价数据在一级缓存中是否有增量数据，如果是，则执行步骤S303；

步骤S303、从所述一级缓存中读取所述增量数据；

步骤S304、对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

其中，预设融合算法为：将增量数据中操作时间早于第一时间的数据丢弃，其中，第一时间为：将被访问航空运价数据在二级缓存中的数据放置第二预设列表中的时间；如果增量数据的操作为删除，则删除所述第二预设列表中对应的数据；如果所述增量数据的操作为修改，则修改所述第二预设列表中对应的数据；如果所述增量数据的操作为插入数据，则在所述第二预设列表中插入对应的数据。

需要说明的是，针对增量数据的删除，在数据同步服务模块中有一个计时器，通过该计时器定时去删除所有过时的增量数据。

与上述方法实施例相对应，本发明还公开了一种航空运价数据的缓存系统。

参见图6，本发明一实施例公开的一种航空运价数据的缓存系统的结构示意图，该系统包括：

转换单元401，用于将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

从业务数据标准来看，航空运价数据是由航空公司发布，并由机票价格及使用该机票价格需要满足的一系列规则组成。

从数据格式来看，机票价格发布时会指定航班始发城市(机场)和航班目的城市(机场)。使用机票价格所需满足的规则表具有规则ID唯一标识。规则细节数据则通过规则ID与规则表关联。

从本质上看，运价计算系统和运价搜索系统的主要业务时查询从航班始发城市(机场)到航班目的城市(机场)的机票价格及服务，因此，机票价格和规则时相互依赖的，查询机票价格必然进行规则校验，机票价格和规则是一体的。为实现数据分片算法，必须将机票价格、规则表和规则细节数据综合在一起，否则在计算和机票价格查询时会造成数据上的割裂。

基于上述论述可知，为实现数据分片算法，需要对机票价格、规则表和规则细节数据进行预处理。本发明采用关联数据合并方法，具体是将机票价格、规则表和规则细节数据转换成一个二进制数据存储到一级缓存中。经过这种处理，在查询机票价格时，也可以查询到规则表和规则细节数据，不仅为数据分片算法提供了数据条件，而且也极大的减少了数据的访问频率，从而提升了系统性能。

生成单元402，用于对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据；

其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集。

存储单元403，用于将所述分片数据生效后存储至二级缓存中。

综上可知，本发明公开的数据缓存系统，首先将航空运价数据转换成一级缓存的数据格式，并存入一级缓存中，然后对一级缓存中存储的航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个数据子集组成可用分片算法的航空运价数据的数据全集，将分片数据生效后存储至二级缓存中。由于缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

上述实施例中，在将航空运价数据转换成一级缓存的数据格式，也即在对航空运价数据进行预处理时，分两种情况，第一种是全量数据处理，第二中是系统运行时数据处理，下面分别针对这两种情况进行说明。

全量数据处理：在系统开始部署时，由于一级缓存的数据结构与数据库是不同的，因此为让系统正常运行，需要将数据库中存储的有效的航空运价数据全部按照一级缓存的数据结构存入。

全量数据预处理流程为：数据同步服务模块(见图1)启动，如果数据同步服务模块中的配置项bLoadAll的值为1时，数据同步服务模块读取配置文件，按照配置文件的顺序到数据库中读取相应的航空运价数据，如果所述航空运价数据不需要预处理，则直接调用Key-Value生成引擎，将航空运价数据生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中；如果所述航空运价数据需要预处理，则将航空运价数据生成数据对象，并对生成的数据对象序列化，通过调用Key-Value生成引擎，将序列化的数据对象生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中。

系统运行时数据处理：为保证数据的完整性，将录入系统的每一条航空运价数据，都保存到一级缓存中。

系统运行时数据处理流程为：数据同步服务模块(见图1)接收到数据录入系统保存数据的请求；如果航空运价数据不需要预处理，则直接调用Key-Value生成引擎，将航空运价数据生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中；如果所述航空运价数据需要预处理，则将航空运价数据生成数据对象，并对生成的数据对象序列化，通过调用Key-Value生成引擎，将序列化的数据对象生成一级缓存的数据格式，然后调用数据存入接口，存入一级缓存中。

在实际应用中，具体将生成的以及缓存的数据格式存入一级缓存的全局数据区和增量数据区。

为进一步优化上述实施例，上述实施例中的生成单元402具体包括：

分类子单元，用于将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集，m为正整数；

排序子单元，用于对各个所述数据子集按照包含的数据条数从大到小排序；

添加子单元，用于将获取的节点配置信息添加至第一预设列表，其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}；

数据放置子单元，用于将每个所述数据子集中的航电运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航电运价数据删除，直至所述数据子集中包含的航电运价数据清零；

其中，每次将航电运价数据放置数据条数最少的数据列表中后，该数据列表对应的数据条数也相应加一。

生成子单元，用于将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成所述分片数据的各个数据节点。

综上可知，由于本发明缓存至二级缓存的分片数据的每个数据节点中，包含的均是不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，也就是说，每个数据节点中仅包含部分可用分片算法的航空运价数据，因此，相对于现有技术缓存的数据副本都是全集而言，本发明提升了缓存系统的水平扩展能力。

本领域技术人员知晓，传统的机票价格缓存方法无法实现航空运价数据的实时生效，为解决这一技术问题，本发明在上述实施例的基础上，将一级缓存和二级缓存的数据进行了融合，使得基于二级缓存保存的是存量生效机票价格数据，一级缓存保存的是所有机票价格数据及增量机票价格数据，存量数据和增量数据经过一定算法融合之后形成全量的机票价格数据，从而解决了航空运价数据发布后的实时性问题。

因此，为进一步优化上述实施例，数据缓存系统还可以包括：

放置单元，用于将被访问航空运价数据在所述二级缓存中的数据放置第二预设列表中；

判断单元，用于判断所述被访问航空运价数据在所述一级缓存中是否有增量数据；

读取单元，用于在所述判断单元判断为是的情况下，则从所述一级缓存中读取所述增量数据；

融合单元，用于对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

其中，预设融合算法为：将增量数据中操作时间早于第一时间的数据丢弃，其中，第一时间为：将被访问航空运价数据在二级缓存中的数据放置第二预设列表中的时间；如果增量数据的操作为删除，则删除所述第二预设列表中对应的数据；如果所述增量数据的操作为修改，则修改所述第二预设列表中对应的数据；如果所述增量数据的操作为插入数据，则在所述第二预设列表中插入对应的数据。

针对增量数据的删除，在数据同步服务模块中有一个计时器，通过该计时器定时去删除所有过时的增量数据。

需要说明的是，系统实施例中各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种航空运价数据的缓存方法，其特征在于，包括：

将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集；

将所述分片数据生效后存储至二级缓存中；

其中，所述对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，具体包括：

将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集，m为正整数；

对各个所述数据子集按照包含的数据条数从大到小排序；

将获取的节点配置信息添加至第一预设列表，其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}；

将每个所述数据子集中的航空运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航空运价数据删除，直至所述数据子集中包含的航空运价数据清零；

将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成所述分片数据的各个数据节点。

2.根据权利要求1所述的缓存方法，其特征在于，所述一级缓存为Redis集群。

3.根据权利要求1所述的缓存方法，其特征在于，所述二级缓存为Linux内核级共享内存。

4.根据权利要求1所述的缓存方法，其特征在于，还包括：

将被访问航空运价数据在所述二级缓存中的数据放置第二预设列表中；

判断所述被访问航空运价数据在所述一级缓存中是否有增量数据；

如果是，则从所述一级缓存中读取所述增量数据；

对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

5.根据权利要求4所述的缓存方法，其特征在于，所述预设融合算法为：将所述增量数据中操作时间早于第一时间的数据丢弃，其中，所述第一时间为：将所述被访问航空运价数据在所述二级缓存中的数据放置所述第二预设列表中的时间；如果所述增量数据的操作为删除，则删除所述第二预设列表中对应的数据；如果所述增量数据的操作为修改，则修改所述第二预设列表中对应的数据；如果所述增量数据的操作为插入数据，则在所述第二预设列表中插入对应的数据。

6.一种航空运价数据的缓存系统，其特征在于，包括：

转换单元，用于将航空运价数据转换成一级缓存的数据格式，并存入所述一级缓存中；

生成单元，用于对所述一级缓存中存储的所述航空运价数据，基于航班始发城市和航班目的城市进行数据分片，生成分片数据，其中，所述分片数据的每个数据节点中，均包含不可用分片算法的航空运价数据的数据全集副本以及可用分片算法的航空运价数据的数据子集，各个所述数据子集组成可用分片算法的航空运价数据的数据全集；

存储单元，用于将所述分片数据生效后存储至二级缓存中；

其中，所述生成单元，具体包括：

分类子单元，用于将所述一级缓存中存储的可用分片算法的航空运价数据，按照航班始发城市和航班目的城市分类成m个不同的数据子集，m为正整数；

排序子单元，用于对各个所述数据子集按照包含的数据条数从大到小排序；

添加子单元，用于将获取的节点配置信息添加至第一预设列表，其中，所述节点配置信息包括：节点名和节点地址，所述第一预设列表中的数据结构为{节点名，节点地址，数据条数，数据列表}；

数据放置子单元，用于将每个所述数据子集中的航空运价数据按照存储顺序依次放入所述第一预设列表中数据条数最少的数据列表中，并将所述数据子集中已放入所述数据列表中的航空运价数据删除，直至所述数据子集中包含的航电运价数据清零；

生成子单元，用于将所述第一预设列表中每个数据结构中的数据作为元数据，将每个所述元数据与不可用分片算法的航空运价数据的数据全集副本进行合并，生成所述分片数据的各个数据节点。

7.根据权利要求6所述的缓存系统，其特征在于，还包括：

放置单元，用于将被访问航空运价数据在所述二级缓存中的数据放置第二预设列表中；

判断单元，用于判断所述被访问航空运价数据在所述一级缓存中是否有增量数据；

读取单元，用于在所述判断单元判断为是的情况下，则从所述一级缓存中读取所述增量数据；

融合单元，用于对所述增量数据采用预设融合算法，得到所述一级缓存和所述二级缓存的融合结果。

Images