CN110928839A - 国际运价数据的存储方法和系统 - Google Patents

Abstract

本发明公开了一种国际运价数据的存储方法和系统，该存储方法包括：合并ATPTO新发出的FTP文件；解析合并的所述FTP文件；将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；发送一消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。本发明极大地节省了空间开销，解决了数据访问延迟的缺陷，在接受数据更新滞后前提下，保证了数据的新鲜度和报价准确度。

Description

国际运价数据的存储方法和系统

技术领域

本发明涉及一种国际运价数据的存储方法和系统。

背景技术

国际运价计算面临三大挑战：如何提供全航线有竞争力的价格、如何保证国际运价数据更新的准确及时以及如何提供高性能低成本的服务。

在国际机票运价、销售及搜索整个链路中，ATPCO(Airline Tariff PublishingCompany)是全球最大的国际运价服务商之一，负责提供全球航空线路的运价数据，再将该运价数据分发给不同的在线旅游代理商OTA(Online Travel Agency)。随着时间的推移，国际运价数据量逐年快速增长，这对OTA的技术能力提出了更高的要求。当前全球有效运价数据超过1亿条，平均每天需要更新几十万条运价，而平均每小时则需更新1W多条运价和对应的规则，可见保证运价数据更新得及时准确面临着严峻的挑战。

如何将运价拆分为不同的价格单元是一个NP完全问题(Non-deterministicPolynomial，多项式复杂程度的非确定性问题)。但是为了提供更有竞争力的价格，尽管多价格单元的报价计算提升竞争优势，但和单价格单元相比，其计算复杂度呈指数级增长。

国际运价的计算量大，常用的分布式缓存系统，如Redis(键值存储系统)和Memcached(分布式内存对象缓存系统)，但网络延迟成为计算瓶颈，通常不适合作为运价存储系统。国际运价数据量通常50GB左右，计算过程中IO(输入输出)非常容易成为计算瓶颈。近年来，固态存储介质的出现，使存储的吞吐量和延迟性能得到极大的改善。一般的关系型数据库广泛作为应用数据的存储方案，但是，基于B-Tree(多路搜索树)存储引擎的内存数据库的空间利用率相对较差，B-Tree以page(页)作为最小存储单元，page存储过程中对齐和填充问题，引起其空间增强表现较差。

ATPCO文件以FTP(File Transfer Protocol，文件传输协议)文本文件的形式分发到不同的在线旅游代理商OTA，文本形式可读性较好，但是不利于计算机处理，和业界通用的二进制序列化方式如Protobuf(一种数据交换格式)或Thrift(一种软件框架)相比，相同数据大约增大33％左右。Protobuf存储结构中，为了保证其向后和向前兼容，Protobuf需要存储不同属性的标签、类型和长度等信息。然而运价数据单表常常涉及上百个维度，序列化标签、类型和长度会占用大量空间。

发明内容

本发明要解决的技术问题是为了克服现有技术中OTA对于国际运价的存储存在空间利用率差、数据访问延迟、数据更新速度慢的缺陷，提供一种国际运价数据的存储方法和系统。

本发明是通过以下技术方案解决上述技术问题的：

一种国际运价数据的存储方法，其特点在于，包括：

S₁、合并ATPTO新发出的FTP文件；

S₂、解析合并的所述FTP文件；

S₃、将解析的所述FTP文件生成NSD文件(一种二进制索引文件)，并将所述NSD文件存储至一分布式文件系统中；

S₄、发送一用于描述所述NSD文件的消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

S₅、各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

较佳地，所述NSD文件通过一序列化方式形成，所述序列化方式为：

S₃₁、去掉Protobuf序列化时使用的第一字段，所述第一字段包括标签、类型和长度，并增加一位模；

S₃₂、对所述FTP文件中结构化的数据的多个第二字段分别计算所述位模；

S₃₃、判断各第二字段的值是否为空或默认值，并在其中一判断结果为是时将所述第二字段的位模置为0，否则序列化所述第二字段。

较佳地，步骤S₅包括：

S₅₁、将各节点分批生成新的数据批次号和待拉取数据列表；

S₅₂、设置一拉取标识，生成所述运价服务集群对应的Zookeeper(一种分布式应用程序协调服务)节点的新的版本标识；

S₅₃、当监听到所述Zookeeper节点的新的版本标识时，判断本地内存数据是否为最新，若否，从所述分布式文件系统中拉取所述NSD文件，并将所述NSD文件进行Key(位置)压缩以更新至所述内存数据库中。

较佳地，步骤S₅之后包括：

S₆、对更新的数据创建一快照视图，并将所述快照视图的一引用计数器置为0；

S₇、判断前一个快照视图的所述引用计数器的值是否为0，若是，销毁所述快照视图。

较佳地，所述运价服务集群还设置一堆内LRU(Least recently used，最近最少使用)数据缓存。

较佳地，步骤S₅中的更新过程包括全量更新、增量更新和修复更新，所述更新过程采用一粗粒度事务机制。

较佳地，所述运价服务集群内设置一替换节点，步骤S₅之后包括：

S₈、获取原有节点中作为leader(领导)节点的快照版本的最近一次备份数据；

S₉、将所述备份数据拷贝至所述替换节点；

S₁₀、获取所述快照版本之后的所有快照版本的元数据，并在所述替换节点上逐个快照版本恢复滞后的数据。

较佳地，当所述运价服务集群内的一节点出现短时不可用时，出现短时不可用的所述节点的数据恢复机制如下：

S_a1、获取滞后的快照版本的元数据列表；

S_a2、判断所述滞后的快照版本的数量是否超过一阈值，若是，通过滞后的快照版本的备份数据来恢复出现短时不可用的所述节点的数据；若否，获取滞后的快照版本的NSD文件，并逐个快照版本恢复出现短时不可用的所述节点的数据。

较佳地，所述消息包括当前合并的FTP文件的批次号、前一个批次号、NSD文件总数、NSD文件根路径、NSD文件列表和文件摘要值。

本发明还提供一种国际运价数据的存储系统，其特点在于，包括：

一合并模块，用于合并ATPTO新发出的FTP文件；

一解析模块，用于解析合并的所述FTP文件；

一NSD文件生成模块，用于将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；

一数据分发模块，用于接收描述所述NSD文件的消息，并验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

一更新模块，用于判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

本发明的积极进步效果在于：本方案将FTP文件转化为NSD文件，极大地节省了空间开销，解决了数据访问延迟的缺陷，降低了服务成本。而将NSD文件分发至运价服务集群的各节点，在接受数据更新滞后前提下，保证了数据的新鲜度和报价准确度。

附图说明

图1为本发明实施例1的国际运价数据的存储方法内各对象的交互框架图。

图2为本发明实施例1的国际运价数据的存储方法流程图。

图3为本发明实施例2的国际运价数据的存储系统的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种国际运价数据的存储方法，如图1-2所示，包括：

步骤101、合并ATPTO新发出的FTP文件；

即合并为同一批次任务。该FTP文件包含国际运价数据。

步骤102、解析合并的所述FTP文件；

识别FTP文件内的数据的操作类型，并将该FTP文件存入中心化关系数据库里。

步骤103、将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；

该分布式文件系统可为CEPH(一种分布式存储系统)或HDFS(一种分布式文件系统)。

NSD文件是ATPCO分发运价数据时使用的文件格式，包括文件头、数据区和索引区。NSD文件格式定义如表1：

表1 NSD文件格式

文件头存储文件相关原数据，主要包含如下数据：数据长度(DataLength)；文件类型(FileType)：说明文件对应的数据表；Major版本(Major)；Minor版本(Minor)；Build版本(build)；Revision版本(Revision)；数据顺序(Order)：同一次更新，导致超过一定阀值5G，则拆分为多个文件，Order表示文件生成顺序；文件创建时间(DateCreateTime)；文件更新时间(DataUpdateTime)；数据长度；索引个数。

数据区用于存储序列化之后的二进制数据，不支持随机访问，只能严格通过索引获取起始位置偏移量。

索引区用于存储数据的位置以及相应的数据个数。其采用二级索引格式，能够有效减少NSD文件索引大小，节省文件传输开销，降低更新时延。因此可通过一级索引和二级索引确定一个Data(数据)对象的起始位置及数量。一级索引格式和二级索引格式分别如表2和表3所示。

例如：数据对象的起始位置为：(一级索引中KeyValuePair的Key值)+(二级索引中KeyValuePair的Key值)。

数据对象数量为：二级索引中KeyValuePair的Value值。

表2 一级索引格式

表3 二级索引格式

由于单个索引Key的Value本身是完整的，单次更新索引受影响的数据，必须全部提取出来生成NSD文件。

所述NSD文件通过高压缩比的序列化方式形成，所述序列化方式为：

步骤1031、去掉Protobuf序列化时使用的第一字段，所述第一字段包括标签、类型和长度，并增加一位模；

ATPCO发出的运价数据都是结构化的数据，原始数据中很多字段会大量使用Blank(空)或者默认值，这类数据大概占70％。如果在序列化和反序列化过程中不考虑序列化这类数据，可以进一步节省空间开销。

基础数据类型包括Byte、Short、Int、Long、Char等类型，其中Byte、Short、Int、Long、Char可以使用ZigZag32或ZigZag64编码为变长二进制。该编码方式不必严格按照数据类型的长度来表示，例如：一个Int类型数据，数值在-64到63之间，实际只会序列化为1个字节，而不是4个字节。数值范围为-8192到8191只会编码为2个字节，不论实际数据是整形还是长整形。

所述位模可为64位8个字节，若原始数据的字段数超过64，则需要两个或者更多的位模。

步骤1032、对所述FTP文件中结构化的数据的多个第二字段分别计算所述位模；

步骤1033、判断各第二字段的值是否为空或默认值，并在其中一判断结果为是时将所述第二字段的位模置为0，否则序列化所述第二字段。

按照数据类型逐个序列化各个字段，最多64个字段，直到所有字段正常序列化结束。

在反序列化时，使用语句readUInt64(从当前流中读取8字节无符号整数并使流的当前位置提升8个字节)读取位模，按照IDL(接口定义语言)定义顺序逐字段获取bit(位)值。如果当前位值为1，则按照IDL定义数据类型读取数据，否则直接忽略字段，赋值为默认值。如果所有字段已处理，则结束，否则继续读取位模和相应字段，直到所有字段正常反序列化结束。

通过本实施例的序列化方式，极大地节省了空间开销，减少内存数据库对内存和CPU带宽的开销，从而降低服务成本。

步骤104、发送一用于描述所述NSD文件的消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

所述消息包括当前合并的FTP文件的批次号、前一个批次号、NSD文件总数、NSD文件根路径、NSD文件列表和文件摘要值。所述消息中传输文件摘要值能够保证NSD文件的完整性。

所述数据分发模块接收需要更新数据的所述消息，验证新的批次并分发新的批次任务；并同步集群版本，集群版本作为整个集群数据版本的基准。通过集群分发算法控制分发过程，减轻对机房之间和对数据中心的网络开销，不同节点接收新的更新任务的时间点由分发算法严格控制。

控制集群数据版本，保证严格的顺序性，集群数据版本保持单调递增。每一次更新完成之后数据状态视图进位下一个数据状态。假设当前数据状态为DS_N，在一次数据更新之后，更新过程中依赖相应的NSD文件，数据副本进入下一个状态DS_N+1。

步骤105、各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

步骤105具体为：

步骤1051、将各节点分批生成新的数据批次号和待拉取数据列表；

该步骤能够控制分发流程对数据中心和集群的影响。

步骤1052、设置一拉取标识，生成所述运价服务集群对应的Zookeeper节点的新的版本标识；

步骤1053、当监听到所述Zookeeper节点的新的版本标识时，判断本地内存数据是否为最新，若否，从所述分布式文件系统中拉取所述NSD文件，并将所述NSD文件进行Key压缩以更新至所述内存数据库中。

所述内存数据库可为RocksDB，该数据库是基于LSM-Tree(Log-StructuredMerge-Trees，日志结构的合并树)存储引擎的数据库。该数据库能够在保证可接受的读性能和较好的写吞吐量的同时，提高空间利用率。还能支持嵌入进程模式，避免进程间通信开销。

步骤105中的更新过程包括全量更新、增量更新和修复更新，所述更新过程采用一粗粒度事务机制。

所述粗粒度事务机制是指：运价数据更新一次会更新很多相关的数据表。例如，更新某个航线数据的价格，可能需要同时更新运价、记录值1、记录值2和相关类别。原则性要求这些数据要么都更新，要么都不更新。只更新运价，不更新其他数据或者更新不完整，都将导致数据不一致的情况，使得运价计算流程的结果都不可信。

其中，全量更新是指更新副本中的所有数据，更新之前会删除节点的所有数据，使用NSD全量更新文件索引Key，全量重新初始化所有数据。全量更新时间较长会对集群影响较大，一般在ATPCO停止更新数据窗口，比如：北京东八区时间每周日早上六点到下午六点。

增量更新是主要的数据更新方式，它只包含一段时间内新增、删除和修改受影响的索引相关数据。增量更新较为频繁，受影响的为少量数据。

修复更新只更新单数据表，主要为了解决ATPCO拓展字段，修复更新NSD文件包含单表的所有数据，更新过程先删除单表全量数据，然后重新导入所有数据。

步骤105之后包括：

步骤106、对更新的数据创建一快照视图，并将所述快照视图的一引用计数器置为0；

一个用户线程整个查询过程只能看到进入时间点的快照视图，要么整个过程是更新前的快照视图，要么是更新后的快照视图，以保证数据的“一致性读”，避免不一致的情况出现。通过快照视图查询数据，使得更新过程对集群内的数据无影响。

步骤107、判断前一个快照视图的所述引用计数器的值是否为0，若是，销毁所述快照视图。

若引用计数器的值为0，说明已无线程使用该快照视图，销毁快照视图，释放快照视图资源。若不为0则说明当前还有用户线程正在使用快照试图获取存储数据，不能销毁，否则将影响用户查询结果。

所述运价服务集群内设置一替换节点，步骤105之后包括：

步骤108、获取原有节点中作为leader节点的快照版本的最近一次备份数据；

步骤109、将所述备份数据拷贝至所述替换节点；

步骤110、获取所述快照版本之后的所有快照版本的元数据，并在所述替换节点上逐个快照版本恢复滞后的数据。

在原有节点发生故障时，由于副本数据的不停变化，通常直接从一个节点拷贝到新的节点不是可靠的方案。若对持续更新的数据进行拷贝，无法保证数据一致性，因此通过设置替换节点，在保证数据的一致性时还能不影响现有节点的可用性。

而当所述运价服务集群内的一节点出现短时不可用时，出现短时不可用的所述节点的数据恢复机制如下：

步骤111、获取滞后的快照版本的元数据列表；

步骤112、判断所述滞后的快照版本的数量是否超过一阈值，若是，通过滞后的快照版本的备份数据来恢复出现短时不可用的所述节点的数据；若否，获取滞后的快照版本的NSD文件，并逐个快照版本恢复出现短时不可用的所述节点的数据。

每个节点都可能因为一些不可预期的原因出现错误，短时间或者长时间变为不可用，比如计划的操作系统维护、安装系统安全补丁等。短时间的不可用会造成节点的数据版本过期，落后于ATPCO发出的原始数据。这类情况常常滞后的数据量较少，采用备份机制恢复，意味着回滚到最近一次备份，代价太高。因此通过判断滞后的数据版本的数量的多少，来选择性地对出现短时不可用的节点采取不同的数据恢复机制，能够提高节点的数据恢复的效率。

本领域技术人员可知，国际机票搜索引擎仅仅依靠对外高效结构存储还是不能应对运价结算巨大的计算量。对外存储数据在计算过程中，首先需反序列化成领域对象，大量反序列化带来不可忽视的GC(垃圾回收机制)开销和JNI(Java本地接口)开销。故在所述运价服务集群设置一堆内LRU(Least recently used，最近最少使用缓存对象结构)数据缓存，能进一步减少计算过程中的IO开销。

综上，本实施例采用了高压缩比的序列化方式，极大地节省了空间开销。通过试验，本实施例的运价数据的存储从原有的50G左右降低至8G左右。而将NSD文件分发至运价服务集群的各节点，在接受数据更新滞后前提下，保证了数据的新鲜度和报价准确度。使用Share-Nothing(一种分布式计算架构)架构，各个节点全量存储全球运价数据，单个节点存储所有运价数据，单个节点也就拥有全球所有航线运价计算能力，使集群具有高可用性和最终一致性。

实施例2

本实施例提供一种国际运价数据的存储系统，如图2所示，包括：

一合并模块1，用于合并ATPTO新发出的FTP文件；

一解析模块2，用于解析合并的所述FTP文件；

一NSD文件生成模块3，用于将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；

一数据分发模块4，用于接收描述所述NSD文件的消息，并验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

一更新模块5，用于判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

本实施例的存储系统可以利用实施例1的存储方法实现，并能达到与实施例1相同的技术效果。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种国际运价数据的存储方法，其特征在于，包括：

S₁、合并ATPTO新发出的FTP文件；

S₂、解析合并的所述FTP文件；

S₃、将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；

S₄、发送一用于描述所述NSD文件的消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

S₅、各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

2.如权利要求1所述的存储方法，其特征在于，所述NSD文件通过一序列化方式形成，所述序列化方式为：

S₃₁、去掉Protobuf序列化时使用的第一字段，所述第一字段包括标签、类型和长度，并增加一位模；

S₃₂、对所述FTP文件中结构化的数据的多个第二字段分别计算所述位模；

S₃₃、判断各第二字段的值是否为空或默认值，并在其中一判断结果为是时将所述第二字段的位模置为0，否则序列化所述第二字段。

3.如权利要求1所述的存储方法，其特征在于，步骤S₅包括：

S₅₁、将各节点分批生成新的数据批次号和待拉取数据列表；

S₅₂、设置一拉取标识，生成所述运价服务集群对应的Zookeeper节点的新的版本标识；

S₅₃、当监听到所述Zookeeper节点的新的版本标识时，判断本地内存数据是否为最新，若否，从所述分布式文件系统中拉取所述NSD文件，并将所述NSD文件进行Key压缩以更新至所述内存数据库中。

4.如权利要求1所述的存储方法，其特征在于，步骤S₅之后包括：

S₆、对更新的数据创建一快照视图，并将所述快照视图的一引用计数器置为0；

S₇、判断前一个快照视图的所述引用计数器的值是否为0，若是，销毁所述快照视图。

5.如权利要求1所述的存储方法，其特征在于，所述运价服务集群还设置一堆内LRU数据缓存。

6.如权利要求1所述的存储方法，其特征在于，步骤S₅中的更新过程包括全量更新、增量更新和修复更新，所述更新过程采用一粗粒度事务机制。

7.如权利要求1所述的存储方法，其特征在于，所述运价服务集群内设置一替换节点，步骤S₅之后包括：

S₈、获取原有节点中作为leader节点的快照版本的最近一次备份数据；

S₉、将所述备份数据拷贝至所述替换节点；

S₁₀、获取所述快照版本之后的所有快照版本的元数据，并在所述替换节点上逐个快照版本恢复滞后的数据。

8.如权利要求1所述的存储方法，其特征在于，当所述运价服务集群内的一节点出现短时不可用时，出现短时不可用的所述节点的数据恢复机制如下：

S_a1、获取滞后的快照版本的元数据列表；

S_a2、判断所述滞后的快照版本的数量是否超过一阈值，若是，通过滞后的快照版本的备份数据来恢复出现短时不可用的所述节点的数据；若否，获取滞后的快照版本的NSD文件，并逐个快照版本恢复出现短时不可用的所述节点的数据。

9.如权利要求1-8中任意一项所述的存储方法，其特征在于，所述消息包括当前合并的FTP文件的批次号、前一个批次号、NSD文件总数、NSD文件根路径、NSD文件列表和文件摘要值。

10.一种国际运价数据的存储系统，其特征在于，包括：

一合并模块，用于合并ATPTO新发出的FTP文件；

一解析模块，用于解析合并的所述FTP文件；

一NSD文件生成模块，用于将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；

一数据分发模块，用于接收描述所述NSD文件的消息，并验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；

一更新模块，用于判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。

Images