CN111291051B - 运价数据处理方法及装置、存储介质及电子设备 - Google Patents

运价数据处理方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111291051B
CN111291051B CN202010074424.8A CN202010074424A CN111291051B CN 111291051 B CN111291051 B CN 111291051B CN 202010074424 A CN202010074424 A CN 202010074424A CN 111291051 B CN111291051 B CN 111291051B
Authority
CN
China
Prior art keywords
freight rate
file
target
rate data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010074424.8A
Other languages
English (en)
Other versions
CN111291051A (zh
Inventor
耿庆仁
林骋
李梦箫
刘中一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Travelsky Technology Co Ltd
Original Assignee
China Travelsky Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Travelsky Technology Co Ltd filed Critical China Travelsky Technology Co Ltd
Priority to CN202010074424.8A priority Critical patent/CN111291051B/zh
Publication of CN111291051A publication Critical patent/CN111291051A/zh
Application granted granted Critical
Publication of CN111291051B publication Critical patent/CN111291051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种运价数据处理方法及装置、存储介质及电子设备，该方法包括：对各个运价数据文件进行格式验证，将通过格式验证的每个运价数据文件确定为目标运价文件，针对每个目标运价文件，确定其对应的任务计划表，若任务计划表中存在与该目标运价文件相匹配的任务信息，则将该目标运价文件存储至内存块中，若当前的系统日志不存在记录信息，则依据预设的规则，将内存块中的各个目标运价文件存储至数据库中。可见，对运价数据进行格式验证以及任务信息比对，实现将错乱的运价数据规则化，并存储至数据库中，以使在进行运价计算时快速进行数据匹配，从而提高运价计算的效率。

Description

运价数据处理方法及装置、存储介质及电子设备
技术领域
本发明涉及数据处理领域，尤其涉及一种运价数据处理方法及装置、存储介质及电子设备。
背景技术
在运价计算业务中需要用到大量的运价数据，这些数据主要是通过第三方厂商获得，数据格式和数据类型多样，且各种类型的数据之间相互依赖且关系复杂。
随着民航业的快速发展，涌现越来越多的航空公司和机场，同时意味着将产生更多的运价数据。现有技术中，将来自第三方厂商的各种运价数据直接存储在本地服务器，在进行运价计算时，首先进行数据匹配，即通过遍历本地服务器，匹配到相关的运价数据，然后依据所匹配的运价数据进行运价计算。由于运价数据的数据量庞大，且运价数据会不断的更新，导致在进行数据匹配时，会消耗掉大量的时间，从而造成运价计算的速度慢，效率低。
发明内容
本发明提供了一种运价数据处理方法及装置、存储介质及电子设备，目的在于解决运价计算时数据匹配消耗时间过长，而导致运价计算速度慢、效率低的问题。
为了实现上述目的，本发明提供了以下技术方案：
一种运价数据处理方法，包括：
获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库。
上述的方法，可选的，所述对所述运价数据集合中的每个所述运价数据文件进行格式验证，包括：
针对每个所述运价数据文件，确定所述运价数据文件对应的配置文件，判断所述运价数据文件的文件名是否符合所述配置文件中的命名规则，若符合，则判断所述运价数据文件的文件格式是否与所述配置文件中的文件格式相匹配，若匹配，则判定所述运价数据文件通过格式验证。
上述的方法，可选的，所述依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库，包括：
获取所述内存块中每个所述目标运价文件对应的配置文件中的配置项信息；所述配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息；
依据各个所述第一配置项信息，确定所述内存块中各个所述目标运价文件的优先级；
依据各个所述第二配置项信息，确定所述内存块中每个所述目标运价文件的依赖关系；
按照各个所述目标运价文件的优先级从高到低的顺序，依次将各个所述目标运价文件存储至预先构建的数据库中；其中，在每存储一个所述目标运价文件时，依据所述目标运价文件的依赖关系，并调用所述第三配置项信息对所述目标运价文件进行存储。
上述的方法，可选的，所述判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，包括：
获取所述目标运价文件的时间戳；
将所述目标运价文件的时间戳和所述任务计划表中的每个任务信息包含的时间进行比对；
若存在时间和所述目标运价文件的时间戳比对一致的任务信息，则判定所述任务计划表中存在与所述目标运价文件相匹配的任务信息。
上述的方法，可选的，还包括：
若所述系统日志中存在记录信息，则基于所述记录信息，向用户进行反馈。
上述的方法，可选的，还包括：
判断预先构建的数据库中是否存在文件的生效时间截止时间满足预设的第一时间；
若存在，则将生效截止时间满足所述第一时间的文件转移至预先构建的历史运价数据库中。
上述的方法，可选的，还包括：
判断预先构建的历史运价数据库中是否存在文件的生效时间截止时间满足预设的第二时间；其中，所述第二时间大于所述第一时间；
若存在，则将生效截止时间满足所述第二时间的文件进行删除。
一种运价数据处理装置，包括：
获取单元，用于获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
验证单元，用于对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
第一判断单元，用于针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
存储单元，用于获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库。
一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的运价数据处理方法。
一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的运价数据处理方法。
与现有技术相比，本发明包括以下优点：
本发明提供了一种运价数据处理方法及装置，该方法包括：对各个运价数据文件进行格式验证，将通过格式验证的每个运价数据文件确定为目标运价文件，针对每个目标运价文件，确定目标运价文件对应的任务计划表，若任务计划表中存在与该目标运价文件相匹配的任务信息，则将该目标运价文件存储至内存块中，获取当前的系统日志，判断系统日志是否存在记录信息，若不存在，则依据预设的规则，将内存块中的各个目标运价文件存储至预先构建的数据库中，其中，记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件。可见，本申请提供的技术方案，对运价数据进行格式验证以及任务信息比对，实现将错乱的运价数据规则化，并存储至数据库中，以使在进行运价计算时快速进行数据匹配，从而提高运价计算的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种运价数据处理方法的方法流程图；
图2为本发明提供的一种运价数据处理方法的又一方法流程图；
图3为本发明提供的一种运价数据处理方法的又一方法流程图；
图4为本发明提供的一种运价数据处理方法的又一方法流程图；
图5为本发明提供的一种运价数据处理系统的结构示意图；
图6为本发明提供的一种运价数据处理装置的结构示意图；
图7为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种运价数据处理方法，该方法可以应用在多种系统平台，其执行主体可以为运行在计算机上的服务器，所述运价数据处理方法的流程图如图1所示，具体包括：
S101：获取运价数据集合。
本发明实施例提供的方法中，获取运价数据集合，运价数据集合中包含多个运价数据文件，每个运价数据文件中包含至少一个运价数据，需要说明的是，该运价数据为运价规则数据，运价规则数据可以包括航空种类、是否转机、是否提供机餐、是否有折扣，折扣多少等信息。
可选的，各个运价数据文件通过第三方获取，每个运价数据文件按照一定的命名规则进行命名，不同渠道的运价数据文件的命名规则可以不相同，其中，渠道指代上述提及的第三方。可选的，第三方可以是按照小时为单位对当前的运价数据文件进行发送。
可选的，运价数据文件也可以是人工输入的。
可选的，将获取到的运价数据集合中的各个运价数据文件存储至预设的第一文件夹中。
S102：对运价数据集合中的每个运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件。
本发明实施例提供的方法中，对运价数据集合中的每个运价数据文件进行格式验证，格式验证至少包括对运价数据文件的文件名和文件格式进行验证，将通过格式验证的每个运价数据文件确定为目标运价文件。
可选的，对通过格式检验的各个目标运价文件按照时间进行分类，分类标准精确到小时，也就是按照年、月、日、时四层进行细分，并将分类好的目标运价文件存储至预设的第二文件夹中。
可选的，可以将分类好的目标运价文件提供给第三方。
S103：针对每个目标运价文件，确定其对应的任务计划表，判断任务计划表中是否存在与目标运价文件相匹配的任务信息，若存在，则将目标运价文件存储至预设的内存块中。
本发明实施例提供的方法中，预先存储有每种运价数据类型对应的任务计划表，每个任务计划表中存储至少一个任务信息，可选的，第三方不同，数据类型不同。
针对每个目标运价文件，确定该目标运价文件的数据类型，基于所确定的数据类型，获取与该数据类型对应的任务计划表，将目标运价文件和任务计划表中的各个任务信息进行比对，可选的，可以是将目标运价文件的时间戳和任务信息中的时间进行比对，若比对一致，则判断为任务计划表中存在目标运价文件相匹配的任务信息，将并该目标运价文件存储至内存块中。
S104：获取当前的系统日志，判断系统日志中是否存在记录信息；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库。
本发明实施例提供的方法中，获取当前的系统日志，判断系统日志中是否存在记录信息，可选的，记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件，也就是说，当存在以下的三种情况中的一种情况时，判断为系统日志存在记录信息：
情况一：记录信息只记录有未通过格式验证的运价数据文件。
情况二：记录信息只记录有与任务计划表中的各个任务信息均不匹配的运价数据文件。
情况三：记录信息既记录未通过格式验证的运价数据文件，又记录与任务计划表中的各个任务信息均不匹配的运价数据文件。
若以上三种情况均不存在，则判断为系统日志不存在记录信息，当系统日志不存在记录信息时，说明内存块中的目标运价文件是完整的文件，可依据预设的规则，将内存块中的各个目标运价文件存储至预先构建的数据库中，可选的，预先构建的数据库可以是关系型数据库，基于目标运价文件的依赖关系和优先级，调用可执行文件，即调用可执行脚本文件将目标运价文件存储至关系型数据库中。
可选的，当系统日志中存在记录信息时，即存在未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件时，说明内存块中缺少目标运价文件，即当前内存块中的目标运价文件是不完整的，依据该记录信息，向用户进行反馈，以提醒用户及时发送相应的运价数据文件，可选的，服务器在接收到反馈运价数据文件，同样对所反馈的运价数据文件进行格式验证，并在通过格式验证之后判断是否存在与任务计划表中的任务信息相匹配，若存在，则存储到内存块中，只有内存块中不缺少目标运价文件，才将内存块中的各个目标运价文件存储至关系型数据库中。
本发明实施例提供的运价数据处理方法，对各个运价数据文件进行格式验证，将通过格式验证的每个运价数据文件确定为目标运价文件，针对每个目标运价文件，确定目标运价文件对应的任务计划表，若任务计划表中存在与该目标运价文件相匹配的任务信息，则将该目标运价文件存储至内存块中，获取当前的系统日志，判断系统日志是否存在记录信息，记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件，若不存在，则依据预设的规则，将内存块中的各个目标运价文件存储至预先构建的数据库中。应用本发明实施例提供的运价数据处理方法，对运价数据进行格式验证以及任务信息比对，实现将错乱的运价数据规则化，并存储至数据库中，以使在进行运价计算时快速进行数据匹配，从而提高运价计算的效率，同时，当系统日志不存在未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件的记录信息时，才将内存块中的各个目标运价文件存储至数据库中，保证运价数据的完整性。
上述本发明实施例图1公开的步骤S102涉及到的对运价数据集合中的每个运价数据文件进行格式验证，流程图如图2所示，包括以下步骤：
S201：针对每个运价数据文件，确定运价数据文件对应的配置文件。
本发明实施例提供的方法中，服务器预先存储有每个数据类型对应的配置文件，也就是存储有不同第三方对应的配置文件，每个配置文件中包含与该数据类型对应的命名规则和文件格式，可选的，命名规则和文件格式可以是以正则表达式的形式存储于配置文件中。
可选的，通过解析各个运价数据文件的文件名，可得到每个运价数据文件中的运价数据的数据类型。
S202：判断运价数据文件的文件名是否符合配置文件中的命名规则。
本发明实施例提供的方法中，将运价数据文件的文件名与和运价数据文件对应的配置文件中的命名规则进行比对，可选的，可以是将运价数据文件的文件名和配置文件的正则表达式中表征命名规则的字段进行比对，若比对一致，则执行步骤S203，若比对不一致，则执行步骤S204。
S203：判断运价数据文件的文件格式是否与配置文件中的文件格式相匹配。
本发明实施例提供的方法中，将运价数据文件的文件格式与运价数据文件对应的配置文件中的文件格式进行比对，可选的，可以是将运价数据文件的文件格式和配置文件的正则表达式中表征文件格式的字段进行比对，若比对一致，则执行步骤S205，若比对不一致，则执行步骤S204。
S204：判定运价数据文件格式验证不通过。
本发明实施例提供的方法中，针对每一个运价数据文件，若运价数据文件的文件名不符合配置文件中的命名规则，则判定运价数据文件格式验证不通过，并结束对该运价数据文件的判断，若运价数据文件的文件格式与配置文件中的文件格式不匹配，则判定运价数据文件格式验证不通过。
S205：判定运价数据文件通过格式验证。
本发明实施例提供的方法中，若运价数据文件的文件格式与配置文件中的文件格式相匹配，则判定运价数据文件通过格式验证。
需要说明的是，本发明实施例提供的方法中，对运价数据文件的格式验证包括文件名验证和文件类型验证，针对运价数据集合中的各个运价数据文件的文件名验证和文件类型进行验证的顺序不做限定，也就是说，可以先对运价数据文件的文件名进行验证，再对运价数据文件的文件格式进行验证，也可以是先对运价数据文件的文件格式进行验证，再对运价数据文件的文件名进行验证。
应当理解，本发明实施例中提供的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明公开的范围在此方面不受限制。
本发明实施例提供的运价数据处理方法中，通过将每个运价数据文件的文件名和文件格式进行验证，以实现对运价数据文件的格式进行验证，从而筛选出通过格式验证的运价数据文件。
上述本发明实施例图1公开的步骤S104涉及到的依据预设的规则，将内存块中的各个目标运价文件，存储至预先构建的数据库，流程图如图3所示，包括以下步骤：
S301：获取内存块中每个目标运价文件对应的配置文件中的配置项信息，其中，配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息。
本发明实施例提供的方法中，每个数据类型对应的配置文件中包括配置项信息，获取内存块中每个目标运价文件对应的配置文件的配置项信息，可选的，配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息，第一配置项信息用于指示目标运价文件存储的优先级；第二配置项信息用于指示该目标运价文件和其他数据类型的目标运价文件之间的依赖关系；第三配置项信息为脚本文件，需要说明的是，数据类型不同，对应的脚本文件也不同，可选的，脚本文件可以包括rebuild和update，数据库第一次构建、或需要重新构建、或执行回滚可以通过rebuild脚本文件执行；update是在更新数据库时执行的脚本文件。
需要说明的是，当数据库出现问题时，可以通过更改配置文件以及替换脚本文件的方式快速响应故障，而不用更改整体代码架构，提高故障响应速度。
S302：依据各个第一配置项信息，确定内存块中各个目标运价文件的优先级。
本发明实施例提供的方法中，依据各个第一配置项信息，确定内存块中各个目标运价文件的优先级，例如，内存块中的有目标运价文件A、B和C，目标运价文件A对应的第一配置项信息中的数字为0，目标运价文件B对应的第一配置项信息中的数字为2，目标运价文件C对应的第一配置项信息中的数字为1，数值越小，代表的优先级越高，则可确定目标运价文件A的优先级>目标运价文件C的优先级>目标运价文件B的优先级。
S303：依据各个第二配置项信息，确定内存块中每个目标运价文件的依赖关系。
本发明实施例提供的方法中，针对内存块中的每个目标运价文件，依据该目标运价文件对应的第二配置项信息，确定该目标运价文件的依赖关系，例如，内存块中存在目标运价文件A、B和C，若目标运价文件A对应的第二配置项信息中的字段为空字段，目标运价文件B对应的第二配置项信息中的字段为空字段，目标运价文件C对应的第二配置项信息中的字段为目标运价文件A，则可确定，目标运价文件A和B没有依赖关系，在符合优先级的条件下可直接进行存储，目标运价文件C的依赖关系为目标运价文件A，也就是目标运价文件C是在目标运价文件A存储至关系型数据库后才将存储。
S304：按照各个目标运价文件的优先级从高到低的顺序，依次将各个目标运价文件存储至预先构建的数据库中。
本发明实施例提供的方法中，按照各个目标运价文件的优先级从高到低的顺序，依次将各个目标运价文件存储至预先构建的数据库中，即依次将各个目标运价文件存储至关系型数据库中，其中，每存储一个目标运价文件时，依据该目标运价文件的依赖关系，并调用第三配置项信息，对该目标运价文件进行存储，即调用第三配置项信息中的脚本文件，对该目标运价文件进行存储。
可选的，通常没有依赖关系的数据类型的优先级高，作为关系型数据库的底层，被优先处理，也就是说，没有任何依赖关系的文件，在符合处理优先级的情况下，可直接对这种文件进行存储。
对上述提及的依据预设的规则，将内存块中的各个目标运价文件，存储至预先构建的数据库的过程举例说明如下：
若内存块中存储有目标运价文件A、B和C，每个目标运价文件对应的配置文件中包括第一配置项信息和第二配置项信息，目标运价文件A对应的第一配置项信息为0，目标运价文件B对应的第一配置项信息为1，目标运价文件C对应的第一配置项信息为2，可确定优先级从高到低的顺序为目标运价文件A>目标运价文件B>目标运价文件C。
目标运价文件A对应的第二配置项信息为空字段，目标运价文件B对应的第二配置项信息为空字段，目标运价文件C对应的第二配置项信息为目标运价文件A，则对各个目标运价文件的存储的过程为，先对目标运价文件A进行存储，因为目标运价文件A没有依赖关系，则直接将目标运价文件A存储至关系型数据库中，其次，对目标运价文件B进行存储，和目标运价文件A类似，直接将目标运价文件B存储至关系型数据库中，最后，对目标运价文件C进行存储，因为目标运价文件C依赖目标运价文件A，在存储之前，先检测目标运价文件A是否全部存储完成，若是，将目标运价文件C存储至关系型数据库中，并且，在关系型数据库中体现目标运价文件C和目标运价文件A之间的依赖关系。
本发明实施例提供的运价数据处理方法中，基于各个目标运价文件的优先级和依赖关系，将各个目标运价文件存储至关系型数据库中，优先级高的目标运价文件被优先处理，从而提高存储的速度，并且基于依赖关系对各个目标运价文件进行存储，使得在进行运价计算时，能够基于依赖关系，快速查找到相关的文件，提高数据匹配的速度，从而提高运价计算的速度，提升用户体验度。
上述本发明实施例图1公开的步骤S103涉及到的判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，流程图如图4所示，包括以下步骤：
S401：获取目标运价文件的时间戳。
本发明实施例提供的方法中，针对通过格式验证的每个运价数据文件，即针对每个目标运价文件，获取目标运价文件的时间戳，可选的，目标运价文件的时间戳可以通过目标运价文件的文件名中的相关字段获取，例如，文件名为“Q1E-PROD-S01AREC.D191030.TD0000”，那么时间戳可以通过字段“.D191030.TD0000”获得，可知，时间戳为2019年10月30日的00:00。
S402：将目标运价文件的时间戳和任务计划表中的每个任务信息包含的时间进行比对。
本发明实施例提供的方法中，将目标运价文件的时间戳和任务计划表中的每个任务信息包含的时间进行比对，可选的，任务计划表中包含至少一个任务信息。
例如，目标运价文件对应的任务计划表中包括一个任务信息，该任务信息包含的时间为00：15，若目标运价文件的时间戳为2019年10月30日的00:00，则说明目标运价文件的时间戳和任务计划表中的每个任务信息包含的时间比对不成功，若目标运价文件的时间戳为2019年10月30日的00:15，则说明目标运价文件的时间戳和任务计划表中的每个任务信息包含的时间比对成功。
S403：若存在时间和目标运价文件的时间戳比对一致的任务信息，则判定任务计划表中存在与目标运价文件相匹配的任务信息。
本发明实施例提供的方法中，若存在时间和目标运价文件的时间戳比对一致的任务信息，则判定任务计划表中存在与目标运价文件相匹配的任务信息。
本发明实施例提供的运价数据处理方法中，对每个目标运价文件的时间戳进行校验，也就是将目标运价文件的时间戳和目标运价文件对应的任务计划表中的任务信息包含的时间进行比对，以选择出满足时间要求的文件。
上述本发明实施例图1公开的步骤，还可以包括以下步骤：
判断预先构建的数据库中是否存在文件的生效时间截止时间满足预设的第一时间。
若存在，则将生效截止时间满足所述第一时间的文件转移至预先构建的历史运价数据库中。
本发明实施例提供的方法中，判断预先构建的数据库中是否存在文件的生效时间满足预设的第一时间，若存在，则说明该文件中的运价数据属于过期数据，将该文件转移至预先构建的历史运价数据库中，可选的，对于历史运价数据库中各个文件，若存在文件的生效截止时间超过预设的第二时间，则将该文件从历史运价数据库中删除，可选的，第二时间大于第一时间。
可选的，可以采取周末处理机制，即在当前存储在关系型数据库中的文件超过一周后，将该文件在一周的最后一天将该文件转移至历史运价数据库中。
可选的，历史运价数据库中存储保持两年的数据，也就是说，在文件从关系型数据库中转移至历史运价数据库中两年后将该文件删除，即第二时间比第一时间长两年。
本发明实施例还提供了一种运价数据处理系统，其结构示意图如图5所示，具体包括：
接收模块501、格式验证模块502和数据处理模块503。
接收模块501，用于实时接收第三方发送的运价数据文件，以及部分手工运价数据文件，并发送给格式验证模块502。
格式验证模块502，用于对运价数据文件进行格式验证，其中，格式验证包括文件名称和文件格式的校验，并将校验合格后的文件按照时间进行分类，分类标准精确到小时。同时提供了数据调用服务，可以支持第三方获取分类后的运价数据。
数据处理模块503，用于接收格式验证模块502发送的分类后的运价数据文件，根据配置好的计划任务，对运价数据文件建立关系型数据库。同时，将关系型数据库进行推送。
本发明实施例提供的运价数据处理系统中，接收模块可以是ftp服务器，格式验证模块可以是intake服务器，数据处理模块可以是updater服务器。
可选的，在ftp服务器上，开启了服务监控、内存检查等进程，确保能够及时的接收外部的原始数据，并发送给intake服务器。
与图1所述的方法相对应，本发明实施例还提供了一种运价数据处理装置，用于对图1中方法的具体实现，其结构示意图如图6所示，具体包括：
获取单元601，用于获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
验证单元602，用于对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
第一判断单元603，用于针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
存储单元604，用于获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库。
本发明实施例提供的运价数据处理装置，对各个运价数据文件进行格式验证，将通过格式验证的每个运价数据文件确定为目标运价文件，针对每个目标运价文件，确定目标运价文件对应的任务计划表，若任务计划表中存在与该目标运价文件相匹配的任务信息，则将该目标运价文件存储至内存块中，获取当前的系统日志，判断系统日志是否存在记录信息，记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件，若不存在，则依据预设的规则，将内存块中的各个目标运价文件存储至预先构建的数据库中。应用本发明实施例提供的运价数据处理装置，对运价数据进行格式验证以及任务信息比对，实现将错乱的运价数据规则化，并存储至数据库中，以使在进行运价计算时快速进行数据匹配，从而提高运价计算的效率，同时，当系统日志不存在未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件的记录信息时，才将内存块中的各个目标运价文件存储至数据库中，保证运价数据的完整性。
在本发明的一个实施例中，基于前述方案，验证单元602配置为：
针对每个所述运价数据文件，确定所述运价数据文件对应的配置文件，判断所述运价数据文件的文件名是否符合所述配置文件中的命名规则，若符合，则判断所述运价数据文件的文件格式是否与所述配置文件中的文件格式相匹配，若匹配，则判定所述运价数据文件通过格式验证。
在本发明的一个实施例中，基于前述方案，存储单元604配置为：
获取所述内存块中每个所述目标运价文件对应的配置文件中的配置项信息；所述配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息；
依据各个所述第一配置项信息，确定所述内存块中各个所述目标运价文件的优先级；
依据各个所述第二配置项信息，确定所述内存块中每个所述目标运价文件的依赖关系；
按照各个所述目标运价文件的优先级从高到低的顺序，依次将各个所述目标运价文件存储至预先构建的数据库中；其中，在每存储一个所述目标运价文件时，依据所述目标运价文件的依赖关系，并调用所述第三配置项信息，对所述目标运价文件进行存储。
在本发明的一个实施例中，基于前述方案，第一判断单元603配置为：
获取所述目标运价文件的时间戳；
将所述目标运价文件的时间戳和所述任务计划表中的每个任务信息包含的时间进行比对；
若存在时间和所述目标运价文件的时间戳比对一致的任务信息，则判定所述任务计划表中存在与所述目标运价文件相匹配的任务信息。
在本发明的一个实施例中，基于前述方案，还可以配置为：
反馈单元，用于若所述系统日志中存在记录信息，则基于所述记录信息，向用户进行反馈。
在本发明的一个实施例中，基于前述方案，还可以配置为：
第二判断单元，用于判断预先构建的数据库中是否存在文件的生效时间截止时间满足预设的第一时间；
转移单元，用于若存在，则将生效截止时间满足所述第一时间的文件转移至预先构建的历史运价数据库中。
在本发明的一个实施例中，基于前述方案，还可以配置为：
第三判断单元，用于判断预先构建的历史运价数据库中是否存在文件的生效时间截止时间满足预设的第二时间；其中，所述第二时间大于所述第一时间；
删除单元，用于若存在，则将生效截止时间满足所述第二时间的文件进行删除。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述运价数据处理方法。
本发明实施例还提供了一种电子设备，其结构示意图如图7所示，具体包括存储器701，以及一个或者一个以上的指令702，其中一个或者一个以上指令702存储于存储器701中，且经配置以由一个或者一个以上处理器703执行所述一个或者一个以上指令702进行以下操作：
获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种运价数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种运价数据处理方法，其特征在于，包括：
获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库；
所述依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库，包括：
获取所述内存块中每个所述目标运价文件对应的配置文件中的配置项信息；所述配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息；所述第三配置项信息为脚本文件；
依据各个所述第一配置项信息，确定所述内存块中各个所述目标运价文件的优先级；
依据各个所述第二配置项信息，确定所述内存块中每个所述目标运价文件的依赖关系；
按照各个所述目标运价文件的优先级从高到低的顺序，依次将各个所述目标运价文件存储至预先构建的数据库中；其中，在每存储一个所述目标运价文件时，依据所述目标运价文件的依赖关系，并调用所述第三配置项信息，对所述目标运价文件进行存储。
2.根据权利要求1所述的方法，其特征在于，所述对所述运价数据集合中的每个所述运价数据文件进行格式验证，包括：
针对每个所述运价数据文件，确定所述运价数据文件对应的配置文件，判断所述运价数据文件的文件名是否符合所述配置文件中的命名规则，若符合，则判断所述运价数据文件的文件格式是否与所述配置文件中的文件格式相匹配，若匹配，则判定所述运价数据文件通过格式验证。
3.根据权利要求1所述的方法，其特征在于，所述判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，包括：
获取所述目标运价文件的时间戳；
将所述目标运价文件的时间戳和所述任务计划表中的每个任务信息包含的时间进行比对；
若存在时间和所述目标运价文件的时间戳比对一致的任务信息，则判定所述任务计划表中存在与所述目标运价文件相匹配的任务信息。
4.根据权利要求1所述的方法，其特征在于，还包括：
若所述系统日志中存在记录信息，则基于所述记录信息，向用户进行反馈。
5.根据权利要求1所述的方法，其特征在于，还包括：
判断预先构建的数据库中是否存在文件的生效时间截止时间满足预设的第一时间；
若存在，则将生效截止时间满足所述第一时间的文件转移至预先构建的历史运价数据库中。
6.根据权利要求5所述的方法，其特征在于，还包括：
判断预先构建的历史运价数据库中是否存在文件的生效时间截止时间满足预设的第二时间；其中，所述第二时间大于所述第一时间；
若存在，则将生效截止时间满足所述第二时间的文件进行删除。
7.一种运价数据处理装置，其特征在于，包括：
获取单元，用于获取运价数据集合，所述运价数据集合中包含多个运价数据文件，每个所述运价数据文件中包含至少一个运价数据；
验证单元，用于对所述运价数据集合中的每个所述运价数据文件进行格式验证，并将通过格式验证的每个运价数据文件确定为目标运价文件；
第一判断单元，用于针对每个所述目标运价文件，确定所述目标运价文件对应的任务计划表，判断所述任务计划表中是否存在与所述目标运价文件相匹配的任务信息，若存在，则将所述目标运价文件存储至预设的内存块中；
存储单元，用于获取当前的系统日志，判断所述系统日志中是否存在记录信息，所述记录信息用于记录未通过格式验证和/或与任务计划表中的各个任务信息均不匹配的运价数据文件；若不存在，则依据预设的规则，将所述内存块中的各个所述目标运价文件，存储至预先构建的数据库；
所述存储单元配置为：获取所述内存块中每个所述目标运价文件对应的配置文件中的配置项信息；所述配置项信息包括第一配置项信息、第二配置项信息和第三配置项信息；所述第三配置项信息为脚本文件；依据各个所述第一配置项信息，确定所述内存块中各个所述目标运价文件的优先级；依据各个所述第二配置项信息，确定所述内存块中每个所述目标运价文件的依赖关系；按照各个所述目标运价文件的优先级从高到低的顺序，依次将各个所述目标运价文件存储至预先构建的数据库中；其中，在每存储一个所述目标运价文件时，依据所述目标运价文件的依赖关系，并调用所述第三配置项信息，对所述目标运价文件进行存储。
8.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～6任意一项所述的运价数据处理方法。
9.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中，一个或者一个以上的指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～6任意一项所述的运价数据处理方法。
CN202010074424.8A 2020-01-22 2020-01-22 运价数据处理方法及装置、存储介质及电子设备 Active CN111291051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074424.8A CN111291051B (zh) 2020-01-22 2020-01-22 运价数据处理方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074424.8A CN111291051B (zh) 2020-01-22 2020-01-22 运价数据处理方法及装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111291051A CN111291051A (zh) 2020-06-16
CN111291051B true CN111291051B (zh) 2023-06-16

Family

ID=71026738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074424.8A Active CN111291051B (zh) 2020-01-22 2020-01-22 运价数据处理方法及装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111291051B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913991B (zh) * 2020-07-16 2023-12-22 中国民航信息网络股份有限公司 运价促销信息确定方法及装置、存储介质及电子设备
CN112733199A (zh) * 2020-12-28 2021-04-30 北京极豪科技有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114897478B (zh) * 2022-06-06 2023-12-22 壹沓科技(上海)有限公司 一种数据处理方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654338A (zh) * 2015-12-25 2016-06-08 中国民航信息网络股份有限公司 规则运价计算方法及装置、系统
CN105741070A (zh) * 2016-04-18 2016-07-06 深圳马可孛罗科技有限公司 一种海量实时舱位运价结果数据快速差异更新存储的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040093311A1 (en) * 2002-11-13 2004-05-13 Michael Chew Device, system, and method for administering shipping charges in a shopping chart
CN105225088A (zh) * 2015-09-30 2016-01-06 深圳前海一概念物流网络科技有限公司 “门到门”国际物流平台系统及交易方法
CN110019076B (zh) * 2018-08-20 2023-03-24 平安普惠企业管理有限公司 多系统日志数据的构建方法、装置、设备及可读存储介质
CN110069449B (zh) * 2019-03-20 2023-09-26 平安科技（深圳）有限公司 文件处理方法、装置、计算机设备和存储介质
CN110597611B (zh) * 2019-09-19 2022-08-19 中国银行股份有限公司 任务调度方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654338A (zh) * 2015-12-25 2016-06-08 中国民航信息网络股份有限公司 规则运价计算方法及装置、系统
CN105741070A (zh) * 2016-04-18 2016-07-06 深圳马可孛罗科技有限公司 一种海量实时舱位运价结果数据快速差异更新存储的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
铁道部客票中心系统的设计与关键技术的实现;刘春煌;中国铁道科学(第02期);全文 *

Also Published As

Publication number Publication date
CN111291051A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291051B (zh) 运价数据处理方法及装置、存储介质及电子设备
US7464097B2 (en) Managing data integrity using a filter condition
US20040034668A1 (en) Managing data integrity
CN111610989B (zh) 一种面向离线容器云环境的应用发布/更新方法及系统
US8244675B2 (en) Method and apparatus for updating a database using table staging and queued relocation and deletion
US20130297360A1 (en) Flight-price monitoring systems and methods
CN103514223A (zh) 一种数据仓库数据同步方法和系统
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
CN105488223A (zh) 业务数据事件的分析订阅方法及系统
CN103220352A (zh) 终端、服务器、文件存储系统和文件存储方法
CN114416703A (zh) 数据完整性自动监控方法、装置、设备及介质
CN111784292A (zh) 电子客票的退票方法及装置、航司系统及支付系统
CN113868498A (zh) 数据存储方法、电子装置、装置及可读存储介质
CN105867895A (zh) 一种实现代码管理和需求管理信息同步的方法及装置
CN116957528B (zh) 一种对多来源打卡数据自动生成考勤结果的方法及系统
CN109240916A (zh) 信息输出控制方法、装置及计算机可读存储介质
JP4928480B2 (ja) ジョブ処理システムおよびジョブ管理方法
CN116308848A (zh) 信息处理方法、装置、计算机设备和存储介质
CN115510169A (zh) 资产盘点方法、终端及计算机可读存储介质
CN111309758B (zh) 一种计费数据验证比对方法及装置
JP7108566B2 (ja) デジタルエビデンス管理方法およびデジタルエビデンス管理システム
CN113051165A (zh) 一种处理提测单的方法、装置、监控服务器及介质
CN113111120B (zh) 业务数据校验的方法和装置
CN114969174A (zh) 基于etl的投资数据调度方法及平台
CN108509328B (zh) 数据库校验方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant