CN112307065A - 一种数据处理方法、装置及服务器 - Google Patents
一种数据处理方法、装置及服务器 Download PDFInfo
- Publication number
- CN112307065A CN112307065A CN202011196111.6A CN202011196111A CN112307065A CN 112307065 A CN112307065 A CN 112307065A CN 202011196111 A CN202011196111 A CN 202011196111A CN 112307065 A CN112307065 A CN 112307065A
- Authority
- CN
- China
- Prior art keywords
- freight rate
- rate data
- data
- preset
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的数据处理方法、装置及服务器，应用于计算机技术领域，该方法在得到目标航空公司更新后的目标运价数据后，并基于目标运价数据确定至少一个关联运价数据组，并基于预设排序规则确定各关联运价数据组的处理顺序，然后按照所得处理顺序，分别对各关联运价数据组执行预处理操作，包括：更新关联运价数据组内的运价数据，并基于关联运价数据组内更新后的运价数据的预设数据属性，划分运价数据至对应的数据分组，使得同一数据分组内的运价数据对应相同的预设数据属性。本方法可以对运价数据进行初步分组，将满足相同预设数据属性的运价数据划分至同一数据分组，从而简化数据查找、检索的过程，进而降低变更搜索系统搜索运价数据的难度。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种数据处理方法、装置及服务器。
背景技术
变更搜索系统在航空公司电子商务直销体系中发挥着重要的作用，该系统主要用于根据旅客的订单和客票信息，搜索并展示可变更的航班及对应的差价，实现对客票改期、升舱等服务业务的支持，能够有效帮助航空公司提高服务水平，规范机票市场，进而提高用户体验，增加用户粘度。
变更搜索系统不仅需要根据用户输入的搜索条件，在数以亿计的运价数据中确定满足搜索条件的航班组合，同时还要保证对搜索请求的快速响应，从而确保所得搜索结果是实时有效的。
然而，由于运价数据的数据量过于庞大，而且缺乏有效的数据预处理过程，因此，在实际应用中，运价数据作为变更搜索系统的基础数据，一直是影响进一步提高变更搜索系统响应效率的瓶颈。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法、装置及系统，对运价数据进行预处理，简化变更搜索系统搜索运价数据的难度，有助于提高变更搜索系统的响应效率，具体方案如下：
第一方面，本发明提供一种数据处理方法，包括：
获取目标航空公司更新后的运价数据，得到目标运价数据；
在所述目标航空公司的多个预设运价数据组中，根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组；
基于预设排序规则确定各所述关联运价数据组的处理顺序；
按照所述处理顺序，分别对各所述关联运价数据组执行预处理操作；
其中，所述预处理操作包括：
更新所述关联运价数据组内的运价数据；
基于所述关联运价数据组内更新后的运价数据的预设数据属性，划分所述关联运价数据组内更新后的运价数据至对应的数据分组；
其中，同一所述数据分组内的运价数据对应相同的预设数据属性。
第二方面，本发明提供一种数据处理装置，包括：
获取单元，用于获取目标航空公司更新后的运价数据，得到目标运价数据；
第一确定单元，用于在所述目标航空公司的多个预设运价数据组中，根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组；
第二确定单元，用于基于预设排序规则确定各所述关联运价数据组的处理顺序；
预处理单元，用于按照所述处理顺序，分别对各所述关联运价数据组执行预处理操作；
其中，所述预处理操作包括：
更新所述关联运价数据组内的运价数据；
基于所述关联运价数据组内更新后的运价数据的预设数据属性，划分所述关联运价数据组内更新后的运价数据至对应的数据分组；
其中，同一所述数据分组内的运价数据对应相同的预设数据属性。
第三方面，本发明提供一种服务器，包括：存储器和处理器；所述存储器存储有适于所述处理器执行的程序，以实现本发明第一方面任一项所述的数据处理方法。
基于上述技术方案，本发明提供的数据处理方法，在得到目标航空公司更新后的运价数据，即目标运价数据之后，在目标航空公司多个预设运价数据组中确定至少一个关联运价数据组，并基于预设排序规则确定各关联运价数据组的处理顺序，然后按照所得处理顺序，分别对各关联运价数据组执行预处理操作，其中，预处理操作包括：更新关联运价数据组内的运价数据，并基于关联运价数据组内更新后的运价数据的预设数据属性，划分关联运价数据组内更新后的运价数据至对应的数据分组，使得同一数据分组内的运价数据对应相同的预设数据属性。
通过本发明提供的数据处理方法，可以对运价数据进行初步分组，将满足相同预设数据属性的运价数据划分至同一数据分组，基于本发明最终给出的预处理结果，变更搜索系统可以基于预设数据属性查找到具有相同预设数据属性的多个运价数据，从而简化数据查找、检索的过程，进而降低变更搜索系统搜索运价数据的难度，有助于提高变更搜索系统的响应效率。
进一步的，本发明提供的数据处理方法，采用增量更新的机制，即运价数据的更新以及预处理操作以更新后的运价数据及其关联运价数据为基础，确保更新后的运价数据及其关联运价数据优先被处理，进而为变更搜索系统提供及时、有效的运价数据、在提高搜索结果的准确度的前提下，能够逐步实现运价数据整体的更新、分组。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本发明实施例提供的一种数据处理方法的流程图；
图2是本发明实施例提供的一种数据处理装置的结构框图；
图3是本发明实施例提供的另一种数据处理装置的结构框图；
图4是本发明实施例提供的一种服务器的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
可选的，参见图1，图1是本发明实施例提供的一种数据处理方法的流程图，该方法的流程可以包括：
S100、获取目标航空公司更新后的运价数据，得到目标运价数据。
在实际应用中，各个航空公司的运价数据会不定期的发生更新调整，在运价数据更新后，航空公司会将更新后的运价数据发送至ATPCO(Airline Tariff PublishingCompany，运价发布机构)，由ATPCO将更新后的运价数据推送至各个服务商。并且，在这个过程中，ATPCO只会推送更新后的运价数据，对于没有发生更新的运价数据，则不会重复推送。
基于上述前提，本发明实施例所提供的数据处理方法中述及的目标运价数据，即指更新后的运价数据。进一步的，在大多数应用场景中，目标运价数据是由ATPCO提供的，当然，也可以由其他数据提供方提供，比如，直接由发生运价数据调整的航空公司提供。本发明实施例对于目标运价数据的具体提供方不做限定。
可以想到的是，本发明实施例中述及的目标航空公司即指发生运价数据更新，需要对该航空公司的运价数据做出相应调整的航空公司，因此，目标航空公司可以是任何与ATPCO建立通讯协议，或者，与变更搜索系统建立通讯协议的航空公司。
可选的，为便于存储和查找目标运价数据，在得到获取目标航空公司更新后的运价数据后，可以将更新后的运价数据转换为第一预设格式，并将按照第一预设格式转换后的运价数据作为目标运价数据。进一步的，将目标运价数据存储到确定的地址中，同时，预设一changelog文件(当然，此处仅为示例，还可以是其他能够达到相同作用的文件)，在changelog文件中记录目标运价数据的存储地址。在后续步骤中，直接读取changelog文件，便可以获得目标运价数据的存储地址，访问相应的存储地址，便可方便快捷的获取到目标运价数据。
S110、在目标航空公司的多个预设运价数据组中，根据目标运价数据与各预设运价数据组的预设关联关系，确定至少一个关联运价数据组。
在现有的运价数据管理系统中，各个航空公司的运价数据是独立管理的，并且针对每一个航空公司而言，其运价数据都会预先划分为多个预设运价数据组，在实际应用中，这些预设运价数据组往往是以<carrier，tariff>表示的，其中，carrier表示航空公司，tariff表示运价数据所属的目录编号。
由于运价数据结构复杂，即使航空公司没有更新某些数据，这些运价数据也会因为受到更新后的运价数据的影响而必须进行更新调整。因此，在本步骤中，需要确定由于目标运价数据发必须做出更新调整的全部运价数据，即在多个预设运价数据组中，根据目标运价数据与各预设运价数据组的预设关联关系，确定至少一个关联运价数据组，其中，预设关联关系可以基于运价数据的类型确定，也可以根据现有技术中不同预设运价数据组之间的交互关系确定。由此可见，基于此前提得到的关联运价数据组其实质为目标航空公司内因目标运价数据更新而需要同步更新的预设运价数据组。
可选的，在确定关联运价数据组的过程中，主要需要考虑一下两种情况：
其一，如果目标运价数据仅包括一条运价数据，则只需要确定目标运价数据所属的预设运价数据组为关联运价数据组即可。在后续步骤中，只对目标运价数据所属的预设运价数据组进行处理。例如，某个航空公司的一条运价数据发生了变化，那么只需要根据该条运价数据获取到其所属的tariff，对该<carrier、tariff>下的所有数据进行重新构建。
其二，如果目标运价数据为舱位等级和舱位列表数据，在确定关联运价数据组时，需要将目标航空公司的全部预设运价数据组为关联运价数据组。比如，某个航空公司的A02数据(即舱位等级和舱位列表数据)发生了变化，A02数据定义了航空公司的舱位序列及各个舱位所属的舱等(经济舱、商务舱、头等舱等)，一旦该数据发生变化，则必须获取该航空公司所有的tariff，对所有的tariff数据都进行重新构建，即将该航空公司的全部tariff数据组作为关联运价数据组。
S120、基于预设排序规则确定各关联运价数据组的处理顺序。
可以想到的是，如果前述步骤确定的关联运价数据组只有一个，该关联运价数据组的处理顺序肯定是第一个，而如果前述步骤中确定的关联运价数据组有多个，为了确保处理过程的顺利开展，就有必要确定各关联运价数据组的处理顺序。
可选的，获取各关联运价数据组的预设数据量指标、预设复杂度指标，以及参考处理时长，然后根据所得预设数据量指标、预设复杂度指标，以及参考处理时长，分别计算各关联运价数据组的预估处理时长，按照预估处理时长由长到短的顺序，即可确定各关联运价数据组的处理顺序。
在实际应用中，参考处理时长可以根据各关联运价数据组的历次处理获得的时间数据，分析出哪些关联运价数据组可能在本次处理中耗时较长，并据此设定参考处理时长。对于预设数据量指标则可以根据各个关联运价数据组具体包括的数据量给定，预设复杂度指标则主要基于运价数据对应的业务复杂度确定。本发明对于上述预设数据量指标、预设复杂度指标，以及参考处理时长的具体选取方法不做限定，任何能够准确反映关联运价数据处理时长的选取方法都是可选的。
可选的，在实际应用中，如果某个关联运价数据组的预估处理时长特别长，比如，超过预设的处理时长阈值，此种情况下，为避免该关联运价数据组成为系统处理总时长的瓶颈，可以将该关联运价数据组进一步划分为多个关联运价数据小组，以各个关联运价数据小组为单位进行处理，从而降低该关联运价数据组的整体耗时。
例如，经过前述方法的分析，发现<DL，003>处理时间普遍很长，而且该关联运价数据组中各类数据的数量和复杂度都比较高，因此，可以将其拆分成3个小组并发进行处理，以保证<DL，003>不会成为系统处理时间的瓶颈。
进一步的，为了更快的完成处理过程，还可以采用并发处理机制对各关联运价数据组进行处理。具体的，在确定处理顺序之后，根据执行本发明实施例提供的数据处理方法的服务器的cpu配置，动态确定启动多少个进程进行处理，每个关联运价数据组(如果进一步划分为关联运价数据小组，则对应每个关联运价数据小组)占用一个cpu内核，力求将系统资源最大限度地利用上，以缩短处理时间。
程序动态获取服务器拥有的cpu核数，假设cpu核数为N，则可以并发N个进程对所有的数据组进行并发处理，使系统资源利用率达到最大，以缩短处理时间。
S130、按照处理顺序，分别对各关联运价数据组执行预处理操作。
在本发明实施例中，预处理操作主要包括：更新关联运价数据组内的运价数据、以及基于关联运价数据组内更新后的运价数据的预设数据属性，划分关联运价数据组内更新后的运价数据至对应的数据分组，最终使得同一数据分组内的运价数据对应相同的预设数据属性。
可选的，在对关联运价数据组内的运价数据完成更新后，可以首先将关联运价数据组内更新后的运价数据转换为第二预设数据格式，其中，该第二预设数据格式基于预设数据属性设定。在具体执行过程中，预设数据属性可以包括始发地、目的地、舱位等级、行程类型、运价数据组别，以及所属航空公司。当然，根据数据处理需求，还可以选择其他预设数据属性，此处不再一一列举。通过转换更新后的运价数据的存储格式，可以使得变更搜索系统可以根据始发地、目的地、单程/往返、舱位等级等信息快速的获取满足该条件的所有运价。
比如，航空公司发布的运价数据中比较重要的一种是INTALLFARE数据，该数据包含如下信息：
| tariff | carrier | orig | dest | fbc | ruleNo | rtgNo | GI |
| 008 | CA | BJS | TYO | YOW | CN01 | 0001 | EH |
基于上述分析，可以将运价数据按照第二预设数据格式重新组织，比如：
一级key：orig/dest/cabin/owrt
二级key：tariff/carrier/rtgno
其中，orig表示出发地；dest表示目的地；cabin表示舱位等级；owrt表示行程类型，即单程/往返；tariff表示运价数据所属的目录编号；carrier表示航空公司。
需要特别说明的是，rtgno表示该条运价数据对应的路径信息，一级key和二级key共同构成对更新后的运价数据进行分组的依据，一级key和二级key的组合可以理解为该运价数据允许的航班路径图，一个航班路径图对应一个数据分组，对应同一航班路径图的更新后的运价数据，被划分至同一数据分组中，使得同一数据分组内的运价数据对应相同的预设数据属性。
经过上述预处理后，更新后的运价数据被分为多个数据分组，每一数据分组对应相同的预设数据属性，即对应相同的一级key和二级key，变更搜索系统根据上述路径信息或者说根据航班路径图，就可快捷的确定有哪些航班可以使用相应路径信息或航班路径图对应的运价数据。
比如，经过上述步骤处理后的运价数据将以如下格式保存：
可选的，为便于变更搜索系统的使用，还可以将经过上述各步骤处理后得到的数据分组存储至用于响应变更搜索请求的预设文件中，当有用户发起变更搜索请求时，可以直接使用该预设文件予以响应。
综上所述，本发明提供的数据处理方法，在得到目标航空公司更新后的运价数据，即目标运价数据之后，在目标航空公司多个预设运价数据组中确定至少一个关联运价数据组，并基于预设排序规则确定各关联运价数据组的处理顺序，然后按照所得处理顺序，分别对各关联运价数据组执行预处理操作，其中，预处理操作包括：更新关联运价数据组内的运价数据，并基于关联运价数据组内更新后的运价数据的预设数据属性，划分关联运价数据组内更新后的运价数据至对应的数据分组，使得同一数据分组内的运价数据对应相同的预设数据属性。
通过本发明提供的数据处理方法，可以对运价数据进行初步分组，将满足相同预设数据属性的运价数据划分至同一数据分组，基于本发明最终给出的预处理结果，变更搜索系统可以基于预设数据属性查找到具有相同预设数据属性的多个运价数据，从而简化数据查找、检索的过程，进而降低变更搜索系统搜索运价数据的难度，有助于提高变更搜索系统的响应效率。
进一步的，本发明提供的数据处理方法，采用增量更新的机制，即运价数据的更新以及预处理操作以更新后的运价数据及其关联运价数据为基础，确保更新后的运价数据及其关联运价数据优先被处理，进而为变更搜索系统提供及时、有效的运价数据、在提高搜索结果的准确度的前提下，能够逐步实现运价数据整体的更新、分组。
需要说明的是，附图中的流程图，示出按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，上述内容虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
下面对本发明实施例提供的数据处理装置进行介绍，下文描述的数据处理装置可以认为是为实现本发明实施例提供的数据处理方法，在中央设备中需设置的功能模块架构；下文描述内容可与上文相互参照。
可选的，参见图2，图2是本发明实施例提供的一种数据处理装置的结构框图，该装置可以包括：
获取单元10，用于获取目标航空公司更新后的运价数据，得到目标运价数据；
第一确定单元20，用于在所述目标航空公司的多个预设运价数据组中，根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组；
第二确定单元30，用于基于预设排序规则确定各所述关联运价数据组的处理顺序；
预处理单元40，用于按照所述处理顺序，分别对各所述关联运价数据组执行预处理操作；
其中，所述预处理操作包括：
更新所述关联运价数据组内的运价数据；
基于所述关联运价数据组内更新后的运价数据的预设数据属性，划分所述关联运价数据组内更新后的运价数据至对应的数据分组；
其中，同一所述数据分组内的运价数据对应相同的预设数据属性。
可选的，所述第二确定单元30，用于基于预设排序规则确定各所述关联运价数据组的处理顺序时，具体包括：
获取各所述关联运价数据组的预设数据量指标、预设复杂度指标，以及参考处理时长；
根据所述预设数据量指标、所述预设复杂度指标，以及所述参考处理时长，分别计算各所述关联运价数据组的预估处理时长；
按照所述预估处理时长由长到短的顺序，确定各所述关联运价数据组的处理顺序。
可选的，若所述目标运价数据仅包括一条运价数据，所述第一确定单元20，用于根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组时，具体包括：
确定所述目标运价数据所属的预设运价数据组为关联运价数据组。
可选的，若所述目标运价数据为舱位等级和舱位列表数据，所述第一确定单元20，用于根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组时，具体还包括
确定所述目标航空公司的全部所述预设运价数据组为关联运价数据组。
可选的，所述获取单元10，用于获取目标航空公司更新后的运价数据，得到目标运价数据时，具体包括：
获取目标航空公司更新后的运价数据；
将所述更新后的运价数据转换为第一预设格式，并将按照所述第一预设格式转换后的运价数据作为目标运价数据。
可选的，所述预处理单元40在执行预处理操作时，还包括：
将所述关联运价数据组内更新后的运价数据转换为第二预设数据格式，其中，所述第二预设数据格式基于所述预设数据属性设定。
可选的，参见图3，图3是本发明实施例提供的另一种数据处理装置的结构框图，在图2所示实施例的基础上，该装置还包括：
存储单元50，用于将各所述数据分组存储至用于响应变更搜索请求的预设文件中。
需要说明的是，描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一确定单元还可以被描述为“确定关联运价数据组的单元”。
下面参考图4，其示出了适于用来实现本公开实施例的服务器600的结构示意图。服务器600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。存储器中存储有适于处理器执行的程序，以实现本发明上述任一项实施例提供的服务器访问行为识别方法。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置606；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的服务器600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取目标航空公司更新后的运价数据，得到目标运价数据；
在所述目标航空公司的多个预设运价数据组中，根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组；
基于预设排序规则确定各所述关联运价数据组的处理顺序；
按照所述处理顺序，分别对各所述关联运价数据组执行预处理操作；
其中，所述预处理操作包括：
更新所述关联运价数据组内的运价数据；
基于所述关联运价数据组内更新后的运价数据的预设数据属性，划分所述关联运价数据组内更新后的运价数据至对应的数据分组；
其中，同一所述数据分组内的运价数据对应相同的预设数据属性。
2.根据权利要求1所述的数据处理方法，其特征在于，还包括：
将各所述数据分组存储至用于响应变更搜索请求的预设文件中。
3.根据权利要求1所述的数据处理方法，其特征在于，所述基于预设排序规则确定各所述关联运价数据组的处理顺序，包括：
获取各所述关联运价数据组的预设数据量指标、预设复杂度指标，以及参考处理时长；
根据所述预设数据量指标、所述预设复杂度指标，以及所述参考处理时长，分别计算各所述关联运价数据组的预估处理时长；
按照所述预估处理时长由长到短的顺序，确定各所述关联运价数据组的处理顺序。
4.根据权利要求1所述的数据处理方法，其特征在于，若所述目标运价数据仅包括一条运价数据，所述根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组，包括：
确定所述目标运价数据所属的预设运价数据组为关联运价数据组。
5.根据权利要求1所述的数据处理方法，其特征在于，若所述目标运价数据为舱位等级和舱位列表数据，所述根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组，还包括
确定所述目标航空公司的全部所述预设运价数据组为关联运价数据组。
6.根据权利要求1所述的数据处理方法，其特征在于，所述获取目标航空公司更新后的运价数据，得到目标运价数据，包括：
获取目标航空公司更新后的运价数据；
将所述更新后的运价数据转换为第一预设格式，并将按照所述第一预设格式转换后的运价数据作为目标运价数据。
7.根据权利要求1所述的数据处理方法，其特征在于，所述预处理操作，还包括：
将所述关联运价数据组内更新后的运价数据转换为第二预设数据格式，其中，所述第二预设数据格式基于所述预设数据属性设定。
8.根据权利要求1-7任一项所述的数据处理方法，其特征在于，所述预设数据属性，包括：始发地、目的地、舱位等级、行程类型、运价数据组别、所属航空公司。
9.一种数据处理装置，其特征在于，包括：
获取单元，用于获取目标航空公司更新后的运价数据，得到目标运价数据；
第一确定单元，用于在所述目标航空公司的多个预设运价数据组中，根据所述目标运价数据与各所述预设运价数据组的预设关联关系，确定至少一个关联运价数据组；
第二确定单元，用于基于预设排序规则确定各所述关联运价数据组的处理顺序；
预处理单元，用于按照所述处理顺序，分别对各所述关联运价数据组执行预处理操作；
其中，所述预处理操作包括：
更新所述关联运价数据组内的运价数据；
基于所述关联运价数据组内更新后的运价数据的预设数据属性，划分所述关联运价数据组内更新后的运价数据至对应的数据分组；
其中，同一所述数据分组内的运价数据对应相同的预设数据属性。
10.一种服务器，其特征在于，包括：存储器和处理器；所述存储器存储有适于所述处理器执行的程序，以实现权利要求1至8任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196111.6A CN112307065B (zh) | 2020-10-30 | 2020-10-30 | 一种数据处理方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011196111.6A CN112307065B (zh) | 2020-10-30 | 2020-10-30 | 一种数据处理方法、装置及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112307065A true CN112307065A (zh) | 2021-02-02 |
| CN112307065B CN112307065B (zh) | 2024-06-07 |
Family
ID=74333248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011196111.6A Active CN112307065B (zh) | 2020-10-30 | 2020-10-30 | 一种数据处理方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112307065B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113934538A (zh) * | 2021-10-12 | 2022-01-14 | 同程网络科技股份有限公司 | 一种运价数据处理方法、装置、系统及存储介质 |
| CN115409549A (zh) * | 2022-08-23 | 2022-11-29 | 中国民航信息网络股份有限公司 | 一种数据处理方法、系统、电子设备及计算机存储介质 |
| CN116760635A (zh) * | 2023-08-14 | 2023-09-15 | 华能信息技术有限公司 | 一种基于工业互联网平台的资源管理方法及系统 |
| WO2024041441A1 (zh) * | 2022-08-23 | 2024-02-29 | 中国民航信息网络股份有限公司 | 运价确定方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133028A1 (zh) * | 2016-02-04 | 2017-08-10 | 中国民航信息网络股份有限公司 | 一种客票变更系统和方法 |
| CN109325037A (zh) * | 2018-08-17 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
| CN109558448A (zh) * | 2018-10-10 | 2019-04-02 | 北京海数宝科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110659137A (zh) * | 2019-09-24 | 2020-01-07 | 支付宝(杭州)信息技术有限公司 | 针对离线任务的处理资源分配方法及系统 |
| CN111125103A (zh) * | 2019-12-18 | 2020-05-08 | 北京明略软件系统有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
-
2020
- 2020-10-30 CN CN202011196111.6A patent/CN112307065B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133028A1 (zh) * | 2016-02-04 | 2017-08-10 | 中国民航信息网络股份有限公司 | 一种客票变更系统和方法 |
| CN109325037A (zh) * | 2018-08-17 | 2019-02-12 | 中国平安人寿保险股份有限公司 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
| CN109558448A (zh) * | 2018-10-10 | 2019-04-02 | 北京海数宝科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110659137A (zh) * | 2019-09-24 | 2020-01-07 | 支付宝(杭州)信息技术有限公司 | 针对离线任务的处理资源分配方法及系统 |
| CN111125103A (zh) * | 2019-12-18 | 2020-05-08 | 北京明略软件系统有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113934538A (zh) * | 2021-10-12 | 2022-01-14 | 同程网络科技股份有限公司 | 一种运价数据处理方法、装置、系统及存储介质 |
| CN115409549A (zh) * | 2022-08-23 | 2022-11-29 | 中国民航信息网络股份有限公司 | 一种数据处理方法、系统、电子设备及计算机存储介质 |
| WO2024041441A1 (zh) * | 2022-08-23 | 2024-02-29 | 中国民航信息网络股份有限公司 | 运价确定方法及相关装置 |
| CN115409549B (zh) * | 2022-08-23 | 2024-05-14 | 中国民航信息网络股份有限公司 | 一种数据处理方法、系统、电子设备及计算机存储介质 |
| CN116760635A (zh) * | 2023-08-14 | 2023-09-15 | 华能信息技术有限公司 | 一种基于工业互联网平台的资源管理方法及系统 |
| CN116760635B (zh) * | 2023-08-14 | 2024-01-19 | 华能信息技术有限公司 | 一种基于工业互联网平台的资源管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112307065B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112307065B (zh) | 一种数据处理方法、装置及服务器 | |
| CN112449750A (zh) | 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统 | |
| CN112416960B (zh) | 多场景下的数据处理方法、装置、设备及存储介质 | |
| CN110334091A (zh) | 一种数据分片分布式处理方法、系统、介质和电子设备 | |
| US20120224482A1 (en) | Credit feedback system for parallel data flow control | |
| US20180248772A1 (en) | Managing intelligent microservices in a data streaming ecosystem | |
| US10642530B2 (en) | Global occupancy aggregator for global garbage collection scheduling | |
| CN105868070A (zh) | 确定任务消耗资源的方法及装置 | |
| CN111950857A (zh) | 基于业务指标的指标体系管理方法、装置以及电子设备 | |
| CN111737564A (zh) | 一种信息查询方法、装置、设备及介质 | |
| US20120144039A1 (en) | Computing scheduling using resource lend and borrow | |
| CN113900907B (zh) | 一种映射构建方法和系统 | |
| CN109586970B (zh) | 资源分配方法、装置及系统 | |
| CN113760242B (zh) | 一种数据处理方法、装置、服务器和介质 | |
| CN113419856A (zh) | 智能限流方法、装置、电子设备及存储介质 | |
| CN109067649B (zh) | 节点处理方法及装置、存储介质和电子设备 | |
| CN113535673A (zh) | 生成配置文件及数据处理的方法和装置 | |
| CN114817408B (zh) | 调度资源识别方法、装置、电子设备及存储介质 | |
| CN111506628B (zh) | 数据处理方法及装置 | |
| KR20110035665A (ko) | 실시간으로 대용량 랭킹을 산정하기 위한 랭킹 데이터 시스템, 랭킹 질의 시스템 및 랭킹 산정 방법 | |
| CN115145959A (zh) | 数据存储方法、装置、电子设备和存储介质 | |
| CN111222048A (zh) | 用户数量的查询计算方法、装置、电子设备、及存储介质 | |
| CN112837003A (zh) | 一种确定快递员配送范围的方法和装置 | |
| CN113535410B (zh) | 用于gis空间矢量分布式计算的负载均衡方法及系统 | |
| CN115277859B (zh) | 请求调度方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |