CN106021528A - 数据处理方法和装置 - Google Patents
数据处理方法和装置 Download PDFInfo
- Publication number
- CN106021528A CN106021528A CN201610354064.0A CN201610354064A CN106021528A CN 106021528 A CN106021528 A CN 106021528A CN 201610354064 A CN201610354064 A CN 201610354064A CN 106021528 A CN106021528 A CN 106021528A
- Authority
- CN
- China
- Prior art keywords
- data
- product information
- request
- data processing
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Abstract
本发明实施例提供一种数据处理方法,定义统一接口从多数据源获取产品信息,根据预定义的规则对产品进行整合,根据数据请求检索整合后的产品信息,并把相关数据返回给请求端,通过统一接口简便了供应商系统的接入方式,通过规则平台对产品销售的控制,规则可配置,可管理性保证了规则的变动不会到平台系统造成较大的影响。本发明同时提供对应的数据处理装置。
Description
技术领域
本发明涉及计算机领域,具体涉及一种数据处理方法和装置。
背景技术
目前的机票平台系统,更多的是多商家产品并列的产品展示,给用户提供的是嵌套在独立的子模块中的机票产品,其实质是由各个商家进行独立维护销售信息从而达到的线上展示效果。商家通过在平台中录入机票产品,维护每个机票产品的销售属性和销售条件,当用户通过平台查询机票产品信息时,平台从商品系统中获取数据进行展示。
现有的技术方案存在很大的缺陷,首先,由于不同的商家的产品信息格式存在差异,导致平台在兼容这些不同信息时需要付出大量的研发成本,且平台基于自身的利益制定的销售政策和条件可能无法和商家兼容;其次,国家对航班产品的政策需要及时在机票平台上体现出来,这样研发成就相对较高;第三,每个商家都维护一套产品的规则,需要占用大量的资源。
基于此,改进目前的机票平台系统,满足航班销售条件和政策变动频繁的条件下降低研发成本,成为一个亟待解决的问题。
发明内容
有鉴于此,本发明提供一种数据处理方法和装置,用于解决上述问题。
根据本发明的第一方面,本发明提供一种数据处理方法,包括:调用统一接口,从多个数据源获取产品信息,所述统一接口规定了接口形式和接口参数;将所述产品信息根据预定义的规则进行加工,生成第一数据;接收数据请求,所述数据请求中包括请求条件;以及根据所述请 求条件在所述第一数据中检索符合所述请求条件的数据处理后返回请求端。
优选地,所述将所述产品信息进行加工包括:将所述产品信息转换为统一的数据格式。
优选地,所述将所述产品信息进行加工还包括:根据所述产品信息进行产品比价,根据比价结果进行筛选。
优选地,还包括:将所述第一数据缓存在数据容器里。
优选地,所述产品信息为航班产品信息,所述多个数据源为提供航班产品的供应商系统,所述预定义的规则包括销售条件的匹配规则、展示要求和启用状态。
根据本发明的第二方面,本发明提供一种数据处理装置,包括:产品信息获取单元,用于调用统一接口,从多个数据源获取产品信息,所述统一接口规定了接口形式和接口参数;产品信息加工单元,用于将所述产品信息根据预定义的规则进行加工,生成第一数据;请求接收单元,用于接收数据请求,所述数据请求中包括请求条件;请求检索单元,用于根据所述请求条件在所述第一数据中检索符合所述请求条件的数据处理后返回请求端。
优选地,所述产品信息加工单元包括:将所述产品信息转换为统一格式。
优选地,所述产品信息加工单元还包括:根据所述产品信息进行产品比价,根据比价结果进行筛选。
优选地,还包括:缓存单元,用于将所述第一数据缓存在数据容器里。
优选地,所述产品信息为航班产品信息,所述多个数据源为提供航班产品的供应商系统,所述配置信息包括销售条件的匹配规则、展示要求和启用状态。
本发明实施例提供一种数据处理方法,定义统一接口从多数据源获取产品信息,根据预定义的规则对产品进行整合,根据数据请求检索整合后的产品信息,并把相关数据返回给请求端,通过统一接口简便了供 应商系统的接入方式,通过规则平台对产品销售的控制,规则可配置,可管理性保证了规则的变动不会到平台系统造成较大的影响。
附图说明
通过参照以下附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是根据本发明实施例的数据处理方法的流程图;
图2是根据本发明实施例的机票平台系统的示意图;
图3是根据本发明实施例的数据处理装置的结构图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
图1是根据本发明实施例的订单数据的处理方法的流程图。所述数据处理方法包括步骤103-106。
在步骤103中,调用统一接口,从多个数据源获取产品信息。
航班产品信息来自多个供应商系统,供应商系统提供的产品信息和接口形式并不相同,为了简化步骤,平台基于业务逻辑规定了统一的接口形式和接口参数,通过统一接口平台接入产品数据。
例如,queryFlight用于向供应商系统检索航班数据的一个查询接口,其输入参数为QueryFlightRequest对象,输出参数为QueryFlightResponse对象。
输入参数的JASON格式的示例为:
{orgCity:”PEK”,arrCity:”SHA”,depDate:”2012-10-10”,dep Time:”09:00-12:00”},
其中,orgCity为出发城市,arrCity为到达城市,depDate为出发时间段,depTime为检索时间段。
按照上述查询条件检索到的航班数据通过QueryFlightResponse对象返回。
输出参数的JASON格式的示例如下:
{
responseType:0,{flightInfos:[{depDate:”2012-10-10”,orgCity,“PEK”,arrCity:”SHA”,distance,1200,basePrice,550},
{flightInfos:[{depDate:”2012-10-11”,orgCity,“PEK”,arrCity:”BJ”,distance,1000,basePrice,600}]}
},
其中,responseType表示返回值,每个flightInfos对应一个检索到的航班的信息。
在步骤104中,将产品信息根据预定义的规则进行加工,生成第一数据。
在本步骤中,将不同来源的数据进行数据加工,数据加工包括数据融合和数据转换,数据融合包括合并数据、计算展示价格和比价去重。合并数据是将同一航线查询接口返回的数据,按照航班维度合并统一的舱位数据。计算展示价格,取每个舱位数据匹配的本地维护的多维度价格计算规则匹配计算逻辑,获取到对应的计算逻辑,根据公式和数值计算出客户端应该展示的价格。比价去重,同一航班同一舱位根据标示区分不同的产品类型,在相同产品类型下取价格最低的数据作为返回给客户端的最终展示数据,其他数据丢弃。
数据转换是通过客户端的销售条件进行数据匹配和格式变换。通过内部业务逻辑的梳理划定平台销售范围,在规则中定义出各种销售条件的匹配标示。如表格1所示。
表格1
在数据加工过程中使用的加工规则可以保存在配置文件或数据库中。运营人员可以通过修改配置文件或数据库数据实时修改加工规则,从而修改返回给客户端的数据。
在步骤105中,接收数据请求。
本步骤中,所示数据请求可以来自服务器端程序,或来自一个WEB客户端。例如,用户输入了URL地址,要求查看所有的航班产品信息,此时默认下服务端发起航班产品的数据请求。再例如,用户选中早8点到10点的经济舱航班产品,此时,向服务器端发起此类查询的数据请求。
在步骤106中,根据请求条件在第一数据中检索符合请求条件的数据处理后返回请求端。
在本步骤中,根据数据请求中的请求条件在加工后的第一数据中检索获得符合条件的数据,并按照成请求端要求的格式返回给请求端。
本发明实施例提供一种数据处理方法,定义统一接口从多数据源获 取产品信息,根据预定义的规则对产品进行整合,根据数据请求检索整合后的产品信息,并把相关数据返回给请求端,通过统一接口简便了供应商系统的接入方式,通过规则平台对产品销售的控制,规则可配置,可管理性保证了规则的变动不会到平台系统造成较大的影响。
图2是根据本发明实施例的机票平台系统的示意图。
WEB前端20接收用户的各种选择条件,向后台平台服务端发起各种产品数据的数据请求,根据后台传回的产品数据和销售条件,进行前端样式的匹配和信息的拼接,实现动态展示。
平台系统的服务端21创建规则,实现规则的可编辑、可管理开关的状态,即将每一种销售条件所匹配的流程限制进行定义,比如报销凭证类型需要进行前端页面的动态展示,包括文案的提示信息等,运营可以手动管理是否放开此功能,若不放开则在流程上不支持特殊发票的产品销售,即前台自动忽略掉带有此标示的产品。平台系统的服务端针对从供应商处返回的数据以及对应的销售条件标示,首先根据销售条件状态进行销售条件的筛选,屏蔽掉状态为关闭的产品,其次对产品进行比价,筛选掉部分不满足条件的产品;再次对数据处理成前端需要的格式,将匹配信息标示为前台可识别的条件ID,并将数据和条件ID传给前台,并将数据和条件ID传给WEB前端。
图3是根据本发明实施例的数据处理装置的结构图。图中的数据处理装置包括产品信息获取单元301、产品信息加工单元302、请求接收单元303和请求检索单元304。
产品信息获取单元301通过调用提供给各个供应商的统一接口,从供应商系统的数据源获取产品信息,其中,统一接口规定了接口形式和接口参数。
产品信息加工单元302将产品信息根据预定义的规则进行加工,生成第一数据。所述第一数据包括产品销售条件和产品各种属性。在可替换的实施例中,产品信息加工单元包括:将产品信息转换为统一格式或者能够将同类产品进行价格比较从而筛选掉不符合的产品。
请求接收单元303接收数据请求,所述数据请求中包括请求条件。数据请求多来自于WEB页面,从WEB页面中获取数据请求,将请求后的 数据发送给客户端。
请求检索单元304根据请求条件在所述第一数据中检索符合所述请求条件的数据处理后返回请求端。
在优选的实施方式中,所述数据处理单元还包括缓存单元,缓存单元用于将加工后的数据存储在数据容器中供请求端使用。如果没有缓存单元,则每个请求端发起一个请求,就会驱动产品信息获取单元30和产品信息加工单元302实时地获取产品数据进行加工以供请求端读取。例如,相对固定的航班信息可以进行本地缓存,仅通过统一接口将动态的政策信息传递过来,仅将销售条件和政策信息进行绑定,再经过销售条件的筛选和政策的对比实现前台的产品展示。
本发明提供的数据处理装置,通过接口将产品信息接入,并通过规则匹配、价格对比等方式对产品信息进行加工,实现产品信息的整合。通过前端提供的请求条件,将整合后的产品信息提供给前端进行动态展示。
附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作,流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码,所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意,所述实现规定逻辑功能的可执行指令可以重新组合,从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤,而不应以此作为对发明本身的限制。
系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序,但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合,从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序,可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。
根据本发明的系统和方法可以部署在单个或多个服务器上。例如, 可以将不同的模块分别部署在不同的服务器上,形成专用服务器。或者,可以在多个服务器上分布式部署相同的功能单元、模块或系统,以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据处理方法,包括:
调用统一接口,从多个数据源获取产品信息,所述统一接口规定了接口形式和接口参数;
将所述产品信息根据预定义的规则进行加工,生成第一数据;
接收数据请求,所述数据请求中包括请求条件;以及
根据所述请求条件在所述第一数据中检索符合所述请求条件的数据处理后返回请求端。
2.根据权利要求1所述的数据处理方法,其中,所述将所述产品信息进行加工包括:将所述产品信息转换为统一的数据格式。
3.根据权利要求2所述的数据处理方法,其中,所述将所述产品信息进行加工还包括:根据所述产品信息进行产品比价,根据比价结果进行筛选。
4.根据权利要求1所述的数据处理方法,还包括:将所述第一数据缓存在数据容器里。
5.根据权利要求1至4任一项所述的数据处理方法,其中,所述产品信息为航班产品信息,所述多个数据源为提供航班产品的供应商系统,所述预定义的规则包括销售条件的匹配规则、展示要求和启用状态。
6.一种数据处理装置,包括:
产品信息获取单元,用于调用统一接口,从多个数据源获取产品信息,所述统一接口规定了接口形式和接口参数;
产品信息加工单元,用于将所述产品信息根据预定义的规则进行加工,生成第一数据;
请求接收单元,用于接收数据请求,所述数据请求中包括请求条件;
请求检索单元,用于根据所述请求条件在所述第一数据中检索符合所述请求条件的数据处理后返回请求端。
7.根据权利要求6所述的数据处理装置,其中,所述产品信息加工单元包括:将所述产品信息转换为统一格式。
8.根据权利要求7所述的数据处理装置,其中,所述产品信息加工单元还包括:根据所述产品信息进行产品比价,根据比价结果进行筛选。
9.根据权利要求7所述的数据处理装置,还包括:缓存单元,用于将所述第一数据缓存在数据容器里。
10.根据权利要求6至9任一项所述的数据处理装置,其中,所述产品信息为航班产品信息,所述多个数据源为提供航班产品的供应商系统,所述配置信息包括销售条件的匹配规则、展示要求和启用状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610354064.0A CN106021528A (zh) | 2016-05-25 | 2016-05-25 | 数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610354064.0A CN106021528A (zh) | 2016-05-25 | 2016-05-25 | 数据处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106021528A true CN106021528A (zh) | 2016-10-12 |
Family
ID=57094144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610354064.0A Pending CN106021528A (zh) | 2016-05-25 | 2016-05-25 | 数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106021528A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451749A (zh) * | 2017-08-10 | 2017-12-08 | 中国民航信息网络股份有限公司 | 航班婴儿服务的库存管理方法和系统 |
CN107463687A (zh) * | 2017-08-10 | 2017-12-12 | 中国民航信息网络股份有限公司 | 多酒店平台查询方法和系统 |
CN108628866A (zh) * | 2017-03-20 | 2018-10-09 | 大有秦鼎(北京)科技有限公司 | 数据融合的方法和装置 |
CN110990401A (zh) * | 2019-11-22 | 2020-04-10 | 上海景域文化传播股份有限公司 | 一种酒店搜索方法及系统 |
CN111401979A (zh) * | 2020-02-19 | 2020-07-10 | 北京值得买科技股份有限公司 | 分布式信息采集方法以及装置 |
CN111414369A (zh) * | 2020-04-08 | 2020-07-14 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法、装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101059849A (zh) * | 2007-05-24 | 2007-10-24 | 吴树林 | 一种产品信息管理方法及系统 |
CN101145163A (zh) * | 2007-10-30 | 2008-03-19 | 金蝶软件(中国)有限公司 | 从多个数据源获取数据的方法及系统 |
CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp系统中多源数据导入方法 |
US20160140204A1 (en) * | 2013-11-19 | 2016-05-19 | Aptimap Llc | Computer implemented methods and systems for efficient data mapping requirements establishment and reference |
-
2016
- 2016-05-25 CN CN201610354064.0A patent/CN106021528A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101059849A (zh) * | 2007-05-24 | 2007-10-24 | 吴树林 | 一种产品信息管理方法及系统 |
CN101145163A (zh) * | 2007-10-30 | 2008-03-19 | 金蝶软件(中国)有限公司 | 从多个数据源获取数据的方法及系统 |
CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
US20160140204A1 (en) * | 2013-11-19 | 2016-05-19 | Aptimap Llc | Computer implemented methods and systems for efficient data mapping requirements establishment and reference |
CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp系统中多源数据导入方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628866A (zh) * | 2017-03-20 | 2018-10-09 | 大有秦鼎(北京)科技有限公司 | 数据融合的方法和装置 |
CN108628866B (zh) * | 2017-03-20 | 2020-11-06 | 大有秦鼎(北京)科技有限公司 | 数据融合的方法和装置 |
CN107451749A (zh) * | 2017-08-10 | 2017-12-08 | 中国民航信息网络股份有限公司 | 航班婴儿服务的库存管理方法和系统 |
CN107463687A (zh) * | 2017-08-10 | 2017-12-12 | 中国民航信息网络股份有限公司 | 多酒店平台查询方法和系统 |
CN110990401A (zh) * | 2019-11-22 | 2020-04-10 | 上海景域文化传播股份有限公司 | 一种酒店搜索方法及系统 |
CN110990401B (zh) * | 2019-11-22 | 2023-07-28 | 上海景域文化传播股份有限公司 | 一种酒店搜索方法及系统 |
CN111401979A (zh) * | 2020-02-19 | 2020-07-10 | 北京值得买科技股份有限公司 | 分布式信息采集方法以及装置 |
CN111414369A (zh) * | 2020-04-08 | 2020-07-14 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法、装置及设备 |
CN111414369B (zh) * | 2020-04-08 | 2024-03-01 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106021528A (zh) | 数据处理方法和装置 | |
JP6192800B2 (ja) | 個別のデータ値に対する効率よい演算を行うための方法、装置、並びにコンピュータ可読媒体 | |
CN106372194B (zh) | 一种呈现搜索结果的方法和系统 | |
EP2116954A1 (en) | Apparatus and method for accessing data in a multi-tenant database according to a trust hierarchy | |
CN110019292B (zh) | 一种数据的查询方法及装置 | |
CN108228817A (zh) | 数据处理方法、装置和系统 | |
CN107451109A (zh) | 报表生成方法及系统 | |
US9390189B2 (en) | Method and system for providing object information on the internet | |
CN109388637A (zh) | 数据仓库信息处理方法、装置、系统、介质 | |
JP2021504787A (ja) | コグニティブな文書イメージのデジタル化のための方法、コンピュータ・プログラム及びシステム | |
CN106610785A (zh) | 商品对象列表信息处理方法及装置 | |
CN112182045B (zh) | 元数据管理方法、装置、计算机设备及存储介质 | |
US10445695B2 (en) | Method and system for providing continuous reference architecture and bill of material modeling | |
CN114444478A (zh) | 一种凭证可视化方法、装置、电子设备及存储介质 | |
CN104199648B (zh) | 一种通用移动信息系统适配方法与装置 | |
Teixeira et al. | SKYNET: An R package for generating air passenger networks for urban studies | |
CN111126923A (zh) | 物料呆滞统计方法、装置、存储介质及终端设备 | |
KR20120132137A (ko) | 다중 카테고리 분류를 이용한 상품정보 제공방법 및 시스템 | |
CN115794804A (zh) | 基于大数据技术的工程内控数据可视化处理系统及方法 | |
US20160147879A1 (en) | Fuzzy Search and Highlighting of Existing Data Visualization | |
EP3633514A1 (en) | Data exchange system, data exchange method, and data exchange program | |
CN112348298B (zh) | 设计师管理方法、装置、电子终端、及存储介质 | |
CN107391533A (zh) | 生成图形数据库查询结果的方法及装置 | |
US20190266526A1 (en) | Multi-dimensional organization of data for efficient analysis | |
CN112214573A (zh) | 信息搜索系统、方法、计算设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |
|
RJ01 | Rejection of invention patent application after publication |