CN109002352B - 流量控制器系统 - Google Patents

Abstract

本发明提供了一种流量控制器系统，该系统包括：任务获取模块，该模块每秒钟发送请求，从供应商任务池中获取任务；任务信息特征提取和分析模块，该模块对获取的任务进行信息特征提取和分析；任务下发模块，根据任务信息特征提取和分析模块的结果，确定任务的下发。该系统能够对信息进行有效处理从而减轻分销商和供应商的数据和流量压力。

Description

流量控制器系统

技术领域

本发明属于信息处理领域，具体属于互联网技术领域，其涉及一种流量控制器系统，应用于全球酒店资源线上分销。

背景技术

目前针对不同供应商请求量控制的方法主要采用为每个供应商分配一个进程及一套配置信息，每个进程单独接收和控制一个供应商的请求压力和流量，并发多请求过来，没有任务排队挑选的策略。

由于系统会接入很多家酒店供应商，而各个供应商的服务能力又参差不齐，所以每个供应商所能提供的价格请求的次数是有严格要求的。一般情况下，一个供应商所允许的请求次数在每秒0.5次到几百次之间不等，并且在系统短时间大并发的接受到多个请求时，需要针对任务的重要程度进行有选择的保留和抛弃。而为了充分利用供应商开放的请求次数并且不对供应商造成额外压力，满足并发任务的筛选，开发一套统一的针对所有供应商的流量控制器，既能解决这些问题，又能很好的管理每个供应商的上下线。

CN107590546A公开了一种酒店信息处理系统，所述酒店信息处理系统包括酒店预订子系统、第一管理子系统和第三方子系统。其中，所述酒店预订子系统在生成用户对其预订的酒店房型的订单之前，通过所述第一管理子系统对该用户的第三方账户的酒店信用资格进行验证，仅当该用户的第三方账户通过酒店信用资格验证时，所述酒店预订子系统才会生成订单，并且该订单的资源扣减是在用户办理离店手续后通过所述第一管理子系统通知所述第三方子系统对所述用户的第三方账户进行资源扣减而完成的。

CN106600473A公开了一种信息化酒店管理终端，包括管理终端和局域网络模块，其特征在于：所述管理终端包括处理器和外接端口，所述管理终端外部连接有人机界面，所述人机界面包括显示器模块、鼠标模块和键盘模块，所述管理终端信号连接到局域网络模块，所述局域网络模块还连接有智能防火模块、智能监控模块、智能防盗模块、通讯模块、收银模块和客户端模块，所述智能防火模块输出端电性连接有烟雾传感器模块、温度传感器模块和煤气传感器模块，所述智能监控模块还包括摄像头和存储模块，所述通讯模块包括摄像头模块、录音模块和扬声器模块，所述收银模块包括监控模块和打印机模块，所述支付模块的支付方式有网银支付模块、银行卡支付模块、支付宝支付模块、信用卡支付模块和现金支付模块，所述现金支付模块包括验钞机，所述局域网络模块还连接有客户端模块，所述管理终端还包括房屋清洁模块和故障维修模块。

CN106647458A公开了一种酒店控制系统，其特征在于，所述系统包括服务器、控制器、智能终端；所述控制器通过通信模组与所述服务器连接，所述服务器包括数据存储器，所述数据存储器用于存储所述服务器接收到的数据；所述控制器与所述智能终端连接；所述控制器用于接收来自所述智能终端的反馈信息，并向所述智能终端发送控制信息；所述智能终端根据所述控制信息，执行相对应的终端任务；所述智能终端包括门牌终端、路径指引终端以及开关控制终端。

CN106909611A公开了一种基于文本信息抽取的酒店自动匹配方法。本方法为：1)对目标酒店的酒店信息进行要素提取，对待匹配酒店的酒店信息进行要素提取；2)根据步骤1)提取的要素，采用决策树算法计算目标酒店与该待匹配酒店之间的匹配度。

CN103578002A公开了一种旅游电子商务系统，包括：信息处理模块，分别与订单管理模块、网上支付模块、短信模块相连接；登陆模块，与信息处理模块相连接；多个资源分销模块，与信息处理模块之间设置有防火墙；订单管理模块，是用于汇总线上线下订单，同时产生订单报表，并传至信息处理模块，同时完成对订单的增加、删除、编辑、查询的操作；信息处理模块是用于存储客户信息，处理机票、线路、酒店、团期、景点、同行、租车的数据信息。

CN101697222A公开了一种酒店分销业务转换系统，包括客户端和带有若干端口的业务转换服务器，其特征在于：所述客户端通过网络分别连接所述业务转换服务器，所述客户端包括买方客户端和卖方客户端；所述业务转换服务器将所述卖方客户端与买方客户端的信息按要求转换为统一的数据交换协议以及业务流程；所述业务转换服务器中设有流量计费单元，按预设的标准计算流量。

CN107507055A公开了一种B2C旅游分销网站管理方法，包括数据服务器，数据服务器的内部设置有前台展示模块、PC端模块、移动端模块、后台管理模块、分销模块、系统推送服务模块、咨询管理模块，分销模块包含有旅游景点展示单元、旅游订单接收单元、店铺订单查看单元，结算单元，前台展示模块包含有用户注册和用户登陆模块，用户登录进入之后显示有用于促销活动的专区单元，专利区单元包含有景区介绍及价格详情，选中之后的订单进入购物车，购物车通过支付模块之后进入到后台管理模块。

然而，在现有的流量控制系统中，未考虑到不同供应商所允许的请求次数和时间，并且对所获取的信息缺乏有效的信息特征提取和分析，给分销商和供应商都造成额外的压力。

本领域需要一种能够对信息进行处理从而减轻分销商和供应商压力的流量控制器系统。

发明内容

为解决上述技术问题，本发明人经过深入研究和大量测试，以及与科研机构联合研发，提供了以下技术方案，有效地解决了上述技术问题。

在本发明的一方面，提供了一种流量控制器系统，该系统包括：任务获取模块，该模块每秒钟发送请求，从供应商任务池中获取任务；任务信息特征提取和分析模块，该模块对获取的任务进行信息特征提取和分析；任务下发模块，根据任务信息特征提取和分析模块的结果，确定任务的下发。

所述任务获取模块通过远程有线或无线通信从供应商任务池获取任务。

优选地，所述供应商包括酒店和/或餐饮供应商。所述供应商任务池可以为供应商的服务器的实时数据库。

优选地，所述任务信息特征提取包括对任务参数进行提取，所述任务参数包括请求的来源、酒店名称、城市、日期等维度的信息。

优选地，所述任务信息分析包括对提取的信息进行分析，其中：当任务池积压数达到一定阈值的时候触发筛选丢弃策略。

优选地，所述任务信息分析包括对提取的信息进行分析，其中：计算和评估请求或下发的必要性。

优选地，所述任务下发模块根据任务信息特征提取和分析模块的结果，将任务进行即刻下发或延迟下发。

优选地，所述任务获取模块根据任务信息特征提取和分析模块的结果，选择性地舍弃某个或某些请求。

优选地，所述任务获取模块包括DDR存储器。

在本发明的一个优选实施方案方式中，所述任务获取模块还包括DDR控制器。

在现有技术中，DDR 控制器对数据的封装处理和读写控制方法难以很好地兼顾数据访问的可靠性和有效性，且容错纠错能力较低、内存管理复杂。

本发明提供了一种改进的DDR控制器，即本发明的DDR控制器为改进的DDR控制器。该DDR控制器主要包括：多净荷包组装模块、写转义模块、读反向转义模块、多净荷包解封装模块、读写控制逻辑以及存储器接口逻辑。

在该DDR控制器中，多净荷包组装模块负责将从前一级处理模块送入的多个净荷数据包拼接为一个较大的数据包；写转义模块完成对预写入DDR存储器数据的转义处理；读反向转义模块则实现对从DDR存储器读出的数据流进行反向转义，解析出正确的原始组装净荷包；多净荷包解封装模块将提取出原始单个净荷包；读写控制逻辑模块负责对DDR存储器的读写访问进行控制；存储器接口逻辑模块主要实现前端主控功能，完成对外部DDR存储器的读写访问，并为应用提供命令、读、写接口。

参考图2，该图显示了本发明的控制器存储和读取数据的基本流程，其中，首先，对多个净荷包进行组装并进行写转义处理；然后，在处于写操作时钟周期时，将写转义处理后的数据写入到 DDR 存储器中；当到达读操作时钟周期时，从 DDR存储器中读取数据，并对读出的数据流进行读反向转义和解封装，恢复出原始单个净荷包。

本发明的DDR 控制器设计是基于FPGA 进行的改进，采用了多净荷包组装，转义与反向转义方法以及读写控制的流量均衡算法设计，改进了数据封装与解析方式以及读写控制方法。该 DDR 控制器统筹兼顾了数据读写的可靠性和有效性，这对于数据安全性和可靠性要求极高的酒店信息分发系统特别重要，另外，所述控制器有效提高了 DDR 存储器的管理效率和内存利用率，从而有效降低了分销商和供应商的数据压力。通常而言，分销商和供应商并非专业的数据公司，数据处理能力有限，所述管理效率和内存利用率所带来的数据压力具有特别重要的实际意义。经实际应用测试，该 DDR 控制器在好巧网或携程网的千兆线速数据采集卡中已得到有效运用，保证了高速大容量的数据缓冲功能，具有较高的数据稳健性和应用价值。

优选地，所述任务信息特征提取和分析模块包括SDN交换器。更优选地，采用所述SDN交换器对数据进行相似性分析。

随着软件定义网络（SDN）的提出，研究发现由于SDN管控分离等特性十分适应于数据中心网络。于是，数据中心流量管理策略被提出，由于SDN对全局网络拓扑的掌握，一些基于SDN的算法可以动态地根据网络拓扑状况为数据流分配路径，但是这两者都是基于流的转发，在细粒度上不适用于高冗余性结构的数据中心网络，大象流可能会占据大量交换机内存引发丢包。另外被动式的流表响应策略带来了很大的开销，在扩展性方面受到了很大的限制。

另外，在酒店分销信息管理、价格数据分析等数据流应用中，由于设备精度、噪音、干扰和隐私保护等问题，数据流中往往包含着大量不确定性数据，各家酒店的促销模式又各不相同，而这些不确定性对数据流的管理和挖掘带来了挑战。本发明的信息特征提取和分析模块通过分析数据流的不确定性，可以降低不确定性对挖掘结果的影响，进而提升数据流挖掘的质量。

在酒店信息提取和分发中，需要持续的跟踪监测，因而获取的对象信息往往数据规模巨大且持续不断更新。可以在一段时间内获得丰富的大规模对象数据。同时，由于监测设备的数量多、精度、范围和噪音等等，因而在每个时间段内，往往能获取监测对象的大量数据，而且这样数据都呈现一定数据分布。因此，可以对所述数据对象进行聚类分析，并且在不确定环境下进行对象的聚类分析时，不能只考虑对象本身数据值的几何距离，还需要考虑对象的不确定性和数据分布对聚类的影响。

在不确定环境下，对象的数据呈现出一定的分布性，对象的不确定性也是通过对象数据的概率分布来呈现。由于不确定数据流中对象的数据分布的概率性，因而，在衡量不确定对象间的相似度时需要考虑对象的概率分布。例如，在酒店信息分析中，要求每个用户对不同的酒店从各个方面进行评分，比如服务质量、餐饮质量、卫生状况和价格收费等不同角度。每个酒店可以被很多用户进行评分。用户对酒店的满意度可以被建模成一个基于用户评分的不确定对象。对于大量的酒店数据和用户评价，需要根据用户的满意度对酒店进行聚类。在对这些酒店进行聚类时，比较对象之间的相似度就不能仅仅根据分值，还需要根据分值的分布情况。得分高的酒店应该与得分低的相机区别开来，同时，如果两个酒店的得分一样，但得分的分布不同，则他们之间也应该有区别。在根据概率分布特性对不确定数据聚类的过程中，需要对对象的数据分布进行建模。由于不确定数据具有多种可能值，因此，如何建模和表示数据的不确定性和概率分布，也是提高聚类质量的关键。

如上面所分析，在酒店数据流应用中，对象数据往往具有高维特性。在高维空间里，对象的数据通常比较稀疏，并呈现出一定的数据分布。因而，在处理高维数据流时，需要统计数据实例概率值的分布情况，以对高维特性进行压缩和特征抽取。直方图作为统计和描述概率分布的常用方法，在处理高维数据时，需要优化直方图的构造。 针对持续更新的海量高维数据，为了提高概率质量函数的计算效率，将多维空间划分为多个子空间，通过统计数据在不同子空间的概率分布，进而高效地提取概率分布信息。

基于上述思想，本发明的任务信息特征提取和分析模块的SDN交换器的设计能够实现如下功能或按如下方式工作：对不确定数据对象数据集中的每个实例，通过将全空间划分为多个子空间，以统计当前滑动窗口内该对象数据实例在不同子空间的概率信息，针对 d 维离散域数据，构建一个 d 维空间R ^d ，R ^d =R ¹ ×R ² ×…×R ^d ，R ⁱ 表示R ^d 的 第 i 维 空间 分 量，假 设 将 每 一维空间R ⁱ 分为p _j 个划分，，于是将离散数据空间R分为个超立方体空间，对于所述N个子空间，从中选择出数据分布较为密集的子空间，进而来优化直方图的构造。

在构建直方图时，选择数据分布较为密集的子空间，作为直方图的兴趣子空间来优化直方图；在选择直方图的兴趣子空间时，分析每个子空间中的数据的概率分布信息，如果在该子空间内的数据分布相比于均匀分布要密集时，则该子空间为兴趣子空间。

其中，兴趣子空间定义为在该子空间内点的概率密度大于各维均为分布时的点的数目，其中，为对象o _k 的一组数据实例u _n 在空间中分布的数量，n _p 表示对象数据均匀分布时各维点数目的平均值，表示大于n _p 的概率比用户指定阈值τ大，则是对象o _k 的兴趣子空间，即感兴趣的酒店。

优选地，本发明的所述SDN交换器所有的出和入端口都通过同一条数据通路进行数据传输，端口外存在一个集中的仲裁器，由它来决定访问交换机某个端口的时间和方式。

这种设计对于使SDN交换器在发出数据帧之前先进行缓冲，这一缓冲机制能够使数据包在设备端口处及时被转发，而不至于产生拥塞。

优选地，为了防止数据包被丢弃，SDN交换器可以选择如下两种设置：（1）端口缓冲设计，该设计在交换机的以太网端口上分配一定的高速内存，以用来对即将进行转发的数据桢进行缓冲；（2）共享内存设计，其同时为所有端口提供共享内存空间，数据的转发和传输都需要依靠转发决策，而转发决策就是由SDN交换机做出的，交换机会通过三态内容寻址存储器技术对数据的流表信息进行查询，并决定后续是否分发。

本发明的这种系统充分利用供应商开放的请求次数并且不对供应商造成额外压力，满足并发任务的筛选，开发一套统一的针对所有供应商的流量控制器，既能解决这些问题，又能很好的管理每个供应商的上下线。

本发明的这种系统还精准控制了针对每个供应商的压力，在保证充分利用供应商开放的请求额度的前提下，屏蔽了短时间内大量请求造成任务积压的情况以及在任务量偏大时对相对重要的请求任务的保护，保证了对于供应商压力的平稳输出以及对请求质量的把控。

附图说明

图1是显示采用本发明的流量控制器时酒店分销商和供应商之间关系的示意性框图；

图2是显示本发明的DDR控制器存储和读取数据的基本流程的示意性框图。

具体实施方式

以下是说明本发明的具体实施例，但本发明并不限于此。

实施例1

参考附图1，本发明的流量控制系统介于酒店线上分销流程中中间部分，上游为不同供应商提供的酒店供应商服务，下游为各个分销端提供优质酒店分销。服务端在接收到前端发来的请求后，根据供应商唯一标识将请求任务存入各个供应商各自的任务池，系统在启动时为每个供应商创建一套流控器，由流控器控制每秒从供应商任务池中获取并下发的任务数，任务获取顺序按照先进先出原则，流控器获取到一条任务后，解析请求参数并进行分析，当任务池积压数达到一定阈值的时候触发筛选丢弃策略，根据请求的来源，从包括酒店、城市、日期等维度判断此请求的重要性及迫切性，计算评估请求下发的必要性，有选择的抛弃一些请求或延迟下发，以便降低当前供应商整体任务的压力以及保证系统任务的正常流转。在整流器运行过程中还会根据供应商的健康情况，例如当前供应商网络延迟较高，或者供应商接口报错情况较为严重等情况动态下调整流控器的速度，以降低供应商的压力。并且系统内部统一管理每个供应商的流控器，针对供应商的上下线调整，系统也会做出秒级动态调整。

本书面描述使用实例来公开本发明，包括最佳模式，且还使本领域技术人员能够制造和使用本发明。本发明的可授予专利的范围由权利要求书限定，且可以包括本领域技术人员想到的其它实例。如果这种其它实例具有不异于权利要求书的字面语言的结构元素，或者如果这种其它实例包括与权利要求书的字面语言无实质性差异的等效结构元素，则这种其它实例意图处于权利要求书的范围之内。在不会造成不一致的程度下，通过参考将本文中参考的所有引用之处并入本文中。

Claims (7)

1.流量控制器系统，该系统包括：

任务获取模块，该模块每秒钟发送请求，从供应商任务池中获取任务；

任务信息特征提取和分析模块，该模块对获取的任务进行信息特征提取和分析；

任务下发模块，根据任务信息特征提取和分析模块的结果，确定任务的下发；

其中，所述任务获取模块包括DDR存储器和DDR控制器，所述DDR控制器为改进的DDR控制器，主要包括：多净荷包组装模块、写转义模块、读反向转义模块、多净荷包解封装模块、读写控制逻辑以及存储器接口逻辑；

在该DDR控制器中，多净荷包组装模块负责将从前一级处理模块送入的多个净荷数据包拼接为一个较大的数据包；写转义模块完成对预写入DDR存储器数据的转义处理；读反向转义模块则实现对从DDR存储器读出的数据流进行反向转义，解析出正确的原始组装净荷包；多净荷包解封装模块将提取出原始单个净荷包；读写控制逻辑模块负责对DDR存储器的读写访问进行控制；存储器接口逻辑模块主要实现前端主控功能，完成对外部DDR存储器的读写访问，并为应用提供命令、读、写接口。

2.根据权利要求1所述的流量控制器系统，所述供应商包括酒店和/或餐饮供应商。

3.根据权利要求1或2所述的流量控制器系统，所述任务信息特征提取包括对任务参数进行提取，所述任务参数包括请求的来源、酒店名称、城市、日期等维度信息。

4.根据权利要求2所述的流量控制器系统，所述任务信息分析包括对提取的信息进行分析，其中：当任务池积压数达到一定阈值的时候触发筛选丢弃策略。

5.根据权利要求1或2所述的流量控制器系统，所述任务信息分析包括对提取的信息进行分析，其中：计算和评估请求或下发的必要性。

6.根据权利要求1或2所述的流量控制器系统，所述任务下发模块根据任务信息特征提取和分析模块的结果，将任务进行即刻下发或延迟下发。

7.根据权利要求1或2所述的流量控制器系统，所述任务获取模块根据任务信息特征提取和分析模块的结果，选择性地舍弃某个或某些请求。