CN109413139B - 一种分布式多路行情系统 - Google Patents

Abstract

本发明涉及一种分布式多路行情系统，所述系统包括：一个或多个接入点、一个或多个接收点、一个或者多个客户端、通信网络；其中：客户端通过通信网络连接一个或多个接收点；一个或多个行情接入点之间通信网络连接；接收点和一个或者多个行情接入点通信连接。本发明能够将数据的发送和同步、收集分开在不同的节点，在数据的发送端就进行数据的一致性等整理，减少了客户端获取数据的开销；还提出了面对面同步策略，以及同步头标识机制，大大的提高了同步的适应性和信息传递的安全性；对于客户端采用的自适应的缓存策略，大大的提高了用户访问效率。

Description

一种分布式多路行情系统

【技术领域】

本发明属于数据处理领域，尤其涉及一种分布式多路行情系统。

【背景技术】

客户定制信息同步功能的开发，在资源浏览及共享服务流程中使客户端和服务器之间及时有效的保持联系。只要客户定制所需条件后提交，客户所需要的完整及最新资源能够在服务器生产完成后及时就能获取到。对于客户端共享或同步服务器资源流程中，服务器的任务是：一是存储信息并完成与客户端之间的通讯转发，在服务器采用线程创建而不是为每个客户端连接创建一个进程。二是服务准备完毕后等待客户端发送请求，接受到客户端的请求后按照条件在全部数据中去查询最新的数据，增大数据库的访问压力。此外，随着智能操作系统广泛应用到智能手机、平板电脑以及智能电视中，现有的行情数据获取方式更多仍停留在PC时代，即主要靠手动刷新页面的方式进行拉取。也有少数软件采用推送的方式更新数据，但是对于高并发、海量终端的场景下，普遍存在着延时高及数据丢失的问题。另外，随着实时行情数据来源的多样化，数据量越来越大，现有的实时行情系统利用传统的基于文件或者基于数据库的存储访问方式由于没有充分利用内存的效率，因此存在着很大的数据延迟，很难满足用户的需求。基于上述诸多问题，现在亟需一种新的分布式多路行情系统，本发明能够将数据的发送和同步、收集分开在不同的节点，在数据的发送端就进行数据的一致性等整理，减少了客户端获取数据的开销；还提出了面对面同步策略，以及同步头标识机制，大大的提高了同步的适应性和信息传递的安全性；对于客户端采用的自适应的缓存策略，大大的提高了用户访问效率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种分布式多路行情系统，所述系统包含：一个或多个接入点、一个或多个接收点、一个或者多个客户端、通信网络；其中：客户端通过通信网络连接一个或多个接收点；一个或多个行情接入点之间通信网络连接；接收点和一个或者多个行情接入点通信连接；

接入点用于保存行情信息；还用于和其它接入点之间同步行情信息；响应于接收点的请求发送行情信息给接收点；所述接入点为行情信息收集点，所述接入点通过和多个发布源头连接并定期获取行情信息以收集行情信息；所述接入点定期的主动获取或实时的接收推送的行情信息，对所述行情信息进行整理分类后保存在接入点存储空间中；

接收点用于保存接收到的行情信息；还用于通过有效选择策略选择一个或多个接入点作为有效接入点，并向所述有效接入点主动请求行情信息；还用于在接收到行情信息后，进行行情播放；还用于响应于客户端的请求向客户端发送行情信息；

客户端用于发送行情信息请求，在接收到行情信息后进行行情信息的自适应缓存。

进一步的，所述和其它接入点之间同步行情信息，具体为：任意两个接入点之间按照面对面同步策略进行信息的同步；基于面对面同步策略的标识进行行情信息通信的同步；任意时刻，任意多个发布源头与任意接收点之间都有一条可以连通的路径。

进一步的，所述基于面对面同步策略的标识进行行情信息通信的同步，具体为：在进行行情信息同步时，将信息发出接入点标识和面对面同步策略标识均封装在同步头中，接收行情信息的接入点基于自身接入点标识和发出点标识查找对应的面对面同步策略标识，并确定所述查询到的策略标识是否和同步头中的策略标识相同，如果相同，则继续进行行情信息的接收，否则，拒绝信息的同步。

进一步的，所述行情信息同步的时机包含定期同步和条件同步；所述条件同步为：当前待同步行情信息的数据量大于第一阈值时启动面对面同步。

进一步的，所述通过有效选择策略选择一个或多个接入点作为有效接入点，具体为：获取接收点的接收要求；基于所述接收要求确定待接收行情数据量；获取每个接入点的响应时长和通信时长；其中：响应时长为从当前时间开始，到接入点能够开始为接收点提供行情信息传输的时间结束所需要的时间长度；所述通信时长为所述接入点向所述接收点传输待接收行情数据量所需要的传输时长；将响应时长和传输时长之和能够满足接收要求的接入点作为待选择有效接入点；从所述待选择有效接入点中选择一个接入点作为有效接入点。

进一步的，所述从所述待选择有效接入点中选择一个接入点作为有效接入点，具体为：选择时间长度和传输时长之和最小的待选择有效接入点作为所选择的有效接入点。

进一步的，如果所述待选择有效接入点的数量小于1，则通知所述接收点放松接收要求，并基于所述放松的接收要求重新选择有效接入点。

进一步的，所述获取接收点的接收要求，具体为：确定本次接收点进行行情信息接收所要求的响应时间限制和行情信息的时效限制；响应时间限制限制了接收到行情数据的时间限制，而时效限制限制了行情信息本身的时效性。

进一步的，所述基于所述接收要求确定待接收行情数据量，具体为：从所述接收要求中获取时效限制，基于所述时效限制向第一接入点发送数据量确认请求。

进一步的，所述第一接入点为第一时间间隔内同步次数最多的接入点；所述接入点基于所述时效限制确定满足时效的数据量作为待接收行情数据量。

本发明的有益效果包括：能够将数据的发送和同步、收集分开在不同的节点，在数据的发送端就进行数据的一致性等整理，减少了客户端获取数据的开销；还提出了面对面同步策略，以及同步头标识机制，大大的提高了同步的适应性和信息传递的安全性；对于客户端采用的自适应的缓存策略，大大的提高了用户访问效率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的分布式多路行情系统的结构示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种分布式多路行情系统进行详细说明，所述系统包含：一个或多个接入点、一个或多个接收点、一个或者多个客户端、通信网络；其中：客户端通过通信网络连接一个或多个接收点；一个或多个行情接入点之间通信网络连接；接收点和一个或者多个行情接入点通信连接；

接入点用于保存行情信息；还用于和其它接入点之间同步行情信息；响应于接收点的请求发送行情信息给接收点；

优选的：所述接入点为.全球部署；同一行情信息部署于一个或者多个接入点，以保证行情信息的全局完整性，尽量保证不丢失数据，便于后续清洗；优选的：所述接入点为行情信息发布源头；

优选的：所述接入点为行情信息收集点，所述接入点通过和多个发布源头连接并定期获取行情信息以收集行情信息，使得同一行情信息部署于一个或者多个接入点，可以提升连通性；所述接入点定期的主动获取或实时的接收推送的行情信息，对所述行情信息进行整理分类后保存在接入点存储空间中；

优选的：任意时刻，任意多个发布源头与任意接收点之间都有一条可以连通的路径；

所述整理分类，具体为：按照行情信息的类型和时间进行二维分类和索引，从而使得接收点能够快速的获取所需要的信息；

所述和其它接入点之间同步行情信息，具体为：任意两个接入点之间按照面对面同步策略进行信息的同步；基于面对面同步策略的标识进行行情信息通信的同步；由于任意两个接入点之间的同步策略不同，同步时机不同，避免了同一个接入点因为同一组行情信息而同时爆发和多个接入点之间进行同步，进而造成通信量大增和性能降低；同时，因为不同的两个接入点之间的通信条件和接入点本身容量的不同，能够接受的同步频率和同步信息量也不同，因此，通过这样的面对面同步策略，大大的提高了同步的适应性；

优选的：任意两个接入点之间有其对应的面对面同步策略；所述多个面对面同步策略的标识均是唯一的；

所述基于面对面同步策略的标识进行行情信息通信的同步，具体为：在进行行情信息同步时，将信息发出接入点标识和面对面同步策略标识均封装在同步头中，接收行情信息的接入点基于自身接入点标识和发出点标识查找对应的面对面同步策略标识，并确定所述查询到的策略标识是否和同步头中的策略标识相同，如果相同，则继续进行行情信息的接收，否则，拒绝信息的接收；通过这样的方式，能够在行情信息的同步中，进一步基于同步信息的内容进行信息传输安全的鉴别，从而提高了行情信息传递的安全性；

所述面对面同步策略中包含行情信息同步的时机，一次同步传输的信息量、同步的安全性要求、同步的行情信息的时效要求等；面对面的两个接入点的容量越大，一次同步传输的信息量越大；

所述行情信息同步的时机包含定期同步和条件同步；优选的：所述条件同步为：当前待同步行情信息的数据量大于第一阈值时启动面对面同步；

接收点用于保存接收到的行情信息；还用于通过有效选择策略选择一个或多个接入点作为有效接入点，并向所述有效接入点主动请求行情信息；还用于在接收到行情信息后，进行行情播放；还用于响应于客户端的请求向客户端发送行情信息；

所述保存接收到的行情信息，具体为：将行情信息保存在可查询数据库中，并基于行情信息摘要建立索引；

所述通过有效选择策略选择一个或多个接入点作为有效接入点，具体为：获取接收点的接收要求；基于所述接收要求确定待接收行情数据量；获取每个接入点的响应时长和通信时长；其中：响应时长为从当前时间开始，到接入点能够开始为接收点提供行情信息传输的时间结束所需要的时间长度；所述通信时长为所述接入点向所述接收点传输待接收行情数据量所需要的传输时长；将响应时长和传输时长之和能够满足接收要求(例如：时间限制要求)的接入点作为待选择有效接入点；从所述待选择有效接入点中选择一个接入点作为有效接入点；

所述从所述待选择有效接入点中选择一个接入点作为有效接入点，具体为：选择时间长度和传输时长之和最小的待选择有效接入点作为所选择的有效接入点；

优选的：如果所述待选择有效接入点的数量小于1，则通知所述接收点放松接收要求，并基于所述放松的接收要求重新选择有效接入点；

优选的：如果所述待选择有效接入点的数量小于1，则将所述待接收行情数据量进行划分以得到多个子数据量，对于每个子数据量，对于每个接入点重新计算响应时长和传输时长，并基于所述重新计算的响应时长和传输时长选择能够满足接收要求(例如：时间限制)的接入点作为子待选择有效接入点；对于每个子数据量，从所述子待选择有效接入点中选择一个子接入点；将所述多个子数据量对应的所选择的多个子接入点组成的集合作为所选择的有效接入点；此时：接收点将从所述多个子接入点分别接收子数据量，在接收完毕后，进行子数据量的拼接以得到完整的数据量；

所述获取接收点的接收要求，具体为：确定本次接收点进行行情信息接收所要求的响应时间限制和行情信息的时效限制；响应时间限制限制了接收到行情数据的时间限制，而时效限制限制了行情信息本身的时效性；

所述基于所述接收要求确定待接收行情数据量，具体为：从所述接收要求中获取时效限制，基于所述时效限制向第一接入点发送数据量确认请求；

优选的：所述第一接入点为第一时间间隔内同步次数最多的接入点；所述接入点基于所述时效限制确定满足时效的数据量作为待接收行情数据量；

优选的；所述第一时间间隔为预设值，例如：最近的24小时；

所述接入点基于所述时效限制确定满足时效的数据量作为待接收行情数据量，具体为：所述接入点获取所述接收点上次接收行情数据的上次时间，将所述接入点上保存的位于上次时间和时间限制之间数据量作为所述待接收行情数据量；

优选的：所述接收点在向客户端发送行情信息时，提供UDP行情服务，对行情包进行全局统一定序，提供保序的服务；

优选的：在发送过程前对所发送的行情信息进行高效压缩；

优选的：所述接收点在接收到行情信息后通过统一转换器将接收到的行情信息转换成统一行情格式；

所述进行行情播放，具体为：将新接收到的行情信息的摘要信息通过广播的方式通知各个客户端；优选的：所述摘要信息为行情信息的标题、标识、摘要等；

所述响应于客户端的请求向客户端发送行情信息，具体为：接收到客户端请求后，基于所述请求查询本地存储空间/数据库以获取用户所需的行情信息，并将所述查询到的行情信息发送给客户端；

客户端用于发送行情信息请求，在接收到行情信息后进行行情信息的自适应缓存；

所述发送行情信息请求，具体为：客户端在收到接收点播放的行情信息后，将所述播放的行情信息的摘要信息呈现给用户，用户选择所需行情信息，基于用户选择发送行情信息请求；

可替换的：客户端基于需要主动发起行情信息请求，所述行情信息请求中包含摘要性描述；

优选的：所述自适应缓存为根据用户偏好自动调整的缓存策略，从而给行情展示端提供顺畅的展示和操作；

所述自适应缓存，具体为：分析用户偏好，基于用户偏好从所述接收到的行情信息中选择偏好行情信息，基于所述用户偏好确定可用高速空间大小，基于点击率将高速缓存空间中点击率低的行情信息换出以空出大小为可用高速空间大小的高速缓存空间；将所述偏好行情信息提前加载在可用高速空间大小的高速缓存中，从而提高访问效率；

所述分析用户偏好，具体为：获取用户对行情信息的时效偏好、类型偏好；

优选的：所述时效偏好为是否偏好新时效信息；例如；用户总喜欢阅读新行情；或者用户不喜欢阅读新行情；

所述基于用户偏好从所述接收到的行情信息中选择偏好行情信息，具体为：获取用户对各种类型行情信息的偏好的比例，基于所述比例选择相应比例的行情信息作为所选择的偏好行情信息；

优选的：所述选择相应比例的行情信息，具体为：基于所述比例和可用高速空间大小计算对于一行情信息能够选择的数据量大小，基于所述数据量大小选择时效最新的所述数据量大小的行情信息；

例如：行情类型1、行情类型2、行情类型3的比例分别是4：2：1，那么在选择时，所选择的行情类型1的信息的数据量比例是行情类型2数据量比例的2倍；

所述提前加载，具体为：在用户使用所述行情信息之前，提前将所述行情信息记载在高速缓存中；

优选的：所述用户通过行情API请求并接收行情信息；

优选的：所述用户通过URL访问接收点的方式或者通过APP的方式请求并接收行情信息；

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (7)

1.一种分布式多路行情系统，其特征在于，所述系统包含：一个或多个接入点、一个或多个接收点、一个或者多个客户端、通信网络；其中：客户端通过通信网络连接一个或多个接收点；一个或多个行情接入点之间通信网络连接；接收点和一个或者多个行情接入点通信连接；

接入点用于保存行情信息；还用于和其它接入点之间同步行情信息；响应于接收点的请求发送行情信息给接收点；所述接入点为行情信息收集点，所述接入点通过和多个发布源头连接并定期获取行情信息以收集行情信息；所述接入点定期的主动获取或实时的接收推送的行情信息，对所述行情信息进行整理分类后保存在接入点存储空间中；

接收点用于保存接收到的行情信息；还用于通过有效选择策略选择一个或多个接入点作为有效接入点，并向所述有效接入点主动请求行情信息；还用于在接收到行情信息后，进行行情播放；还用于响应于客户端的请求向客户端发送行情信息；

客户端用于发送行情信息请求，在接收到行情信息后进行行情信息的自适应缓存；

所述通过有效选择策略选择一个或多个接入点作为有效接入点，具体为：获取接收点的接收要求；基于所述接收要求确定待接收行情数据量；获取每个接入点的响应时长和通信时长；其中：响应时长为从当前时间开始，到接入点能够开始为接收点提供行情信息传输的时间结束所需要的时间长度；所述通信时长为所述接入点向所述接收点传输待接收行情数据量所需要的传输时长；将响应时长和通信时长之和能够满足接收要求的接入点作为待选择有效接入点；从所述待选择有效接入点中选择一个接入点作为有效接入点；

所述从所述待选择有效接入点中选择一个接入点作为有效接入点，具体为：选择响应时长和通信时长之和最小的待选择有效接入点作为所选择的有效接入点；

如果所述待选择有效接入点的数量小于1，则将所述待接收行情数据量进行划分以得到多个子数据量，对于每个子数据量，对于每个接入点重新计算响应时长和通信时长，并基于所述重新计算的响应时长和通信时长选择能够满足接收要求的接入点作为子待选择有效接入点；对于每个子数据量，从所述子待选择有效接入点中选择一个子接入点；将所述多个子数据量对应的所选择的多个子接入点组成的集合作为所选择的有效接入点；此时：接收点将从所述多个子接入点分别接收子数据量，在接收完毕后，进行子数据量的拼接以得到完整的数据量；

所述自适应缓存，具体为：分析用户偏好，基于用户偏好从所述接收到的行情信息中选择偏好行情信息，基于所述用户偏好确定可用高速空间大小，基于点击率将高速缓存空间中点击率低的行情信息换出以空出大小为可用高速空间大小的高速缓存空间；将所述偏好行情信息提前加载在可用高速空间大小的高速缓存中，从而提高访问效率。

2.根据权利要求1所述的分布式多路行情系统，其特征在于，所述和其它接入点之间同步行情信息，具体为：任意两个接入点之间按照面对面同步策略进行信息的同步；基于面对面同步策略的标识进行行情信息通信的同步；

任意时刻，任意多个发布源头与任意接收点之间都有一条可以连通的路径。

3.根据权利要求2所述的分布式多路行情系统，其特征在于，所述基于面对面同步策略的标识进行行情信息通信的同步，具体为：在进行行情信息同步时，将信息发出接入点标识和面对面同步策略标识均封装在同步头中，接收行情信息的接入点基于自身接入点标识和发出点标识查找对应的面对面同步策略标识，并确定查询到的策略标识是否和同步头中的策略标识相同，如果相同，则继续进行行情信息的接收，否则，拒绝信息的同步。

4.根据权利要求3所述的分布式多路行情系统，其特征在于，所述面对面同步策略中包含行情信息同步的时机，所述行情信息同步的时机包含定期同步和条件同步；所述条件同步为：当前待同步行情信息的数据量大于第一阈值时启动面对面同步。

5.根据权利要求4所述的分布式多路行情系统，其特征在于，所述获取接收点的接收要求，具体为：确定本次接收点进行行情信息接收所要求的响应时间限制和行情信息的时效限制；响应时间限制限制了接收到行情数据的时间限制，而时效限制限制了行情信息本身的时效性。

6.根据权利要求5所述的分布式多路行情系统，其特征在于，所述基于所述接收要求确定待接收行情数据量，具体为：从所述接收要求中获取时效限制，基于所述时效限制向第一接入点发送数据量确认请求。

7.根据权利要求6所述的分布式多路行情系统，其特征在于，所述第一接入点为第一时间间隔内同步次数最多的接入点；所述接入点基于所述时效限制确定满足时效的数据量作为待接收行情数据量。