CN108924265A - 数据获取方法、装置及网页服务器 - Google Patents
数据获取方法、装置及网页服务器 Download PDFInfo
- Publication number
- CN108924265A CN108924265A CN201810969452.9A CN201810969452A CN108924265A CN 108924265 A CN108924265 A CN 108924265A CN 201810969452 A CN201810969452 A CN 201810969452A CN 108924265 A CN108924265 A CN 108924265A
- Authority
- CN
- China
- Prior art keywords
- data
- web page
- server
- network request
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种数据获取方法、装置及网页服务器,涉及通信技术领域。该方法通过将WebSocket与Thrift相结合,网页服务器能够根据需求及时地从数据源服务器获取待获取数据,并在待获取数据发生变化时,将待获取数据推送至客户终端,从而使得客户终端能够及时地获取到实时数据。另外,若待获取数据未发生变化,网页服务器也就无需向客户终端发送待获取数据,从而避免了冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
Description
技术领域
本发明涉及通信技术领域,具体而言,涉及一种数据获取方法、装置及网页服务器。
背景技术
随着科技的发展,人们对各种设备监测数据实时展现的需求越来越多。目前获取远端数据的方法主要是通过以下几种方式实现:
一种是轮询(定时轮询),客户端以一定的时间间隔向服务端发出请求,以频繁请求的方式来保持客户端和服务器端的同步,从而获取相应的实时数据。这种同步方案存在的问题是:当客户端以固定频率向服务器发起请求的时候,服务器端的数据可能并没有更新,这样会带来很多无谓的网络传输;
另一种是长轮询,长轮询是对定时轮询的改进和提高,目地是为了降低无效的网络传输。当服务器端没有数据更新的时候,连接会保持一段时间周期直到数据或状态改变,通过这种机制来减少无效的客户端和服务器间的交互。若服务端的数据变更较为频繁,那么这种机制和定时轮询比较起来没有本质上的性能的提高。
即,在现有技术中,轮询无法实现实时数据传输,并容易出现大量无效请求数据,使得数据传输效率低下。
发明内容
为了克服上述现有技术中的不足,本发明提供一种数据获取方法、装置及网页服务器。
为了实现上述目的,本发明实施例所提供的技术方案如下所示:
第一方面,本发明实施例提供一种数据获取方法,应用于网页服务器,所述方法包括:
从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
基于所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
当确定所述目标数据发生变化时,将所述目标数据发送至所述客户终端。
可选地,上述确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器之前,所述方法还包括:
校验所述网络请求是否具有针对预先指定的数据接口的访问权限;
在所述网络请求中包括的授权信息与所述数据接口的授权信息相匹配时,确定所述网络请求的校验通过,其中,在校验通过后,执行确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器的步骤。
可选地,上述数据源服务器预先存储有白名单,所述从所述数据源服务器获取与所述网络请求对应的目标数据之前,所述方法还包括:
接收所述数据源服务器发送的表征所述数据源服务器对所述网页服务器进行认证且认证通过的反馈指令,并在接收到所述反馈指令后,执行从所述数据源服务器获取与所述网络请求对应的目标数据的步骤;
其中,所述数据源服务器对所述网页服务器进行认证,包括:
所述数据源服务器判断所述白名单中是否存在与所述网页服务器对应的关联信息,当存在与所述网页服务器对应的关联信息时,确定所述网页服务器认证通过。
可选地,上述网络请求包括待获取数据的数据类型,所述数据类型预先与所述数据源服务器建立有关联关系,确定所述网络请求对应的数据源服务器,包括:
基于所述关联关系,将预先所述网络请求中的数据类型相对应的服务器作为所述数据源服务器。
可选地,上述基于预设判断规则判断所述目标数据是否发生变化之后,当确定所述目标数据未发生变化时,所述方法还包括:
停止将所述目标数据发送至所述客户终端。
第二方面,本发明实施例提供一种数据获取装置,应用于网页服务器,所述装置包括:
请求获取单元,用于从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
确定单元,用于根据所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通信建立单元,用于通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
获取判断单元,用于从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
数据发送单元,当确定所述目标数据发生变化时,用于将所述目标数据发送至所述客户终端。
可选地,上述装置还包括校验单元,所述确定单元确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器之前,所述校验单元用于:
校验所述网络请求是否具有针对预先指定的数据接口的访问权限;
在所述网络请求中包括的授权信息与所述数据接口的授权信息相匹配时,确定所述网络请求的校验通过,其中,在校验通过后,所述确定单元执行确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器的步骤。
可选地,上述数据源服务器预先存储有白名单,所述装置还包括认证单元,所述获取判断单元从所述数据源服务器获取与所述网络请求对应的目标数据之前,所述认证单元用于:
接收所述数据源服务器发送的表征所述数据源服务器对所述网页服务器进行认证且认证通过的反馈指令,并在接收到所述反馈指令后,执行从所述数据源服务器获取与所述网络请求对应的目标数据的步骤;
其中,所述数据源服务器对所述网页服务器进行认证,包括:
所述数据源服务器判断所述白名单中是否存在与所述网页服务器对应的关联信息,当存在与所述网页服务器对应的关联信息时,确定所述网页服务器认证通过。
可选地,在所述获取判断单元基于预设判断规则判断所述目标数据是否发生变化之后,当确定所述目标数据未发生变化时,所述数据发送单元还用于停止将所述目标数据发送至所述客户终端。
第三方面,本发明实施例提供一种网页服务器,包括:
存储单元;
处理单元;及
数据获取装置,包括一个或多个存储于所述存储单元中并由所述处理单元执行的软件功能模块,所述数据获取装置包括:
请求获取单元,用于从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
确定单元,用于根据所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通信建立单元,用于通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
获取判断单元,用于从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
数据发送单元,当确定所述目标数据发生变化时,用于将所述目标数据发送至所述客户终端。
相对于现有技术而言,本发明提供的数据获取方法、装置及网页服务器至少具有以下有益效果:该方法通过将WebSocket与Thrift相结合,网页服务器能够根据需求及时地从数据源服务器获取待获取数据,并在待获取数据发生变化时,将待获取数据推送至客户终端,从而使得客户终端能够及时地获取到实时数据。另外,若待获取数据未发生变化,网页服务器也就无需向客户终端发送待获取数据,从而避免了冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举本发明实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的网页服务器、客户终端及数据源服务器的交互示意图。
图2为本发明实施例提供的网页服务器的方框示意图。
图3为本发明实施例提供的数据获取方法的流程示意图。
图4为本发明实施例提供的数据获取装置的方框示意图。
图标:10-网页服务器;11-处理单元;12-通信单元;13-存储单元;14-接口单元;20-客户终端;30-数据源服务器;100-数据获取装置;110-请求获取单元;120-确定单元;130-通信建立单元;140-获取判断单元;150-数据发送单元。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在现有技术中,通常通轮询进行数据的获取与传输,然而轮询无法实现实时数据传输,并容易出现大量无效请求数据,使得数据传输效率低下。
鉴于上述问题,本申请发明人经过长期研究探索,提出以下实施例以解决上述问题。下面结合附图,对本发明实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,为本发明实施例提供的网页服务器10、客户终端20及数据源服务器30的交互示意图。本发明实施例提供的网页服务器10可以执行下述的数据获取方法,能够根据客户终端20发送的网络请求,从数据源服务器30获取相应的目标数据,并在目标数据发生改变时,将目标数据发送至客户终端20。可理解地,网页服务器10可以通过网络与至少一个客户终端20建立通信连接,以进行数据交互。网页服务器10也可以通过网络与至少一个数据源服务器30建立通信连接,以进行数据交互。
在本实施例中,用户可以利用客户终端20向网页服务器10发送用于获取数据的网络请求,客户终端20可以接收网页服务器10基于网络请求反馈的数据。客户终端20可以是,但不限于,智能手机、个人电脑(personal computer,PC)、平板电脑、个人数字助理(personal digital assistant,PDA)、移动上网设备(mobile Internet device,MID)等。
数据源服务器30用于存储各类网络数据,网络数据包括但不限于文本信息、图片信息、视频信息等。数据源服务器30可以是,但不限于集群服务器、分布式服务器、云服务器等。上述网络可以是,但不限于,有线网络或无线网络。
请参照图2,为本发明实施例提供的网页服务器10的方框示意图。在本实施例中,网页服务器10可以包括处理单元11、通信单元12、存储单元13、接口单元14以及数据获取装置100,处理单元11、通信单元12、存储单元13、接口单元14以及数据获取装置100各个元件之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
处理单元11可能是一种集成电路芯片,具有信号的处理能力。上述处理单元11可以是通用处理器。例如,该处理器可以是中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
通信单元12用于通过网络建立客户终端20与网页服务器10之间的通信连接,并通过网络收发数据。
存储单元13可以是,但不限于,随机存取存储器,只读存储器,可编程只读存储器,可擦除可编程只读存储器,电可擦除可编程只读存储器等。在本实施例中,存储单元13可以用于存储上述的网络数据,如目标数据。当然,存储单元13还可以用于存储程序,处理单元11在接收到执行指令后,执行该程序。
接口单元14可以包括各类数据接口,用于作为数据传输的接口通道。例如,接口单元14中可以包括指定的数据接口以作为Thrift接口。
进一步地,数据获取装置100包括至少一个可以软件或固件(firmware)的形式存储于存储单元13中或固化在网页服务器10操作系统(operating system,OS)中的软件功能模块。处理单元11用于执行存储单元13中存储的可执行模块,例如数据获取装置100所包括的软件功能模块及计算机程序等。
可以理解的是,图2所示的结构仅为网页服务器10的一种结构示意图,网页服务器10还可以包括比图2所示更多或更少的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。
请参照图3,为本发明实施例提供的数据获取方法的流程示意图。本发明实施例提供的数据获取方法可以应用于上述的网页服务器10,由网页服务器10执行数据获取方法的各步骤,能够避免了冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
下面将对图3所示的数据获取方法的各步骤进行详细阐述,在本实施例中,数据获取方法可以包括以下步骤:
步骤S210,从预先与网页服务器10建立WebSocket连接的客户终端20接收客户终端20发送的用于获取数据的网络请求。
在本实施例中,WebSocket连接可以使得客户终端20从网页服务器10获取到实时变化的数据。其中,WebSocket是一种网络通信协议,是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议。网络请求可以包括客户终端20的IP地址、用户账户信息、待获取数据的数据类型中的至少一种,当然,网络请求也可以包括其他数据,这里不再赘述。
可理解地,在现有技术中,通常采用HTTP协议实现数据传输。HTTP协议是一种无状态的、无连接的、单向的应用层协议。它采用了请求/响应模型。通信请求只能由客户端发起,服务端对请求做出应答处理。无法实现服务器主动向客户端发起消息。而在本方案中,通过WebSocket连接,实现客户终端20与网页服务器10之间的通信连接,WebSocket连接允许客户终端20和网页服务器10之间进行全双工通信,以便任一方都可以通过建立的连接将数据推送到另一端。即,WebSocket只需要建立一次连接,就可以一直保持连接状态。这相比于轮询方式的不停建立连接显然效率要大大提高。
另外,客户终端20可以用于根据用户需求向网页服务器10发送用于获取数据的网页请求,并接收网页服务器10基于网页请求反馈的数据。例如,在轨道交通行业中,用户(如运维人员)可以利用客户终端20从网页服务器10实时获取到列车的相关状态信息。可理解地,相关状态信息可以由相应的检测设备对列车检测得到,然后可以有检测设备将检测的数据发送至数据源服务器30,使得网页服务器10可以通数据源服务器30获取到相关状态信息。客户终端20可以对获取的数据通过页面(如网页)展示,以供用户查看,便于用户根据需求对数据进行监控及管理。
其中,相关状态信息可以包括但不限于列车的启停状态、列车的运行速率、车轮运行方向等。当然,客户终端20也可以从网页服务器10获取到其他网络数据,这里不再赘述。
步骤S220,基于网络请求,确定网页服务器10选用的Thrift接口及与网络请求对应的数据源服务器30。
在本实施例中,用于存储数据源的服务器可以有多个,网页服务器10的数据接口也可以包括多个。网页服务器10在从客户终端20获取到网页请求时,需要从多个数据接口中确定至少部分数据接口以作为Thrift接口,以及从多个存储有数据源的服务器中确定至少部分服务器以作为数据源服务器30。
具体地,网络请求可以包括待获取数据的数据类型,数据类型预先与数据源服务器30建立有关联关系。数据类型也可以预先与Thrift接口建立有关联关系。该关联关系可以理解为数据类型与数据源服务器30及Thrift接口的映射关系。
确定网页服务器10选用的Thrift接口的步骤,可以包括:基于关联关系,将预先网络请求中的数据类型相对应的数据接口作为Thrift接口。
确定网络请求对应的数据源服务器30的步骤,可以包括:基于关联关系,将预先网络请求中的数据类型相对应的服务器作为数据源服务器30。
可理解地,Thrift是一个跨语言的服务部署框架,Thrift通过IDL(InterfaceDefinition Language,接口定义语言)来定义RPC(Remote Procedure Call,远程过程调用)的接口和数据类型,然后通过Thrift编译器生成不同语言的代码(可以支持C++、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Cocoa、Smalltalk、OCaml等多种语言),并由生成的代码负责RPC协议层和传输层的实现。本方案基于Thrift接口,利用Thrift接口对应的服务部署框架强大的代码生成引擎,有助于高效的完成开发任务。
在步骤S220之前,方法还可以包括:校验网络请求是否具有针对预先指定的数据接口的访问权限;在网络请求中包括的授权信息(第一授权信息)与数据接口的授权信息(第二授权信息)相匹配时,确定网络请求的校验通过,其中,在校验通过后,执行确定网页服务器10选用的Thrift接口及与网络请求对应的数据源服务器30的步骤。基于此,能够提高数据获取过程中的安全性,避免无权限的访问请求从指定的数据端口获取相应数据。
其中,网络请求中包括的授权信息与数据接口的授权信息相匹配可理解为:第一授权信息与第二授权信息预先建立有映射关系,若第一授权信息能基于映射关系与第二授权信息相对应,那么第一授权信息便于第二授权信息相匹配;或者,第一授权信息与第二授权信息相同,第一授权信息便于第二授权信息相匹配。另外,授权信息可以为授权码,授权码可以为数字或字符串,可以根据实际情况进行设置,这里不作具体限定。
步骤S230,通过Thrift接口建立网页服务器10及与数据源服务器30的通信连接。
可理解地,网页服务器10可以通过指定的Thrift接口与数据源服务器30进行通信连接,以便于对通过Thrift接口进行传输的数据进行监控。
步骤S240,从数据源服务器30获取与网络请求对应的目标数据,并基于预设判断规则判断目标数据是否发生变化。
在本实施例中,预设判断规则可以根据实际情况进行设置。例如,Thrift接口在目标数据发生变化时,会生成表征数据发生变化的指令;若目标数据未发生变化,便不生成用于表征数据发生变化的指令。数据源服务器30的处理单元11与Thrift接口连接,并在接收到该指令时,可以基于该指令确定目标数据发生变化。
数据源服务器30预先存储有白名单,在步骤S240之前,方法还可包括:接收数据源服务器30发送的表征数据源服务器30对网页服务器10进行认证且认证通过的反馈指令,并在接收到反馈指令后,执行从数据源服务器30获取与网络请求对应的目标数据的步骤。其中,数据源服务器30对网页服务器10进行认证,包括:数据源服务器30判断白名单中是否存在与网页服务器10对应的关联信息,当存在与网页服务器10对应的关联信息时,确定网页服务器10认证通过。
可理解地,当网页服务器10接收到网页请求时,将调用Thrift接口与数据源服务器30建立通信连接。当有Thrift接口进行调用时,数据源服务器30可以根据白名单校验请求的合法性,若校验合法则将与网络请求对应的目标数据发送至网页服务器10,若校验不合法,可以向网页服务器10返回错误信息。
步骤S250,当确定目标数据发生变化时,将目标数据发送至客户终端20。
在步骤S240之后,当确定目标数据未发生变化时,方法还包括:停止将目标数据发送至客户终端20。
可理解地,在用户需要获取的目标数据发生变化时,网页服务器10可以主动将变化后的数据发送至客户终端20,使得客户终端20能够及时接收到变化后的实时数据。若目标数据未发生变化,网页服务器10也就无需向客户终端20发送目标数据。基于此,避免了网页服务器10对冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
需要说明的是,网页服务器10与客户终端20、数据源服务器30之间传输的数据可以通过预设的加密规则进行加密传输,并基于与加密规则对应的解密规则对加密的数据进行解密。基于此,能进一步提高数据传输过程中数据的安全性,即使数据被泄露,也能保证泄露的数据因加密而无法被窃取者查看或使用。
请参照图4,为本发明实施例提供的数据获取装置100的方框示意图。本发明实施例提供的数据获取装置100可以应用于上述的网页服务器10,可以用于执行上述数据获取方法的各步骤,能够避免网页服务器10进行冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
其中,数据获取装置100可以包括请求获取单元110、确定单元120、通信建立单元130、获取判断单元140及数据发送单元150
请求获取单元110,用于从预先与网页服务器10建立WebSocket连接的客户终端20接收客户终端20发送的用于获取数据的网络请求。
确定单元120,用于根据网络请求,确定网页服务器10选用的Thrift接口及与网络请求对应的数据源服务器30。
通信建立单元130,用于通过Thrift接口建立网页服务器10及与数据源服务器30的通信连接。
获取判断单元140,用于从数据源服务器30获取与网络请求对应的目标数据,并基于预设判断规则判断目标数据是否发生变化。
数据发送单元150,当确定目标数据发生变化时,用于将目标数据发送至客户终端20。
可选地,装置还包括校验单元,确定单元120确定网页服务器10选用的Thrift接口及与网络请求对应的数据源服务器30之前,校验单元用于:校验网络请求是否具有针对预先指定的数据接口的访问权限;在网络请求中包括的授权信息与数据接口的授权信息相匹配时,确定网络请求的校验通过,其中,在校验通过后,确定单元120执行确定网页服务器10选用的Thrift接口及与网络请求对应的数据源服务器30的步骤。
可选地,数据源服务器30预先存储有白名单,装置还可以包括认证单元,获取判断单元140从数据源服务器30获取与网络请求对应的目标数据之前,认证单元用于:接收数据源服务器30发送的表征数据源服务器30对网页服务器10进行认证且认证通过的反馈指令,并在接收到反馈指令后,执行从数据源服务器30获取与网络请求对应的目标数据的步骤。其中,数据源服务器30对网页服务器10进行认证,包括:数据源服务器30判断白名单中是否存在与网页服务器10对应的关联信息,当存在与网页服务器10对应的关联信息时,确定网页服务器10认证通过。
可选地,在获取判断单元140基于预设判断规则判断目标数据是否发生变化之后,当确定目标数据未发生变化时,数据发送单元150还用于停止将目标数据发送至客户终端20。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的数据获取装置100的具体工作过程,可以参考前述方法中各步骤对应的操作过程,在此不再过多赘述。
本发明实施例还提供一种计算机可读存储介质。所述可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如上述实施例所述的数据获取方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现,基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施场景所述的方法。
综上所述,本发明提供一种数据获取方法、装置及网页服务器。该方法通过将WebSocket与Thrift相结合,网页服务器能够根据需求及时地从数据源服务器获取待获取数据,并在待获取数据发生变化时,将待获取数据推送至客户终端,从而使得客户终端能够及时地获取到实时数据。另外,若待获取数据未发生变化,网页服务器也就无需向客户终端发送待获取数据,从而避免了冗余数据的传输,有助于缓解因冗余数据过多而造成的传输压力,并提高数据传输的效率。
在本发明所提供的实施例中,应该理解到,所揭露的装置、系统和方法,也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据获取方法,其特征在于,应用于网页服务器,所述方法包括:
从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
基于所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
当确定所述目标数据发生变化时,将所述目标数据发送至所述客户终端。
2.根据权利要求1所述的方法,其特征在于,所述确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器之前,所述方法还包括:
校验所述网络请求是否具有针对预先指定的数据接口的访问权限;
在所述网络请求中包括的授权信息与所述数据接口的授权信息相匹配时,确定所述网络请求的校验通过,其中,在校验通过后,执行确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器的步骤。
3.根据权利要求1所述的方法,其特征在于,所述数据源服务器预先存储有白名单,所述从所述数据源服务器获取与所述网络请求对应的目标数据之前,所述方法还包括:
接收所述数据源服务器发送的表征所述数据源服务器对所述网页服务器进行认证且认证通过的反馈指令,并在接收到所述反馈指令后,执行从所述数据源服务器获取与所述网络请求对应的目标数据的步骤;
其中,所述数据源服务器对所述网页服务器进行认证,包括:
所述数据源服务器判断所述白名单中是否存在与所述网页服务器对应的关联信息,当存在与所述网页服务器对应的关联信息时,确定所述网页服务器认证通过。
4.根据权利要求1所述的方法,其特征在于,所述网络请求包括待获取数据的数据类型,所述数据类型预先与所述数据源服务器建立有关联关系,确定所述网络请求对应的数据源服务器,包括:
基于所述关联关系,将预先所述网络请求中的数据类型相对应的服务器作为所述数据源服务器。
5.根据权利要求1所述的方法,其特征在于,所述基于预设判断规则判断所述目标数据是否发生变化之后,当确定所述目标数据未发生变化时,所述方法还包括:
停止将所述目标数据发送至所述客户终端。
6.一种数据获取装置,其特征在于,应用于网页服务器,所述装置包括:
请求获取单元,用于从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
确定单元,用于根据所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通信建立单元,用于通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
获取判断单元,用于从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
数据发送单元,当确定所述目标数据发生变化时,用于将所述目标数据发送至所述客户终端。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括校验单元,所述确定单元确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器之前,所述校验单元用于:
校验所述网络请求是否具有针对预先指定的数据接口的访问权限;
在所述网络请求中包括的授权信息与所述数据接口的授权信息相匹配时,确定所述网络请求的校验通过,其中,在校验通过后,所述确定单元执行确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器的步骤。
8.根据权利要求6所述的装置,其特征在于,所述数据源服务器预先存储有白名单,所述装置还包括认证单元,所述获取判断单元从所述数据源服务器获取与所述网络请求对应的目标数据之前,所述认证单元用于:
接收所述数据源服务器发送的表征所述数据源服务器对所述网页服务器进行认证且认证通过的反馈指令,并在接收到所述反馈指令后,执行从所述数据源服务器获取与所述网络请求对应的目标数据的步骤;
其中,所述数据源服务器对所述网页服务器进行认证,包括:
所述数据源服务器判断所述白名单中是否存在与所述网页服务器对应的关联信息,当存在与所述网页服务器对应的关联信息时,确定所述网页服务器认证通过。
9.根据权利要求6所述的装置,其特征在于,在所述获取判断单元基于预设判断规则判断所述目标数据是否发生变化之后,当确定所述目标数据未发生变化时,所述数据发送单元还用于停止将所述目标数据发送至所述客户终端。
10.一种网页服务器,其特征在于,包括:
存储单元;
处理单元;及
数据获取装置,包括一个或多个存储于所述存储单元中并由所述处理单元执行的软件功能模块,所述数据获取装置包括:
请求获取单元,用于从预先与所述网页服务器建立WebSocket连接的客户终端接收所述客户终端发送的用于获取数据的网络请求;
确定单元,用于根据所述网络请求,确定所述网页服务器选用的Thrift接口及与所述网络请求对应的数据源服务器;
通信建立单元,用于通过Thrift接口建立所述网页服务器及与所述数据源服务器的通信连接;
获取判断单元,用于从所述数据源服务器获取与所述网络请求对应的目标数据,并基于预设判断规则判断所述目标数据是否发生变化;
数据发送单元,当确定所述目标数据发生变化时,用于将所述目标数据发送至所述客户终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969452.9A CN108924265A (zh) | 2018-08-23 | 2018-08-23 | 数据获取方法、装置及网页服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969452.9A CN108924265A (zh) | 2018-08-23 | 2018-08-23 | 数据获取方法、装置及网页服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108924265A true CN108924265A (zh) | 2018-11-30 |
Family
ID=64406706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810969452.9A Pending CN108924265A (zh) | 2018-08-23 | 2018-08-23 | 数据获取方法、装置及网页服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108924265A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905477A (zh) * | 2019-02-28 | 2019-06-18 | 厦门中控智慧信息技术有限公司 | 一种数据推送的方法及设备 |
CN110191186A (zh) * | 2019-06-04 | 2019-08-30 | 湖北五五互联科技有限公司 | Cdn服务器调度方法、设备及计算机可读存储介质 |
CN110430222A (zh) * | 2019-09-12 | 2019-11-08 | 北京许继电气有限公司 | 一种基于协议方式的服务接口实现方法 |
CN112511580A (zh) * | 2019-09-16 | 2021-03-16 | 北京国双科技有限公司 | 消息推送的方法、装置、存储介质和设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101764840A (zh) * | 2009-12-29 | 2010-06-30 | 金蝶软件(中国)有限公司 | Web页面数据的提供方法、web服务器及web应用系统 |
CN102801799A (zh) * | 2012-08-03 | 2012-11-28 | 国电南瑞科技股份有限公司 | 一种基于b/s架构的实时监控系统 |
CN102799609A (zh) * | 2012-05-31 | 2012-11-28 | 新奥特(北京)视频技术有限公司 | 一种基于数据监控的数据获取方法 |
CN103546557A (zh) * | 2013-10-22 | 2014-01-29 | 乐视致新电子科技(天津)有限公司 | 一种平台级服务的数据交互方法、服务平台及系统 |
CN104811394A (zh) * | 2015-04-21 | 2015-07-29 | 深圳市出众网络有限公司 | 一种节省访问服务器流量的方法和系统 |
CN105391745A (zh) * | 2014-08-22 | 2016-03-09 | 阿瓦亚公司 | 应用间资源级共享用企业系统内数据资源服务方法、系统 |
CN105812406A (zh) * | 2014-12-29 | 2016-07-27 | 北京神州泰岳软件股份有限公司 | 基于web仿真终端系统的信息传输方法及装置 |
WO2016122545A1 (en) * | 2015-01-29 | 2016-08-04 | Hewlett Packard Enterprise Development Lp | Cloud-hosted user authentication |
CN107480189A (zh) * | 2017-07-11 | 2017-12-15 | 上海精数信息科技有限公司 | 一种多维度实时分析系统及方法 |
-
2018
- 2018-08-23 CN CN201810969452.9A patent/CN108924265A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101764840A (zh) * | 2009-12-29 | 2010-06-30 | 金蝶软件(中国)有限公司 | Web页面数据的提供方法、web服务器及web应用系统 |
CN102799609A (zh) * | 2012-05-31 | 2012-11-28 | 新奥特(北京)视频技术有限公司 | 一种基于数据监控的数据获取方法 |
CN102801799A (zh) * | 2012-08-03 | 2012-11-28 | 国电南瑞科技股份有限公司 | 一种基于b/s架构的实时监控系统 |
CN103546557A (zh) * | 2013-10-22 | 2014-01-29 | 乐视致新电子科技(天津)有限公司 | 一种平台级服务的数据交互方法、服务平台及系统 |
CN105391745A (zh) * | 2014-08-22 | 2016-03-09 | 阿瓦亚公司 | 应用间资源级共享用企业系统内数据资源服务方法、系统 |
CN105812406A (zh) * | 2014-12-29 | 2016-07-27 | 北京神州泰岳软件股份有限公司 | 基于web仿真终端系统的信息传输方法及装置 |
WO2016122545A1 (en) * | 2015-01-29 | 2016-08-04 | Hewlett Packard Enterprise Development Lp | Cloud-hosted user authentication |
CN104811394A (zh) * | 2015-04-21 | 2015-07-29 | 深圳市出众网络有限公司 | 一种节省访问服务器流量的方法和系统 |
CN107480189A (zh) * | 2017-07-11 | 2017-12-15 | 上海精数信息科技有限公司 | 一种多维度实时分析系统及方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905477A (zh) * | 2019-02-28 | 2019-06-18 | 厦门中控智慧信息技术有限公司 | 一种数据推送的方法及设备 |
CN110191186A (zh) * | 2019-06-04 | 2019-08-30 | 湖北五五互联科技有限公司 | Cdn服务器调度方法、设备及计算机可读存储介质 |
CN110430222A (zh) * | 2019-09-12 | 2019-11-08 | 北京许继电气有限公司 | 一种基于协议方式的服务接口实现方法 |
CN112511580A (zh) * | 2019-09-16 | 2021-03-16 | 北京国双科技有限公司 | 消息推送的方法、装置、存储介质和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9276926B2 (en) | Secure and automated credential information transfer mechanism | |
CN108205442A (zh) | 边缘计算平台 | |
CN110365752A (zh) | 业务数据的处理方法、装置、电子设备和存储介质 | |
CN106506620A (zh) | 一种云桌面智能终端管理系统 | |
JP5867841B2 (ja) | アプリケーションプラットフォームおよびアプリケーション間でログインステータスを共有するためのシステムおよび方法 | |
US10375064B2 (en) | Method, apparatus, and system for remotely accessing cloud applications | |
WO2019192129A1 (zh) | 基于移动终端的客户数据安全访问方法及装置 | |
CN108924265A (zh) | 数据获取方法、装置及网页服务器 | |
CN105812406B (zh) | 基于web仿真终端系统的信息传输方法及装置 | |
CN105991518B (zh) | 网络接入认证方法及装置 | |
US11570035B2 (en) | Techniques for accessing logical networks via a virtualized gateway | |
CN109542862A (zh) | 用于控制文件系统的挂载的方法、装置和系统 | |
CN110493239B (zh) | 鉴权的方法和装置 | |
CN111400777A (zh) | 一种网络存储系统、用户认证方法、装置及设备 | |
CN108282768A (zh) | 蓝牙设备分享控制和请求方法及电子设备 | |
WO2022105365A1 (zh) | 设备控制的方法及系统、电子设备、及存储介质 | |
CN110275787A (zh) | 在线平台数据传输方法、装置、介质及电子设备 | |
CN109067749A (zh) | 一种信息处理方法、设备及计算机可读存储介质 | |
US11968238B2 (en) | Policy management system to provide authorization information via distributed data store | |
CN114866247B (zh) | 一种通信方法、装置、系统、终端及服务器 | |
CN109308288A (zh) | 数据处理方法及装置 | |
CN109361712A (zh) | 一种信息处理方法及信息处理装置 | |
CN112653676B (zh) | 一种跨认证系统的身份认证方法和设备 | |
CN113660290A (zh) | 信令传输方法、装置、设备及存储介质 | |
CN109302446A (zh) | 跨平台访问方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |
|
RJ01 | Rejection of invention patent application after publication |