CN105338115A - 数据服务器 - Google Patents

Abstract

一种数据服务器，包括：Nginx服务单元、lua扩展单元以及lua脚本服务单元；其中：所述Nginx服务单元，适于接收HTTP请求；所述lua扩展单元，适于获取所述HTTP请求，将所述HTTP请求转发至所述lua脚本服务单元；所述lua脚本服务单元，适于分析所述HTTP请求，以获取目标数据。所述数据服务器具有高吞吐量低开发度的特点。

Description

数据服务器

技术领域

本发明涉及数据处理领域，尤其涉及一种数据服务器。

背景技术

随着网络技术的进步，互联网用户可以通过网络满足各种需求，获取各种信息。可以从互联网用户进行的各种网络行为获取大量数据，对这些数据进行分析和处理，可以得到更多的信息。

但是，由于涉及互联网用户行为的数据量较大，现有的数据服务器可承载的吞吐量有待提高，开发度有待降低。

发明内容

本发明解决的技术问题是提供一种高吞吐量低开发度的数据服务器。

为解决上述技术问题，本发明实施例提供一种数据服务器，包括：Nginx服务单元、lua扩展单元以及lua脚本服务单元；其中：

所述Nginx服务单元，适于接收HTTP请求；

所述lua扩展单元，适于获取所述HTTP请求，将所述HTTP请求转发至所述lua脚本服务单元；

所述lua脚本服务单元，适于分析所述HTTP请求，以获取目标数据。

可选的，所述lua脚本服务单元，还适于生成与所述HTTP请求来源对应的标识信息，以区分所述HTTP请求的来源。

可选的，所述Nginx服务单元，适于在Location请求地址重写阶段进行lua扩展单元的配置和重写。

可选的，所述lua脚本服务单元，还适于对所述HTTP请求设置过滤信息。

可选的，所述Nginx服务单元，适于在访问权限检查阶段读取所述过滤信息。

可选的，所述lua脚本服务单元，还适于存储所述目标数据至日志文件或数据库，或插入所述目标数据至消息队列。

可选的，所述HTTP请求中包括以下至少一种：页面信息、浏览器信息、用户浏览行为信息。

可选的，所述lua扩展单元以及lua脚本服务单元在Nginx服务单元的各个子进程中共享缓存信息。

本发明实施例还提供一种数据服务器部署方法，包括：

在源服务器打包编译所述Nginx服务单元、lua扩展单元、lua脚本服务单元以及依赖包，生成编译后的数据包；所述依赖包能够支持所述Nginx服务单元、lua扩展单元以及lua脚本服务单元工作；

拷贝所述编译后的数据包至所述数据服务器；所述数据服务器的系统环境与所述源服务器一致；

在所述数据服务器运行所述编译后的数据包。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

由于Nginx具有高性能http特点，而lua脚本语言速度块，可扩展性强，抽象级别高。故利用Nginx服务单元接收HTTP服务请求，凭借Nginx反向代理的特点，可以使得数据收集服务无限水平扩展，达到高可用、高可扩展性的效果；将lua脚本服务单元通过lua扩展单元嵌套入Nginx，可以方便的通过lua扩展单元对数据进行处理，对数据处理的方式和数据来源的要求进行定制，降低开发度。

另外，由于在源服务器打包编译Nginx服务单元、lua扩展单元、lua脚本服务单元以及依赖包，生成编译后的数据包，所述依赖包能够支持所述Nginx服务单元、lua扩展单元以及lua脚本服务单元工作，故可以拷贝编译后的数据包至所述数据服务器，并在数据服务器上直接运行编译后的数据包，而不需再次安装相关的依赖包，从而可以免去安装过程，简化操作流程。

附图说明

图1是本发明实施例中一种数据服务系统的结构示意图；

图2是本发明实施例中一种数据服务器的结构示意图。

具体实施方式

如前所述，随着网络技术的进步，互联网用户可以通过网络满足各种需求，获取各种信息。可以从互联网用户进行的各种网络行为获取大量数据，对这些数据进行分析和处理，可以得到更多的信息。但是，由于涉及互联网用户行为的数据量较大，现有的数据服务器可承载的吞吐量有待提高，开发度有待降低。

本发明实施例利用Nginx服务单元接收HTTP服务请求，凭借Nginx反向代理的特点，可以使得数据收集服务无限水平扩展，达到高可用、高可扩展性的效果；将lua脚本服务单元通过lua扩展单元嵌套入nginx，可以方便的通过lua扩展单元对数据进行处理，对数据处理的方式和数据来源的要求进行定制，降低开发度。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中一种数据服务系统的结构示意图。

互联网用户可以通过用户端12访问网站11，其中用户端可以是多个用户端：用户端1、用户端2……用户端N；网站11可以是多个网站：网站1、网站2……网站N。

部分由网站11支持的页面可以部署有代码，以在用户端12访问该页面时，将HTTP请求发送至数据服务器13。上述代码可以是javascript代码，其中代码内容执行目的主要是收集页面信息、浏览器信息、用户浏览行为信息等。

页面代码将上述收集到的信息发送到数据服务器13，发送的方式可以是以HTTP请求的方式。数据服务器13根据接收到请求中的参数信息以及协议头信息等，获取用户浏览行为信息。将其以一种可持久化方式记录下来，包括以日志文件、数据库及其它持久化存储方式。

本发明实施例中数据服务器可以应用到多种数据系统，可以根据需求对lua脚本服务单元进行定制。

时下个性化资源推荐成为个性化服务领域的研究热点。个性化服务研究大多数都是以用户访问行为的数据为基础开展研究，用户访问行为的数据为个性化服务中用户兴趣发现、资源推荐等研究提供很好的数据支持，是这些研究很关键的前提。

然而随着信息量的飞速增加，对于数据收集的性能，开发度以及可扩展性、可移植性有了更高的要求。

本发明实施例中的数据服务器13可以利用Nginx服务单元接收HTTP服务请求，凭借Nginx反向代理的特点，可以使得数据收集服务无限水平扩展，达到高可用、高可扩展性的效果；将lua脚本服务单元通过lua扩展单元嵌套入Nginx，可以方便的通过lua扩展单元对数据进行处理，对数据处理的方式和数据来源的要求进行定制，降低开发度，从而具备高性能、可定制、低开发度和高扩展性，可以更加广阔的适用于各种系统，特别是对服务性能以及开发度要求较高的系统。

图2是本发明实施例中一种数据服务器的结构示意图，以下结合图1和图2进行说明。

数据服务器包括：Nginx服务单元21、lua扩展单元22以及lua脚本服务单元23；其中：

所述Nginx服务单元21，适于接收HTTP请求。

Nginx是一个高性能的HTTP反向代理服务器，也是一个IMAP/POP3/SMTP服务器。其特点是占有内存少，并发能力强。

在具体实施中，所述HTTP请求中包括以下至少一种：页面信息、浏览器信息、用户浏览行为信息。

所述lua扩展单元22，适于获取所述HTTP请求，将所述HTTP请求转发至所述lua脚本服务单元23。

Nginx本身具有高性能的特点，但不具有低开发度的特点，如果要在nginx进行模块扩展，开发度会比较高，故设置lua扩展单元22，对Nginx进行扩展，提供Nginx服务单元21和lua脚本服务单元23的接口，以降低数据服务器的开发度。

所述lua脚本服务单元23，适于分析所述HTTP请求，以获取目标数据。

在具体实施中，lua脚本服务单元23适于分析HTTP请求，以获取目标数据。例如，lua脚本服务单元23可以对HTTP请求中的页面信息、用户浏览行为信息等数据进行分析、统计、归类等各种处理，以得到表征或部分表征用户行为、用户习惯、用户喜好等相关的目标数据。上述目标数据可以用于后续进一步的处理，例如用户行为分析、基于用户行为的推荐、推送等等。

lua是一个小巧的脚本语言。其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。lua脚本可以很容易的被C/C++代码调用，也可以反过来调用C/C++的函数，这使得lua在应用程序中可以被广泛应用。不仅仅作为扩展脚本，也可以作为普通的配置文件，代替XML、ini等文件格式，并且更容易理解和维护。lua由标准C编写而成，代码简洁优美，几乎在所有操作系统和平台上都可以编译，运行。一个完整的lua解释器不过200k，在目前所有脚本引擎中，lua的速度是最快的。这一切都决定了lua是作为嵌入式脚本的最佳选择。

使用脚本语言lua进行开发，比起使用高级语言C语言进行扩展开发，可以节约很多开发成本，lua本身也是目前所有脚本引擎中速度最快的脚本语言，利用lua脚本服务单元23嵌入至Ginx服务单元21，并不会降低Nginx的性能。

在具体实施中，所述lua脚本服务单元23可以是由LuaJIT编译器编译的。LuaJIT是采用C语言写的lua的解释器。LuaJIT被设计成全兼容标准lua5.1,因此LuaJIT代码的语法和标准Lua的语法类似。LuaJIT可以看做是lua的高效率版本。

可以看出，本发明实施例中的数据服务器时利用高级语言和脚本语言的混合编程开发的，利用高级语言开发Nginx服务单元21和lua扩展单元22，利用脚本语言开发lua脚本服务单元23。高级语言相对于脚本语言相对于高级语言有如下差异：

抽象级别：这是最重要也是最明显的不同。脚本语言对程序员提供了更高级的抽象。具体表现在：在这种语言自身中，存在有高级的数据结构，如列表和字典结构，和对这种结构简单方便的嵌套和操作。

类型定义：系统语言通常是强类型和静态类型定义。这就意味着所有变量的类型要在程序中指定，在编译时检查。相反，脚本语言是最松散的类型定义，完全没有类型声明，并且在运行时进行动态类型检查。

执行系统语言的特点是编译的。程序被编译成可执行的二进制。另一方面，脚本语言特点是解释，也就是说，脚本执行时，将脚本内容解释为可被机器执行的语言后立即执行，不存在编译过程。

lua脚本服务单元23用于数据处理，需要完成较多的定制功能，故利用脚本语言更易完成对数据处理功能的定制，可以降低开发度。而Nginx作为高性能的HTTP反向代理服务器，并发能力强可以达到高可用、高扩展性的效果。

在具体实施中，所述lua脚本服务单元为luac格式的代码文件。通过lua语言完成日志模块开发后，为了确保所编写代码在部署之后的安全性，需要编译为luac格式的代码文件。

高级语言和脚本语言可以通过各自的编译器，将编写代码编译为加密的文本信息，进而保证部署安装的服务为编译后的安全编码内容。

在具体实施中，所述lua脚本服务单元23，还适于生成与所述HTTP请求来源对应的标识信息，以区分所述HTTP请求的来源。

由于所述目标数据大多用来分析用户行为，生成与所述HTTP请求来源对应的标识信息，区分HTTP请求的用户来源，可以便于后续对目标数据的运用。标识信息可以是Cookie-ID。网站11可以对不同的用户进行标识，数据服务器13可以按照不同的规则进行生成新的标识，将新生成的标识与网站11生成的标识进行对应，以更加合理和准确的对HTTP请求来源进行区分。

在具体实施中，所述lua脚本服务单元23，还适于存储所述目标数据至日志文件或数据库。所述lua脚本服务单元23可以对数据格式、内容、以及存储方式进行定制，可以存储至日志文件，或存储至数据库。

在具体实施中，所述lua脚本服务单元还23适于插入所述目标数据至消息队列。将目标数据直接存入内存，例如直接插入至消息队列，便于后续程序对目标数据进行处理，提升效率。

ginx服务单元21处理每一个用户请求时，都是按照若干个不同阶段(phase)依次处理的，而不是根据配置文件上的顺序。Nginx处理请求的过程一共划分为11个阶段，按照执行顺序依次是：读取请求内容阶段、Server请求地址重写阶段、配置查找阶段、Location请求地址重写阶段、请求地址重写提交阶段、.访问权限检查准备阶段、访问权限检查阶段、访问权限检查提交阶段、配置项try_files处理阶段、内容产生阶段、日志处理阶段。

在具体实施中，所述Nginx服务单元21，适于在Location请求地址重写阶段进行lua扩展单元22的配置和重写。

当ngx_rewrite模块的指令用于location块中时，便是运行在这个rewrite阶段。另外，ngx_set_misc(设置md5、encode_base64等)模块的指令，还有ngx_lua模块的set_by_lua指令和rewrite_by_lua指令也在此阶段。

在具体实施中，所述Nginx服务单元21，适于在访问权限检查阶段读取所述lua扩展单元22的设置。

在具体实施中，所述lua脚本服务单元23，还适于对所述HTTP请求设置过滤信息。比如检查用户的访问权限，检查用户的来源IP地址是否合法等。可以使用access_by_lua_file来配置过滤信息，过滤信息中可以是对用户来源地址进行过滤，例如可以建立禁止访问的黑名单。

在具体实施中，所述nginx服务单元，适于在访问权限检查阶段读取所述过滤信息。并根据过滤信息对HTTP请求进行过滤，例如可以在此阶段对用户的访问权限进行检查等。

在具体实施中，所述lua扩展单元22以及lua脚本服务单元23在nginx服务单元的各个子进程worker中共享缓存信息。

由于Nginx具有高性能http特点，而lua脚本语言速度块，可扩展性强，抽象级别高。故利用Nginx服务单元接收HTTP服务请求，凭借Nginx反向代理的特点，可以使得数据收集服务无限水平扩展，达到高可用、高可扩展性的效果；将lua脚本服务单元23通过lua扩展单元22嵌套入Nginx，可以方便的通过lua扩展单元22对数据进行处理，对数据处理的方式和数据来源的要求进行定制，降低开发度。

本发明实施例还提供一种数据服务器部署方法，包括：

在源服务器打包编译所述Nginx服务单元、lua扩展单元、lua脚本服务单元以及依赖包，生成编译后的数据包；所述依赖包能够支持所述Nginx服务单元、lua扩展单元以及lua脚本服务单元工作；

拷贝所述编译后的数据包至所述数据服务器；所述数据服务器的系统环境与所述源服务器一致；

在所述数据服务器运行所述编译后的数据包。

其中依赖包可以包括TCRE包、luaJIT包等足以支持Nginx服务单元、lua扩展单元、lua脚本服务单元工作的包，从而可以直接拷贝编译后的数据包至所述数据服务器，并在数据服务器上直接运行编译后的数据包，而不需再次安装相关的依赖包，以免去安装过程，简化操作流程。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种数据服务器，其特征在于，包括：Nginx服务单元、lua扩展单元以及lua脚本服务单元；其中：

所述Nginx服务单元，适于接收HTTP请求；

所述lua扩展单元，适于获取所述HTTP请求，将所述HTTP请求转发至

所述lua脚本服务单元；

所述lua脚本服务单元，适于分析所述HTTP请求，以获取目标数据。

2.根据权利要求1所述的数据服务器，其特征在于，所述lua脚本服务单元，还适于生成与所述HTTP请求来源对应的标识信息，以区分所述HTTP请求的来源。

3.根据权利要求1所述的数据服务器，其特征在于，所述Nginx服务单元，适于在Location请求地址重写阶段进行lua扩展单元的配置和重写。

4.根据权利要求1所述的数据服务器，其特征在于，所述lua脚本服务单元，还适于对所述HTTP请求设置过滤信息。

5.根据权利要求4所述的数据服务器，其特征在于，所述Nginx服务单元，适于在访问权限检查阶段读取所述过滤信息。

6.根据权利要求1所述的数据服务器，其特征在于，所述lua脚本服务单元，还适于存储所述目标数据至日志文件或数据库，或插入所述目标数据至消息队列。

7.根据权利要求1所述的数据服务器，其特征在于，所述lua脚本服务单元由LuaJIT编译器编译。

8.根据权利要求1所述的数据服务器，其特征在于，所述HTTP请求中包括以下至少一种：页面信息、浏览器信息、用户浏览行为信息。

9.根据权利要求1所述的数据服务器，其特征在于，所述lua扩展单元以及lua脚本服务单元在Nginx服务单元的各个子进程中共享缓存信息。

10.一种数据服务器部署方法，其特征在于，包括：

在源服务器打包编译如权利要求1至9任一项所述的Nginx服务单元、lua扩展单元、lua脚本服务单元以及依赖包，生成编译后的数据包；所述依赖包能够支持所述Nginx服务单元、lua扩展单元以及lua脚本服务单元工作；拷贝所述编译后的数据包至所述数据服务器；所述数据服务器的系统环境与所述源服务器一致；

在所述数据服务器运行所述编译后的数据包。