CN107547519A - 无线大数据部署方法及装置 - Google Patents

Abstract

本公开涉及一种无线大数据部署方法及装置，包括获取目标节点信息；获取系统信息，并根据所述系统信息确定对应的所述程序包；将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统。通过将程序包和用户身份信息和系统地址信息同步至目标节点，实现目标节点上一键部署无线大数据项目，部署过程中无需关心后台的处理过程，降低了部署无线大数据时的难度，根据本公开实施例的无线大数据部署方法及装置能够简单、便捷的部署无线大数据。

Description

无线大数据部署方法及装置

技术领域

本公开涉及大数据领域，尤其涉及一种无线大数据部署方法及装置。

背景技术

对于校园无线大数据项目来说，在线系统可以提供在线终端的IP地址、MAC地址以及连接的AP的标识，认证系统可以提供IP地址与用户身份的关联信息，通过在线系统与认证系统结合可以将用户身份信息与终端的MAC地址关联，无线大数据平台对上述数据进行处理可以探测出区域的人流量分布情况、人员移动轨迹，且经过长期大数据平台计算分析，对区域内的人流情况可以做出高效、真实的判断和预测。

目前，在线系统有IMC系统、Aruba系统等，认证系统包括城市热点、深澜系统、IMC系统等。不同在线系统、不同认证系统的数据采集和处理方法不同。因此，在部署无线大数据时，针对不同学校不同情况，都需要针对在线系统和认证系统定制开发相应的程序，并将定制开发的前后端程序包分批放入大数据集群，部署较为繁琐、且不易修改和扩展。

发明内容

有鉴于此，本公开提出了一种无线大数据部署方法及装置，能够简单、便捷的部署无线大数据。

根据本公开的一方面，提供了一种无线大数据部署方法，在大数据集群中的任一节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合，该方法应用于所述存储安装包的节点，该方法包括：获取目标节点信息；获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息；将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

根据本公开的另一方面，提供了一种无线大数据部署装置，在大数据集群的任意节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合，该装置应用于所述存储安装包的节点，该装置包括：信息获取模块，用于获取目标节点信息；程序包确定模块，用于获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息；程序包同步模块，用于将所述确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；第一信息同步模块，用于获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

通过获取系统信息，根据系统信息确定程序包，将确定的程序包同步至目标节点，并将用户身份信息和系统地址信息同步至所述目标节点，从而使目标节点自动安装程序包包含的数据采集和处理程序，并访问在线系统和认证系统，根据本公开的各方面的无线大数据部署方法及装置能够在目标节点一键部署无线大数据项目，部署过程中无需关心后台的处理过程，大大降低了部署无线大数据时的难度。因此，本公开的各方面的无线大数据部署方法及装置能够简单、便捷的部署无线大数据。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的无线大数据部署方法的流程图；

图2示出根据本公开一实施例的无线大数据部署方法的流程图；

图3示出根据本公开一实施例的无线大数据部署方法的流程图；

图4示出根据本公开一实施例的无线大数据部署方法的流程图；

图5示出根据本公开一实施例的无线大数据部署装置的框图；

图6示出根据本公开一实施例的无线大数据部署装置的框图；

图7示出根据本公开一实施例的无线大数据部署装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的无线大数据部署方法的流程图。在大数据集群中的任意节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合，该方法应用于所述存储安装包的节点，如图1所示，该方法包括：

步骤S11，获取目标节点信息。

步骤S12，获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息。

步骤S13，将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序。

步骤S14，获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

通过获取系统信息，根据系统信息确定程序包，将确定的程序包同步至目标节点，并将用户身份信息和系统地址信息同步至所述目标节点，从而使目标节点自动安装程序包包含的数据采集和处理程序，并访问在线系统和认证系统，根据本公开的无线大数据部署方法能够在目标节点一键部署无线大数据项目，部署过程中无需关心后台的处理过程，大大降低了部署无线大数据时的难度。因此，本公开的无线大数据部署方法能够简单、便捷的部署无线大数据。

为了提高无线大数据部署的可移植性，在一种可能的实现方式中，可以将一个或多个程序包打包至一个安装包中。其中，每个程序包包含了一组数据采集和处理程序，该组程序针对某个在线系统和认证系统组合，用于采集、处理该在线系统和认证系统的数据。为了提高无线大数据部署的灵活性，可以尽可能多的提供程序包以针对多种不同的在线系统和认证系统组合。

上述安装包存储在集群的某个节点，相当于在该节点发布所述安装包。在一种可能的实现方式中，安装包所在节点可以为Tomcat服务器。Tomcat服务器中的应用程序是许多文件的一个压缩包。这个压缩包中的文件按一定的目录结构来组织：通常根目录下包含有html和jsp文件，或者包含着两种文件的目录，另外还会有一个WEB-INF目录。WEB-INF目录下可以有一个web.xml文件和一个classes目录，web.xml是这个应用的配置文件，classes目录下包含编译好的servlet类和jsp或者servlet所有依赖的其他类。在Tomcat服务器中，可以将压缩包放到webapp目录下，Tomcat会自动检测到这个压缩包，并将其解压，从而完成应用程序的部署。Tomcat服务器的默认服务端口号是8080。在一个示例中，可以将一个或多个程序包压缩到一个压缩包中作为安装包，将该压缩包放到Tomcat服务器的webapp目录下，Tomcat服务器可以自动检测到这个压缩包，对其解压，从而进行无线大数据的部署。

图2示出根据本公开一实施例的无线大数据部署方法的流程图。如图2所示，所述方法还包括：

步骤S15，安装客户端程序。

在一种可能的实现方式中，还可以将客户端程序打包至安装包。Tomcat服务器可以自动安装客户端程序，得到客户端。存储安装包的节点可以通过客户端获取上述目标节点信息、系统信息、用户身份信息和系统地址信息等。

存储安装包的节点通过客户端可以获取系统信息，通过该系统信息可以确定对应的在线系统或认证系统，进而可根据系统信息确定相应的程序包。其中，系统信息是指能够识别在线系统和认证系统的信息，系统信息可以为在线系统、认证系统的类型、标识等信息。

存储安装包的节点通过所述客户端还可以获取无线大数据部署的目标节点信息，将系统信息对应的程序包同步到目标节点上。目标节点信息可以识别待部署的节点，目标节点信息可以为节点的标识、地址等信息。大数据集群中每个部署了spark服务的节点都可以作为无线大数据的目标节点。其中，spark服务是一个专为大规模数据处理而设计的快速通用的计算引擎，可以用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等。例如，大数据集群的每个部署了spark服务的节点都可以使用spark-submit命令去运行程序包，以在节点上安装数据采集和处理程序。

存储安装包的节点通过所述客户端还可以获取用户身份信息、在线系统地址信息和认证系统地址信息。这些信息被同步至上述目标节点上，目标节点根据这些信息可以访问认证系统和在线系统以采集数据。其中，用户身份信息用于获得认证系统和在线系统的访问权限。在线系统地址信息和认证系统地址信息用于获得采集认证系统和在线系统的数据的路径。如此，目标节点上的数据采集和处理程序就可以访问认证系统和在线系统进行数据采集和处理。

通过安装客户端程序，根据本公开的无线大数据部署方法能够通过客户端获取无线大数据部署过程中需要使用的信息，提供了友好的界面，无需关心后台操作，可以实现无线大数据的意见部署，降低了部署无线大数据时的难度。

图3示出根据本公开一实施例的无线大数据部署方法的流程图。如图3所示，所述方法还包括：

步骤S16，通过所述客户端获取环境配置信息并同步至所述目标节点，以使目标节点进行所述数据采集和处理程序安装之前的环境配置。

在进行上述数据采集和处理程序安装之前，还需要在目标节点上进行安装数据采集和处理程序所必须的环境配置，例如，文件存储的路径、文件命名的方式等。例如，针对利用数据库存储原始数据的在线系统和认证系统，可以在目标节点上创建数据表；针对以文件形式存储原始数据的在线系统和认证系统，在运行程序包的节点本地创建一个目录等等。环境配置文件可以预先保存在目标节点上，也可以由安装包所在的节点同步至目标节点。该环境配置文件可以为一段自动运行的脚本程序。

举例说明，城市热点认证系统采用在集群上运行一个java程序，实时的监听节点的某端口获取UDP包，将UDP包解析后存储到postgres数据库，以供spark处理程序来读取。IMC认证系统通过脚本每五分钟将实时的认证数据写入文件，再由spark处理程序读取文件；Aruba在线系统通过java程序定时将在线数据写入文件；IMC在线系统通过脚本将在线数据写入文件。当系统信息中的认证系统类型为IMC认证系统，或者系统信息中的在线系统类型为Aruba在线系统和IMC在线系统时，可以在节点本地创建一个目录，以获取IMC认证系统的认证数据，以及Aruba在线系统和IMC在线系统的在线数据。

在一种可能的实现方式中，可以通过客户端直接获取环境配置信息。

在一种可能的实现方式中，可以通过客户端获取系统信息，根据所述系统信息生成所述环境配置信息。

图4示出根据本公开一实施例的无线大数据部署方法的流程图。如图4所示，所述方法还包括：

步骤S17，记录程序包与在线系统和认证系统的组合的对应关系。

在一种可能的实现方式中，可以通过信息表记录程序包与在线系统和认证系统的组合的对应关系。在一个示例中，存储安装包的节点可以通过信息表记录程序包的标识与系统信息的对应关系。其中，程序包的标识可以是指能够用于区分程序包的身份的任何标识，例如，不同的数字、字母等信息。系统信息可以用于确定在线系统和认证系统的组合。

这样，存储安装包的节点可以根据获取的系统信息查询信息表以确定对应的程序包。表1为信息表的一个示例，如表1所示，当获取用户提供的在线系统为Aruba系统，认证系统为深澜系统，存储安装包的节点可以根据在线系统以及认证系统类型确定相应的程序表标识为n，由此可以确定对应的程序包为程序包n。需要说明的是，以上表1的形式仅仅是信息表的一个示例，信息表还可以为其他形式。同样的，以上表1中程序包的标识仅仅是一个示例，还可以采用其他编号形式，例如，分别将认证系统和在线系统进行编号，采用认证系统编号和在线系统编号的组合作为程序包的标识。本公开对程序包的标识以及信息表的存储形式不作限定。

表1系统信息与程序包的标识的对应关系的信息表

在一种可能的实现方式中，当向安装包添加程序包时，可以记录添加的程序包、与添加的安装包对应的在线系统和认证系统的组合的对应关系。

在一个示例中，当向安装包添加程序包时，存储安装包的节点可以在信息表中记录添加的程序包的标识、与所述添加的程序包的标识对应的系统信息之间的对应关系。这样，无线大数据部署平台可以根据更新后的信息表获取新添加的程序包，部署节点可以安装新添加的程序包。

举例来说，在新增认证系统1的情况下，当向安装包添加认证系统1和Aruba在线系统的组合对应的程序包m时，可以在信息表中记录程序包的标识m，以及m与认证系统1、Aruba系统系统信息之间的对应关系。

在需要增加认证系统和在线系统的情况下，可以随时通过在后台添加信息表中记录添加的程序包的标识、与所述添加的程序包的标识对应的系统信息之间的对应关系，来实现新的认证系统和在线系统的部署。由于添加程序包的操作是固定的，降低了代码的维护成本，简单、便捷的实现无线大数据的升级。

在一种可能的实现方式中，可以在程序包的属性中记录在线系统和认证系统的系统信息。存储安装包的节点可以根据系统信息查询程序包的属性，从而确定程序包。

在一种可能的实现方式中，当向所述安装包添加程序包时，在添加的程序包的属性中添加该程序包对应的系统信息。

举例来说，在新增认证系统1的情况下，当向安装包添加认证系统1和Aruba在线系统的组合对应的程序包m时，可以在程序包m的属性中添加认证系统1和Aruba系统的系统信息。

在需要增加认证系统和在线系统的情况下，可以随时通过在后台添加属性中包括系统信息的程序包，来实现新的认证系统和在线系统的部署。由于添加程序包的操作是固定的，降低了代码的维护成本，简单、便捷的实现无线大数据的升级。

图5示出根据本公开一实施例的无线大数据部署装置50的框图。所述装置50可以应用于大数据集群中存储安装包的节点，在大数据集群的任意节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合。如图5所示，该装置50包括：信息获取模块51、程序包确定模块52、程序包同步模块53和第一信息同步模块54。

信息获取模块51，用于获取目标节点信息；

程序包确定模块52，用于获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息；

程序包同步模块53，用于将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；

第一信息同步模块54，用于获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

通过获取系统信息，根据系统信息确定程序包，将确定的程序包同步至目标节点，并将用户身份信息和系统地址信息同步至所述目标节点，从而使目标节点自动安装程序包包含的数据采集和处理程序，并访问在线系统和认证系统，根据本公开的无线大数据部署装置能够在目标节点一键部署无线大数据项目，部署过程中无需关心后台的处理过程，大大降低了部署无线大数据时的难度。因此，本公开的无线大数据部署装置能够简单、便捷的部署无线大数据。

图6示出根据本公开一实施例的无线大数据部署装置50的框图，如图6所示，在一种可能的实现方式中，所述装置50还包括：安装模块55。

安装模块55，用于安装所述客户端程序。在一种可能的实现方式中，所述信息获取模块51，还用于通过所述客户端获取所述目标节点信息、系统信息、用户身份信息和系统地址信息。。

在一种可能的实现方式中，所述装置50还包括：

第二信息同步模块56，用于通过所述客户端获取环境配置信息并同步至所述目标节点，以使目标节点进行所述数据采集和处理程序安装之前的环境配置。

在一种可能的实现方式中，所述装置50还包括：记录模块57，用于记录程序包与在线系统和认证系统的组合的对应关系。

图7是根据一示例性实施例示出的一种无线大数据部署装置900的框图。参照图7，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与无线大数据部署逻辑对应的机器可执行指令以执行上文所述的无线大数据部署方法。

本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种无线大数据部署方法，其特征在于，在大数据集群中的任一节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合，该方法应用于所述存储安装包的节点，该方法还包括：

获取目标节点信息；

获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息；

将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；

获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

2.根据权利要求1所述的无线大数据部署方法，其特征在于，所述安装包还包括客户端程序，该方法还包括：安装所述客户端程序。

3.根据权利要求2所述的无线大数据部署方法，其特征在于，该方法还包括：

通过所述客户端获取所述目标节点信息、系统信息、用户身份信息和系统地址信息。

4.根据权利要求2所述的无线大数据部署方法，其特征在于，该方法还包括：

通过所述客户端获取环境配置信息并同步至所述目标节点，以使目标节点进行所述数据采集和处理程序安装之前的环境配置。

5.根据权利要求1所述的无线大数据部署方法，其特征在于，该方法还包括：记录程序包与在线系统和认证系统的组合的对应关系。

6.一种无线大数据部署装置，其特征在于，在大数据集群的任意节点上存储安装包，所述安装包包括一个或多个程序包，每个程序包包括一组数据采集和处理程序，一个所述程序包对应一个在线系统和认证系统的组合，该装置应用于所述存储安装包的节点，该装置包括：

信息获取模块，用于获取目标节点信息；

程序包确定模块，用于获取系统信息，并根据所述系统信息确定对应的所述程序包，所述系统信息包括在线系统和认证系统的信息；

程序包同步模块，用于将确定的程序包同步至所述目标节点，以使所述目标节点安装所述程序包包含的数据采集和处理程序；

第一信息同步模块，用于获取用户身份信息和系统地址信息并同步至所述目标节点，以使所述目标节点访问对应的在线系统和认证系统，所述系统地址信息包括在线系统和认证系统的地址信息。

7.根据权利要求6所述的无线大数据部署装置，其特征在于，所述安装包还包括客户端程序，该装置还包括：

安装模块，用于安装所述客户端程序。

8.根据权利要求7所述的无线大数据部署装置，其特征在于，所述信息获取模块，还用于通过所述客户端获取所述目标节点信息、系统信息、用户身份信息和系统地址信息。

9.根据权利要求7所述的无线大数据部署装置，其特征在于，所述装置还包括：

第二信息同步模块，用于通过所述客户端获取环境配置信息并同步至所述目标节点，以使目标节点进行所述数据采集和处理程序安装之前的环境配置。

10.根据权利要求6所述的无线大数据部署装置，其特征在于，所述装置还包括记录模块，用于记录程序包与在线系统和认证系统的组合的对应关系。