CN107766214A - 基于spark技术的移动终端数据流处理方法及系统 - Google Patents

Abstract

本发明提出一种基于SPARK技术的移动终端数据流处理方法及系统，移动终端专用应用软件记录下终端运行时产生的位置信息、用户的操作轨迹、终端内部各模块的运行状态等移动终端运行日志数据，经过无线网络传送至后台数据服务中心，数据服务中心在收到数据后使用大数据SPARK集群进行计算分析，将处理后的有价值数据进行前端实时展示、后台数据库存储或其它基于此类数据的增值应用。使用本方法，在移动终端集群侧，可以发送较为全面的、可自定义数据流报文格式的各类数据；在数据服务中心侧，则可以采用由多台廉价的PC机组成SPARK计算集群实现对此类数据的分析和处理，且具备时效性，能为上层做决策提供数据支撑。

Description

基于SPARK技术的移动终端数据流处理方法及系统

技术领域

本发明属于移动终端数据流处理的技术领域，具体涉及一种基于SPARK技术的移动终端数据流处理方法及系统。

背景技术

随着大数据技术和移动通信技术的快速发展，移动应用终端与后台数据中心的数据交互处理已经成为移动通信项目实施过程中的重要组成部分。

在交互过程中，移动终端会发送由其应用软件产生的各种结构化或半结构化类型的数据到数据中心，数据中心则对这些数据进行分析处理。但随着时间的推移，数据中心收到的数据持续增大乃至于海量级，分析这样的数据要求更高的数据处理能力。当前，在这类数据处理的方法中，常规做法是采用商用软件或者采用人工直接查看运行日志的方法来做数据分析。在特定场景中，采用商用软件会产生软件授权使用费用或者存在潜在的安全性问题；而采用人工方式直接对GB量级及以上的文件进行分析是不可靠的，且时效性不能保证。

如图1所示，现有技术中，若干移动终端经无线网络不停的向后台数据服务中心上报固定格式的数据(主要包括设备整机工作状态及设备内部的各个硬件模块的运行状态信息)，后台数据服务中心收到数据后将数据显示在计算机做展现，并将数据存储至数据库，从而实现远程监控移动终端运行的基本情况。但这种方案存在着一定缺陷，主要体现在：后台数据服务中心对收到的数据处理略显简单，只是对数据进行了简单的前端界面展示和数据库存储操作，并未对数据进行分析。采用这样的处理方式，在数据服务中心运行一定时间后，数据服务中心的数据库会形成海量的移动终端运行日志，当终端出现问题时，用户无法通过日志及时定位问题。此外，移动终端上报的数据流的报文格式是固定的，内容不够详细，当终端出现问题时，用户无法通过日志精确定位问题，显得不够灵活。

发明内容

为解决上述问题，本发明提供一种基于SPARK技术的移动终端数据流处理方法及系统。使用本方法，在移动终端集群侧，可以发送较为全面的、可自定义数据流报文格式的各类数据，诸如用户对终端的操控信息、设备位置信息等各类信息；在数据服务中心侧，则可以采用由多台廉价的PC机组成SPARK计算集群实现对此类数据的分析和处理，且具备时效性，能为上层做决策提供数据支撑。

本发明解决问题方案的基本思路是：移动终端专用应用软件记录下终端运行时产生的位置信息、用户的操作轨迹(如，拨打电话、发送短信、查看或者修改设备串口号、波特率及参数等)、终端内部各模块的运行状态等移动终端运行日志数据(一条日志数据由若干条用户自定义格式的报文组成)，经过无线网络传送至后台数据服务中心，数据服务中心在收到数据后使用大数据SPARK集群进行计算分析，将处理后的有价值数据进行前端实时展示、后台数据库存储或其它基于此类数据的增值应用。具体技术方案如下：

基于SPARK技术的移动终端数据流处理方法，包括：

接收移动终端集群侧发送的数据报文；

对接收到的数据报文进行解码，并将解码后的数据流作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群采用SPARK技术对解码后的数据流进行数据分析处理和提取，以供后续调用。

作为一种优选方案，后续调用包括前端展示和/或数据库存储。

作为一种优选方案，前端展示以图表方式向用户直观显示数据信息。

作为一种优选方案，数据库存储的数据库为MYSQL数据库。

作为一种优选方案，还包括对接收到的数据报文进行完整性判断，若完整，则将此数据报文在本地进行缓存以待解码。

作为一种优选方案，若判断接收到的数据报文不完整，则丢弃该报文。

作为一种优选方案，按照协议对接收到的数据报文进行解码，协议中设定了报文内容的编码规则和解码规则。

作为一种优选方案，移动终端集群侧发送的数据报文是按照用户自定义报文格式整理获得。

作为一种优选方案，用户自定义报文格式是根据用户在移动终端系统设置界面中选择不同系统预设的内容选项拼接获得。

作为一种优选方案，系统预设的内容选项包括硬件模块名称和软件运行日志两个部分。

作为一种优选方案，自定义报文格式形成的方法如下：

在移动终端系统设置界面中遍历与终端硬件模块和终端软件模块相关的关键字；

用户根据需求选取并记录自己关心的关键字；

将获取到的与用户动作数据相关的关键字和用户选取并记录下来的关键字进行匹配，若匹配一致，则添加作为报文格式内容。

作为一种优选方案，若匹配不一致，不做处理。

本发明还公开一种基于SPARK技术的移动终端数据流处理系统，应用于移动终端集群侧向数据服务中心侧发送的数据流的处理，数据服务中心包括：

数据综合处理模块，用于接收移动终端集群侧发送的报文格式数据，并对接收到的报文格式数据进行解析，将解析后的数据作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群，基于SPARK技术对接收到的数据源进行数据分析处理，并将提取的有价值的数据提供给数据前端展示模块和/或数据库存储模块进行调用；

数据前端展示模块，用于向用户直观展示SPARK大数据计算集群发送的有价值的数据；

数据库存储模块，用于存储SPARK大数据计算集群发送的有价值的数据及数据服务中心的运行日志数据。

作为一种优先方案，数据库存储模块采用MYSQL数据库服务器。

作为一种优先方案，移动终端集群侧的移动终端内置的应用软件配置有以下几个程序模块：

UI模块，用于人机交互操作，其包括系统设置界面；

业务处理模块，响应该操作，并将处理结果存储至数据库模块；

数据代理模块，记录用户动作数据，并按照用户自定义报文格式整理成用户动作数据报文，将整理完成的用户动作数据报文发送至数据服务中心侧；

数据库模块，用于存储用户动作数据所对应的终端运行日志。

作为一种优先方案，终端运行日志包括终端的硬件模块和软件运行日志两部分。

作为一种优先方案，数据库模块采用Sqlite数据库。

综上所述，本发明提供的基于SPARK技术的移动终端数据流处理方法及系统具有如下有益效果：

(1)后台数据服务中心侧采用SPARK集群对接收到的数据计算分析，并输出有价值的实时数据，并可以此类数据为依据做实时的统计图表展示或其它基于此类数据的应用，具备实效性。

(2)移动终端可通过安装的应用软件实现用户自定义数据流报文格式内容，提升了用户体验。

(3)在该系统中，移动终端集群侧和后台数据服务中心互为促进关系，一方面，移动终端集群侧产生的大量发往数据服务中心的终端数据，要求数据服务中心能够提供低时延的、海量的数据分析处理能力，有利于迅速获取有价值的数据信息；另一方面，数据服务中心需要移动终端集群一侧能够提供细粒度的终端运行数据，有利于更为精确的统计各移动终端的详细运行状态。

(4)本方法可以推广应用到各类车载终端等通用应用终端。

附图说明

图1为现有技术中的前端移动用户集群与数据服务中心交互示意图；

图2为实施例中前端用户集群与数据中心交互示意图；

图3为实施例中移动终端应用软件设计示意图；

图4为实施例中后台数据服务中心基于SPARK技术的应用设计示意图；

图5为实施例中基于SPARK技术的移动终端数据流处理流程图。

具体实施方式

下面结合具体的实施例和附图对本发明作进一步解释说明。

如图2所示，若干个用户形成的用户集群并同时操作终端设备，在此过程中，移动终端应用软件会记录下终端运行时产生各种类型的数据报文(简称报文)，通过无线网络发送到后台数据中心(即数据服务中心)。后台数据服务中心将接收到的数据采用SPARK大数据集群做数据计算分析，将SPARK输出的有价值的数据进行做前端界面展示，后台数据库存储、以及其它基于此类数据的增值应用。其中，增值应用例如，将此类有价值数据作为数据源，并按数据敏感度划分等级，根据实际需求对不同的外部程序提供数据信息查询业务，实现数据的增值功能，此类应用不在本发明讨论范围内。

如图3所示，移动终端应用软件主要包括UI模块、业务处理模块、数据代理模块、数据库模块等程序模块。

UI模块主要由一个系统主界面和若干个子界面组成，用于实现人机交互操作。UI模块的系统主界面主要用于显示终端的打电话按钮、短信发送按钮、系统重启按钮以及终端运行中内部模块的工作参数和运行状态；UI模块的子界面主要由硬件模块设置界面，系统设置界面，日志界面组成，分别用于设置硬件模块参数，设置系统时间及更改系统启动和运行参数，查看和修改软件运行日志。

业务处理模块主要由多个逻辑接口及多个硬件单元组成，主要用于接收UI模块下发的AT指令，该指令在经过逻辑接口调用后完成对硬件单元参数的设置，并同时将此次硬件单元设置过程的用户动作数据上报至数据代理模块和数据库模块。此处所述的AT指令，即Attention，是从终端设备(Terminal Equipment)向终端适配器(Terminal Adapter)发送的指令，用于实现特定的功能。例如：用户要实现拨打电话功能，则在终端界面上输入号码，点击拨号按钮，实际上在终端底层执行的是拨打电话的AT指令，即ATD+电话号码。但不同的设备模块供应商提供的AT指令会有差异。

数据代理模块主要由数据综合处理单元及数据上报代理单元两部分组成，实现对数据报文的处理和发送功能。其中，数据综合处理单元记录用户动作数据并按照用户自定义的报文格式对用户动作数据进行整理；数据上报代理单元用于将完成整理后的报文发送出去。具体的，数据综合处理单元会根据用户在UI模块中的系统设置界面中的不同设置来拼接出不同的报文内容。进一步说，在UI模块的系统设置界面中，用户可以根据自己的实际需要勾选系统预设(预先设定)的不同内容选项来要求数据代理模块拼接成不同格式的报文，然后通过数据上报单元经射频发送到后台数据服务中心，在这里，数据上报单元相当于对综合处理单元处理过的报文做了一次调用转发。注：系统预设的内容选项主要由硬件模块名称和软件运行日志两个部分组成。需要说明的是，由于不同终端设备的硬件组成模块会有差异，相应的，不同的硬件模块则会有不同的软件日志，因此，在这里则对硬件模块和软件运行日志的名称不做具体罗列。

数据库模块，终端设备中嵌入的数据库软件，主要用于本地存储用户动作数据所对应的终端运行日志。在这里，日志的内容主要包括终端的硬件模块和软件运行日志两部分，数据库软件优选轻型的Sqlite数据库。需要说明的是，软件运行日志可以理解成是由系统软件本身运行的日志和用户对终端的动作数据组成。而一条完整用户动作数据是由若干个关键字拼接组成，是报文的一种具体类型，若对此类报文进行数据库存储，则形成终端运行日志。

其工作流程如下：

用户通过UI模块与移动终端进行交互，UI模块下发的AT指令至业务处理模块；业务处理模块接收UI模块下发的AT指令，通过逻辑接口实现业务处理和硬件单元的监控，并将此次用户动作数据所形成的运行日志保存至数据库模块；数据代理模块中的数据综合处理单元根据用户在UI模块中的系统设置界面中自定义勾选的不同内容选项拼接成不同内容格式的用户动作数据报文，并通过数据上报代理单元将处理完成的报文发送至后台数据服务中心侧。

如图4所示，后台数据服务中心基于SPARK(Apache组织下的顶级项目之一)大数据技术的应用设计，其主要包括数据综合处理模块、SPARK大数据计算集群、数据前端展示模块和数据库存储模块。

数据综合处理模块，主要由数据缓存单元、报文解析单元、报文发送单元三部分组成，主要功能是接收和解析移动终端发过来的数据流，并将解析后的数据流作为数据源发送到Spark大数据计算集群。具体的，对接收到的移动终端侧的数据报文通过数据缓存单元进行存储，并通过报文解析单元对该数据报文进行解码，然后通过报文发送单元将解码后的解析后的数据流发送至Spark大数据计算集群。

SPARK大数据计算集群模块，主要是由SPARK软件和若干台PC机搭建而成的分布式系统，主要功能是接收经过数据综合处理模块处理后发过来的大量的数据，经SPARK集群处理后，可以快速计算提取出有价值的数据，作为前端展示模块和数据库模块的数据源。SPARK大数据计算集群模块内置有SPARK STREAMING组件和SPARK ENGINE组件，SPARKSTREAMING组件将数据综合处理模块处理后的数据切分成多个BATCH块，SPARK ENGINE组件将这些BATCH块处理后输出作为前端展示和数据库的数据源，关于SPARK集群内部处理数据的具体方式，属于SPARK集群运维方面的内容，可参见SPAKR官方文档，不属于本发明的重点，此处不作具体说明。

数据前端展示模块，是基于SPARK集群传过来的数据所做的界面应用，用于实现以图表的形式向用户直观显示有价值的数据信息。该模块主要包括用户常用动作轨迹评估、终端位置信息统计、终端硬件单元故障统计等。在实际项目里，还可以依据用户具体关心什么样的数据内容，具体开发不同的前端界面展示模块。

数据库存储模块，主要用于存储经过SPARK集群处理后输出的数据以及后台数据服务中心的运行日志数据，优选MYSQL数据库服务器。

其工作流程如下：

数据综合处理模块通过无线网络接收来自于移动终端集群侧发送过来的各类报文，并进行如下处理：首先，数据缓存单元会对接收到的报文进行报文完整性判断，若报文完整，则将此报文在本地进行缓存；接着，报文解析单元按协议对报文内容进行解码，在这里，协议设定了报文内容的编码、解码的规则，主要用于描述一段报文的头部、报文体、报文的校验方式等内容；然后，报文发送单元将得到的码流作为数据源发送给SPARK大数据计算集群；最后，数据缓存单元会清空这份报文的缓存。在进行完整性判断时，若判断报文不完整，则丢弃该报文。在经过SPARK集群计算后，可以得到的有价值的数据，将这些数据作为数据源提供给数据前端展示模块和数据库存储模块进行调用。

下面通过前端移动终端用户集群侧、后台数据服务中心侧的正常工作流程的具体实施例来进一步说明本发明的实施方法，实施方法中不包含因网络不通而导致的移动终端无法发送数据或后台服务中心无法收到数据的异常处理部分。

如图5所示，公开一种基于SPARK技术的移动终端数据流设计及分析方法的具体实施例，包括以下步骤：

S1、移动终端正常开机，用户正常登录系统。

S2、用户做具体的动作。例如，用户点击软件系统UI界面查看某硬件单元的相关运行参数，在这个用户的操作过程中可以形成一条完整的用户动作数据，这条用户动作数据可以用如下几个关键字拼接形成，比如，用户A+查询/删除+某硬件单元名称、参数+时间等。

S3、业务处理模块调用逻辑接口获取该硬件单元的运行参数，将参数返回给移动终端的UI模块，并在终端显示屏上显示。

S4、业务处理模块与数据库模块进行CRUD交互，即对数据库数据的添加、修改、删除、查找动作，实现对数据库的读、写功能。事实上，业务处理模块与数据库进行一次交互(数据读取或者写入)，对应着两个逻辑处理流程，一个是业务处理模块对数据库模块进行一次操作，另外一个是业务处理模块需要记录这次操作的几个关键字，比如执行这次动作的用户名、操作内容、操作时间等，从而形成一条具体的用户动作数据，以供数据代理模块调用。若干条用户动作数据存储到数据库模块，从而形成终端运行日志。

S5、数据代理模块提供用户自定义报文格式的拼接、发送功能，通过数据综合处理单元对本次用户动作数据做记录并按照预设的报文格式进行整理。例如，用户名+动作内容+动作结果+动作时间+位置信息+设备ID+各个硬件单元工作状态等等。然后，数据代理模块再通过数据上报代理单元将整理完成的数据通过无线网络发送给后台数据服务中心。

S6、数据服务中心通过无线网络接收到移动终端集群侧发送过来的数据，数据综合处理模块中的数据缓存单元对接收到的数据进行缓存，报文解析单元对接收到的报文数据进行解析，之后再由报文发送单元将数据发送给SPARK计算集群，作为SPARK的数据源。

S7、SPARK计算集群接收来自数据综合处理模块的数据源，SPARK STREAMING组件将这些数据切分成BATCH块，SPARK ENGINE组件将这些BATCH块处理后的有价值的数据输出，以作为数据前端展示和数据库存储的数据源。

S8、数据前端展示模块以图表的形式向用户直观显示有价值的数据信息；同时，数据库存储模块存储这些有价值的数据。

其中，数据前端展示模块可以以图形化界面的形式展示SPARK集群输出的有价值的数据，为有关基于数据的相关应用提供数据支撑。例如，图表格式显示终端用户常用动作评估，其方法是统计终端用户的某个操作动作的次数占整个动作次数的百分比来做判断；例如，终端用户登录、退出系统的次数对整个操作动作次数的占比很高，而终端运行状态正常，则可以预测用户无效操作过多，可视为用户操作异常。数据库存储模块SPARK集群及数据中心的运行日志。

需要特别说明的是，步骤S5中，自定义报文格式的功能可按需定制，具体可以采用以下方法实现，主要包括如下步骤：

S51、在终端应用软件UI模块的系统设置界面中遍历所有能预想到的关键字。

例如，终端硬件模块的关键字包括各个硬件模块的名称、硬件模块供应商等，终端软件模块的关键字包括用户权限级别、用户有效期等。需要指出的是，由于不同业务场景中终端的硬件组成模块和软件功能模块会有差异，能预想的关键字也不尽相同，因此在这里对需要罗列的关键字的具体表示内容不做硬性规定。

S52、用户可以根据实际需求勾选自己关心的关键字，UI模块将用户勾选的关键字下发到业务处理模块，通过注销或重启系统使用户设置生效。比如，用户在UI模块界面设置中，勾选了用户A1，硬件模块名称M1、M2。

S53、数据代理模块将获取到的关键字与业务处理模块记录下来的关键字进行匹配，如果数据代理模块的关键字与业务处理模块的关键字一致，则添加到报文格式内容，否则，不做处理。

以用户查看某硬件模块状态这个动作为例。业务处理模块首先记录下用户A1，硬件模块名称M1、M2等关键字，数据代理模块获取一份同样的关键字。当用户A1选择模块M1，点击查询按钮，则在数据代理模块形成一条格式内容为“A1+M1+查询”的用户动作数据；如果用户当用户A1选择硬件模块M3，而硬件模块M3不在用户勾选的M1、M2范围之内，与用户在UI界面系统设置中勾选的关键字不一致，则数据代理模块不做处理。

而在常规解决方案中，后台数据服务中心处理若干移动终端上报的海量数据流，一般只是简单的对此类数据进行数据本地存储，不做分析处理。当移动终端出现问题时，用户无法实时、精确的定位并解决移动终端问题。此外，移动终端上报的数据流的报文格式是固定的，显得粗糙不灵活。

SPARK技术一方面SPARK是基于内存的迭代式计算，不需要频繁的读写硬盘；另一方面，SPARK采用了Resilient Distributed Dataset技术(详见SPARK官方文档)，具有更快的数据处理速度。因此，本发明后台数据服务中心采用基于SPARK技术的实时处理系统，能实时的处理移动终端发过来的数据流，可以解决时效性问题；

此外，移动终端数据流的具体内容将由用户自主决定，也就是说用户能以可配置的形式来灵活的决定收集哪些数据，并将这些数据按照与后台服务中协调好的格式组成报文。决定收集的这些数据主要包括用户操作的轨迹信息、终端软件、终端内部模块运行状态数据。事实上，可以实现收集用户关心的关于终端任意预设数据，这样处理的优势在于，当终端出现未知问题时，后台数据服务中心可以快速进行问题定位。

综上所述，本发明提供的基于SPARK技术的移动终端数据流设计及分析方法，采用SPARK集群对接收到的数据计算分析后输出有价值的实时数据，并可以此类数据为依据做实时的统计图表展示或其它基于此类数据的应用，具备实效性；同时，移动终端还可通过安装的应用软件实现用户自定义数据流报文格式内容，大大提升了用户体验。

以上所述仅为本发明的设计说明和实施方式，并不用于限制本发明。因此，在本发明限定的原则和精神之内做的任何修改或等同替换，均视为在本发明的保护范围之内。

Claims (10)

1.基于SPARK技术的移动终端数据流处理方法，其特征在于，

接收移动终端集群侧发送的数据报文；

对接收到的数据报文进行解码，并将解码后的数据流作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群采用SPARK技术对解码后的数据流进行数据分析处理和提取，以供后续调用。

2.如权利要求1所述的移动终端数据流处理方法，其特征在于，还包括对接收到的数据报文进行完整性判断，若完整，则将此数据报文在本地进行缓存以待解码。

3.如权利要求2所述的移动终端数据流处理方法，其特征在于，若判断数据报文不完整，则丢弃该报文。

4.如权利要求1所述的移动终端数据流处理方法，其特征在于，按照协议对接收到的数据报文进行解码，协议中设定了报文内容的编码规则和解码规则。

5.如权利要求1所述的移动终端数据流处理方法，其特征在于，后续调用包括前端展示和/或数据库存储。

6.如权利要求1所述的移动终端数据流处理方法，其特征在于，移动终端集群侧发送的数据报文是按照用户自定义报文格式整理获得。

7.如权利要求6所述的移动终端数据流处理方法，其特征在于，用户自定义报文格式是根据用户在移动终端系统设置界面中选择不同系统预设的内容选项拼接获得。

8.如权利要求7所述的移动终端数据流处理方法，其特征在于，自定义报文格式形成的方法如下：

在移动终端系统设置界面中遍历与终端硬件模块和终端软件模块相关的关键字，用户根据需求选取并记录自己关心的关键字；

将获取到的与用户动作数据相关的关键字和用户选取并记录下来的关键字进行匹配，若匹配一致，则添加作为报文格式内容，若匹配不一致，则不做处理。

9.基于SPARK技术的移动终端数据流处理系统，应用于移动终端集群侧向数据服务中心侧发送的数据流的处理，其特征在于，数据服务中心包括：

数据综合处理模块，接收移动终端集群侧发送的报文格式数据，对接收到的报文格式数据进行解析，并将解析后的数据作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群，基于SPARK技术对接收到的数据源进行数据分析处理，并将提取的有价值的数据提供给数据前端展示模块和/或数据库存储模块进行调用；

数据前端展示模块，用于向用户直观展示SPARK大数据计算集群发送的有价值的数据；

数据库存储模块，用于存储SPARK大数据计算集群发送的有价值的数据及数据服务中心的运行日志数据。

10.如权利要求9所述移动终端数据流处理系统，其特征在于，移动终端集群侧的移动终端内置的应用软件配置有以下程序模块：

UI模块，用于人机交互操作，其包括系统设置界面；

业务处理模块，响应人机交互操作，并将处理结果存储至数据库模块；

数据代理模块，记录用户动作数据，并按照用户自定义报文格式整理成用户动作数据报文，将整理完成的用户动作数据报文发送至数据服务中心侧；

数据库模块，用于存储用户动作数据所对应的终端运行日志。