CN105022783A - 一种基于Hadoop的用户服务安全系统和方法 - Google Patents

Abstract

本发明公开了一种基于Hadoop的用户服务安全系统和方法，该系统包括智能采集节点、用户展示服务平台、Hadoop大数据分析与处理后端平台。在面向用户服务环境中，智能采集节点采集当前位置的关键气候环境指标，并上传到HDFS中，通过对存储于HDFS中的数据进行数据挖掘和数据分析，用关联规则挖掘算法找出人体的相关疾病与气候环境之间的关系。当智能采集节点传入相关气候环境指标后，用户展示服务平台就可以根据Hadoop大数据平台的数据挖掘得到的关联关系，给出当前平台用户需要防范和注意的疾病，更好的保护平台用户的安全。

Description

一种基于Hadoop的用户服务安全系统和方法

技术领域

本发明涉及一种基于Hadoop的用户服务安全系统和方法，属于计算机技术领域。

背景技术

在以往的环境中，人们对于天气和疾病之间的关系只是有一个模糊的联系，专门的由天气预测疾病的系统更是少之又少。从有气象监测以来，每天的不同位置就会产生天气信息，比如：常见的温度、降雨量、风力、相对湿度、光照等信息，每天医院都会产生治疗常见疾病的人数、比如：常见的偏头痛、哮喘病、心肌梗塞、风湿病痛等。这些大数据闲置不用，则是对资源的一种浪费，随着大数据技术的发展，如何找出这些海量数据中的关联性，即：天气与疾病的关联性，由天气信息预测用户可能产生的疾病，则是一个迫切需要解决的问题，而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了上述现有技术的问题，提出了一种基于Hadoop的用户服务安全系统，该系统能够根据当前测量的天气数据预测给出用户可能生成的疾病。

本发明解决其技术问题所采用的技术方案是：一种基于Hadoop的用户服务安全系统，该系统包括智能采集节点，用户展示平台，Hadoop大数据处理平台。

本发明所述的智能采集节点包括：主要采集经度、维度、海拔、温度、降雨量、风力、相对湿度、光照。用户利用智能终端测量关键生理指标，并将数据存储HDFS中。

本发明所述的用户展示平台包括：采用Spring MVC框架，提供简洁明了的人机界面，方便用户查看当前智能节点采集的天气信息，以及查看由此天气信息得出的当前需要注意防范的疾病。

本发明所述的Hadoop大数据处理平台包括：负责存储上传的数据，并对存储其中的数据进行挖掘，反馈数据挖掘出来的结果。

本发明所述系统的具体模块包括：个人基本健康信息管理模块、数据挖掘模块、分布式存储模块、挖掘结果展示模块。

本发明所述的个人基本健康信息管理模块的功能包括：主要有用户姓名、性别、年龄、出生日期、职业、用户当前所处位置等，并且当用户首次注册系统会为其分配唯一标识的用户ID。这些数据主要由用户注册的时候填写，并可以随时修改。用户可以在基本健康信息管理模块里面查看过往系统根据天气信息提出的需要注意防范的疾病。

本发明所述的数据挖掘模块的功能包括：采用适用于Hadoop平台的Apriori算法，挖掘出天气信息与疾病之间的关联关系。

本发明所述的分布式存储模块的功能包括：采用Hadoop的核心子项目之一的HDFS(即：Hadoop Distributed File System)，HDFS具有处理超大文件、流式的访问数据、计算本地化、运用于廉价的商用集群等功能。

本发明所述的挖掘结果展示模块的功能包括：采用基于MVC设计模式的Spring MVC的框架设计系统的三层结构。除了传统的关系型数据库，还引入了HBase，在该模块的数据访问层中封装了对HBase的操作。

本发明还提供一种基于Hadoop的用户服务安全系统的实现方法，该方法包括如下步骤：

步骤1：用户通过用户展示平台，登录系统。

步骤2：系统根据用户个人基本健康信息管理模块中的位置信息上传当前位置处的智能节点所采集到的天气信息。

步骤3：将上传的天气信息储存在HDFS中，并以HBase进行组织和管理。

步骤4：将存储于HDFS中的天气信息数据进行原始清理，得到数据挖掘部分需要的数据。

步骤5：将需要数据挖掘部分的数据与存储于HDFS中的相关疾病发病情况进行关联分析，找出它们之间的关联特性。

步骤6：根据数据挖掘算法找出的天气与疾病之间的强关联特性，由当前位置上当天的天气信息，给出需要注意防范的疾病信息。

步骤7：将需要防范的疾病信息展示在用户展示平台，供用户查看。

本发明上述步骤2的天气信息包括：温度、降雨量、风力、相对湿度、光照信息。

本发明所述方法应用于为用户提供健康数据的分析服务，方便用户进行疾病防范。

有益效果：

1、本发明的用户登录后，上传用户位置处智能节点采集的天气数据，数据准确。

2、本发明采用Hadoop大数据处理平台，能够将数据存储于多个节点之上。

3、本发明将采集到的天气数据与历史采集的天气数据一起，与每天的疾病发病率之间采用改进的Apriori算法进行关联规则挖掘，并将结果展示给用户。

附图说明

图1为本发明的系统的功能架构图。

图2为本发明的Hadoop大数据处理的工作流程图。

图3为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明作进一步的详细说明。

如图1和图2所示，本发明提供了一种基于Hadoop的用户服务安全系统，该系统包括：个人基本健康信息管理模块、数据挖掘模块、分布式存储模块、挖掘结果展示模块，其核心在于数据挖掘模块和分布式存储模块。系统收到请求后，开始启动MapReduce进行分布式处理。MapReduce需要从HDFS中获取任务所需的资源(即：输入划分、配置信息、jar包等)。然后进行本地计算，即在数据所在的Block执行map任务。然后对map的输出数据进行reduce任务，并且将最终的结果存入HBase。本系统然后从HBase中查找自己所需的数据，并经过网页渲染呈现给用户。

个人基本健康信息管理模块包括个人用户的基本信息以及用户位置信息。个人基本信息包括用户名称、性别、年龄、出生日期、职业等。并且当用户首次注册的时候系统会为其分配一个唯一的标识用户的ID。这些数据主要由用户注册的时候填写，并可以随时修改。在该模块，系统会根据用户所处的位置信息，上传出于该位置的智能采集节点所采集到的信息到Hadoop大数据处理平台，系统在处理这些数据时候首先会检查数据的完整性，若不完整则会要求用户进行补充。这些基本健康信息除了可以为用户直观的显示其自身的各种信息，同时能为健康数据分析提供大量的真实数据。在进行数据挖掘分析后为用户提供健康安全服务。

数据挖掘模块是本系统的核心模块，该系统要为大量用户提供健康服务，同时每个用户每天也会产生大量数据量，所以调用Hadoop平台进行数据挖掘，加快数据的处理速度。本系统主要以数据关联分析为主。对当前位置上的过往每天最大温度、最小温度、降雨量、风力、相对湿度、光照、偏头痛发病率、哮喘病发病率、心肌梗塞发病率、风湿病痛发病率等信息进行关联分析，找到其中的强关联规则，从而发现不同位置上不同天气情况下不同疾病的发病情况。从而根据当前测量的天气信息，给出防范疾病的建议。本系统在进行关联挖掘时，采用基于MapReduce改进后的Apriori算法。其基本思想是利用MapReduce模式自动分隔大数据的特点，将事务数据库这样的大数据切割成效的数据块分发给各个节点，作为节点的map输入。每个map的输出结果构成某一项集的局部支持度，作为reduce端的输入。由reduce进行汇总生成该项集的全局支持度，并与本发明所设定的最小支持度进行对比找出频繁项集。对于候选集生成时的繁琐以及冗余，本发明需要对事务的存储格式进行一定的转换。本发明的系统使用布尔矩阵，可以将候选集支持度的计算简化为向量的运算。对布尔矩阵的行向量进行“与”运算后相加得到每个候选项集的局部支持度。如果结果为0则代表肯定不是频繁项集，则可以直接去除。其具体流程如下：

步骤1：首先将事务数据库D切割成N个子集。切割的数量由HDFS中的Block大小所决定，并由MapReduce模式自行切割。有N个数据块便会启动N个map任务，这些任务分散R个节点上，遵循数据本地化的原则。

步骤2：在进行map任务处理前，需要将数据存储格式进行矩阵转化，成为布尔矩阵。

步骤3：以<key，value>对作为map的输入，这里的输入格式本发明采用默认的TextInputFormat，即key为每个数据的记录在分片中的字节偏移，value的值是每行的内容。本发明对value中的内容进行操作，即依次找出其中的局部候选k-项集，作为map输出的key值，value的值记作1。Map的结果会进行一个shuffle的过程，即将结果根据key值进行字典排序以及合并。最终本发明得到一个<key,list(1,1,1…)>的形式。即每个子集基于自己那部分数据所有项集的局部支持度。key是项集的名字，value是局部支持度。

步骤4：Map的输出作为reduce的输入，reduce的主要任务就是将各个key值在每个节点上的局部支持度进行一个累加，得到最终的全局支持度。

步骤5：将每个key-项集的全局支持度与最小支持度进行比较，得到频繁k-项集

本发明上述方法是基于MapReduce分布式处理的特点，通过先计算局部支持度，最后得到全局支持度。基于MapReduce的Apriori算法在事务数据库的数据量非常大的时候可以将频繁项集的搜索速度大大提高。将其运用于一种基于Hadoop的用户服务安全的方法和系统中的数据挖掘模块，挖掘出海量天气数据与常见疾病发病率之间的强关联规则，为用户提供疾病预测，给出防范信息。

分布式存储模块主要起一个后台存储的功能。用户展示平台所能提供的各种服务都是基于分布式存储模块获取所需的数据。本系统采用Spring MVC模式，View与Model相分离的思想，业务的改变不会触动底层数据的变动。针对海量的天气数据，采用HDFS分布式存储，并结合HBase对数据进行有效组织和查询。HBase适用于对key/value类型的非结构化稀疏大数据，并且其特色在于数据的一次写入、多次读取。而用户服务中的天气信息的特性决定了其采用HBase的合适性。采用MapReduce对HDFS中保存的数据进行原始清理，得到数据挖掘部分所需要的数据。根据用户所处位置的天气信息，本发明把用户编号(UserID)作为HBase表的RowKey(行键)，用户的基本资料作为Column Family1，采集的天气信息作为ColumnFamily2，常见疾病的发病率作为Column Family3。这样做的目的在于加快对用户所需数据的查找处理速度。HBase以HDFS为基础，并且将MapReduce的输出结果也存入HBase中，方便用户直接查看数据。

挖掘结果展示模块采用传统的Spring MVC框架，本发明系统基于对大数据的处理，所以该系统实现整合了Spring MVC以及Spring for Hadoop，因此在配置Spring MVC框架的核心文件web.xml时将Hadoop以及HBase的一些基本配置注入ServletContext(上下文)中，使整个web项目都能调用Hadoop平台。本系统通过网页将挖掘结果展示，由于在web.xml配置文件中集成了Hadoop的相关操作，因为本发明可以通过网页应用直接调用Hadoop平台，进行远程创建HBase表以及HBase中数据的导出。在Spring MVC视图(View)中，以HTML展示大数据挖掘关联分析后的结果。

如图3所示，本发明还提供一种基于Hadoop的用户服务安全系统的实现方法，该方法包括如下步骤：

步骤1：用户通过用户展示平台，登录系统。

步骤2：系统根据用户个人基本健康信息管理模块中的位置信息上传当前位置处的智能节点所采集到的天气信息。

步骤3：将上传的天气信息储存在HDFS中，并以HBase进行组织和管理。

步骤4：将存储于HDFS中的天气信息数据进行原始清理，得到数据挖掘部分需要的数据。

步骤5：将需要数据挖掘部分的数据与存储于HDFS中的相关疾病发病情况进行关联分析，找出它们之间的关联特性。

步骤6：根据数据挖掘算法找出的天气与疾病之间的强关联特性，由当前位置上当天的天气信息，给出需要注意防范的疾病信息。

步骤7：将需要防范的疾病信息展示在用户展示平台，供用户查看。

本发明上述步骤2的天气信息包括：温度、降雨量、风力、相对湿度、光照信息。

本发明所述方法应用于为用户提供健康数据的分析服务，方便用户进行疾病防范。

Claims (10)

1.一种基于Hadoop的用户服务安全系统，其特征在于，所述系统包括：智能采集节点，用户展示平台，Hadoop大数据处理平台；

所述的智能采集节点包括：采集经度、维度、海拔、温度、降雨量、风力、相对湿度、光照；用户利用智能终端测量关键生理指标，并将数据存储HDFS中；

所述的用户展示平台包括：采用Spring MVC框架，提供简洁明了的人机界面，方便用户查看当前智能节点采集的天气信息，以及查看由此天气信息得出的当前需要注意防范的疾病；

所述的Hadoop大数据处理平台包括：负责存储上传的数据，并对存储其中的数据进行挖掘，反馈数据挖掘出来的结果。

2.根据权利要求1所述的一种基于Hadoop的用户服务安全系统，其特征在于：所述系统的模块包括：个人基本健康信息管理模块、数据挖掘模块、分布式存储模块、挖掘结果展示模块。

3.根据权利要求2所述一种基于Hadoop的用户服务安全系统，其特征在于：所述的个人基本健康信息管理模块的功能包括：有用户姓名、性别、年龄、出生日期、职业、用户当前所处位置，并且当用户首次注册系统会为其分配唯一标识的用户ID，这些数据由用户注册的时候填写，并可以随时修改；用户可以在基本健康信息管理模块里面查看过往系统根据天气信息提出的需要注意防范的疾病。

4.根据权利要求2所述的一种基于Hadoop的用户服务安全系统，其特征在于：所述的数据挖掘模块的功能包括：采用适用于Hadoop平台的Apriori算法，挖掘出天气信息与疾病之间的关联关系，包括：

首先将事务数据库D切割成N个子集；由MapReduce模式自行切割，启动N个map任务；

map处理前，将数据格式转换成布尔矩阵；

以<key,value>作为map的输入，对value进行操作，找出其中的局部候选集k-项集，然后进行一个shuffle的过程；得到每个子集基于自己部分数据所有项集的局部支持度；

map的输出作为reduce的输入；

将每个k-项集的全局支持度与最小支持度进行比较，得到频繁k-项集。

5.根据权利要求1所述的一种基于Hadoop的用户服务安全系统，其特征在于：所述的分布式存储模块的功能包括：采用Hadoop的核心子项目之一的HDFS；HDFS具有处理超大文件、流式的访问数据、计算本地化的功能；运用于廉价的商用集群。

6.根据权利要求1所述的一种基于Hadoop的用户服务安全系统，其特征在于：所述的挖掘结果展示模块的功能包括：采用基于MVC设计模式的Spring MVC的框架设计系统的三层结构；引入了HBase，在该模块的数据访问层中封装了对HBase的操作。

7.根据权利要求1所述的一种基于Hadoop的用户服务安全系统，其特征在于：所述系统能够根据当前测量的天气数据预测给出用户可能生成的疾病。

8.一种基于Hadoop的用户服务安全系统的实现方法，其特征在于，所述方法包括如下步骤：

步骤1：用户通过用户展示平台，登录系统；

步骤2：系统根据用户个人基本健康信息管理模块中的位置信息上传当前位置处的智能节点所采集到的天气信息；

步骤3：将上传的天气信息储存在HDFS中，并以HBase进行组织和管理；

步骤4：将存储于HDFS中的天气信息数据进行原始清理，得到数据挖掘部分需要的数据；

步骤5：将需要数据挖掘部分的数据与存储于HDFS中的相关疾病发病情况进行关联分析，找出它们之间的关联特性；

步骤6：根据数据挖掘算法找出的天气与疾病之间的强关联特性，由当前位置上当天的天气信息，给出需要注意防范的疾病信息；

步骤7：将需要防范的疾病信息展示在用户展示平台，供用户查看。

9.根据权利要求8所述的一种基于Hadoop的用户服务安全系统的实现方法，其特征在于，所述步骤2的天气信息包括：温度、降雨量、风力、相对湿度、光照信息。

10.根据权利要求8所述的一种基于Hadoop的用户服务安全系统的实现方法，其特征在于，所述方法应用于健康数据的分析服务。