CN106230907A - 一种社保大数据可视化方法及系统 - Google Patents

Abstract

本发明公开了一种社保大数据可视化方法及系统，该技术方案主要是通过反馈式的交互机制来生成图形文件，提高交互实时性和友好性；同时通过预定义图表和地图模板、缓存机制、异步传输机制来提高可视化效率。另外，通过云服务器集群选举空闲的服务器处理客户端请求，确保客户端请求能被及时、高效处理。本发明充分发挥了可视化云服务器的处理性能，克服了单一服务器的性能瓶颈；同时通过缓存机制避免相同可视化结果的重复生成和多余的数据传输，提高从可视化生成到客户端展示的效率，从而提高数据可视化的效率。

Description

一种社保大数据可视化方法及系统

技术领域

本发明涉及大数据处理的技术领域，尤其是指一种社保大数据可视化方法及系统。

背景技术

2002年起，国务院提出了国家级的信息化规划方案“金保工程”。“金保工程”是利用先进的信息技术，以中央、省、市三级网络为依托，支持劳动和社会保障业务经办、公共服务、基金监管和宏观决策等核心应用，覆盖全国的统一的劳动和社会保障电子政务工程。如今社保已覆盖十几亿人口，“金保工程”也积累了海量的社保大数据，所以迫切需要利用日益成熟的大数据技术对这些数据进行有效的挖掘与分析，发现数据背后隐含的信息，为政府决策提供参考依据。

社保大数据的挖掘与分析从采集源数据到最终获得分析结果一般要经过几个主要步骤，包括数据采集、数据预处理、数据存储与管理、联机分析处理(OLAP)、数据挖掘、数据可视化等。其中，数据可视化负责将联机分析处理(OLAP)和数据挖掘的分析结果，通过生动形象的图形图像的形式展示出来，为决策者提供决策依据。在这其中，图形图像的形式十分丰富，包括基于信息图表的可视化、基于时间顺序的时间线类可视化、基于数据地图的可视化。信息图表类可视化采用各种富有创意的图表，如仪表盘、泡泡图等，适用于决策者对时效性较高的统计结果进行监测和预警；基于时间顺序的时间线类可视化在表现数据在时间维度上的演变有重要作用，通过将数据的相关信息，如发生时间、发生地点、数据成因、数据发展过程等描述制作成表单文件，并以时间线的形式展示，更清晰地展示相关统计数据随着时间推移而带来的变化发展，适用于决策者进行趋势分析和预测；数据地图类可视化在展现数据基于空间或地理分布上有很强的表现力，可以直观地展现各个分析指标的分布、区域等，同时也能够更有说服力地传递观点，发掘未被发现的数据宝藏。

总而言之，数据可视化通过将数据库中的数据项转换为图形图像的形式，以发现数据内在的联系和发展规律；同时，辅助以相应的交互技术，最终达到增强用户认知的目的。利用数据可视化进行可视分析，可以帮助人们：

1)糅合繁杂的、动态的数据，并从中获得对数据的深入理解；

2)检测到预期希望的结果，发现未知的趋势和现象；

3)提供对数据实时的、可靠的、可理解的评估；

4)通过协同技术，与他人协同分析评估结果。

当前，数据可视化的最大挑战在于在某些情况下，为计算机生成可视对象是非常性能密集的，特别是数据量特别大的情况下。例如，生成图表和地图需要大量的计算能力和存储器，尤其是在可视对象包括大量的数据点时。传统的策略是将全部数据读入内存进行处理并呈现每一个数据点，而不管产生的对象的大小。另外，对象上的某些操作也可能导致计算机变得响应缓慢，例如显示大地图、选择详细图表的一部分、滚动、打印、和修改对象，这样使得很难进行实时动态交互。同时，在交互过程中往往缺少对用户的反馈信息，导致用户无法知道响应缓慢的原因，对用户十分不友好。

发明内容

本发明的目的在于克服现有技术的不足，提供一种社保大数据可视化方法及系统，采用该技术方案，可提高可视化生成和交互的效率，提供一定的可扩展性，避免了服务器与客户端之间多余的数据传输，从而提高数据可视化的效率。同时，通过消息框提示的方法向客户端反馈可视化过程中的状态，清晰地将交互过程和结果呈现给用户。

为实现上述目的，本发明所提供的技术方案，如下：

一种社保大数据可视化方法，包括以下步骤：

1)云平台为云服务器分配所需资源，并初始化可视化云服务器集群；

2)客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求；

3)服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY，然后从缓存库中查找是否存在该KEY标识对应的可视化文件，若存在，执行下面步骤8)，若不存在，执行下面步骤4)；

4)从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件；

5)服务器根据客户端指定的分区方法，对上面步骤4)生成的图形文件进行分区，产生n个块文件，n是分区方法计算出的分区数目；

6)服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中；

7)服务器检查缓存库是否已满，若是，则根据LRU算法删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中，其中以上面步骤4)计算出的KEY为该可视化文件的标识；

8)服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户，同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器；

其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度；

另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求，以确保客户端请求能被及时、高效处理。

在步骤7)中，所述LRU算法的具体流程如下：

7.1)一开始时，缓存库中已经满了，分别存放设定的A、B、C、D、E五个文件，它们的访问频率分别是32、30、26、26、25，按照访问频率大小排序，访问频率最大的文件A排在队头；

7.2)此时访问文件D，文件D的访问频率为26；访问文件D后，文件D的访问频率加1，此时需要调整缓存库的顺序，即文件D和文件C交换；

7.3)接着访问文件B，文件B的访问频率加1，由于文件A的频率仍然比文件B大，所以不需要调整顺序；

7.4)最后将新文件F添加到缓存库，由于文件E的频率最低，故淘汰文件E，将文件F添加到缓存库；缓存库重新排序，文件F放到队尾。

一种社保大数据可视化系统，包括：

网络传输模块，负责客户端与服务器端之间的数据传输，包括客户端向服务器端反馈交互的数据、图形样式、分区方法，服务器端向客户端返回生成的可视化文件；该网络传输模块也负责保证云服务器集群中各个服务器数据的同步，同时，该网络传输模块能够异步传输客户端请求中的其他分区结果数据到客户端，使得客户端不需重新发送请求即可获得交互结果；

数据存储模块，负责管理内存缓存区和文件缓存区；所述内存缓存区主要用于保存与当前客户端交互中生成的可视化文件，所述文件缓存区则保存历史生成的可视化文件；该内存缓存区已满或者与当前客户端的会话结束时，则会将内存缓存区中的可视化文件保存在文件缓存区中，在内存缓存区和文件缓存区中，每个可视化文件都有唯一的标识，该标识是通过对客户端传过来的数据、图形样式、分区方法进行Hash运算得到的；

可视化生成模块，将交互数据输入到图形模板并生成图形文件，对图形文件进行分区、格式转换，调用数据存储模块来查找是否存在可视化文件缓存和保存新生成的可视化文件到缓存区；

可视化展示模块，用于展示服务器返回给客户端的可视化文件，提供客户端与服务器进行交互的接口，该接口会调用网络传输模块来将交互数据反馈给服务器端，同时支持对可视化文件的多种格式的导出和下载，支持动态扩展导出格式。

本发明与现有技术相比，具有如下优点与有益效果：

1、通过预生成图表和地图模板，节省生成图表和地图时所需的计算能力和时间；同时支持自定义图表模板，提高系统的可扩展性。

2、通过反馈式的交互机制来生成图形文件，例如数据地图采用了地图钻取，这样既可以逐层展示数据，让用户清晰明了；也可以减轻大量数据点同时展示的压力，提高可视化效率。

3、通过缓存机制避免相同图表和地图的重复生成和多余的数据传输，提高从可视化生成到客户端展示的效率。

4、支持对多种数据库的连接、导入，支持图表、报表以多种形式(如PDF、HTML等)导出；同时支持用户动态添加新的数据库导入方式和新的图表、报表导出格式，具有良好的可扩展性。

附图说明

图1为数据可视化方法的流程图。

图2为LRU算法的示意图。

图3为数据可视化系统结构图。

图4为数据可视化系统网络图。

图5为社保大数据业务公共服务平台总体方案示意图。

图6为数据可视化系统中的数据地图之一。

图7为数据可视化系统中的数据地图之二。

图8为数据可视化系统中的数据地图之三。

图9为数据可视化系统中的字符云图。

图10为数据可视化系统中的仪表盘图之一。

图11为数据可视化系统中的仪表盘图之二。

图12为数据可视化系统中的雷达图。

图13为数据可视化系统中的折柱数据图。

图14为数据可视化系统中的玫瑰饼状图。

图15为数据可视化系统中的韦恩图。

图16为数据可视化系统中的漏斗图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例提供的社保大数据可视化方法，其特点在于通过反馈式的交互机制来生成图形文件，通过预定义图表和地图模板、缓存机制、异步传输机制来提高可视化效率；同时，通过云服务器集群选举空闲的服务器处理客户端请求，确保客户端请求能被及时、高效处理。

如图1所示，为上述数据可视化方法的流程图，具体步骤如下：

步骤1.1：云平台为云服务器分配所需资源，并初始化可视化云服务器集群。

步骤1.2：客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求。

步骤1.3：服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY,然后从缓存库中查找是否存在该KEY标识对应的可视化文件。若存在，执行步骤1.8；若不存在，执行步骤1.4。

步骤1.4：从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件。

步骤1.5：服务器根据客户端指定的分区方法，对步骤1.4生成的图形文件进行分区，产生n个块文件(分区方法包括空间分区、时间分区等)，n是分区方法计算出的分区数目。

步骤1.6：服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中。

步骤1.7：服务器检查缓存库是否已满，若是，则根据LRU算法(Least RecentlyUsed近期最少使用算法)删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中(以步骤1.4计算出的KEY为该可视化文件的标识)。

步骤1.8：服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户。同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器。

其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度。

另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以及时、高效处理来自海量客户端频繁、复杂的可视化请求。

另外，步骤1.7还采用了LRU算法(Least Recently Used近期最少使用算法)，该算法的示意图如图2所示，具体流程如下：

1.一开始时，缓存库中已经满了，分别存放这个A、B、C、D、E五个文件，它们的访问频率分别是32、30、26、26、25，按照访问频率大小排序，访问频率最大的文件A排在队头；

2.此时访问文件D,文件D的访问频率为26；访问文件D后,文件D的访问频率加1,此时需要调整缓存库的顺序,即文件D和文件C交换；

3.接着访问文件B,文件B的访问频率加1,由于文件A的频率仍然比文件B大,所以不需要调整顺序；

4.最后将新文件F添加到缓存库,由于文件E的频率最低,故淘汰文件E,将文件F添加到缓存库；缓存库重新排序,文件F放到队尾.

本实施例提供的社保大数据可视化系统，主要包括网络传输模块、可视化生成模块、数据存储模块以及可视化展示模块。如图3所示为数据可视化系统的结构图，如图4所示为数据可视化系统的网络图。

网络传输模块：负责客户端与服务器端之间的数据传输，包括客户端向服务器端反馈交互的数据、图形样式、分区方法，服务器端向客户端返回生成的可视化文件。网络传输模块也负责保证云服务器集群中各个服务器数据的同步。同时，该模块可以异步传输客户端请求中的其他分区结果数据到客户端，使得客户端不需重新发送请求即可获得交互结果。

数据存储模块：负责管理内存缓存区和文件缓存区。内存缓存区主要用于保存与当前客户端交互中生成的可视化文件，文件缓存区则保存历史生成的可视化文件。内存缓存区已满或者与当前客户端的会话结束时，则会将内存缓存区中的可视化文件保存在文件缓存区中。在内存缓存区和文件缓存区中，每个可视化文件都有唯一的标识，该标识是通过对客户端传过来的数据、图形样式、分区方法进行Hash运算得到的。

可视化生成模块：将交互数据输入到图形模板并生成图形文件；对图形文件进行分区、格式转换；调用数据存储模块来查找是否存在可视化文件缓存和保存新生成的可视化文件到缓存区。

可视化展示模块：用于展示服务器返回给客户端的可视化文件，提供客户端与服务器进行交互的接口(该接口会调用网络传输模块来将交互数据反馈给服务器端)，同时支持对可视化文件的多种格式(如PDF、HTML、PNG、JPG等)的导出和下载，支持动态扩展导出格式。

社保大数据综合业务公共服务平台依据国家级的信息化规划方案“金保工程”进行规划建设。现有社保业务系统的设计实施，基于各部门具体需求形成，业务数据因分散在各个业务系统中，提供的服务未能整合成一个整体数据服务。基于现有背景，该项目对各个孤立的社保业务服务资源进行整合，构建一个社保综合业务公共服务平台，在原本相互隔离的“数据孤岛”间架起沟通的桥梁，组成面向全局的统一数据视图及数据共享。在服务平台之上，可对各个社保业务领域数据进行挖掘和统计分析，并以报表、图形图像等可视化手段展现，为政府政策方针的制定提供参考依据，实现创新性政府服务应用示范。

为了测试本发明的数据可视化方法和系统的应用效果，我们将这一技术应用到社保综合业务公共服务平台当中。社保综合业务公共服务平台的总体方案如图5所示，该平台主要包括四个子系统：分布式预处理系统、联机分析处理系统、数据挖掘系统、数据可视化系统。

数据可视化系统的网络图如图4所示，系统从原社保业务系统中获得联机分析处理(OLAP)和数据挖掘的分析结果，然后通过本系统生成可视化结果来展示出来，为决策者提供决策依据。

如图6、图7、图8所示是地图钻取的效果图。可以看到，图6展示的是“2015全国社保参保人数”图，当点击图6中的“广东”后是图7展示的“2015广东社保参保人数”图，当点击图7中的“江门”后是图8展示的“2015江门社保参保人数”图。这样通过层层深入、逐步钻取，就可以避免一次性展示过多数据，提高可视化效率；也使得可视化更加清晰，便于用户理解。

如图9所示是以字符云形式展示的“2015年广东省江门市参保人员的职业分布”。图中字号越大的字表示所占比例越大，例如图中的“学生”、“教师”字号较大，表明参保人员中学生、教师人数比例较多。

如图10、图11所示是以仪表盘形式展示的“2000-2015年全国基本养老保险覆盖率”。每隔一定时间，仪表盘中显示的文字和指针指向会不断变化，从“2000年全国基本养老保险覆盖率”一直变化到“2015年全国基本养老保险覆盖率”，循环往复。在这种变化中，可以清晰看到从2000年到2015年全国基本养老保险覆盖率的变化轨迹。

如图12所示是以雷达图形式展示2004-2015年广东省江门市社保五个险种(养老、医疗、失业、工商、生育保险)参保人数图。图中，每一个角都表示一种险种，每一个环表示同一年的五个险种的参保人数。每个角中线条越紧密，表示该险种参保人数增长得越迅速，如图中的生育保险。

如图13所示是以折线图和柱状图混搭的形式来展示2010-2015年广东省江门市社保的平均缴费额度以及参保的相关人数的统计，能够更为全面地得到参保和缴费的相关信息。

如图14所示是以玫瑰饼图形式展示2015年广东省江门市社保五个险种(养老、医疗、失业、工商、生育保险)参保人数比例图，每一个险种都占据环中的一弧，比例越大弧形所占面积越大。

如图15所示是以韦恩图形式展示2015年广东省江门市社保其中的养老和医疗两个险种的人数比例对比以及参与两个险种参保的公共人数。图中的交集表明是同时参与两个险种的人数比例。

如图16所示是以漏斗图形式展示2015年广东省江门市社保五险中参保的人数比例，其中外围的表示预期期望的参保人数比例，内部高亮展示的为实际参保人数比例，可以更好地进行期望评估和社保情况总结。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种社保大数据可视化方法，其特征在于，包括以下步骤：

1)云平台为云服务器分配所需资源，并初始化可视化云服务器集群；

2)客户端检查本地缓存是否存在可视化文件缓存，若存在，则直接显示；否则向服务器端发送请求，请求中包含交互的数据、图形样式、分区方法，此时云服务器集群需要选举空闲的服务器处理该请求；

3)服务器端对客户端传过来的数据、图形样式、分区方法进行Hash运算，得到该请求的唯一KEY，然后从缓存库中查找是否存在该KEY标识对应的可视化文件，若存在，执行下面步骤8)，若不存在，执行下面步骤4)；

4)从服务器预定义图形模板库中寻找指定的图形样式，若找不到，则返回错误信息给客户端；若找到，则将交互数据输入到模板中，生成图形文件；

5)服务器根据客户端指定的分区方法，对上面步骤4)生成的图形文件进行分区，产生n个块文件，n是分区方法计算出的分区数目；

6)服务器根据客户端请求，抽取出指定的块文件，并转换为指定格式的可视化文件，准备将此可视化文件放入缓存库中；

7)服务器检查缓存库是否已满，若是，则根据LRU算法删除近期最少使用的可视化文件；接着将可视化文件放入缓存库中，其中以上面步骤4)计算出的KEY为该可视化文件的标识；

8)服务器将可视化文件传输给客户端，客户端将可视化文件进行更新并展示给用户，同时，服务器会把其他分区的可视化文件通过异步传输方式传输给客户端，这样客户端在显示其他分区时就不需要重新请求服务器；

其中，为了达到反馈式交互，在以上每个步骤中，客户端都将该步骤的状态信息返回给客户端，客户端根据此反馈状态显示相应信息，让用户知道当前可视化的进度；

另外，云服务器集群采用如下的选举策略：分别对各个服务器的性能、网络健康情况、与客户端的距离、正在处理的任务数赋予不同的权重，然后根据权重之和选取性能最佳的服务器响应客户端的请求，以确保客户端请求能被及时、高效处理。

2.根据权利要求1所述的一种社保大数据可视化方法，其特征在于：在步骤7)中，所述LRU算法的具体流程如下：

7.1)一开始时，缓存库中已经满了，分别存放设定的A、B、C、D、E五个文件，它们的访问频率分别是32、30、26、26、25，按照访问频率大小排序，访问频率最大的文件A排在队头；

7.2)此时访问文件D，文件D的访问频率为26；访问文件D后，文件D的访问频率加1，此时需要调整缓存库的顺序，即文件D和文件C交换；

7.3)接着访问文件B，文件B的访问频率加1，由于文件A的频率仍然比文件B大，所以不需要调整顺序；

7.4)最后将新文件F添加到缓存库，由于文件E的频率最低，故淘汰文件E，将文件F添加到缓存库；缓存库重新排序，文件F放到队尾。

3.一种社保大数据可视化系统，其特征在于，包括：

网络传输模块，负责客户端与服务器端之间的数据传输，包括客户端向服务器端反馈交互的数据、图形样式、分区方法，服务器端向客户端返回生成的可视化文件；该网络传输模块也负责保证云服务器集群中各个服务器数据的同步，同时，该网络传输模块能够异步传输客户端请求中的其他分区结果数据到客户端，使得客户端不需重新发送请求即可获得交互结果；

数据存储模块，负责管理内存缓存区和文件缓存区；所述内存缓存区主要用于保存与当前客户端交互中生成的可视化文件，所述文件缓存区则保存历史生成的可视化文件；该内存缓存区已满或者与当前客户端的会话结束时，则会将内存缓存区中的可视化文件保存在文件缓存区中，在内存缓存区和文件缓存区中，每个可视化文件都有唯一的标识，该标识是通过对客户端传过来的数据、图形样式、分区方法进行Hash运算得到的；

可视化生成模块，将交互数据输入到图形模板并生成图形文件，对图形文件进行分区、格式转换，调用数据存储模块来查找是否存在可视化文件缓存和保存新生成的可视化文件到缓存区；

可视化展示模块，用于展示服务器返回给客户端的可视化文件，提供客户端与服务器进行交互的接口，该接口会调用网络传输模块来将交互数据反馈给服务器端，同时支持对可视化文件的多种格式的导出和下载，支持动态扩展导出格式。