CN108182237B

CN108182237B - 一种大数据的展示方法、系统及相关装置

Info

Publication number: CN108182237B
Application number: CN201711447873.7A
Authority: CN
Inventors: 徐杰; 欧阳经纶
Original assignee: Kingdee Software China Co Ltd
Current assignee: Kingdee Software China Co Ltd
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2021-07-06
Anticipated expiration: 2037-12-27
Also published as: CN108182237A

Abstract

本申请公开了一种大数据的展示方法，该方法采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。本申请还同时公开了一种大数据的展示系统、装置及计算机可读存储介质，具有上述有益效果。

Description

一种大数据的展示方法、系统及相关装置

技术领域

本申请涉及数据呈现技术领域，特别涉及一种大数据的展示方法、系统、装置及计算机可读存储介质。

背景技术

随着大数据时代的到来，数据量成爆发式增长，而随着企业各项业务在数据方面的完善，出现了更大体积的数据文件、更加详细的数据参数，如何将这些大数据更好的在终端上进行展示也是研究的重点。

企业通常采用ERP(Enterprise Resource Planning，企业资源计划)软件以列表方式进行企业运行过程中各项数据的展示，包括生产资源计划、制造、财务、销售、采购等。现有的ERP软件列表信息查询方法主要有内存数据分页和数据源分页两种，前者是由客户端向Web服务器发出数据查询请求，经由Web服务器响应请求并构建相应的数据查询语句至数据库，以使数据库执行数据查询语句并返回整个结果集，之后由Web服务器再对整个结果执行内存数据分页操作，最终将所有分页数据发往客户端才算完成一次查询；后者区别于前者的是分页操作是在数据库中进行的。

在使用内存数据分页方式时，需要把所有的数据库记录调入内存，内存本身适用于数据的高速调用，而当调入数据量过大时，不仅需要消耗大量时间，数据访问性能也会急剧下降，不能满足其它业务性能所需；在使用数据源分页时，需要编写大量的代码，不利于快速开发，而且不适合所查询的数据是由多个数据分库组成的情况。综上，上述两种现有技术均无法很好的满足当今大数据展示方面的要求，实际使用效果不好。

所以，如何克服现有大数据展示方法存在的各项技术缺陷，提供一种更加适合数据以分布式进行存储的、不对其它业务性能造成影响的、客户体验更好的大数据展示机制是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种大数据的展示方法，采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。

本申请的另一目的在于提供了一种大数据的展示方法系统、装置及计算机可读存储介质。

为实现上述目的，本申请提供一种大数据的展示方法，该展示方法包括：

当接收到目标数据的数据展示指令时，判断所述目标数据的大小是否超过单次数据展示阈值；

若超过，则将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；

根据所述缓存服务器在每个预设时间间隔内接收到的数据生成对应的数据表单，并依次发送至数据展示终端以供用户查看。

可选的，将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器，包括：

当所述目标数据由存储在第一数据分库中的第一分散目标数据、存储在第二数据分库中的第二分散目标数据、存储在第三数据分库中的第三分散目标数据共同组成时；

根据预设异步缓存方式将所述第一分散目标数据、所述第二分散目标数据以及所述第三分散目标数据以相同时间间隔依次缓存进所述缓存服务器。

可选的，根据所述缓存服务器在每个所述预设时间间隔内接收到的数据生成对应的各数据表单，并依次发送至数据展示终端，包括：

在距接收到所述数据展示命令第一时间间隔后，根据所述缓存服务器在所述第一时间间隔内接收到的数据生成初始数据表单，并将所述初始数据表单发送至数据展示终端；

将所述缓存服务器在每隔第二时间间隔内接收到的数据依次生成相应的新数据表单，并依次将各所述新数据表单发送至所述数据展示终端；其中，所述第一时间间隔小于所述第二时间间隔。

可选的，根据所述缓存服务器在所述第一时间间隔内接收到的数据生成初始数据表单，并将所述初始数据表单发送至数据展示终端，包括：

根据所述缓存服务器在所述第一时间间隔内接收到的数据和对应的特征信息生成所述初始数据表单，以便所述数据展示终端根据所述特征信息的不同查看对应的数据。

可选的，该展示方法还包括：

当所述缓存服务器完成所述目标数据的缓存时，向所述数据展示终端发送根据完整的目标数据生成的最终数据表单。

可选的当所述缓存服务器完成所述目标数据的缓存时，向所述数据展示终端发送根据完整的目标数据生成的最终数据表单，包括：

当各所述分散目标数据对应的各数据分库均向所述缓存服务器发送了数据传输完毕信号时，判定所述目标数据缓存完毕；

在判定所述目标数据缓存完毕后，所述缓存服务器根据完整的目标数据生成最终数据表单，并将所述最终数据表单通过预设数据推送路径推送给所述数据展示终端。

可选的，该展示方法还包括：

所述数据展示终端每隔第三时间间隔向所述缓存服务器发送缓存进度查询指令；

当完成所述目标数据的缓存时，向所述数据展示终端反馈缓存完成信号并同时携带根据完整的目标数据生成的最终数据表单。

为实现上述目的，本申请还提供了一种大数据的展示系统，该展示系统包括：

展示数据大小判断单元，用于当接收到目标数据的数据展示指令时，判断所述目标数据的大小是否超过单次数据展示阈值；

异步存放单元，用于在所述目标数据的大小超过所述单次数据展示阈值时，将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；

数据表单生成及发送单元，用于根据所述缓存服务器在每个预设时间间隔内接收到的数据生成对应的数据表单，并依次发送至数据展示终端以供用户查看。

为实现上述目的，本申请还提供了一种大数据展示装置，该展示装置包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述内容所描述的大数据的展示方法的步骤。

为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的大数据的展示方法的步骤。

本申请所提供的一种大数据的展示方法：当接收到目标数据的数据展示指令时，判断所述目标数据的大小是否超过单次数据展示阈值；若超过，则将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；根据所述缓存服务器在每个所述预设时间间隔内接收到的数据生成对应的数据表单，并依次发送至数据展示终端以供用户查看。

显然，本申请所提供的技术方案，采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。本申请同时还提供了一种大数据的展示方法系统、装置及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种大数据的展示方法的流程图；

图2为本申请实施例所提供的另一种大数据的展示方法的流程图；

图3为本申请实施例所提供的一种大数据的展示系统的结构框图。

具体实施方式

本申请的核心是提供一种大数据的展示方法、系统、装置及计算机可读存储介质，采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

以下结合图1，图1为本申请实施例所提供的一种大数据的展示方法的流程图。

其具体包括以下步骤：

S101：当接收到目标数据的数据展示指令时，判断目标数据的大小是否超过单次数据展示阈值；

本步骤旨在对目标数据的大小(也可被称为体积)与预先设定好的单次数据展示阈值进行比较，以根据得出的结论在后续步骤中采用相应的方式更好的展现将不同大小的目标数据进行展示。

其中，该单次数据展示阈值是作为衡量小量级数据和较大量级数据的一个中介线，同时在设定该单次数据展示阈值时可以根据不同实际情况下的数据展示终端的性能、屏幕尺寸以及其它可能造成影响的因素进行综合考虑，并根据影响因素进行微调，此处并不做具体限定。

S102：直接取回目标数据并将根据目标数据生成的数据表单发送至数据展示终端；

本步骤建立在S101的判断结果为目标数据的大小小于该单次数据展示阈值的基础上，即该目标数据的数据量属于较小量级，即使一次全部获取并作为一个整体直接发给数据展示终端也不会对其它业务性能造成影响，因此可以直接取回目标数据并将根据目标数据生成的数据表单发送至数据展示终端。

S103：将目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；

本步骤建立在S101的判断结果为目标数据的大小小于该单次数据展示阈值的基础上，由于该目标数据的数据量较大，本步骤旨在通过异步方式将目标数据分散在各数据分库中的分散目标数据缓存进(存放入)该缓存服务器当中。

其中，异步方式是区别于同步方式的另一种数据传输类型，同步方式，顾名思义是将所有数据在同一时刻统一发送或传输的一种方式；异步方式则是将构成该目标数据的所有分散目标数据在非同一时刻进行数据传输的一种方式，即依照一种数据传输规则或队列依次发送或传输，以降低单次数据传输占用的带宽和对其他业务可能造成的影响。

以下通过一个具体情境的例子阐述异步方式下数据传输的方式：

当目标数据由存储在第一数据分库中的第一分散目标数据、存储在第二数据分库中的第二分散目标数据、存储在第三数据分库中的第三分散目标数据共同组成时；根据预设异步缓存方式将第一分散目标数据、第二分散目标数据以及第三分散目标数据以相同时间间隔依次缓存进缓存服务器。

该例子中描述的预设异步缓存方式的具体表现方式多种多样，例如按照各数据分库距该缓存服务器的距离、跨越传输节点的数量等原则进行设定，主要突出的应为要使来自不同数据分库的数据不冲突的、有序的缓存进该混缓存服务器，采用何种具体的数据传输排序方式可以根据实际情况的不同自由设定，此处并不做具体限定。

当然，也会存在该目标数据由存储在更多数据分库上的分散目标数据组成，原理与上述例子相同，在此不再赘述。

S104：根据缓存服务器在每个预设时间间隔内接收到的数据生成对应的数据表单，并依次发送至数据展示终端以供用户查看。

在S103的基础上，本步骤旨在分批次将缓存服务器各批次接收到的数据发送至数据展示终端，以实现用户经过较短的等待时间就可以看到一些待展示数据，无需等待完整的目标数据加载完成才可进行数据的查看，用户可查看数据随时间的增加不断增加。举一个较为形象的例子，就好像在一张巨大游戏地图上进行网络游戏时，只加载距用户操纵游戏角色最近的游戏地图场景，而剩下的场景资源会留待后续过程中加载，这一过程会在该用户探索已加载好的地图场景时在后台默默执行。

具体实现方式多种多样，例如为首次生成的数据表单设定为距接收到该数据展示命令经过第一时间间隔，后续过程中则设定为第二时间间隔进行后续数据的补充，为实现更好的用户体验，可以将该第一时间间隔设定的小于该第二时间间隔；还可以在没有这一要求的情况下设定相同的时间间隔来进行后续待展示数据的补充。

这样的好处是用户无需等待全部目标数据缓存完成后才能看到该目标数据，可以在较短的等待时间后对先接收到的数据进行查看，而在查看这部分数据的同时，缓存服务器仍在继续以异步的方式接收来自各数据分库的分散目标数据，并将其发送至该数据展示终端。其中，数据表单并不仅指表格，还可以根据实际需求增添一些已缓存数据的特征信息，以便根据特征信息的不同查看相应的数据。

由于本步骤每次发送的是在每个时间间隔内接收到的增量数据，并根据增量数据生成相应的数据表单，相应的，该数据展示终端只需将每次接收到的数据表单在后台与先前接收到的数据表单进行累加即可。

进一步的，为防止累加过程中可能出现的一些意外因素，还可以在每个时间间隔后发送根据该缓存服务器当前所有已接收数据生成的数据表单，并将其发送至数据展示终端，以直接利用包含更多数据的新数据表单覆盖包含相对较少数据的原数据表单，最终应实现在不影响用户查看当前数据的前提下，不断增加该用户可查看数据的范围或大小。

更进一步的，还可以当缓存服务器完成目标数据的缓存时，向数据展示终端反馈根据完整的目标数据生成的最终数据表单，使数据展示终端最终以该最终数据表单中包含的数据为可信数据，并依据该最终数据表单执行后续的数据总条数、不同特征和不同关键词下的概率统计操作等。

具体的，实现将该最终数据表单最终反馈至该数据展示终端的方式有很多，大体可以总结为两种，数据展示终端主动发起查询请求，并接收反馈信号；缓存服务器根据实际缓存进度，在缓存完毕后推送信息给数据展示终端。

基于上述技术方案，本申请实施例提供的一种大数据的展示方法，采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。

以下结合图2，图2为本申请实施例所提供的另一种大数据的展示方法的流程图。

本实施例旨在对上一实施例中S104的内容和如何反馈最终数据表单给出一种具体的实现方式，其它部分与上一实施例大体相同，相同部分不再赘述。其具体包括以下步骤：

S201：在距接收到数据展示命令第一时间间隔后，根据缓存服务器在第一时间间隔内接收到的数据生成初始数据表单，并将初始数据表单发送至数据展示终端；

S202：将缓存服务器在每隔第二时间间隔内接收到的数据依次生成相应的新数据表单，并依次将各新数据表单发送至数据展示终端；

其中，该第一时间间隔小于该第二时间间隔，以为用户提供更好的数据查看体验。

S203：当分散目标数据对应的各数据分库均向缓存服务器发送了数据传输完毕信号时，判定目标数据缓存完毕；

S204：在判定目标数据缓存完毕后，缓存服务器根据完整的目标数据生成最终数据表单，并将最终数据表单通过预设数据推送路径推送给数据展示终端。

本实施例S203、S203说明了如何实现推送的方式告知数据展示终端缓存服务器已经完成该目标数据的全部缓存任务，并将生成的最终数据表单也一并推送给数据展示终端，至此，数据展示终端可以根据该最终数据表单对完整的目标数据进行相应的统计，包括条数、大小以及进行其它相关数据的概率统计等。

也可以基于另一种由数据展示终端主动发起查询请求的方式实现，具体步骤如下：

数据展示终端每隔第三时间间隔向缓存服务器发送缓存进度查询指令；当完成所述目标数据的缓存时，向数据展示终端反馈缓存完成信号并同时携带根据完整的目标数据生成的最终数据表单。

由于是数据展示终端发起了相关查询指令，缓存服务器只需根据该指令反馈相应数据和信号即可，实际操作过程中更易实现。当然，也可以根据用户输入的选择信息实现点选式触发，即在用户点击类似“下一页”的时候，向缓存服务器发送数据查询指令，并接收该缓存服务器根据新接收到的数据生成的数据表单，以供用户进行查看。

因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。

下面请参见图3，图3为本申请实施例所提供的一种大数据的展示系统的结构框图。

该展示系统可以包括：

展示数据大小判断单元100，用于当接收到目标数据的数据展示指令时，判断目标数据的大小是否超过单次数据展示阈值；

异步存放单元200，用于在目标数据的大小超过单次数据展示阈值时，将目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；

数据表单生成及发送单元300，用于每隔预设时间间隔，根据缓存服务器在每个预设时间间隔内接收到的数据生成对应的数据表单，并依次发送至数据展示终端以供用户查看。

以下为一个具体的实施例，该实施例基于Hbase和多线程技术处理来实现大数据的展示：

(1)从多个数据分库取出目标数据；

(2)判断该目标数据的数据量是否大于10页，若少于10页，先放数据到Hbase(一个分布式的、面向列的开源数据库)缓存，再一次返回(也可直接返回)；若多于10页，则采用异步方式将数据放入Hbase缓存；

(3)前端多次异步渲染来展现已缓存数据，用户无需长时等待；

(4)刚开始给数据展示终端的已缓存数据的总条数和汇总数据信息只有不大于10页的数据量，后续在数据展示终端采用补充拉取的方式拉取总条数和汇总数据信息。

基于上述实施例，本申请还提供了一种大数据展示装置，可以包括存储器和处理器，其中，该存储器中存有计算机程序，该处理器调用该存储器中的计算机程序时，可以实现上述实施例所提供的步骤，因此也可采用异步方式将由分散至各个数据分库中的分散目标数据共同组成的目标数据传输至缓存服务器，因此更加适合展示在数据存储时就采用分布式存储技术的数据，由于采用缓存服务器作为中间件，利用缓存服务器的存储空间存储接收到的目标数据，因此无需占用内存，不对其它业务性能造成影响的、客户体验更好。

进一步的，上述功能单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种大数据的展示方法，其特征在于，包括：

若超过，则将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；所述异步方式为将所述分散目标数据在非同一时刻进行数据传输的传输方式；

2.根据权利要求1所述的展示方法，其特征在于，将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器，包括：

3.根据权利要求1或2所述的展示方法，其特征在于，根据所述缓存服务器在每个预设时间间隔内接收到的数据生成对应的各数据表单，并依次发送至数据展示终端，包括：

4.根据权利要求3所述的展示方法，其特征在于，根据所述缓存服务器在所述第一时间间隔内接收到的数据生成初始数据表单，并将所述初始数据表单发送至数据展示终端，包括：

根据所述缓存服务器在所述第一时间间隔内接收到的数据和对应的特征信息生成所述初始数据表单，以便所述数据展示终端根据所述特征信息查看相应的数据。

5.根据权利要求4所述的展示方法，其特征在于，还包括：

6.根据权利要求5所述的展示方法，其特征在于，当所述缓存服务器完成所述目标数据的缓存时，向所述数据展示终端发送根据完整的目标数据生成的最终数据表单，包括：

7.根据权利要求6所述的展示方法，其特征在于，还包括：

8.一种大数据的展示系统，其特征在于，包括：

异步存放单元，用于在所述目标数据的大小超过所述单次数据展示阈值时，将所述目标数据分散在各数据分库中的分散目标数据采用异步方式存放入缓存服务器；所述异步方式为将所述分散目标数据在非同一时刻进行数据传输的传输方式；

9.一种大数据展示装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的大数据的展示方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的大数据的展示方法的步骤。