CN112069218A - 大数据实时处理方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种大数据实时处理方法、装置、电子装置和存储介质，其中，该方法包括：预先利用流处理模块对数据进行处理并存入内存空间中，在获得用户端的报表数据获取请求时，通过查询内存空间以检测内存空间中是否具有与报表数据获取请求对应的目标数据，若具有目标数据，则对目标数据按预设要求进行可视化处理，得到对应的报表数据，将报表数据反馈至用户端，以使用户端在显示页面上显示该报表数据。本发明无需每次均从数据库中进行数据的获取，可大大提高报表数据的获取速度、实现报表数据的实时获取，避免实时性要求较高的场景下的较大延迟问题。

Description

大数据实时处理方法、装置、电子装置和存储介质

技术领域

本申请涉及大数据领域，特别是涉及大数据实时处理方法、装置、电子装置和存储介质。

背景技术

随着科技的进步，大数据技术得到快速发展和应用，报表系统是其中的热门应用之一。报表系统包括离线模式和实时模式，其中，离线报表系统中报表的产生往往时效性很差，经常需要一个小时甚至一天的时间才可获得相应结果，在数据的采集、存储及处理等环节效率很低。实时报表系统则很好地解决了这些问题，并且，实时报表系统还降低数据接入时的延迟。

但是，目前所采用的实时报表系统处理方式中，是在数据处理完成并存入数据库之后，再从数据库中读取数据并反馈至用户端进行显示。由于数据的处理入库以及从数据库中读出数据等过程将花费较多时间，并且，可能出现的网络通信延迟、数据库应用服务宕机等情况，均将导致难以满足一些对实时性要求较高的场景下的应用。

发明内容

本申请实施例提供了一种大数据实时处理方法、装置、电子装置和存储介质，以降低获得的报表数据的延迟。

第一方面，本申请实施例提供了一种大数据实时处理方法，所述方法包括：获取用户端发送的报表数据获取请求；查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据，其中，所述内存空间中的数据为流处理模块预先基于所获取的数据进行处理并产生的，所述内存空间中的数据包括数据处理的结果；若具有所述目标数据，则对所述目标数据按预设要求进行可视化处理，得到对应的报表数据，将所述报表数据反馈至所述用户端，以使所述用户端在显示页面上显示所述报表数据。

在其中一些实施例中，所述方法还包括：若所述内存空间中不具有所述目标数据，则查询数据库，从所述数据库中获取所述目标数据，其中，所述流处理模块对获取的数据处理后产生的结果数据被写入所述数据库中，并在所述数据库中持久化。

在其中一些实施例中，所述对所述目标数据按预设要求进行可视化处理，得到对应的报表数据的步骤，包括：基于时间顺序对所述目标数据进行处理，得到对应的包含时间轴信息的报表数据；或

对所述目标数据进行统计分析处理，得到所述目标数据对应的统计图形式的报表数据。

在其中一些实施例中，所述查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据的步骤，包括：调用所述流处理模块提供的应用程序接口API以查询内存空间，检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据。

在其中一些实施例中，所述方法还包括：预先获取待处理的数据，将所述数据写入消息队列中，所述待处理的数据包括从外部系统获取的数据、从用户端获取的数据以及基于用户端的操作信息所得到的数据；通过所述流处理模块读取所述消息队列中的数据并按设定要求进行处理，将处理得到的数据写入所述内存空间中。

在其中一些实施例中，所述方法还包括：在满足预设要求时，将所述内存空间中存储的数据写入数据库中进行保存。

在其中一些实施例中，所述消息队列包含多个，多个消息队列中存储的数据一致且同步更新。

第二方面，本申请实施例提供了一种大数据实时处理装置，所述装置包括：

获取模块，用于获取用户端发送的报表数据获取请求；

查询模块，用于查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据，其中，所述内存空间中的数据为流处理模块预先基于所获取的数据进行处理并产生的，所述内存空间中的数据包括数据处理的结果；

处理模块，用于在所述内存空间中包含所述目标数据时，对所述目标数据按预设要求进行可视化处理，得到对应的报表数据，将所述报表数据反馈至所述用户端，以使所述用户端显示所述报表数据。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的大数据实时处理方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的大数据实时处理方法。

相比于相关技术，本申请实施例的大数据实时处理方法、装置、电子装置及存储介质，预先利用流处理模块对数据进行处理并存入内存空间中，在获得用户端的报表数据获取请求时，通过查询内存空间以检测内存空间中是否具有与数据获取请求对应的目标数据，若具有目标数据，则对目标数据按预设要求进行可视化处理，得到对应的报表数据，将报表数据反馈至用户端，以使用户端在显示页面上显示该报表数据。如此，无需每次均从数据库中进行数据的获取，提高报表数据的获取速度、实现报表数据的实时获取，避免实时性要求较高的场景下的较大延迟问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为现有技术中离线报表系统实现过程示意图；

图2为现有技术中实时报表系统实现过程示意图；

图3为本申请实施例的大数据实时处理方法的应用场景示意图；

图4为本申请实施例的大数据实时处理方法的流程图；

图5为本申请实施例的大数据实时处理方法的另一流程图；

图6为本申请实施例的用户端和服务端之间的交互流程示意图；

图7为本申请实施例的大数据实时处理装置的功能模块框图；

图8是本申请实施例的电子装置的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

报表系统在大数据领域中被广泛应用，现有的报表系统主要包括离线模式和实时模式两种。其中，如图1所示，离线模式下的报表系统的实现主要包括以下过程：首先，进行数据的采集，例如，可以通过本地文件导入日志收集系统（如flume）以收集日志，或通过网络爬虫方式进行数据收集。再采用分布式文件系统，如Hive数据仓库工具将采集的数据进行存储。基于存储的数据可得到例如mysql、redis或hbase等形式的报表数据。最后，利用开源工具，包括前端和后台服务等进行报表数据的可视化处理，从而实现报表系统的离线设计。

而实时模式下的报表系统的实现主要包括以下过程（请结合参阅图2所示）：首先，通过消息队列的形式进行数据采集和数据的缓存，再利用实时流处理方式基于缓存的数据进行处理，得到例如mysql、redis或hbase等形式的报表数据。最后，利用开源工具，包括前端和后台服务实现报表数据的可视化处理，以反馈给用户端。

上述现有技术中所采用的报表系统的离线模式实现方式，时效性很差，需要较长时间才能得到结果，在数据的采集、存储和处理等环节效率均很低。而现有技术中采用的报表系统的实时模式实现，相对离线模式实现而言，处理效率有所提高。但是，现有技术中的实时模式实现方式中，采用的方式是对数据进行处理并存入数据库之后，后续再从数据库中提取数据并处理后反馈至用户端。这种方式下，由于数据入库过程中可能存在如网络通信延迟、数据库应用服务宕机、数据库峰值时性能下降等情况，导致数据入库、出库等均存在很大延迟。对于一些对延迟要求较高的应用场景，现有技术中的实现方式将难以满足要求。

基于上述研究发现，本申请提供一种大数据实时处理方案，通过预先对数据进行处理后存储至内存空间中，以在获取用户端发送的报表数据获取请求后，通过查询内存空间，以获得与报表数据获取请求对应的目标数据，再对目标数据进行可视化处理得到对应的报表数据，再将报表数据反馈至用户端，以使用户端在显示页面上显示报表数据。如此，无需每次均从数据库中进行数据的获取，避免了数据入库、出库等环节造成的数据延迟，可避免实时性要求较高的场景下的较大延迟问题。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

图3为本申请实施例的大数据实时处理方法的应用场景示意图，如图3所示，该应用场景中可以包括网络120、服务端110、用户端130、数据库140中的一种或多种。用户端130可为多个，各个用户端130与服务端110通信连接。在一些实施例中，服务端110可以包括处理器，处理器可以对用户端130发送的信息进行分析处理，以执行本申请中描述的一个或多个功能。

在一些实施例中，用户端130对应的设备类型可以是移动设备，例如可以包括智能手机、可穿戴设备等，也可以是计算机设备、平板电脑等。其中，服务端110可以是由多个服务器构成的服务器集群，例如可以包括多个可对用户端130的数据进行处理得到相应消息的处理服务器，还可包括与各个处理服务器通信的可对各个处理服务器得到的消息进行处理的系统服务器。

在一些实施例中，数据库140可以连接到网络120以与该应用场景中的一个或多个组件通信，例如上述的服务端110。服务端110可以经由网络120访问存储在数据库140中的数据或指令。在一些实施例中，数据库140也可以直接连接至服务端110，或者数据库140也可以是服务端110的一部分。

下面结合图3中所示的应用场景中描述的内容，对本申请实施例的大数据实时处理方法进行详细说明。

本申请实施例提供一种大数据实时处理方法，该方法可以由上述服务端110来执行。应当理解，在其它实施例中，本实施例的大数据实时处理方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。图4为本申请实施例的大数据实时处理方法的流程图，如图4所示，该大数据实时处理方法包括如下步骤：

步骤S210，获取用户端发送的报表数据获取请求。

步骤S220，查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据，其中，所述内存空间中的数据为流处理模块预先基于所获取的数据进行处理并产生的，所述内存空间中的数据包括数据处理的结果。若具有所述目标数据，则执行以下步骤S230，其中，所述内存空间中的数据为流处理模块预先对从用户端130获取的数据进行处理并产生的。

步骤S230，对所述目标数据按预设要求进行可视化处理，得到对应的报表数据，将所述报表数据反馈至所述用户端，以使所述用户端在显示页面上显示所述报表数据。

本实施例中，服务端与各个用户端通信连接，其中，服务端可以是多种应用场景下的系统后台服务器，例如网络购物应用的后台服务器、股票交易应用的后台服务器，或者其他的应用系统的后台服务器等。服务端可通过对用户端发送的数据，或者用户端在应用系统中的操作信息等进行记录。服务端可对获取的数据以及记录的信息等进行分析处理，进而得到处理后的数据。本实施例中，服务端可通过流处理模块预先对从用户端获取的数据进行处理并产生处理后的数据，内存空间中的数据包括数据处理的结果，该处理后的数据将首先存储在流处理模块的内存空间中。

在上述基础上，用户端一侧的用户在需要获取相关的报表数据时，例如某段时间内的交易数据、交易数据的分析结果等，可通过用户端发送相应的报表数据获取请求至服务端。本实施例中，可通过用户端下载相应的应用程序软件，进而通过应用程序软件以触发相关的报表数据获取请求。在一种实现方式下，可通过用户端进入相关应用程序的页面，以在相关页面上触发数据获取，如此，用户端可向服务端发送http格式的报表数据获取请求。

由上述可知，服务端中预先通过流处理模块进行数据处理后得到的数据将缓存在内存空间中。因此，服务端在获得用户端发送的报表数据获取请求后，可查询内存空间，以检测内存空间存储的数据中是否具有与报表数据获取请求对应的目标数据。

在一些对实时性要求较高的应用场景下，用户所需要获取的数据一般是产生时间较近的数据，而服务端的流处理模块的存储空间中的数据，也是产生时间较近的数据。因此，在实时性要求较高的应用场景下，用户所请求的数据一般存储在内存空间中，因此，可从内存空间中查找到报表数据获取请求对应的数据。

在此基础上，服务端可对查找到的目标数据按预设要求进行可视化处理，得到对应的报表数据，将以可视化形式展示的报表数据反馈至用户端。用户端在接收到报表数据后，可在应用程序软件的显示页面，或者是相关网页的显示页面上显示以可视化形式展示的报表数据。

本实施例中，对数据进行可视化处理可以使数据以用户所需的形式进行展示，例如用户可能需要数据以时间顺序的前后进行展示，或者数据以统计分析得到的饼状图、柱形图等形式进行展示。因此，相应地，在对目标数据进行可视化处理时，在一种实施方式中，可以基于时间顺序对目标数据进行处理，得到对应的包含时间轴信息的报表数据。例如，在获得的时间数据为一定时间段内的数据时，则可按各个数据所携带的时间信息进行排序，以得到包含时间轴信息的报表数据，如此，可以体现出报表数据在时间上的变化。

此外，在一种实施方式中，可以对目标数据进行统计分析处理，得到目标数据对应的统计图形式的报表数据，其中，统计图可以是饼状图、柱形图等。如此，可以以统计图形式直观展示出报表数据的统计结果。

通过上述方式，服务端可预先将分析处理后的数据缓存在内存空间中，以在接收到用户端发送的报表数据获取请求时，通过查询内存空间以获得与报表数据获取请求对应的目标数据，并对目标数据进行可视化处理得到报表数据，将报表数据发送至用户端，以使用户端在显示页面上显示以可视化形式展示的报表数据。如此，无需在对数据进行处理并存入数据库之后，再通过从数据库中提取数据并处理后反馈至用户端，可避免由于入库、出库等可能导致的延迟，可满足对实时性要求较高的应用场景下的报表数据的处理要求。

以下首先对服务端预先对获取的数据进行处理，并存入内存空间中的过程进行介绍：

图5为本申请实施例的大数据实时处理方法的另一流程图，如图5所示，本申请实施例的大数据实时处理方法还包括以下步骤：

步骤S110，预先获取待处理的数据，将所述数据写入消息队列中，所述待处理的数据包括从外部系统获取的数据、从用户端获取的数据以及基于用户端的操作信息所得到的数据。

步骤S120，通过所述流处理模块读取所述消息队列中的数据并按设定要求进行处理，将处理得到的数据写入所述内存空间中。

本实施例中，服务端还可与外部系统建立通信，该外部系统可以是与服务器中应用程序的业务相关的系统，具体本实施例不作限制。此外，待处理的数据还可以是用户端直接发送至服务端的，也可以包括基于用户端的操作信息所产生的。

本实施例中，可通过流处理程序将获取的数据存入消息队列中，利用消息队列缓存数据，在数据量很大的情况下，可以起到削峰、限流的作用。

本实施例中，为了实现容灾备份，其中，消息队列可包含多个，多个消息队列中存储的数据一致且同步更新。可选地，消息队列可对应一个处理节点，如此，可构成分布式系统，通过多个处理节点中各自的消息队列，以实现数据的分布式存储。如此，可避免在某个消息队列中的数据丢失，或者某个处理节点发生异常时，导致数据整体丢失不可恢复的缺陷。

本实施例中，流处理模块可读取消息队列中的数据，并对数据按设定要求进行处理。其中，设定要求可以包括，例如提取某个时间段内的数据、提取其中某种类型的数据，如订单数据，或者是其他的业务要求等。按设定要求进行处理后得到的数据将存储在内存空间中。如此，上述在响应用户的报表数据获取请求时，可以从内存空间中查找相关的目标数据。

此外，由于内存空间有限，并且基于流处理模块的实现机制，内存空间中的数据最终将写入至数据库中进行持久化的保存，即流处理模块对获取的数据处理后产生的结果数据被写入数据库中，并在数据库中持久化。本实施例中，在满足预设要求时，将内存空间中存储的数据写入数据库中进行保存。其中，该预设要求可以是存入内存空间中的数据存储时间达到一定时长时，或者是内存空间中的数据量达到设定数量时等，具体地可根据实际需求进行相应设置。

如此，通过上述方式，则产生时间较近的数据将保存在内存空间中，而距离其产生时间较长的数据将保存至数据库中。如此，在实时性要求较高的应用场景下，由于所请求的数据往往是最新的，因此，相应地可从内存空间中查找到对应的数据并反馈至用户端。

此外，在一种实现方式中，请参阅图4，上述在查找内存空间之后，若内存空间中不具有报表数据获取请求对应的目标数据，则可执行以下步骤S240：

步骤S240，查询数据库，从数据库中获取目标数据。

本实施例中，流处理模块的处理架构可以采用Flink、Strom、Spark Streaming中的任意一种，本实施例对此不作具体限制。其中，由于Flink具有暴露内存数据查看的应用程序接口API，实现上更为便捷，因此，本实施例中，流处理模块可采用Flink架构。

在此情形下，在上述接收到报表数据获取请求后并查询内存空间时，可通过调用流处理模块提供的应用程序接口API以查询内存空间，并检测内存空间存储的数据中是否具有与报表数据获取请求对应的目标数据。

以下对本申请提供的大数据实时处理方法的优选实施例作进一步阐述，图6为本申请实施例的用户端和服务端之间的交互流程示意图，如图6所示，该大数据实时处理方法可包括如下步骤：

步骤S11，服务端110对获取的数据进行处理并存入内存空间。

该步骤中，服务端110可获取的数据可以是从外部系统获取的数据，或者用户端130发送的数据，或者是基于用户端130的操作信息获得的数据。获取的数据可首先存入消息队列中，流处理模块再从消息队列中读取数据并进行处理。处理后得到的数据将存入内存空间中。

步骤S12，服务端110将内存空间中的数据存入数据库140。

该步骤中，在满足一定要求时可将内存空间中的数据存入数据库140中，例如可以是数据在内存空间中存储的时长超过一定时长，或者是内存空间中的数据量达到设定量时。

步骤S21，用户端130向服务端110发送报表数据获取请求。

步骤S22，服务端110响应报表数据获取请求，访问内存空间。

在该步骤中，服务端110可查找内存空间中存储的数据中是否具有与报表数据获取请求对应的目标数据。内存空间中具有与报表数据获取请求对应的目标数据时，则提取该目标数据。若内存空间中不具有目标数据，则执行以下的步骤S23。

步骤S23，若内存空间未获得目标数据，访问数据库140。

步骤S24，服务端110可对内存空间或数据库140中获取的目标数据进行可视化处理。

该步骤中，可视化处理可以包括，例如基于时间顺序对目标数据进行处理，得到对应的包含时间轴信息的报表数据。或者，对目标数据进行统计分析处理，得到目标数据对应的统计图形式的报表数据。

步骤S25，服务端110将可视化处理后的报表数据反馈给用户端130。

步骤S26，用户端130在显示页面显示报表数据。

通过以上过程，在用户需要获取相应的报表数据时，服务端110无需在数据处理完成并存入数据库140中之后，再从数据库140中提取处理以反馈给用户。而是对一些产生时间较近的数据保存在内存空间中，后续可直接从内存空间中提取数据并处理后反馈给用户，避免了数据入库、出库所造成的延迟，可用于一些对于延迟要求较高的应用场景。

基于同一发明构思，本申请实施例中还提供了与大数据实时处理方法对应的大数据实时处理装置200，请参阅图7，由于本申请实施例中的装置解决问题的原理与本申请实施例上述大数据实时处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

本申请实施例提供一种大数据实时处理装置，图7为本申请实施例的大数据实时处理装置的功能模块框图，如图7所示，该装置包括：获取模块210、查询模块220和处理模块230。

获取模块210，用于获取用户端130发送的报表数据获取请求。

可以理解，该获取模块210可以用于执行上述步骤S210，关于该获取模块210的详细实现方式可以参照上述步骤S210有关的内容。

查询模块220，用于查询内存空间，以检测内存空间存储的数据中是否具有与报表数据获取请求对应的目标数据，其中，内存空间中的数据为流处理模块预先进行处理并产生的，内存空间中的数据包括数据处理的结果。

可以理解，该查询模块220可以用于执行上述步骤S220，关于该查询模块220的详细实现方式可以参照上述步骤S220有关的内容。

处理模块230，用于在内存空间中包含目标数据时，对目标数据按预设要求进行可视化处理，得到对应的报表数据，将报表数据反馈至用户端130，以使用户端130显示报表数据。

可以理解，该处理模块230可以用于执行上述步骤S230，关于该处理模块230的详细实现方式可以参照上述步骤S230有关的内容。

在一种可能的实现方式中，上述查询模块220还可以用于：

在内存空间中不具有目标数据时，查询数据库140，从数据库140中获取目标数据，其中，流处理模块对获取的数据处理后产生的结果数据被写入数据库中，并在数据库中持久化。

在一种可能的实现方式中，处理模块230可以用于通过以下方式对目标数据进行可视化处理：

基于时间顺序对目标数据进行处理，得到对应的包含时间轴信息的报表数据；或

对目标数据进行统计分析处理，得到目标数据对应的统计图形式的报表数据。

在一种可能的实现方式中，上述查询模块220可以用于通过以下方式查询内存空间：

调用流处理模块提供的应用程序接口API以查询内存空间，检测内存空间存储的数据中是否具有与报表数据获取请求对应的目标数据。

在一种可能的实现方式中，上述处理装置还可包括写入模块，该写入模块可以用于：

预先获取待处理的数据，将数据写入消息队列中，待处理的数据包括从外部系统获取的数据、从用户端130获取的数据以及基于用户端130的操作信息所得到的数据；

通过流处理模块读取消息队列中的数据并按设定要求进行处理，将处理得到的数据写入内存空间中。

在一种可能的实现方式中，上述写入模块还可用于：

在满足预设要求时，将内存空间中存储的数据写入数据库140中进行保存。

在一种可能的实现方式中，消息队列包含多个，多个消息队列中存储的数据一致且同步更新。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

另外，本申请实施例的大数据实时处理方法可以由电子装置来实现。图8为根据本申请实施例的电子装置的硬件结构示意图。

该电子装置可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性（Non-Volatile）存储器。在特定实施例中，存储器82包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例的大数据实时处理方法。

在其中一些实施例中，电子装置还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将电子装置的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线80可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子装置可以基于获取到的计算机程序，执行本申请实施例的大数据实时处理方法。

另外，结合上述实施例的大数据实时处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例的大数据实时处理方法。

综上所述，本申请实施例的大数据实时处理方法、装置、电子装置和可读存储介质，预先利用流处理模块对数据进行处理并存入内存空间中，在获得用户端130的报表数据获取请求时，通过查询内存空间以检测内存空间中是否具有与报表数据获取请求对应的目标数据，若具有目标数据，则对目标数据按预设要求进行可视化处理，得到对应的报表数据，将报表数据反馈至用户端130，以使用户端130在显示页面上显示该报表数据。如此，无需每次均从数据库140中进行数据的获取，提高报表数据的获取速度、实现报表数据的实时获取，避免实时性要求较高的场景下的较大延迟问题。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大数据实时处理方法，其特征在于，所述方法包括：

获取用户端发送的报表数据获取请求；

查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据，其中，所述内存空间中的数据为流处理模块预先基于所获取的数据进行处理并产生的，所述内存空间中的数据包括数据处理的结果；

若具有所述目标数据，则对所述目标数据按预设要求进行可视化处理，得到对应的报表数据，将所述报表数据反馈至所述用户端，以使所述用户端在显示页面上显示所述报表数据。

2.根据权利要求1所述的大数据实时处理方法，其特征在于，所述方法还包括：

若所述内存空间中不具有所述目标数据，则查询数据库，从所述数据库中获取所述目标数据，其中，所述流处理模块对获取的数据处理后产生的结果数据被写入所述数据库中，并在所述数据库中持久化。

3.根据权利要求1所述的大数据实时处理方法，其特征在于，所述对所述目标数据按预设要求进行可视化处理，得到对应的报表数据的步骤，包括：

基于时间顺序对所述目标数据进行处理，得到对应的包含时间轴信息的报表数据；或

对所述目标数据进行统计分析处理，得到所述目标数据对应的统计图形式的报表数据。

4.根据权利要求1所述的大数据实时处理方法，其特征在于，所述查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据的步骤，包括：

调用所述流处理模块提供的应用程序接口API以查询内存空间，检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据。

5.根据权利要求1所述的大数据实时处理方法，其特征在于，所述方法还包括：

预先获取待处理的数据，将所述数据写入消息队列中，所述待处理的数据包括从外部系统获取的数据、从用户端获取的数据以及基于用户端的操作信息所得到的数据；

通过所述流处理模块读取所述消息队列中的数据并按设定要求进行处理，将处理得到的数据写入所述内存空间中。

6.根据权利要求5所述的大数据实时处理方法，其特征在于，所述方法还包括：

在满足预设要求时，将所述内存空间中存储的数据写入数据库中进行保存。

7.根据权利要求5所述的大数据实时处理方法，其特征在于，所述消息队列包含多个，多个消息队列中存储的数据一致且同步更新。

8.一种大数据实时处理装置，其特征在于，所述装置包括：

获取模块，用于获取用户端发送的报表数据获取请求；

查询模块，用于查询内存空间，以检测所述内存空间存储的数据中是否具有与所述报表数据获取请求对应的目标数据，其中，所述内存空间中的数据为流处理模块预先基于所获取的数据进行处理并产生的，所述内存空间中的数据包括数据处理的结果；

处理模块，用于在所述内存空间中包含所述目标数据时，对所述目标数据按预设要求进行可视化处理，得到对应的报表数据，将所述报表数据反馈至所述用户端，以使所述用户端显示所述报表数据。

9.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的大数据实时处理方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的大数据实时处理方法。

Images