CN112269830A - 大数据分析方法、系统、计算机设备及其存储介质 - Google Patents

大数据分析方法、系统、计算机设备及其存储介质 Download PDF

Info

Publication number
CN112269830A
CN112269830A CN202011127437.3A CN202011127437A CN112269830A CN 112269830 A CN112269830 A CN 112269830A CN 202011127437 A CN202011127437 A CN 202011127437A CN 112269830 A CN112269830 A CN 112269830A
Authority
CN
China
Prior art keywords
data
analysis result
cache server
big data
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011127437.3A
Other languages
English (en)
Inventor
彭加山
彭晓芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Laijin Electromechanical Automation Co ltd
Original Assignee
Suzhou Laijin Electromechanical Automation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Laijin Electromechanical Automation Co ltd filed Critical Suzhou Laijin Electromechanical Automation Co ltd
Priority to CN202011127437.3A priority Critical patent/CN112269830A/zh
Priority to PCT/CN2020/127948 priority patent/WO2022082892A1/zh
Publication of CN112269830A publication Critical patent/CN112269830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及大数据分析技术领域，具体公开了大数据分析方法、系统、计算机设备及其存储介质。本发明实施例提供的大数据分析方法通过获取目标时间段内用户访问的大数据信息；并将所述大数据信息按时间分片存储在分布式数据库中；然后基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；对所述分析结果配置数据缓存服务器进行缓存；且在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，并输出查询结果，能够降低大数据分析系统处理器的负担，提高用户的访问速度，避免产生访问卡顿的情况，保证用户访问的流畅性。

Description

大数据分析方法、系统、计算机设备及其存储介质
技术领域
本发明实施例涉及大数据分析技术领域，具体是大数据分析方法、系统、计算机设备及其存储介质。
背景技术
随着大数据时代的来临，网络中的信息量呈现指数式增长，随之带来了信息过载问题；推荐系统是解决信息过载最有效的方式之一，大数据推荐系统已经逐渐成为信息领域的研究热点，“大数据时代”已然来临。随着“大数据”时代的到来，人们对于海量数据的挖掘和运用，这预示着新一波生产率增长和消费者盈余浪潮的到来。大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。随着大数据的来临，使得人们对大数据的需要量不断的增加，这样会增加智能分析系统的负担，造成智能分析系统处理器的负担，当智能的分析系统产生负担时，会降低用户的访问速度，产生卡顿的情况，或者不能加载出数据，从而给用户带来访问不流畅情况。
发明内容
本发明实施例的目的在于提供大数据分析方法、系统、计算机设备及其存储介质，以解决上述背景技术中提出的问题。
为实现上述目的，本发明实施例提供如下技术方案：
大数据分析方法，所述方法包括以下步骤：
获取目标时间段内用户访问的大数据信息；
将所述大数据信息按时间分片存储在分布式数据库中；
基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
对所述分析结果配置数据缓存服务器进行缓存；
在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
作为本发明实施例技术方案进一步的限定，所述分布式数据库为Hbase数据库。
作为本发明实施例技术方案进一步的限定，对所述分析结果配置数据缓存服务器进行缓存的步骤包括：
配置第一缓存服务器与第二缓存服务器；
将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；
当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
作为本发明实施例技术方案进一步的限定，对所述分析结果配置数据缓存服务器进行缓存的步骤还包括：
淘汰所述第一缓存服务器中访问时间最早的分析结果数据；
将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
清除所述第二缓存服务器中存储时间最早的分析结果数据。
作为本发明实施例技术方案进一步的限定，对所述分析结果配置数据缓存服务器进行缓存的步骤还包括：
淘汰所述第一缓存服务器中在预设时间内访问次数最少的分析结果数据；
将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
清除所述第二缓存服务器中存储时间最早的分析结果数据。
大数据分析系统，所述系统包括：
获取单元，所述获取单元用于获取目标时间段内用户访问的大数据信息；
存储单元，所述存储单元用于将所述大数据信息按时间分片存储在分布式数据库中；
执行单元，所述执行单元用于基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
缓存单元，所述缓存单元用于对所述分析结果配置数据缓存服务器进行缓存；以及
输出单元，所述输出单元用于在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
作为本发明实施例技术方案进一步的限定，所述缓存单元包括：
配置模块，所述配置模块用于配置第一缓存服务器与第二缓存服务器；
存储模块，所述存储模块用于将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；以及
转移模块，所述转移模块用于当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
与现有技术相比，本发明实施例提供的大数据分析方法通过获取目标时间段内用户访问的大数据信息；并将所述大数据信息按时间分片存储在分布式数据库中；然后基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；对所述分析结果配置数据缓存服务器进行缓存；且在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，并输出查询结果至前端并进行可视化展示，能够降低大数据分析系统处理器的负担，提高用户的访问速度，避免产生访问卡顿的情况，保证用户访问的流畅性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的适用于本发明实施例的大数据分析方法的架构图。
图2为本发明实施例一提供的大数据分析方法的实现流程图。
图3为本发明实施例二提供的大数据分析方法的实现流程图。
图4为本发明实施例三提供的大数据分析方法的实现流程图。
图5为本发明实施例四提供的大数据分析方法的实现流程图。
图6为本发明实施例五提供的大数据分析系统的结构框图。
图7为本发明实施例六提供的大数据分析系统中缓存单元的结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，通过获取目标时间段内用户访问的大数据信息；并将所述大数据信息按时间分片存储在分布式数据库中；然后基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；对所述分析结果配置数据缓存服务器进行缓存；且在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，并输出查询结果至前端并进行可视化展示，能够降低大数据分析系统处理器的负担，提高用户的访问速度，避免产生访问卡顿的情况，保证用户访问的流畅性。
图1示出了可以应用本公开的大数据分析方法实施例的示例性系统架构图。
如图1所示，系统架构可以包括终端、分布式数据库和缓存服务器。
用户可以使用终端通过网络与缓存服务器进行交互，以接收或发送消息等。
终端可以是硬件，也可以是软件。当终端为硬件时，可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机等等。当终端为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，缓存服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
实施例一：本发明实施例提供了一种大数据分析方法。
请参考图2，其示出了大数据分析方法的一个实施例的流程。本实施例主要以该方法应用于有一定运算能力的电子设备中来举例说明，该电子设备可以是图1示出的终端。所述的大数据分析方法，包括以下步骤：
步骤S100：获取目标时间段内用户访问的大数据信息；
在本发明实施例提供的步骤S100中，用户在利用终端进行搜索访问时，通过终端获取到该用户在目标时间段内进行搜索访问的数据，并对数据的时间节点和文本信息进行存储，存储的时间节点信息和文本信息通过网络进行发送。
所述网络可以是用以在终端和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等，于此不作限定。
步骤S200：将所述大数据信息按时间分片存储在分布式数据库中；
在本发明实施例提供的步骤S200中，可以根据需要将时间分片设置成一周，一周后服务器调用的大数据会被新的大数据所覆盖，从而实现大数据的更新。
在该大数据分析方法中，在将数据存储到分布式数据库之前，还包括对大数据的完整性验证及合法性验证。
步骤S300：基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
步骤S400：对所述分析结果配置数据缓存服务器进行缓存；
步骤S500：在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
在本发明实施例提供的步骤S500中，所述的可视化展示采用终端的显示屏对输出查询结果进行显示，以供用户对查询结果进行获取。
进一步的，在本发明提供的优选实施方式中，所述分布式数据库为Hbase数据库，采用行键（rowkey）和列名的方式存储大数据。
在该大数据分析方法中，在将数据存储到分布式数据库之前，还包括对大数据的完整性验证及合法性验证，其中，完整性验证是由网络系统中的redis完成的，通过后，将大数据发送给服务器本地完成合法性验证。
其中，Redis是网络系统中的一个开源的，支撑网络，可基于内存亦可持久化的日志型、键值数据库。
实施例二：图3公开了在本发明实施例提供的大数据分析方法中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400的流程示意图，其中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400包括：
步骤S401：配置第一缓存服务器与第二缓存服务器；
步骤S402：将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；
步骤S403：当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
在上述对所述分析结果配置数据缓存服务器进行缓存的步骤S400，通过配置两个缓存服务器，分别存储访问次数较多和访问次数较少的缓存数据，两个缓存服务器采取独立的淘汰策略进行数据淘汰，能够避免单缓存服务器判断不准确，将一些期望进行缓存的数据淘汰，从而有效地提高了缓存数据的准确性。
实施例三：图4公开了在本发明实施例提供的大数据分析方法中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400进一步说明的流程示意图。其中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400还包括：
步骤S4401：淘汰所述第一缓存服务器中访问时间最早的分析结果数据；
步骤S4501：将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
步骤S4601：清除所述第二缓存服务器中存储时间最早的分析结果数据。
具体地，在一个优选的实施例中，第一缓存服务器的数据存储满后进行数据淘汰。
其中，获取一段预设时间内，第一缓存服务器中各访问时间距离当前最远的数据，并将预设时间内访问时间最早的数据优先被淘汰，淘汰的数据可以转移到第二缓存服务器。
从而使得某些访问时间较早，但最近访问频率较低的数据不会被直接剔除，避免了误判情况，能够避免单缓存服务器判断不准确，将一些期望进行缓存的数据淘汰，从而有效地提高了缓存数据的准确性。
实施例四：图5公开了在本发明实施例提供的大数据分析方法中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400更进一步说明的流程示意图。其中，对所述分析结果配置数据缓存服务器进行缓存的步骤S400还包括：
步骤S4401：淘汰所述第一缓存服务器中在预设时间内访问次数最少的分析结果数据；
步骤S4502：将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
步骤S4602：清除所述第二缓存服务器中存储时间最早的分析结果数据。
具体地，在一个优选的实施例中，第一缓存服务器的数据存储满后进行数据淘汰。
其中，获取一段预设时间内，第一缓存服务器中各数据被访问的次数，并将预设时间内访问次数最少的数据优先被淘汰，淘汰的数据可以转移到第二缓存服务器。
从而使得某些访问次数较多，但最近访问频率较低的数据不会被直接剔除，避免了误判情况，能够避免单缓存服务器判断不准确，将一些期望进行缓存的数据淘汰，从而有效地提高了缓存数据的准确性。
实施例五：本发明实施例提供了大数据分析系统600。
图6为本发明实施例五提供的大数据分析系统的结构框图。
具体的，所述大数据分析系统600包括：
获取单元601，所述获取单元用于获取目标时间段内用户访问的大数据信息；
存储单元602，所述存储单元用于将所述大数据信息按时间分片存储在分布式数据库中；
在本发明实施例中，可以根据需要将时间分片设置成一周，一周后服务器调用的大数据会被新的大数据所覆盖，从而实现大数据的更新。在该大数据分析方法中，在将数据存储到分布式数据库之前，还包括对大数据的完整性验证及合法性验证。
进一步的，在本发明提供的优选实施方式中，所述分布式数据库为Hbase数据库，采用行键（rowkey）和列名的方式存储大数据。
在该大数据分析方法中，在将数据存储到分布式数据库之前，还包括对大数据的完整性验证及合法性验证，其中，完整性验证是由网络系统中的redis完成的，通过后，将大数据发送给服务器本地完成合法性验证。
执行单元603，所述执行单元用于基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
缓存单元604，所述缓存单元用于对所述分析结果配置数据缓存服务器进行缓存；以及
输出单元605，所述输出单元用于在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
实施例六：图7示出了本发明实施例六所提供的大数据分析系统中缓存单元604的结构框图。其中，所述缓存单元604包括：
配置模块6041，所述配置模块用于配置第一缓存服务器与第二缓存服务器；
存储模块6042，所述存储模块用于将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；以及
转移模块6043，所述转移模块用于当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
所述缓存单元604通过配置两个缓存服务器，分别存储访问次数较多和访问次数较少的缓存数据，两个缓存服务器采取独立的淘汰策略进行数据淘汰，能够避免单缓存服务器判断不准确，将一些期望进行缓存的数据淘汰，从而有效地提高了缓存数据的准确性。
实施例七：本发明实施例七还提供了计算机设备，所述的计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述大数据分析方法的步骤。
实施例八：本发明实施例八还提供了存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述大数据分析方法的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。例如，上述计算机程序可以被分割成上述各个系统实施例提供的泊位状态显示系统的单元或模块。
本领域技术人员可以理解，上述终端设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。
其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
综上所述，本发明实施例提供的大数据分析方法和大数据分析系统通过获取目标时间段内用户访问的大数据信息；并将所述大数据信息按时间分片存储在分布式数据库中；然后基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；对所述分析结果配置数据缓存服务器进行缓存；且在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，并输出查询结果至前端并进行可视化展示，能够降低大数据分析系统处理器的负担，提高用户的访问速度，避免产生访问卡顿的情况，保证用户访问的流畅性。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.大数据分析方法，其特征在于，所述方法包括以下步骤：
获取目标时间段内用户访问的大数据信息；
将所述大数据信息按时间分片存储在分布式数据库中；
基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
对所述分析结果配置数据缓存服务器进行缓存；
在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
2.根据权利要求1所述的大数据分析方法，其特征在于，所述分布式数据库为Hbase数据库。
3.根据权利要求1或2所述的大数据分析方法，其特征在于，对所述分析结果配置数据缓存服务器进行缓存的步骤包括：
配置第一缓存服务器与第二缓存服务器；
将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；
当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
4.根据权利要求3所述的大数据分析方法，其特征在于，对所述分析结果配置数据缓存服务器进行缓存的步骤还包括：
淘汰所述第一缓存服务器中访问时间最早的分析结果数据；
将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
清除所述第二缓存服务器中存储时间最早的分析结果数据。
5.根据权利要求3所述的大数据分析方法，其特征在于，对所述分析结果配置数据缓存服务器进行缓存的步骤还包括：
淘汰所述第一缓存服务器中在预设时间内访问次数最少的分析结果数据；
将所述第一缓存服务器中淘汰的分析结果数据转移至所述第二缓存服务器；
清除所述第二缓存服务器中存储时间最早的分析结果数据。
6.大数据分析系统，其特征在于，所述系统包括：
获取单元，所述获取单元用于获取目标时间段内用户访问的大数据信息；
存储单元，所述存储单元用于将所述大数据信息按时间分片存储在分布式数据库中；
执行单元，所述执行单元用于基于预定规则对存储在所述分布式数据库中的大数据信息执行数据分析任务，得到分析结果；
缓存单元，所述缓存单元用于对所述分析结果配置数据缓存服务器进行缓存；以及
输出单元，所述输出单元用于在获取到前端的数据查询请求时，依据数据查询请求的参数在所述数据缓存服务器中调用对应的分析结果数据作为查询结果，输出查询结果至前端并进行可视化展示。
7.根据权利要求6所述的大数据分析系统，其特征在于，所述缓存单元包括：
配置模块，所述配置模块用于配置第一缓存服务器与第二缓存服务器；
存储模块，所述存储模块用于将访问次数不大于预设阈值的分析结果数据存储在所述第二缓存服务器中；以及
转移模块，所述转移模块用于当所述第二缓存服务器中的分析结果数据的访问次数大于预设阈值时，将该分析结果数据转移至所述第一缓存服务器。
8.计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任意一项权利要求所述方法的步骤。
9.存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任意一项权利要求所述方法的步骤。
CN202011127437.3A 2020-10-20 2020-10-20 大数据分析方法、系统、计算机设备及其存储介质 Pending CN112269830A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011127437.3A CN112269830A (zh) 2020-10-20 2020-10-20 大数据分析方法、系统、计算机设备及其存储介质
PCT/CN2020/127948 WO2022082892A1 (zh) 2020-10-20 2020-11-11 大数据分析方法、系统、计算机设备及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011127437.3A CN112269830A (zh) 2020-10-20 2020-10-20 大数据分析方法、系统、计算机设备及其存储介质

Publications (1)

Publication Number Publication Date
CN112269830A true CN112269830A (zh) 2021-01-26

Family

ID=74341583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011127437.3A Pending CN112269830A (zh) 2020-10-20 2020-10-20 大数据分析方法、系统、计算机设备及其存储介质

Country Status (2)

Country Link
CN (1) CN112269830A (zh)
WO (1) WO2022082892A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860774A (zh) * 2022-05-19 2022-08-05 宁波奥克斯电气股份有限公司 空调器的大数据实时分析方法、系统、存储介质和空调器
CN114880362A (zh) * 2022-07-08 2022-08-09 中化现代农业有限公司 数据分析系统
CN115033603A (zh) * 2022-06-16 2022-09-09 支付宝(杭州)信息技术有限公司 一种数据存储、数据查询方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145712A (zh) * 2022-09-06 2022-10-04 云账户技术(天津)有限公司 对外服务平台的接口调用方法、装置、设备及介质
CN116489178B (zh) * 2023-04-25 2023-09-22 安徽亚高科技有限公司 一种分布式存储通讯信息的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067920A1 (en) * 2012-08-31 2014-03-06 International Business Machines Corporation Data analysis system
CN108268468A (zh) * 2016-12-30 2018-07-10 北京京东尚科信息技术有限公司 一种大数据的分析方法及系统
CN109359095A (zh) * 2018-09-11 2019-02-19 东华大学 一种大数据快速读取的dlk方法
CN110489427A (zh) * 2019-08-26 2019-11-22 杭州城市大数据运营有限公司 一种数据查询方法、装置、计算机设备和存储介质
CN111046083A (zh) * 2019-12-13 2020-04-21 北京中电普华信息技术有限公司 一种数据分析方法、系统及大数据平台
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067920A1 (en) * 2012-08-31 2014-03-06 International Business Machines Corporation Data analysis system
CN108268468A (zh) * 2016-12-30 2018-07-10 北京京东尚科信息技术有限公司 一种大数据的分析方法及系统
CN109359095A (zh) * 2018-09-11 2019-02-19 东华大学 一种大数据快速读取的dlk方法
CN110489427A (zh) * 2019-08-26 2019-11-22 杭州城市大数据运营有限公司 一种数据查询方法、装置、计算机设备和存储介质
CN111046083A (zh) * 2019-12-13 2020-04-21 北京中电普华信息技术有限公司 一种数据分析方法、系统及大数据平台
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860774A (zh) * 2022-05-19 2022-08-05 宁波奥克斯电气股份有限公司 空调器的大数据实时分析方法、系统、存储介质和空调器
CN115033603A (zh) * 2022-06-16 2022-09-09 支付宝(杭州)信息技术有限公司 一种数据存储、数据查询方法及装置
CN114880362A (zh) * 2022-07-08 2022-08-09 中化现代农业有限公司 数据分析系统

Also Published As

Publication number Publication date
WO2022082892A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
CN112269830A (zh) 大数据分析方法、系统、计算机设备及其存储介质
KR102522274B1 (ko) 사용자 그룹화 방법 및 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
CN108363741B (zh) 大数据统一接口方法、装置、设备及存储介质
CN110019367B (zh) 一种统计数据特征的方法和装置
CN111125107A (zh) 数据处理方法、装置、电子设备和介质
CN113986933A (zh) 物化视图的创建方法、装置、存储介质及电子设备
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN111950857A (zh) 基于业务指标的指标体系管理方法、装置以及电子设备
CN109240893B (zh) 应用运行状态查询方法及终端设备
CN111552506A (zh) 业务规则配置方法、装置及存储介质
CN117609226A (zh) 一种信息流数据存储方法、装置、电子设备和可读介质
CN107169115A (zh) 添加自定义分词的方法及装置
CN110727692B (zh) 用于设置联动图表的方法及装置
CN111984723A (zh) 数据同步方法、装置及终端设备
CN111143464B (zh) 数据获取方法、装置和电子设备
CN111552715B (zh) 用户查询方法和装置
CN113688160A (zh) 数据处理方法、处理装置、电子设备及存储介质
CN114328486A (zh) 基于模型的数据质量核查方法及装置
CN113761415A (zh) 一种页面展示方法和装置
CN113656506B (zh) 一种电子说明书获取方法、装置及可读介质
CN110674401B (zh) 确定搜索项目的顺序的方法、装置和电子设备
CN113282688A (zh) 显示数据的方法、装置、设备和计算机可读介质
CN111625692A (zh) 特征抽取方法、装置、电子设备和计算机可读介质
CN117473950A (zh) 数据显示方法、装置、可读介质及电子设备
CN115617804A (zh) 不间断服务的数据加工方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination