CN107908690B - 一种基于大数据运营分析的数据处理方法 - Google Patents

一种基于大数据运营分析的数据处理方法 Download PDF

Info

Publication number
CN107908690B
CN107908690B CN201711053343.4A CN201711053343A CN107908690B CN 107908690 B CN107908690 B CN 107908690B CN 201711053343 A CN201711053343 A CN 201711053343A CN 107908690 B CN107908690 B CN 107908690B
Authority
CN
China
Prior art keywords
data
hdfs
kafka
real time
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711053343.4A
Other languages
English (en)
Other versions
CN107908690A (zh
Inventor
石光捷
付飞龙
方勇
刘东升
项炤赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinwang Internetwork Technology Co ltd
Original Assignee
Nanjing Xinwang Internetwork Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinwang Internetwork Technology Co ltd filed Critical Nanjing Xinwang Internetwork Technology Co ltd
Priority to CN201711053343.4A priority Critical patent/CN107908690B/zh
Publication of CN107908690A publication Critical patent/CN107908690A/zh
Application granted granted Critical
Publication of CN107908690B publication Critical patent/CN107908690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。

Description

一种基于大数据运营分析的数据处理方法
技术领域
本发明涉及移动互联网领域的网络平台的运营，具体涉及一种基于大数据运营分析的数据处理方法。
背景技术
国家“互联网+”战略推动了移动互联网、云计算、大数据、物联网等产业的高速发展，促进了电子商务快速的发展。目前基于大数据技术的网络平台越来越多，平台业务量也在快速的增长，办理业务的用户越来越多。怎么样才能充分利用好大数据这个工具，怎么合理的分配好平台的资源，本发明提供一种基于大数据运营分析的数据处理方法，利用本方法对平台进行建设，有助于合理分配资源，有助于平台流畅的运转。
发明内容
1、所要解决的技术问题：
本方法的目的提供一种网络平台运营商使用的，对平台业务进行合理处理的方法，通过本方法呈现在平台运营人员面前的是可视化的（比如图表，报表形式），方便运营人员直接对本平台的业务进行操作。
2、技术方案：
一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员， 包括以下步骤：
步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集。上述的源数据的形式通常是网页日志、APP日志和部分业务日志，通过规则引擎预设的规则进行处理可以达到可控制采集范围，控制日志上传方式等等。
步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中。本方法采用的flume系统是分布式的日志收集系统，它可以将各个服务器中的数据收集起来并送到指定的地方去。flume系统中采用了agent，agent里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构。其中的 采用Source或channel或sink配置文件是根据一、数据载体的来源：如文件、缓存、数据库等二、根据数据内容格式：如文本、序列化数据对象、数据库文件等。
其中：source：source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequencegenerator、syslog、http、legacy、自定义。
channel：source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。
sink：sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。
步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗。在本步骤中利用了Flume系统的agent流程将数据进行清洗获得与本平台业务相关的数据。
步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为非实时数据将清洗好的数据导入到Hdfs里创建好的文件目录中。在本步骤中利用的是Flume系统的agent流程中的sink根据数据是否是实时的将数据发送到目的地即Kafka系统或者HDFS文件。其中Kafka是一种分布式消息缓存中间件，用于海量数据的缓存，通过消息队列的方式，对数据进行分发和控制。
步骤五：在上述步骤三中的HDFS目录根据预设的建表规则建立Hive外部表；将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据，并把最终处理结果保存到结果集中。HDFS为布式文件系统，有着高容错性的特点，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。本步骤中利用HDFS的上述的特点处理离线数据，能够有效加快平台的处理器的运行速度。
步骤六：在上述步骤四中的Kafka系统中，根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。具有提供消息的持久化、高吞吐量、支持通过Kafka服务器和消费机集群来分区消息等的优点。
步骤七：将所述结果集中的数据发送到门户网站、大屏；展示出的形式为：用户可配置页面展示样式或/和图标样式。通过上述的步骤可以看出，结果集中是数据就是本平台需要处理的业务，通过上述的一系列的处理将需要处理配置的业务通过用户可配置页面展示样式或/和图标样式呈现在平台的运营人员的面前，运营人员会根据当前的业务具体情况进行配置。
进一步地，在步骤四中非实时数据导入定义好的HDFS目录的方式为：利用Flume系统的HDFSSink将日志批量写入HDFS目录中存储并按照日期分子文件夹存储。本步骤中采用的是批量的方式对数据进行写入，有助于加快数据的处理速度。
进一步地，所述规则引擎设置作业调度和数据格式规则来采集源数据信息。
3、有益效果：
本方法提供了一种网络运营商使用大数据分析的技术对本平台的数据进行处理的方法。在本方法中充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。
附图说明
图1本发明的流程图，
图2为本发明的结构图。
具体实施方式
下面结合附图对本发明进行说明。
如附图2所示，本方法采用的结构依次包括数据源层、数据清洗分发层、实时消息转发、离线数据仓库、数据分析层和展示层。其中：
数据源层的功能是：采集网页日志、APP日志和部分业务日志，通过配置服务器可控制采集范围、日志上传方式等；
数据清洗分发层的功能是：对采集上传的数据进行清洗、分发，进行初步数据过滤，如去重等,支持规则配置便于业务扩展；
实时消息转发的功能是：用于缓存、转发实时消息，是实时分析模块的数据源；
离线数据仓库的功能是：保存较长时间的离线数据信息，并根据业务需要建立不同的数据集，是离线分析的数据源；
数据分析层的功能是：本层的任务调度管理系统支持用户新增数据分析任务，查看/修改作业任务等；离线数据分析模块对数据仓库中的数据进行分析、统计，实时数据分析模块实时消费分布式消息系统；
展示层的功能是：本层展示数据分析层的处理结果到门户网站、大屏等等，用户可配置页面展示样式、图标样式等。
上述结构的数据处理的流程如图1所示包括以下的步骤：
步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；
步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；
步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；
步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为非实时数据将清洗好的数据导入到Hdfs里创建好的文件目录中；
步骤五：在上述步骤三中的HDFS目录根据预设的建表规则建立Hive外部表；将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据，并把最终处理结果保存到结果集中；
步骤六：在上述步骤四中的Kafka系统中，根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中；
步骤七：将所述结果集中的数据发送到门户网站、大屏；展示出的形式为：用户可配置页面展示样式或/和图标样式。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (3)

1.一种基于大数据运营分析的数据处理方法，将平台需要数据通过动画与图表的形式展现给平台的运营人员，其特征在于：
包括以下步骤：
步骤一：采集源数据信息：所述源数据信息包括插码日志、业务日志、基本信息数据和规则引擎；通过规则引擎，读取数据信息，找到对应位置文件，启动Flume系统进行数据采集；
步骤二：数据分类：将步骤一中采集到的数据根据类型的不同，生成对应的Flume系统的Source或channel或sink配置文件，并将生成的Source或channel或sink配置文件分配到Flume系统不同Agent中；
步骤三：清洗数据：Flume系统的各个Agent根据配置文件启动并进行数据采集；在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；
步骤四：对清洗后的数据分类：对在步骤三中清洗好的数据判断数据类型为实时计算数据还是非实时计算数据；如果为实时计算数据，将清洗好的数据导入Kafka系统中进行分析消费，如果为非实时数据将清洗好的数据导入到Hdfs里创建好的文件目录中；
步骤五：在上述步骤三中的HDFS目录根据预设的建表规则建立Hive外部表；将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据，并把最终处理结果保存到结果集中；
步骤六：在上述步骤四中的Kafka系统中，根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中；
步骤七：将所述结果集中的数据发送到门户网站、大屏；展示出的形式为：用户可配置页面展示样式或/和图标样式。
2.根据权利要求1所述的一种基于大数据运营分析的数据处理方法，其特征在于：在步骤四中非实时数据导入定义好的HDFS目录的方式为：利用Flume系统的HDFSSink将日志批量写入HDFS目录中存储并按照日期分子文件夹存储。
3.根据权利要求1所述的一种基于大数据运营分析的数据处理方法，其特征在于：所述规则引擎设置作业调度和数据格式规则来采集源数据信息。
CN201711053343.4A 2017-11-01 2017-11-01 一种基于大数据运营分析的数据处理方法 Active CN107908690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711053343.4A CN107908690B (zh) 2017-11-01 2017-11-01 一种基于大数据运营分析的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711053343.4A CN107908690B (zh) 2017-11-01 2017-11-01 一种基于大数据运营分析的数据处理方法

Publications (2)

Publication Number Publication Date
CN107908690A CN107908690A (zh) 2018-04-13
CN107908690B true CN107908690B (zh) 2021-07-20

Family

ID=61843091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711053343.4A Active CN107908690B (zh) 2017-11-01 2017-11-01 一种基于大数据运营分析的数据处理方法

Country Status (1)

Country Link
CN (1) CN107908690B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519314A (zh) * 2018-05-21 2019-11-29 上海帕科网络科技有限公司 基于大数据技术的航空运营数据采集系统
CN108710694A (zh) * 2018-05-22 2018-10-26 浪潮软件集团有限公司 一种基于Flume的将数据存储为文件的方法及装置
CN109327351B (zh) * 2018-09-12 2020-11-20 拉扎斯网络科技（上海）有限公司 日志数据的实时采集方法、装置、电子设备及存储介质
CN109271412A (zh) * 2018-09-28 2019-01-25 中国-东盟信息港股份有限公司 智慧城市的实时流数据处理方法及系统
CN109815221A (zh) * 2018-12-20 2019-05-28 中科曙光南京研究院有限公司 一种准实时流式数据清洗方法和清洗系统
CN109828988A (zh) * 2019-01-25 2019-05-31 重庆科技学院 一种大数据统计方法及用于大数据统计的系统
CN109885453B (zh) * 2019-02-18 2023-02-28 国家计算机网络与信息安全管理中心 基于流数据处理的大数据平台监控系统
CN110096664B (zh) * 2019-04-03 2021-04-09 北大方正集团有限公司 分布式文本信息处理方法、装置、系统、设备及存储介质
CN110245832A (zh) * 2019-05-08 2019-09-17 上海市第十人民医院 一种基于经济运营数据中心的数据优化方法及系统
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法
CN110222091B (zh) * 2019-06-10 2021-03-30 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN110297871A (zh) * 2019-06-20 2019-10-01 常州冰鉴信息科技有限公司 一种异构数据实时采集的方法
CN110659270A (zh) * 2019-08-19 2020-01-07 苏宁金融科技(南京)有限公司 一种数据处理及传输方法和装置
CN110674143A (zh) * 2019-10-18 2020-01-10 长春理工大学 一种免耕机作业信息监测系统及方法
CN111177237B (zh) * 2019-12-10 2024-02-13 腾讯科技（深圳）有限公司 一种数据处理系统、方法及装置
CN111260210A (zh) * 2020-01-14 2020-06-09 广东南方视觉文化传媒有限公司 一种基于大数据分析的视觉资产管理系统及方法
CN111538720B (zh) * 2020-03-12 2023-07-21 嘉陵江亭子口水利水电开发有限公司 电力行业基础数据清理的方法及系统
CN111427903B (zh) * 2020-03-27 2023-04-21 四川虹美智能科技有限公司 日志信息采集方法及装置
CN111858251B (zh) * 2020-07-22 2024-04-19 上海市大数据中心 一种基于大数据计算技术的数据安全审计方法及系统
CN112328569A (zh) * 2020-07-31 2021-02-05 山东云缦智能科技有限公司 基于Flume分布式数据收集架构的构建方法
CN112632348A (zh) * 2020-12-01 2021-04-09 北京博瑞彤芸科技股份有限公司 一种监控数据的方法、系统和电子设备
CN112686686A (zh) * 2020-12-08 2021-04-20 江苏天智互联科技股份有限公司 一种优惠券管理系统
CN112637076B (zh) * 2020-12-21 2022-08-02 常州微亿智造科技有限公司 工业物联网数据传输Worker服务实现方法及装置
CN112687267A (zh) * 2020-12-22 2021-04-20 同济大学 一种物联网数据语义处理系统
CN112749236A (zh) * 2020-12-29 2021-05-04 食亨(上海)科技服务有限公司 数据仓库的数据维护方法
CN112860803B (zh) * 2021-03-29 2024-05-03 中信银行股份有限公司 一种对账校验的方法、装置、设备及可读存储介质
CN114710481B (zh) * 2021-12-13 2024-08-27 越亮传奇科技股份有限公司 基于大数据的流量话单分析方法、装置、设备及存储介质
CN115796457A (zh) * 2023-02-03 2023-03-14 山东铁路投资控股集团有限公司 一种基于多维数据的人员、企业评级方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020717A (zh) * 2016-05-05 2016-10-12 联想(北京)有限公司 数据处理方法及电子设备
CN106126551A (zh) * 2016-06-13 2016-11-16 浪潮电子信息产业股份有限公司 一种Hbase数据库访问日志的生成方法、装置及系统
CN106777371A (zh) * 2017-01-23 2017-05-31 北京齐尔布莱特科技有限公司 日志收集系统和方法
CN106934024A (zh) * 2017-03-13 2017-07-07 山东浪潮云服务信息科技有限公司 一种数据处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543552B2 (en) * 2012-02-01 2013-09-24 International Business Machines Corporation Detecting statistical variation from unclassified process log

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020717A (zh) * 2016-05-05 2016-10-12 联想(北京)有限公司 数据处理方法及电子设备
CN106126551A (zh) * 2016-06-13 2016-11-16 浪潮电子信息产业股份有限公司 一种Hbase数据库访问日志的生成方法、装置及系统
CN106777371A (zh) * 2017-01-23 2017-05-31 北京齐尔布莱特科技有限公司 日志收集系统和方法
CN106934024A (zh) * 2017-03-13 2017-07-07 山东浪潮云服务信息科技有限公司 一种数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Flume的分布式日志聚合系统的研究;陈军;《科技视界》;20170415;全文 *

Also Published As

Publication number Publication date
CN107908690A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107908690B (zh) 一种基于大数据运营分析的数据处理方法
CN110362544B (zh) 日志处理系统、日志处理方法、终端及存储介质
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
CN108616419B (zh) 一种基于Docker的数据包采集分析系统及其方法
CN109446274B (zh) 大数据平台bi元数据管理的方法和装置
US9584565B1 (en) Methods for generating notifications in a shared workspace
CN109831478A (zh) 基于规则及模型的分布式实时处理智能决策系统及方法
CN110515912A (zh) 日志处理方法、装置、计算机装置及计算机可读存储介质
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN105518644B (zh) 在地图上实时处理并显示社交数据的方法
CN108121742A (zh) 用户分类模型的生成方法及装置
CN108984610A (zh) 一种基于大数据框架离线实时处理数据的方法及系统
CN115033646B (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN106599190A (zh) 基于云计算的动态Skyline查询方法
CN111367953A (zh) 一种资讯数据的流式处理方法及装置
CN105786941B (zh) 一种信息挖掘方法和装置
CN113032252A (zh) 埋点数据的收集方法、装置、客户端设备和存储介质
CN106599189A (zh) 基于云计算的动态Skyline查询装置
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
US20210200734A1 (en) Data structure to array conversion
CN111209314A (zh) 一种电力信息系统海量日志数据实时处理系统
CN113076417A (zh) 政策文件数据处理方法及装置
CN111796993A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN114168624B (zh) 数据分析方法、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant