CN111753008A - 一种基于大数据分析的机顶盒收视方法及系统 - Google Patents

一种基于大数据分析的机顶盒收视方法及系统 Download PDF

Info

Publication number
CN111753008A
CN111753008A CN202010614212.4A CN202010614212A CN111753008A CN 111753008 A CN111753008 A CN 111753008A CN 202010614212 A CN202010614212 A CN 202010614212A CN 111753008 A CN111753008 A CN 111753008A
Authority
CN
China
Prior art keywords
data
analysis
unit
structured
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010614212.4A
Other languages
English (en)
Inventor
陈少静
王贵江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Maiyue Information Technology Co ltd
Original Assignee
Zhuhai Maiyue Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Maiyue Information Technology Co ltd filed Critical Zhuhai Maiyue Information Technology Co ltd
Priority to CN202010614212.4A priority Critical patent/CN111753008A/zh
Publication of CN111753008A publication Critical patent/CN111753008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于大数据分析的机顶盒收视统计方法及系统，其特征方法包括步骤：实时接收及Flume程序收集客户端不断上传的海量日志文件；把采集到的数据存储到kafka分布式订阅系统中；对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据后存储到hbase中；使用Hive关联Hbase中的数据，将结构化的数据文件映射为数据库表；使用Hive进行统计汇总，统计结果存储到Mysql中；web页面支撑实时查询hbase中的结构化数据以及Mysql的统计结果报表展示。系统包括数据采集单元，数据的预处理单元，数据清洗单元，数据分析处理单元，数据存储单元，数据统计汇总和呈现单元和可视化单元。本发明使大大的提高机顶盒收集统计数据的处理速度和能力，能支持多元化的信息收集。

Description

一种基于大数据分析的机顶盒收视方法及系统
技术领域
本发明涉及流媒体采集设备技术领域，特别涉及一种利用U盘进行系统强制更新的方法。
背景技术
人们在生活中产生的数据的速度越来越快，要存储这些数据，需要大量的磁盘容量。存储之后，进行数据分析，也需要大量的运行性能，传统的技术，对于海量的数据，单单依靠mysql来处理和分析，已然无法满足和实现我们的需求，在传统的收集方式中，面对客户端每天生成的上亿的数据，mysql接收和处理都有瓶颈。大数据量的存储和统计，mysql无法支撑，甚至导致来不及处理，而造成了堵塞卡顿或者宕机，无法继续进行统计相关的工作。同时，也因为数据过多，mysql查询时间长，达不到秒级实时响应的效果，需要更多的服务器支撑，特别是在机顶盒的收视方面，在需要大访问量的情况下，如果还用传统的方式，会大大的提高了服务器的成本，也加大了运营维护的难度。
发明内容
为了克服以上问题，本发明在提出了一种基于大数据分析的机顶盒收视统计方法的同时，还提出了一种基于大数据分析的机顶盒收视统计系统，该方法及方法用于使机顶盒大大的提高数据的处理速度和能力，能支撑更多的访问量。
本发明的技术方案为：
一种基于大数据分析的机顶盒收视统计方法，其特征在于，包括步骤：
S1，使用http的API接口实时接收及Flume程序收集客户端不断上传的海量日志文件；
S2，把API接口和Flume采集到的数据存储到kafka分布式订阅系统中；
S3，对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据后存储到hbase中；
S4，使用Hive关联Hbase中的数据，将结构化的数据文件映射为数据库表，方便查询和统计；
S5，将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行统计汇总和/或呈现。
进一步地，S5中队存储到Mysql中的数据进行统计汇总和/或呈现的方法包括直接查询Hbase中的结构化数据，对该结构化数据进行离线统计分析，转换生成机器学习需要的数据格式，进行模型训练或汇总分析其使用情况存储到Mysql的数据，进web可视化管理。
进一步地，web可视化管理的方法包括使用前端的echarts插件将数据进行可视化并呈现在web页面中。
进一步地，S3中对Kafka中的数据进行ETL数据清洗的操作的方法包括对数据进行抽取，转换，加载，去除脏数据，最后建立结构化数据存储到hbase中。
一种基于大数据分析的机顶盒收视统计系统，其特征在于包括：
数据采集单元，用于收集客户端不断上传的海量日志文件；
数据的预处理单元，用于将数据采集单元采集到的数据存储到kafka分布式订阅系统中；
数据清洗单元，用于对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据；
数据分析处理单元，用于对结构化的数据文件映射为数据库表，方便查询和统计；
数据存储单元，用于将提取、转化、加载分析过后的有价值的数据进行存储方便汇总统计；
数据统计汇总和呈现单元，用于对数据进行统计汇总和/或通过可视化单元进行呈现；
可视化单元，用于将数据可视化显示。
进一步地，所述数据采集单元采用http的API接口实时接收及采用Flume程序模块收集客户端不断上传的海量日志文件。
进一步地，所述数据清洗单元通过抽取，转换，加载，去除脏数据，建立结构化数据并存储到hbase模块中。
进一步地，所述数据分析处理单元使用Hive关联Hbase中的数据，通过Hive数据仓库工具将结构化的数据文件映射为数据库表。
进一步地，所述数据存储单元包括Mysql模块，通过将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行汇总统计。
进一步地，所述可视化单元包括使用前端的echarts插件将数据进行可视化，呈现在web页面中。
本发明的有益效果为：本方法及系统通过使用hadoop来搭建集群,使用Flume可以把客户端中的不同的数据源的信息收集起来，存储到kafka的分布式系统中，通过对Kafka中数据的进行ETL清洗操作，把数据存到hbase中去，利用hbase的rowkey，可以快速便捷的查询hbase中的数据，高效的解决了接收和处理海量数据的瓶颈，也解决了实时查询响应慢的情况，使用Hive基于Spark的计算引擎，可以完成各种各样的运算，支持分布式计算，大大的提高了统计运算的速度，本申请使用大数据分析机顶盒收视的统计方式及系统，从而大大的提高了机顶盒收集统计数据的处理速度和能力，能支持多元化的信息收集，不仅降低了服务器的成本，也给制定相关销售策略赢得更多的时间。
附图说明
图1为本发明的方法流程图。
具体实施方式
如图1所示，一种基于大数据分析的机顶盒收视统计方法，包括步骤：
S1，使用http的API接口实时接收及Flume程序收集客户端不断上传的海量日志文件，Flume的管道是基于事务的，保证了数据在传送和接收时的一致性。
S2，把API接口和Flume采集到的数据存储到kafka分布式订阅系统中；
S3，编写代码程序，消费Kafka中的数据，并进行ETL数据清洗的操作，通过抽取，转换，加载，去除脏数据，建立结构化数据存储到hbase中；
S4，使用Hive关联Hbase中的数据，Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，底层计算可以使用spark、tez等，SQL语句实现快速MapReduce统计，使MapReduce变得更加简单；
S5，将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行统计汇总和/或呈现。
S5中队存储到Mysql中的数据进行统计汇总和/或呈现的方法包括对于需要实时查询的日志或者其他信息，可以直接查询Hbase中的结构化数据，可以进行离线统计分析，转换生成机器学习需要的数据格式，进行模型训练，可以汇总分析月使用情况存储到Mysql的数据，进web可视化管理。
其中，web可视化管理的方法包括使用前端的echarts插件将数据进行可视化，比如折线图，柱状图，扇形，更加的直观清楚呈现在web页面中。机顶盒分布的区域，可以通过世界地图的方式展现出来，以及机顶盒的每天的访问量，用户喜爱的节目，用户观看时长，在线观看所占的百分比等其它收视相关的都可以一一呈现出来。通过Web可视化管理，使数据发挥了更大的作用，也变得更加有参考的价值性。
一种基于大数据分析的机顶盒收视统计系统，包括：
数据采集单元，用于使用http的API接口实时接收和Flume程序收集客户端不断上传的海量日志文件，Flume的管道是基于事务的，保证了数据在传送和接收时的一致性；
数据的预处理单元，用于将API接口和Flume采集到的数据存储到kafka分布式订阅系统中；
数据清洗单元，用于编写代码程序，消费Kafka中的数据，并进行ETL数据清洗的操作，通过抽取，转换，加载，去除脏数据，建立结构化数据存储到hbase中；
数据分析处理单元，用于使用Hive关联Hbase中的数据，Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，底层计算可以使用spark、tez等。SQL语句实现快速MapReduce统计，使MapReduce变得更加简单。
数据存储单元，将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行汇总统计。数据统计汇总和呈现单元，用于对数据进行统计汇总和/或呈现；
数据统计汇总和呈现单元，用于对需要实时查询的日志或者其他信息，直接查询Hbase中的结构化数据，进行离线统计分析，转换生成机器学习需要的数据格式，进行模型训练，还可以汇总分析月使用情况存储到Mysql的数据，通过可视化单元进行web可视化管理；
可视化单元，用于使用前端的echarts插件将数据进行可视化，比如折线图，柱状图，扇形，更加的直观清楚呈现在web页面中。机顶盒分布的区域，可以通过世界地图的方式展现出来，以及机顶盒的每天的访问量，用户喜爱的节目，用户观看时长，在线观看所占的百分比等其它收视相关的都可以一一呈现出来。通过Web可视化管理，使数据发挥了更大的作用，也变得更加有参考的价值性。
本实施例的方法及系统都通过使用hadoop，可以更加的方便可靠高效的处理和分析这些数据，而且对于实时查询的数据，也能达到秒级的响应。同时因为它的高效性，能够在节点之间动态的移动数据，还可以方便地扩展到数以千计的节点中。支持可伸缩部署，搭建起来比较容易管理和维护。hadoop有高容错性的特点，并且设计用来部署在低廉的硬件上，也大大的降低了项目硬件的成本。Flume的采集，可以定制很多的数据源，减少开发量。Spark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序，可以独立在集群中，也可以运行在Hadoop中，提高了统计数据的速度。
以上所属实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制，应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于大数据分析的机顶盒收视统计方法，其特征在于，包括步骤：
S1，使用http的API接口实时接收及Flume程序收集客户端不断上传的海量日志文件；
S2，把API接口和Flume采集到的数据存储到kafka分布式订阅系统中；
S3，对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据后存储到hbase中；
S4，使用Hive关联Hbase中的数据，将结构化的数据文件映射为数据库表，方便查询和统计；
S5，将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行统计汇总和/或呈现。
2.如权利要求1所述的基于大数据分析的机顶盒收视统计方法，其特征在于：S5中队存储到Mysql中的数据进行统计汇总和/或呈现的方法包括直接查询Hbase中的结构化数据，对该结构化数据进行离线统计分析，转换生成机器学习需要的数据格式，进行模型训练或汇总分析其使用情况存储到Mysql的数据，进web可视化管理。
3.如权利要求2所述的基于大数据分析的机顶盒收视统计方法，其特征在于：web可视化管理的方法包括使用前端的echarts插件将数据进行可视化并呈现在web页面中。
4.如权利要求1所述的基于大数据分析的机顶盒收视统计方法，其特征在于：S3中对Kafka中的数据进行ETL数据清洗的操作的方法包括对数据进行抽取，转换，加载，去除脏数据，最后建立结构化数据存储到hbase中。
5.一种基于大数据分析的机顶盒收视统计系统，其特征在于包括：
数据采集单元，用于收集客户端不断上传的海量日志文件；
数据的预处理单元，用于将数据采集单元采集到的数据存储到kafka分布式订阅系统中；
数据清洗单元，用于对Kafka中的数据进行ETL数据清洗的操作，建立结构化数据；
数据分析处理单元，用于对结构化的数据文件映射为数据库表，方便查询和统计；
数据存储单元，用于将提取、转化、加载分析过后的有价值的数据进行存储方便汇总统计；
数据统计汇总和呈现单元，用于对数据进行统计汇总和/或通过可视化单元进行呈现；
可视化单元，用于将数据可视化显示。
6.如权利要求5所述的基于大数据分析的机顶盒收视统计系统，其特征在于：所述数据采集单元采用http的API接口实时接收及采用Flume程序模块收集客户端不断上传的海量日志文件。
7.如权利要求5所述的基于大数据分析的机顶盒收视统计系统，其特征在于：所述数据清洗单元通过抽取，转换，加载，去除脏数据，建立结构化数据并存储到hbase模块中。
8.如权利要求5所述的基于大数据分析的机顶盒收视统计系统，其特征在于：所述数据分析处理单元使用Hive关联Hbase中的数据，通过Hive数据仓库工具将结构化的数据文件映射为数据库表。
9.如权利要求5所述的基于大数据分析的机顶盒收视统计系统，其特征在于：所述数据存储单元包括Mysql模块，通过将Hive进行数据提取、转化、加载分析过后的有价值的数据存储到Mysql中，进行汇总统计。
10.如权利要求5所述的基于大数据分析的机顶盒收视统计系统，其特征在于：所述可视化单元包括使用前端的echarts插件将数据进行可视化，呈现在web页面中。
CN202010614212.4A 2020-06-30 2020-06-30 一种基于大数据分析的机顶盒收视方法及系统 Pending CN111753008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010614212.4A CN111753008A (zh) 2020-06-30 2020-06-30 一种基于大数据分析的机顶盒收视方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614212.4A CN111753008A (zh) 2020-06-30 2020-06-30 一种基于大数据分析的机顶盒收视方法及系统

Publications (1)

Publication Number Publication Date
CN111753008A true CN111753008A (zh) 2020-10-09

Family

ID=72676713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614212.4A Pending CN111753008A (zh) 2020-06-30 2020-06-30 一种基于大数据分析的机顶盒收视方法及系统

Country Status (1)

Country Link
CN (1) CN111753008A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286875A (zh) * 2020-10-23 2021-01-29 青岛以萨数据技术有限公司 用于处理实时数据流的系统框架及实时数据流处理方法
CN112380295A (zh) * 2020-11-16 2021-02-19 常州微亿智造科技有限公司 基于工业云边服务的数仓系统
CN113010483A (zh) * 2020-11-20 2021-06-22 云智慧（北京）科技有限公司 一种海量日志管理方法和系统
CN114222170A (zh) * 2021-12-06 2022-03-22 深圳Tcl新技术有限公司 电视节目推荐方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017198227A1 (zh) * 2016-05-19 2017-11-23 中兴通讯股份有限公司 一种交互式网络电视系统及用户数据实时获取方法
CN108416620A (zh) * 2018-02-08 2018-08-17 杭州浮云网络科技有限公司 一种基于大数据的画像数据的智能社交广告投放平台
CN109977125A (zh) * 2019-04-09 2019-07-05 福建奇点时空数字科技有限公司 一种基于网络安全的大数据安全分析平台系统
CN110163722A (zh) * 2019-05-13 2019-08-23 南京邮电大学 用于农产品精准销售的大数据分析系统及分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017198227A1 (zh) * 2016-05-19 2017-11-23 中兴通讯股份有限公司 一种交互式网络电视系统及用户数据实时获取方法
CN108416620A (zh) * 2018-02-08 2018-08-17 杭州浮云网络科技有限公司 一种基于大数据的画像数据的智能社交广告投放平台
CN109977125A (zh) * 2019-04-09 2019-07-05 福建奇点时空数字科技有限公司 一种基于网络安全的大数据安全分析平台系统
CN110163722A (zh) * 2019-05-13 2019-08-23 南京邮电大学 用于农产品精准销售的大数据分析系统及分析方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286875A (zh) * 2020-10-23 2021-01-29 青岛以萨数据技术有限公司 用于处理实时数据流的系统框架及实时数据流处理方法
CN112380295A (zh) * 2020-11-16 2021-02-19 常州微亿智造科技有限公司 基于工业云边服务的数仓系统
CN113010483A (zh) * 2020-11-20 2021-06-22 云智慧（北京）科技有限公司 一种海量日志管理方法和系统
CN114222170A (zh) * 2021-12-06 2022-03-22 深圳Tcl新技术有限公司 电视节目推荐方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111753008A (zh) 一种基于大数据分析的机顶盒收视方法及系统
CN108416620B (zh) 一种基于大数据的画像数据的智能社交广告投放平台
CN107861859B (zh) 一种基于微服务架构的日志管理方法及系统
CN109753502B (zh) 一种基于NiFi的数据采集方法
JP5238800B2 (ja) 更新パラメータを生成および相関するキーワードを表示するための方法および装置
US9047348B2 (en) Event correlation in cloud computing
CN101635655B (zh) 页面性能测试的方法、装置及系统
CN102724059A (zh) 基于MapReduce的网站运行状态监控与异常检测
CN111506660B (zh) 一种热网实时数据仓系统
CN103838867A (zh) 日志处理方法和装置
CN102523131A (zh) 用户上网行为收集方法、分析方法和系统
CN103916293A (zh) 一种监控分析网站用户行为的方法
CN104361022A (zh) 一种基于采集数据统计以及前台展现的方法
CN104951529A (zh) 一种针对网站日志的交互式分析方法
Park et al. Big data meets hpc log analytics: Scalable approach to understanding systems at extreme scale
CN102254024A (zh) 海量数据处理系统及方法
JP2021529367A (ja) データ・キューブの動的増分更新
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN111258973A (zh) Redis慢日志的存储、展示方法、装置、设备和介质
CN114218211A (zh) 数据处理系统、方法、计算机设备以及可读存储介质
CN107357919A (zh) 行为日志查询系统及方法
CN112269779A (zh) 一种用于电力设备缺陷的大数据分析系统和方法
CN116700917A (zh) 一种数据决策平台及使用方法
CN114168624B (zh) 数据分析方法、计算设备及存储介质
CN115619475A (zh) 一种商品推荐方法、商品推荐系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination