CN112818006B - 可扩展数据计算平台 - Google Patents
可扩展数据计算平台 Download PDFInfo
- Publication number
- CN112818006B CN112818006B CN202110151718.0A CN202110151718A CN112818006B CN 112818006 B CN112818006 B CN 112818006B CN 202110151718 A CN202110151718 A CN 202110151718A CN 112818006 B CN112818006 B CN 112818006B
- Authority
- CN
- China
- Prior art keywords
- unit
- data
- layer module
- real
- computing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010410 layer Substances 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000004913 activation Effects 0.000 claims abstract description 13
- 239000002346 layers by function Substances 0.000 claims abstract description 13
- 238000010223 real-time analysis Methods 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 12
- 241000282813 Aepyceros melampus Species 0.000 claims description 4
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013500 data storage Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了可扩展数据计算平台，包括数据源模块、采集层模块、数据层模块、功能层模块和应用层模块；所述数据源模块内部设有业务数据库单元、埋点数据单元、APP激活数据单元和数据采集单元，所述数据源模块连接采集层模块，所述采集层模块内部设有Flume单元、Python单元、Kafka单元和Flink单元。本申请支持大规模数据量，支持可扩展的数据服务，支持复杂的数据计算需求，为后续的各种数据计算提供基础的服务。除了提供基础的数据和计算服务，还提供了应用层级的各种数据支持，基本满足各种业务需要，而且拥有高可用的数据存储和计算、复杂的数据计算、可扩展多种数据服务，包括实时计算、离线计算等、大规模数据和复杂的任务处理。
Description
技术领域
本申请涉及一种数据计算平台，具体是可扩展数据计算平台。
背景技术
在计算机科学中，数据是指所有能输入计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。计算机存储和处理的对象十分广泛，表示这些对象的数据也随之变得越来越复杂，信息与数据既有联系，又有区别。数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。而信息是数据的内涵，信息是加载于数据之上，对数据作具有含义的解释。数据和信息是不可分离的，信息依赖数据来表达，数据则生动具体表达出信息。数据是符号，是物理性的，信息是对数据进行加工处理之后所得到的并对决策产生影响的数据，是逻辑性和观念性的；数据是信息的表现形式，信息是数据有意义的表示。数据是信息的表达、载体，信息是数据的内涵，是形与质的关系。数据本身没有意义，数据只有对实体行为产生影响时才成为信息。
目前使用较多的数据平台解决方案，采用hadoop集群，可支持大数据量，但报表展现单一，不支持多表查询和复杂的数据查询，只能用于简单的数据展示，一般较好的解决方案软件价格昂贵，并且使用较为复杂；一些较简单易用的数据处理平台，以ES为存储引擎，但功能单一，无法提供复杂的计算，。并且不支持大规模数据，数据无法保留很长时间。因此，针对上述问题提出可扩展数据计算平台。
发明内容
可扩展数据计算平台，包括数据源模块、采集层模块、数据层模块、功能层模块和应用层模块；
所述数据源模块内部设有业务数据库单元、埋点数据单元、APP激活数据单元和数据采集单元，所述数据源模块连接采集层模块，所述采集层模块内部设有Flume单元、Python单元、Kafka单元和Flink单元；
所述采集层模块连接数据层模块，所述数据层模块内部设有Hive单元、Mysql单元、Kudu单元、Hbase单元和Redis单元，所述数据层模块连接功能层模块，所述功能层模块内部设有机器学习单元、数据离线分析单元、数据实时分析单元、数据准实时分析单元和任务调度单元，所述功能层模块连接应用层模块，所述数据离线分析单元连接Hive单元，所述Kudu单元连接数据准实时分析单元，所述Flink单元连接数据实时分析单元；
所述应用层模块内部设有BI报表单元、Cboard单元、数据接口单元、推荐单元、Push单元、BI实时报表单元、业务库支持单元和微信邮件单元，所述BI报表单元连接数据离线分析单元，所述数据准实时分析单元连接BI实时报表单元和业务库支持单元，所述数据实时分析单元连接Cboard单元和数据接口单元，所述任务调度单元连接推荐单元和Push单元，所述微信邮件单元与机器学习单元连接，且任务调度单元分别与机器学习单元、数据离线分析单元、数据准实时分析单元和数据实时分析单元连接，所述数据接口单元连接Mysql单元和Redis单元。
进一步地，所述Flume单元连接Kafka单元，所述Kafka单元连接Flink单元。
进一步地，所述Hive单元内部存储有长时间大规模离线数据。
进一步地，所述Mysql单元内部存储有小数据量数据。
进一步地，所述Kudu单元内部存储有实时数据，所述Flink单元采用Java和Scala编写。
进一步地，所述Hbase单元和Redis单元内部均存储用于查询的数据。
进一步地，所述数据离线分析单元采用hive作为计算引擎MR、TEZ。
进一步地，所述数据准实时分析单元采用impala接入kudu。
进一步地，所述数据实时分析单元采用Flink接入kafka数据。
进一步地，所述业务数据库单元、埋点数据单元和APP激活数据单元均连接Flume单元。
本申请的有益效果是：本申请提供了一种可支持大规模数据量可扩展数据计算平台。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请一种实施例的系统框架示意图。
图中：1、BI报表单元，2、功能层模块，3、机器学习单元，4、数据离线分析单元，5、数据层模块，6、Hive单元，7、Mysql单元，8、采集层模块，9、Python单元，10、业务数据库单元，11、埋点数据单元，12、Kafka单元，13、APP激活数据单元，14、数据采集单元，15、数据源模块，16、Flink单元，17、Kudu单元，18、Hbase单元，19、Redis单元，20、数据实时分析单元，21、数据准实时分析单元，22、任务调度单元，23、Cboard单元，24、数据接口单元，25、推荐单元，26、Push单元，27、BI实时报表单元，28、业务库支持单元，29、应用层模块，30、微信邮件单元，31、Flume单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参阅图1所示，可扩展数据计算平台，包括数据源模块15、采集层模块8、数据层模块5、功能层模块2和应用层模块29；
所述数据源模块15内部设有业务数据库单元10、埋点数据单元11、APP激活数据单元13和数据采集单元14，所述数据源模块15连接采集层模块8，所述采集层模块8内部设有Flume单元31、Python单元9、Kafka单元12和Flink单元16；
所述采集层模块8连接数据层模块5，所述数据层模块5内部设有Hive单元6、Mysql单元7、Kudu单元17、Hbase单元18和Redis单元19，所述数据层模块5连接功能层模块2，所述功能层模块2内部设有机器学习单元3、数据离线分析单元4、数据实时分析单元20、数据准实时分析单元21和任务调度单元22，所述功能层模块2连接应用层模块29，所述数据离线分析单元4连接Hive单元6，所述Kudu单元17连接数据准实时分析单元21，所述Flink单元16连接数据实时分析单元20；
所述应用层模块29内部设有BI报表单元1、Cboard单元23、数据接口单元24、推荐单元25、Push单元26、BI实时报表单元27、业务库支持单元28和微信邮件单元30，所述BI报表单元1连接数据离线分析单元4，所述数据准实时分析单元21连接BI实时报表单元27和业务库支持单元28，所述数据实时分析单元20连接Cboard单元23和数据接口单元24，所述任务调度单元22连接推荐单元25和Push单元26，所述微信邮件单元30与机器学习单元3连接，且任务调度单元22分别与机器学习单元3、数据离线分析单元4、数据准实时分析单元21和数据实时分析单元20连接，所述数据接口单元24连接Mysql单元7和Redis单元19。
所述Flume单元31连接Kafka单元12，所述Kafka单元12连接Flink单元16；所述Hive单元6内部存储有长时间大规模离线数据；所述Mysql单元7内部存储有小数据量数据；所述Kudu单元17内部存储有实时数据，所述Flink单元16采用Java和Scala编写；所述Hbase单元18和Redis单元19内部均存储用于查询的数据；所述数据离线分析单元4采用hive作为计算引擎MR、TEZ；所述数据准实时分析单元21采用impala接入kudu；所述数据实时分析单元20采用Flink接入kafka数据；所述业务数据库单元10、埋点数据单元11和APP激活数据单元13均连接Flume单元31。
本申请在使用时，本申请中出现的电器元件在使用时均外接连通电源和控制开关，通过数据源模块15可以进行采集数据，业务数据库单元10内部的数据可以输送到采集层模块8内，通过APP激活数据单元13可以进行激活数据，埋点数据单元11和APP激活数据单元13可以将数据输送到采集层模块8，通过数据采集单元14可以进行采集数据；
不同的前台服务有不同的Python单元9接受数据，并将数据发送给APP激活数据单元13，当进入APP激活数据单元13后，此时数据采集单元14停止采集数据，不同的app会消费APP激活数据单元13中的日志数据，通过数据库简单配置可以获得不同数据库的数据，而且从Kafka单元12中拉去数据，并进行简单处理后，写入Hdfs中；
通过Hive单元6可以用于存储长时间，大规模离线数据，通过Mysql单元7可以存储有小数据量数据，主要用户后续数据展示，数据配置和定义，通过Kudu单元17存储有实时数据，通常存储一个月，用于实时数据统计，而且通过Hbase单元18可以存储用于查询的数据，如用户信息，主要服务于离线数据计算，也可以通过Redis单元19存储查询的数据，主要服务于实时数据计算；
之后通过数据离线分析单元4可以进行数据计算，数据离线分析单元4使用hive作为计算引擎MR、TEZ，进行离线计算，可支持大规模的数据计算，而且数据准实时分析单元21可以使用impala接入kudu，进行数据计算，因为是准实时，所以数据量不能存储很长时间，才能实现较为实时的数据计算，数据实时分析单元20使用Flink直接接入kafka数据，进行实时流试计算，这种方式实时性很高，可以处理大规模数据，机器学习单元3主要通过从hadoop集群中获取数据，并通过专业的机器学习服务器进行实时计算，通过任务调度单元22可以可调度各种计算任务，包括离线、实时任务；
通过BI报表单元1自动化配置的报表系统，无需额外开发，就可以将数据以不同的维度展示，支持PC和M端，BI实时报表单27与BI报表单元1方法相同，但数据来源为实时数据，通过推荐单元25可以使数据用于信息流推荐服务使用，而且Cboard单元23可以起到数据查询服务，主要是针对单表的简单查询；复杂查询还是需要BI报表系统；微信邮件单元30在使用过程中，可以同时使用到维修以及邮件系统，微信主要用于报警，和重要数据的快速展示。自动化的邮件系统，给各也业务方使用，无需开发就可以实现邮件发送；
通过应用层模块29将产生的数据同步到各个业务中，同样无需开发，只需要简单的配置，通过Push单元26提供个性化Push所需的数据，而且数据量很大，数据接口单元24可以对外数据接口服务，通常数据存储再redis或者mysql中。
本申请的有益之处在于：
本申请支持大规模数据量，支持可扩展的数据服务，支持复杂的数据计算需求，为后续的各种数据计算提供基础的服务。除了提供基础的数据和计算服务，还提供了应用层级的各种数据支持，基本满足各种业务需要，而且拥有高可用的数据存储和计算、复杂的数据计算、可扩展多种数据服务，包括实时计算、离线计算等、大规模数据和复杂的任务处理。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.可扩展数据计算平台，其特征在于：包括数据源模块(15)、采集层模块(8)、数据层模块(5)、功能层模块(2)和应用层模块(29)；
所述数据源模块(15)内部设有业务数据库单元(10)、埋点数据单元(11)、APP激活数据单元(13)和数据采集单元(14)，所述数据源模块(15)连接采集层模块(8)，所述采集层模块(8)内部设有Flume单元(31)、Python单元(9)、Kafka单元(12)和Flink单元(16)；
所述采集层模块(8)连接数据层模块(5)，所述数据层模块(5)内部设有Hive单元(6)、Mysql单元(7)、Kudu单元(17)、Hbase单元(18)和Redis单元(19)，所述数据层模块(5)连接功能层模块(2)，所述功能层模块(2)内部设有机器学习单元(3)、数据离线分析单元(4)、数据实时分析单元(20)、数据准实时分析单元(21)和任务调度单元(22)，所述功能层模块(2)连接应用层模块(29)，所述数据离线分析单元(4)连接Hive单元(6)，所述Kudu单元(17)连接数据准实时分析单元(21)，所述Flink单元(16)连接数据实时分析单元(20)；
所述应用层模块(29)内部设有BI报表单元(1)、Cboard单元(23)、数据接口单元(24)、推荐单元(25)、Push单元(26)、BI实时报表单元(27)、业务库支持单元(28)和微信邮件单元(30)，所述BI报表单元(1)连接数据离线分析单元(4)，所述数据准实时分析单元(21)连接BI实时报表单元(27)和业务库支持单元(28)，所述数据实时分析单元(20)连接Cboard单元(23)和数据接口单元(24)，所述任务调度单元(22)连接推荐单元(25)和Push单元(26)，所述微信邮件单元(30)与机器学习单元(3)连接，且任务调度单元(22)分别与机器学习单元(3)、数据离线分析单元(4)、数据准实时分析单元(21)和数据实时分析单元(20)连接，所述数据接口单元(24)连接Mysql单元(7)和Redis单元(19)。
2.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述Flume单元(31)连接Kafka单元(12)，所述Kafka单元(12)连接Flink单元(16)。
3.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述Hive单元(6)内部存储有长时间大规模离线数据。
4.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述Mysql单元(7)内部存储有小数据量数据。
5.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述Kudu单元(17)内部存储有实时数据，所述Flink单元(16)采用Java和Scala编写。
6.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述Hbase单元(18)和Redis单元(19)内部均存储用于查询的数据。
7.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述数据离线分析单元(4)采用hive作为计算引擎。
8.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述数据准实时分析单元(21)采用impala接入kudu。
9.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述数据实时分析单元(20)采用Flink接入kafka数据。
10.根据权利要求1所述的可扩展数据计算平台，其特征在于：所述业务数据库单元(10)、埋点数据单元(11)和APP激活数据单元(13)均连接Flume单元(31)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110151718.0A CN112818006B (zh) | 2021-02-04 | 2021-02-04 | 可扩展数据计算平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110151718.0A CN112818006B (zh) | 2021-02-04 | 2021-02-04 | 可扩展数据计算平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818006A CN112818006A (zh) | 2021-05-18 |
| CN112818006B true CN112818006B (zh) | 2024-05-31 |
Family
ID=75861130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110151718.0A Active CN112818006B (zh) | 2021-02-04 | 2021-02-04 | 可扩展数据计算平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818006B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011205131A1 (en) * | 2005-06-16 | 2011-08-25 | Ghassabian, Benjamin Firooz | Data entry system |
| WO2017080169A1 (zh) * | 2015-11-13 | 2017-05-18 | 乐视控股（北京）有限公司 | 视频平台监控分析系统 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN109271412A (zh) * | 2018-09-28 | 2019-01-25 | 中国-东盟信息港股份有限公司 | 智慧城市的实时流数据处理方法及系统 |
| CN109977158A (zh) * | 2019-02-28 | 2019-07-05 | 武汉烽火众智智慧之星科技有限公司 | 公安大数据分析处理系统及方法 |
| CN111258979A (zh) * | 2020-01-16 | 2020-06-09 | 山东大学 | 一种云防护日志系统及其工作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200177476A1 (en) * | 2018-11-29 | 2020-06-04 | Sap Se | Database Platform Integration with Third-Party CRM Services |
-
2021
- 2021-02-04 CN CN202110151718.0A patent/CN112818006B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011205131A1 (en) * | 2005-06-16 | 2011-08-25 | Ghassabian, Benjamin Firooz | Data entry system |
| WO2017080169A1 (zh) * | 2015-11-13 | 2017-05-18 | 乐视控股（北京）有限公司 | 视频平台监控分析系统 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN109271412A (zh) * | 2018-09-28 | 2019-01-25 | 中国-东盟信息港股份有限公司 | 智慧城市的实时流数据处理方法及系统 |
| CN109977158A (zh) * | 2019-02-28 | 2019-07-05 | 武汉烽火众智智慧之星科技有限公司 | 公安大数据分析处理系统及方法 |
| CN111258979A (zh) * | 2020-01-16 | 2020-06-09 | 山东大学 | 一种云防护日志系统及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818006A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106067080B (zh) | 提供可配置工作流能力 | |
| CN110489699B (zh) | 一种异步数据采集方法及系统 | |
| CN109697153A (zh) | 监控方法、监控系统及计算机可读存储介质 | |
| CN103984755A (zh) | 基于多维度模型的油气资源数据要览系统实现方法及系统 | |
| CN104102710A (zh) | 一种海量数据查询方法 | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN108073402A (zh) | 基于Linux系统的kafka集群自动部署方法和装置 | |
| CN114265703B (zh) | 云服务器跨区域算力调度方法、系统及设备 | |
| CN105243163A (zh) | 历史数据归档集成系统及方法 | |
| CN111177237B (zh) | 一种数据处理系统、方法及装置 | |
| CN107193869A (zh) | 工业物联网云平台中数据存取的方法及装置 | |
| CN109271428A (zh) | 数据抽取方法及基于地理信息的数据展示方法 | |
| CN108595605A (zh) | 一种车联网平台数据库的构建方法 | |
| CN108664657A (zh) | 一种大数据任务调度方法、电子设备、存储介质及平台 | |
| US10262055B2 (en) | Selection of data storage settings for an application | |
| CN112115113A (zh) | 数据存储系统、方法、装置、设备以及存储介质 | |
| CN102937984A (zh) | 一种收集数据的系统、客户端和方法 | |
| CN112328569A (zh) | 基于Flume分布式数据收集架构的构建方法 | |
| CN110019246A (zh) | 一种扶贫大数据可视化信息系统 | |
| CN112818006B (zh) | 可扩展数据计算平台 | |
| CN112417838A (zh) | 可配置的自动化报表系统 | |
| CN108334603A (zh) | 一种大数据互动交换系统 | |
| CN115905174A (zh) | 数据库表灵动分合的方法、装置、存储介质及应用服务器 | |
| CN114493719A (zh) | 基于短视频大数据的人工智能广告投放营销推荐系统 | |
| CN114490610A (zh) | 用于数据仓的数据处理方法以及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |