CN113282568B - 一种iot大数据实时时序流分析应用技术方法 - Google Patents

一种iot大数据实时时序流分析应用技术方法 Download PDF

Info

Publication number
CN113282568B
CN113282568B CN202110453665.8A CN202110453665A CN113282568B CN 113282568 B CN113282568 B CN 113282568B CN 202110453665 A CN202110453665 A CN 202110453665A CN 113282568 B CN113282568 B CN 113282568B
Authority
CN
China
Prior art keywords
data
analysis
real
database
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110453665.8A
Other languages
English (en)
Other versions
CN113282568A (zh
Inventor
熊灿
李伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Umbra Shanghai Network Technology Co ltd
Original Assignee
Umbra Shanghai Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Umbra Shanghai Network Technology Co ltd filed Critical Umbra Shanghai Network Technology Co ltd
Priority to CN202110453665.8A priority Critical patent/CN113282568B/zh
Publication of CN113282568A publication Critical patent/CN113282568A/zh
Application granted granted Critical
Publication of CN113282568B publication Critical patent/CN113282568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种IOT大数据实时时序流分析应用技术方法，其特征在于：包括以下步骤：步骤一：海量数据库建库：S1：对原始数据解析；S2：数据分类结构化存储；S3：数据对象映射到数据库结构建立海量数据库；S4：建立海量数据库索引；S5：低实时性分析服务；步骤二：实时数据分析：S6：缓存产生的海量数据；S7：实时统计分析服务；S8：缓存分析结果。本发明设计合理，引入数据流存储和实时分析流数据手段，将二者有机结合、优势互补的方案，解决海量实时时序数据存储，加快数据查询分析的同时，并为数据实时分析资源调度的技术提供支撑能力。

Description

一种IOT大数据实时时序流分析应用技术方法
技术领域
本发明基于大数据实时时序流分析技术的应用领域，具体涉及一种IOT大数据实时时序流分析应用技术方法。
背景技术
大数据实时时序流分析(Real-time Series FlowAnalysis OfBig Data)的概念是将收集到的海量时序数据根据数据特性，结合领域或者业内的相关知识进行建模与分析，挖掘大数数据中存在的价值，以便于决策者更好地做出决策。在技术逻辑上，大数据实时时序流分析可分为“实时数据收集存储+数据实时分析”。实时数据实时收集存储技术是直接在数据源头对数据进行ETS(Extract-Transform-Save)操作，通过对数据经过提取、转换，最终根据各类数据的属性特征及时序特征对产生的海量数据进行结构化的分布式流存储。而数据实时数据分析技术通过对采集到的实时时序数据按照领域或者业内的相关知识对数据进行实时分析，及时高效的挖掘其价值，以一种更友好的形式实时展示给管理者，以便于发现存在的问题、价值，以及更好的做出决策。大数据的实时收集存储与数据实时分析可视化两者互补，数据的实时收集存储，确保数据的及时性和有效性，在此基础上结合数据的实时分析可视化分析，极大地提升了海量数据分析结果的实时性。在以大数据、物联网、5G为核心的数字化浪潮席卷全球的形势下，大数据实时时序流分析通过统一的数据平台将各领域不同维度的时序数据进行结构化、标准化整合，并对获取到的数据实时分析。通过实现海量数据可存储，海量数据的快速高效查询，海量数据实时分析统计监测，并可通过机器学习和仿真模拟挖掘规律、进行预测，使得海量数据能够为技术、管理人员和其他知识工作者提供了理解数据的新方法，可以显著的提高他们掌握隐藏在数据中的信息的能力，便于运维和管理人员的迅速感知，做出明智决策。
目前基于大数据的物联网应用必然会面对海量、实时数据的高效查询分析统计问题，普通应用方式存在海量的数据存储、高效实时的数据查询统计、分析资源调度、数据实时分析等诸多方面的问题和挑战：
对海量数据存储问题：随着技术的不断发展，现有的各类系统日产生数据量从MB上升至GB，甚至TB量级。对于单个IOT设备，假设每秒产生一百个字节数据量，一天产生的数量大约为85MB,加之系统平台体量涵盖几百至几万的物联设备，整体物联设备数据属于海量级别，用传统方式存储容量扩展必然遇到瓶颈和难度；
对高效查询统计分析问题：由于各类平台面临的海量数据问题，在存储的原始数据上，数据动态查询存在瓶颈和难度，数据分析所需的各种计算性能同样受到影响，传统数据存储方式无法高效、快速的查询分析数据，技术指标达不到2000万条/秒(单核，16字节每记录，全内存)；
对分析资源调度问题：各类系统产生数据的时间点不尽相同，数据量也是很难计算的，这也是大数据的一大特点，不确定性，所以需要一种动态的响应机制，对有限的计算、存储资源合理的配置及调度，如何以最小的成本或得最理想，最快速的分析结果；
对数据实时分析问题：很多系统大数据分析，都是对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储数据，再对所有数据特征进行分析处理，这样分析出来的结果会缺乏实时性，这将无法满足实时性要求较高的分析；
为此，我们提出一种IOT大数据实时时序流分析应用技术方法。
发明内容
本发明的目的在于克服现有技术中存在的上述问题，提供一种IOT大数据实时时序流分析应用技术方法，引入数据流存储和实时分析流数据手段，将二者有机结合、优势互补的方案，解决海量实时时序数据存储，加快数据查询分析的同时，并为数据实时分析资源调度的技术提供支撑能力，同时针对各类系统平台的海量实时时序数据，通过对数据要素及数据特征信息存储，以及对存储数据的结构以及存储方式的优化，建立海量数据数据库支持分析高效查询及实时分析数据。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：
1、一种IOT大数据实时时序流分析应用技术方法，包括以下步骤：
步骤一：海量数据库建库：
S1：对原始数据解析；
S2：数据分类结构化存储；
S3：数据对象映射到数据库结构建立海量数据库；
S4：建立海量数据库索引；
S5：低实时性分析服务；
步骤二：实时数据分析：
S6：缓存产生的海量数据；
S7：实时统计分析服务；
S8：缓存分析结果。
优选的，所述S1中，根据各类系统产生的数据的结构不尽相同，开发一个程序工具，自动解析识别提取数据的要素数据，挖掘数据中存在价值的要素数据，舍弃非必要数据，减少数据量，提高数据质量。
优选的，所述S2中，通过将第一步得到的数据，进一步将数据分类，将数据的静态属性(变动较少的数据)与动态数据(变动较大的数据)分开存储，对数据分类对象化存储，将同一类多对象的静态属性存于一张表以便于多对象的聚合分析，单个对象的动态属性单独存于一张表。
优选的，所述S3中，按照第二部中的思路建好数据库表，将分类好的数据结构化存储到海量数据库，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，提高查询速率，由于单个对象的数据源唯一的特性，这样就可采用无锁追加的方式来写入数据库，这将能大幅提升数据写入速度。
优选的，所述S4中，为提高对形成海量数据集查询效率，必须根据数据的特征及特性建立索引，在创建单个对象动态属性表的时候，以时间戳为主键，默认创建时序索引，根据不同的业务需求建立其他普通索引以及联合索引，从而进一步提升数据库检索引擎效率。
优选的，所述S5中，基于海量数据库，根据结合领域或者业内的相关知识进行建模与分析，每个分析服务其功能尽可能保证单一性，当某个分析服务并发数量较大时，对其进行集群部署，从而提高分析服务的性能。
优选的，所述S6中，根据源头解析处理过后的数据，开发一个程序工具，每产生一条数据就将其转换结构缓存key-value高性能数据库中(假设这样一个数据库支持不了整个系统的瞬间产生的数据，即可对改数据库集群部署，或者增加实时统计分析的服务)，这个软件工具仅且只有这一个功能，由于在大型的互联网系统中每秒产生的数据量较大，因而对这个工具的并发量会相当高，可以直接对其集群部署，从而支持其高并发量。
优选的，所述S7中，基于第一步中key-value高性能数据库缓存的数据，根据需求开发实时分析服务，该服务会对缓存的数据实时轮询(以while(true){分析逻辑}方式实时查询缓存数据，假如存在缓存数据即逐条获取数据分析)，根据生产消费者模式，从key-value高性能数据库缓存的数据列表手部获取一条数据，则从缓存列表首部移除一条数据，减少缓存数据的量，假设每秒系统产生的数据量非常大，可对该实时分析服务进性集群部署，增大消费者的数量。
优选的，所述S8中，在经过实时分析将分析结果缓存到数据库中，如果有业务需求，将逐条数据分析的结果与原有的分析结果合并，同时缓存数据的数据库必须保证每次查询修改数据是原子操作。
与现有技术相比，本发明的有益效果如下：
本发明设计合理，第一：通过从数据源头将数据解析，经过数据要素和特征信息分解提取、转化，对数据归类分类成对象存储，对于同一类的对象其中的一些静态数据存于同一张表以便于对象的聚合操作；对于同一对象单独存一张表，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，成数量级的提升读取和查询速度；将数据按照上述数据结构分布式存储存于海量数据库，提高海量数据存储查询统计效率；
第二：通过从数据源头将数据解析，按照数据的时序特征，以及单个对象的数据源唯一的特性，这样就可采用无锁追加的方式来写入数据库，这将能大幅提升数据写入速度，通过将存储的数据建立时序索引，以及其他必要的关联索引，进一步提升数据的查询统计性能；
第三：通过将数据分析功能拆分为两类，一类实时性较低的分析，一类实时性较高的分析，并保证每个分析服务是单一的统计分析功能；在数据源头获取并解析完成之后，将一份数据按照上述方式存于海量数据库中用于实时性较低的数据查询服务；一份数据存于高性能的key-value数据库，并且过程是数据产生就追加到同一个key列表尾部，同时几个分布式部署实时分析服务对该列表访问，每次访问即从列表头部获取移除，每个分析服务都将高性能的key-value数据库已有分析结果与个自的分析结果合并，并修改到高性能的key-value数据库，从而解决分析资源调度问题及数据实时分析问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的IOT大数据实时时序流分析应用技术方法的流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1所示，一种IOT大数据实时时序流分析应用技术方法，包括以下步骤：
步骤一：海量数据库建库：
S1：对原始数据解析
根据各类系统产生的数据的结构不尽相同，开发一个程序工具，自动解析识别提取数据的要素数据，挖掘数据中存在价值的要素数据，舍弃非必要数据，减少数据量，提高数据质量；
S2：数据分类结构化存储
通过将第一步得到的数据，进一步将数据分类，将数据的静态属性(变动较少的数据)与动态数据(变动较大的数据)分开存储，对数据分类对象化存储，将同一类多对象的静态属性存于一张表以便于多对象的聚合分析，单个对象的动态属性单独存于一张表；
S3：数据对象映射到数据库结构建立海量数据库
按照第二部中的思路建好数据库表，将分类好的数据结构化存储到海量数据库，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，提高查询速率，由于单个对象的数据源唯一的特性，这样就可采用无锁追加的方式来写入数据库，这将能大幅提升数据写入速度；
S4：建立海量数据库索引
为提高对形成海量数据集查询效率，必须根据数据的特征及特性建立索引，在创建单个对象动态属性表的时候，以时间戳为主键，默认创建时序索引，根据不同的业务需求建立其他普通索引以及联合索引，从而进一步提升数据库检索引擎效率；
S5：低实时性分析服务
基于海量数据库，根据结合领域或者业内的相关知识进行建模与分析，每个分析服务其功能尽可能保证单一性，当某个分析服务并发数量较大时，对其进行集群部署，从而提高分析服务的性能；
二、实时数据分析
S6：缓存产生的海量数据
根据源头解析处理过后的数据，开发一个程序工具，每产生一条数据就将其转换结构缓存key-value高性能数据库中(假设这样一个数据库支持不了整个系统的瞬间产生的数据，即可对改数据库集群部署，或者增加实时统计分析的服务)，这个软件工具仅且只有这一个功能，由于在大型的互联网系统中每秒产生的数据量较大，因而对这个工具的并发量会相当高，可以直接对其集群部署，从而支持其高并发量；
S7：实时统计分析服务
基于第一步中key-value高性能数据库缓存的数据，根据需求开发实时分析服务，该服务会对缓存的数据实时轮询(以while(true){分析逻辑}方式实时查询缓存数据，假如存在缓存数据即逐条获取数据分析)，根据生产消费者模式，从key-value高性能数据库缓存的数据列表手部获取一条数据，则从缓存列表首部移除一条数据，减少缓存数据的量，假设每秒系统产生的数据量非常大，可对该实时分析服务进性集群部署，增大消费者的数量；
S8：缓存分析结果
在经过实时分析将分析结果缓存到数据库中，如果有业务需求，将逐条数据分析的结果与原有的分析结果合并，同时缓存数据的数据库必须保证每次查询修改数据是原子操作。
本实施例的一个具体应用为：本发明设计合理，通过从数据源头将数据解析，经过数据要素和特征信息分解提取、转化，对数据归类分类成对象存储，对于同一类的对象其中的一些静态数据存于同一张表以便于对象的聚合操作；对于同一对象单独存一张表，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，成数量级的提升读取和查询速度；将数据按照上述数据结构分布式存储存于海量数据库，提高海量数据存储查询统计效率；
通过从数据源头将数据解析，按照数据的时序特征，以及单个对象的数据源唯一的特性，这样就可采用无锁追加的方式来写入数据库，这将能大幅提升数据写入速度，通过将存储的数据建立时序索引，以及其他必要的关联索引，进一步提升数据的查询统计性能；
通过将数据分析功能拆分为两类，一类实时性较低的分析，一类实时性较高的分析，并保证每个分析服务是单一的统计分析功能；在数据源头获取并解析完成之后，将一份数据按照上述方式存于海量数据库中用于实时性较低的数据查询服务；一份数据存于高性能的key-value数据库，并且过程是数据产生就追加到同一个key列表尾部，同时几个分布式部署实时分析服务对该列表访问，每次访问即从列表头部获取移除，每个分析服务都将高性能的key-value数据库已有分析结果与个自的分析结果合并，并修改到高性能的key-value数据库，从而解决分析资源调度问题及数据实时分析问题。
本发明中所描述的映射方式，不局限于某一种类型的数或某一种数据库，实际实现时按照各自数据结构标准要求进行匹配满足。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (1)

1.一种IOT大数据实时时序流分析应用技术方法，其特征在于：包括以下步骤：
步骤一：海量数据库建库：
S1：对原始数据解析
根据各类系统产生的数据的结构不尽相同，开发一个程序工具，自动解析识别提取数据的要素数据，挖掘数据中存在价值的要素数据，舍弃非必要数据，减少数据量，提高数据质量；
S2：数据分类结构化存储
通过将第一步得到的数据，进一步将数据分类，将数据的静态属性与动态数据分开存储，对数据分类对象化存储，将同一类多对象的静态属性存于一张表以便于多对象的聚合分析，单个对象的动态属性单独存于一张表；
S3：数据对象映射到数据库结构建立海量数据库
按照第二步中的思路建好数据库表，将分类好的数据结构化存储到海量数据库，并且对于单个对象的数据在存储介质上是以块为单位连续存储的，它能大幅减少随机读取操作，提高查询速率，由于单个对象的数据源唯一的特性，采用无锁追加的方式来写入数据库；
S4：建立海量数据库索引
为提高对形成海量数据集查询效率，必须根据数据的特征及特性建立索引，在创建单个对象动态属性表的时候，以时间戳为主键，默认创建时序索引，根据不同的业务需求建立其他普通索引以及联合索引，从而进一步提升数据库检索引擎效率；
S5：低实时性分析服务
基于海量数据库，进行建模与分析，每个分析服务其功能尽可能保证单一性，当某个分析服务并发数量较大时，对其进行集群部署，从而提高分析服务的性能；
步骤二：实时数据分析：
S6：缓存产生的海量数据
根据源头解析处理过后的数据，开发一个程序工具，每产生一条数据就将其转换结构缓存key-value高性能数据库中，这个软件工具仅且只有这一个功能，直接对其集群部署，从而支持其高并发量；
S7：实时统计分析服务
基于第六步中key-value高性能数据库缓存的数据，根据需求开发实时分析服务，该服务会对缓存的数据实时轮询，根据生产消费者模式，从key-value高性能数据库缓存的数据列表首部获取一条数据，则从缓存列表首部移除一条数据，减少缓存数据的量，假设每秒系统产生的数据量非常大，可对该实时分析服务进性集群部署，增大消费者的数量；
S8：缓存分析结果
在经过实时分析将分析结果缓存到数据库中，如果有业务需求，将逐条数据分析的结果与原有的分析结果合并，同时缓存数据的数据库必须保证每次查询修改数据是原子操作。
CN202110453665.8A 2021-04-26 2021-04-26 一种iot大数据实时时序流分析应用技术方法 Active CN113282568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110453665.8A CN113282568B (zh) 2021-04-26 2021-04-26 一种iot大数据实时时序流分析应用技术方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110453665.8A CN113282568B (zh) 2021-04-26 2021-04-26 一种iot大数据实时时序流分析应用技术方法

Publications (2)

Publication Number Publication Date
CN113282568A CN113282568A (zh) 2021-08-20
CN113282568B true CN113282568B (zh) 2022-08-09

Family

ID=77275834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110453665.8A Active CN113282568B (zh) 2021-04-26 2021-04-26 一种iot大数据实时时序流分析应用技术方法

Country Status (1)

Country Link
CN (1) CN113282568B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193674B (zh) * 2023-11-08 2024-03-29 浪潮软件科技有限公司 一种提升物联网设备海量数据存取效能的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794003A (zh) * 2015-02-04 2015-07-22 汉鼎信息科技股份有限公司 一种整合实时和非实时模式的大数据分析系统
CN108536833A (zh) * 2018-04-12 2018-09-14 成都信息工程大学 一种分布式、面向大数据的数据库及其构建方法
CN108876244A (zh) * 2018-06-22 2018-11-23 珠海格力电器股份有限公司 一种物料清单bom的存储查询系统及方法
CN108959369A (zh) * 2018-05-22 2018-12-07 国网浙江省电力有限公司电力科学研究院 一种海量数据平台与大数据平台融合方法
CN110457350A (zh) * 2019-07-24 2019-11-15 阿里巴巴集团控股有限公司 用于在查询数据库中进行聚合查询的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002069172A1 (en) * 2001-02-22 2002-09-06 Didera, Inc. Systems and methods for managing distributed database resources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794003A (zh) * 2015-02-04 2015-07-22 汉鼎信息科技股份有限公司 一种整合实时和非实时模式的大数据分析系统
CN108536833A (zh) * 2018-04-12 2018-09-14 成都信息工程大学 一种分布式、面向大数据的数据库及其构建方法
CN108959369A (zh) * 2018-05-22 2018-12-07 国网浙江省电力有限公司电力科学研究院 一种海量数据平台与大数据平台融合方法
CN108876244A (zh) * 2018-06-22 2018-11-23 珠海格力电器股份有限公司 一种物料清单bom的存储查询系统及方法
CN110457350A (zh) * 2019-07-24 2019-11-15 阿里巴巴集团控股有限公司 用于在查询数据库中进行聚合查询的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TDengine简单了解一下;tooSimple_sz;《博客园》;20190722;全文 *
万字详解TDengine 2.0整体架构设计思路;涛思数据TDengine;《知乎》;20200807;全文 *

Also Published As

Publication number Publication date
CN113282568A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN106934014B (zh) 一种基于Hadoop的网络数据挖掘与分析平台及其方法
CN107391502B (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
JP5427640B2 (ja) 決定木生成装置、決定木生成方法、及びプログラム
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
KR20190062848A (ko) 점진적 학습 모델을 이용한 빅데이터 마이닝 시스템 및 그 방법
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN111159180A (zh) 一种基于数据资源目录构建的数据处理方法及系统
CN104536830A (zh) 一种基于MapReduce的KNN文本分类方法
CN111737325A (zh) 一种基于大数据技术的电力数据分析方法和装置
CN113282568B (zh) 一种iot大数据实时时序流分析应用技术方法
CN109582837A (zh) 一种基于云的可视化数据处理方法及系统
JP2013045208A (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
CN110874366A (zh) 数据处理、查询方法和装置
CN106815320B (zh) 基于拓展三维直方图的调研大数据可视化建模方法及系统
KR101331350B1 (ko) 데이터 큐브를 이용한 대용량 시계열 데이터 관리 방법
CN112306421B (zh) 一种用于存储分析测量数据格式mdf文件的方法和系统
Bharti et al. A Review on Big Data Analytics Tools in Context with Scalability
CN111177227B (zh) 一种电力数据自助式分析系统及决策应用类迁移方法
JP6103021B2 (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
CN113779215A (zh) 数据处理平台
CN111104527A (zh) 一种富媒体文件解析方法
Dritsas et al. An Apache Spark Implementation for Text Document Clustering
Li et al. Application and performance optimization of MapReduce model in image segmentation
Yan et al. Cloud city traffic state assessment system using a novel architecture of big data
Jia et al. Digital media hotspot mining algorithm implementation with complex systems in the mobile internet environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 3330, 1st Floor, Building 8, No. 33 Guangshun Road, Changning District, Shanghai, 200335

Patentee after: Umbra (Shanghai) Network Technology Co.,Ltd.

Address before: 200333 room 200-311, 2nd floor, No.7 Lane 1130, Tongpu Road, Putuo District, Shanghai

Patentee before: Umbra (Shanghai) Network Technology Co.,Ltd.

CP02 Change in the address of a patent holder