CN108446329B - 面向工业时序数据库的自适应数据库分区方法及系统 - Google Patents
面向工业时序数据库的自适应数据库分区方法及系统 Download PDFInfo
- Publication number
- CN108446329B CN108446329B CN201810150077.5A CN201810150077A CN108446329B CN 108446329 B CN108446329 B CN 108446329B CN 201810150077 A CN201810150077 A CN 201810150077A CN 108446329 B CN108446329 B CN 108446329B
- Authority
- CN
- China
- Prior art keywords
- partition
- parameters
- parameter
- analyzed
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2329—Optimistic concurrency control using versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种面向工业时序数据库的自适应数据库分区方法及系统,该方法包括:利用分区参数解析模块接收数据定义操作请求并提取数据定义操作请求中的分区参数;利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。本发明的方法及系统实时更新分区参数及方案存储子库,从而解决了存量数据可能与分区不对应的问题,并且为用户的数据库提供有效、规范的分区。
Description
技术领域
本发明涉及数据库处理技术领域,尤其涉及一种面向工业时序数据库的自适应数据库分区系统方法及系统。
背景技术
7*24小时持续接入的工业时序海量数据,需要通过将数据分区来提高数据组织合理性和数据访问的高效性。工业时序数据库具有自身特有的性质,如具备频率,设备发生版本升级等等,需要根据这些特有性质为工业时序数据库创建一套特有的分区方法和系统,提供分区参数生成、存储和访问功能,以保持工业时序数据分区的合理性和使用高效性。
然而,目前,数据管理系统中很多都有分区功能,但只有基础性的分区创建、添加和删除等功能,没有根据工业时序数据的特性(如频率等)自适应创建以及维护分区的方法。
因此,目前亟待解决的问题是:第一,在数据定义操作(如版本升级等)修改分区参数时,需要避免造成数据与分区无法对应,进而导致读写数据出错;第二,分区参数修改时,避免执行不恰当的数据重分区,影响系统整体性能和造成不必要的资源消耗;第三,系统能够根据接入数据的特性自动适应分区参数,保证分区参数处于最优状态;第四,在数据导入时,能存储到正确的分区中。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的面向工业时序数据库的自适应数据库分区方法及系统。
本发明的一个方面,提供了一种面向工业时序数据库的自适应数据库分区方法,包括以下步骤:利用分区参数解析模块接收数据定义操作请求并提取数据定义操作请求中的分区参数;利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述面向工业时序数据库的自适应数据库分区方法,还包括:利用分区参数提取模块提取分区参数及方案存储子库并发送至分区参数查询模块;利用分区参数查询模块向用户提供分区参数及方案存储子库。
利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:利用参数类型判断单元判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;利用参数相似度判断单元将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
本发明的另一个方面,提供了一种面向工业时序数据库的自适应数据库分区系统,包括:分区参数解析模块,用于接收数据定义操作请求并提取数据定义操作请求中的分区参数;存储子库建立模块,用于根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述面向工业时序数据库的自适应数据库分区系统,还包括:分区参数提取模块,用于提取分区参数及方案存储子库并发送至分区参数查询模块;分区参数查询模块,用于向用户提供分区参数及方案存储子库。
存储子库建立模块包括:参数类型判断单元,用于判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;参数相似度判断单元,用于将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
本发明实施例提供的面向工业时序数据库的自适应数据库分区方法及系统,通过存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,以实时更新分区参数及方案存储子库,从而解决了存量数据可能与分区不对应的问题,并且为用户的数据库提供有效、规范的分区。
另外,实时更新的分区参数及方案存储子库对增量数据采用高效而有针对性的划分,同时可以避免执行不恰当的昂贵的数据重分区操作,避免影响系统整体性能和造成不必要的资源消耗。
同时,本发明对外提供了分区查询功能,可根据用户输入的时间维度、设备维度、以及用户指定的离散化维度值,返回相应的分区,从而为用户提供有效、规范的查询。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例的一种面向工业时序数据库的自适应数据库分区方法的步骤图;
图2为本发明实施例的一种面向工业时序数据库的自适应数据库分区方法的另一步骤图;
图3为本发明实施例的一种面向工业时序数据库的自适应数据库分区系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
根据工业时序数据库的特性,如何自适应的生成数据分区,并将数据按分区参数有效存储和组织,再为对数据的读写操作提供分区信息访问功能以使其能够使用分区信息高效执行。
图1示意性示出了本发明实施例的一种面向工业时序数据库的自适应数据库分区方法的步骤图。参照图1,本发明实施例的面向工业时序数据库的自适应数据库分区方法具体包括以下步骤:
利用分区参数解析模块接收数据定义操作请求并提取数据定义操作请求中的分区参数;利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。其中,分区参数及方案存储子库中包括分区方案和分区参数,分区参数为分区方案属性参数例如分区参数的类型、存储路径等等。工业时序数据库的信息包括设备频率、时间戳以及用户指定的离散化维度。
在实施方式中,利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,具体包括:利用参数类型判断单元判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;利用参数相似度判断单元将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
若解析的分区参数的类型不属于预存分区参数的类型,即,解析的分区参数与预存分区参数的相似度为0,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:用户注册表格,以触发分区参数的创建;根据表格的元数据信息,建立分区计算器;分区计算器与表格的属性名信息一起组合成分区参数及方案存储子库。其中,分区计算器包括时间维度分区计算器、设备维度分区计算器、以及用户指定的离散化维度的分区计算器。例如,在实际应用中(假设无用户指定的离散化维度),用户注册一张名为table的表,触发分区参数创建过程;生成基类型为PartitionCalculator的设备维度分区计算器calculator1,并根据table表属性的频率信息生成时间维度分区计算器calculator2;生成基类型为Table Scheme的分区参数scheme,添加第2步生成的两个分区计算器以及table表的属性信息,并添加两个额外的属性,分别为ptIdGroups以及ptHours,表示设备维度与时间维度的分区信息;将分区参数Scheme序列化HDFS路径/k2data/k2db/sys/table中,分区参数及方案存储子库创建完成。
所述若相似度不是100%,即,相似度在0到100%之间,换句话说,解析的分区参数与预存分区参数部分重叠,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
具体地,接收用户操作触发的分区参数动态改变;提取预存分区参数,并与分区参数动态改变进行对比,得到分区参数的变化,根据分区参数的变化生成新分区函数;新分区函数与预存分区参数中预存分区函数组成分段函数,以生成新分区参数。
例如,在实际应用中(假设无用户指定的离散化维度),用户对某一个表新增一列,并希望在时间T导入新列的数据,此动作触发分区参数更改;从分区参数案存储器中提取出此表对应的分区参数,记预存分区函数为f1;计算新的分区函数(输入为表的所有列的频率,输出为新的分区函数),记为f2;合成分段函数:
此时,分区参数分为两类,一类是预存分区参数,即单个分区函数,一类是新分区参数,即分段函数。
可选地,所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
所述面向工业时序数据库的自适应数据库分区方法,还包括:利用分区参数提取模块提取分区参数及方案存储子库并发送至分区参数查询模块;利用分区参数查询模块向用户提供分区参数及方案存储子库。具体地,用户可输入在时间维度、设备维度以及用户指定的离散化维度中的任一维度上的取值,系统返回相应维度上的分区值;用户输入全部维度的取值,系统返回完整的分区值。
图2为本发明实施例的一种面向工业时序数据库的自适应数据库分区方法的另一步骤图,参见图2,所述面向工业时序数据库的自适应数据库分区方法,还包括:利用分区参数更新模块自适应地定时扫描数据接入存储模块中定时时间段内接入的数据,根据接入数据频率的变化情况,自动更新分区参数,即,自动计算新的分区函数,并与原始分区函数组成分段函数,以生成新分区参数,以得到最优的分区策略。
所述面向工业时序数据库的自适应数据库分区方法,还包括:利用分区参数提取模块提取分区参数及方案存储子库并发送至数据接入存储模块;利用数据接入存储模块实时接入数据,并根据分区参数及方案存储子库对接入的数据进行分区,具体地,根据分区参数及方案存储子库中的分段函数计算出所属的分区,将数据存储到正确的分区下。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图3示意性示出了本发明实施例的一种面向工业时序数据库的自适应数据库分区系统的结构示意图。参照图3,本发明实施例的面向工业时序数据库的自适应数据库分区系统具体包括:分区参数解析模块,用于接收数据定义操作请求并提取数据定义操作请求中的分区参数;存储子库建立模块,用于根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述面向工业时序数据库的自适应数据库分区系统,还包括:分区参数更新模块,用于自适应地定时扫描定时时间段内接入的数据,根据接入数据频率的变化情况,根据接入数据频率的变化情况,自动更新分区参数,即,自动计算新的分区函数,并与原始分区函数组成分段函数,以生成新分区参数,以得到最优的分区策略。
所述面向工业时序数据库的自适应数据库分区系统,还包括:数据接入存储模块,用于实时接入数据,并根据分区参数及方案存储子库对接入的数据进行分区,具体地,根据分区参数及方案存储子库中的分段函数计算出所属的分区,将数据存储到正确的分区下;分区参数提取模块,还用于提取分区参数及方案存储子库并发送至数据接入存储模块。
所述面向工业时序数据库的自适应数据库分区系统,还包括:分区参数提取模块,用于提取分区参数及方案存储子库并发送至分区参数查询模块;分区参数查询模块,用于向用户提供分区参数及方案存储子库。
存储子库建立模块包括:参数类型判断单元,用于判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;参数相似度判断单元,用于将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
本发明的系统的核心是分区参数,物理实现时每张表均对应一个分区参数,物理上一个分区参数即为一个文件。分区参数的创建是由用户注册一张新表这一动作触发的,每当用户注册完一个新的表之后,系统随即自动创建其对应的分区参数。作为一个示例,系统可以支持两个维度上的分区策略:设备维度与时间维度。每个维度对应一个分区计算器,在分区参数创建过程中,分区计算器的创建是最核心的部分。每个分区计算器的本质是一个分区函数,分别以设备特征值以及时间戳作为输入参数,分区函数的结果即为对应维度的分区值。
在设备维度上,本系统对设备特征值的字符串表示求散列值,令设备维度上有50个分区,因此将求得的哈希值对50求余,余数即为设备维度分区值。作为一个示例,哈希函数可以采用目前流行的murmur hash3算法。记设备维度分区为ptIdGroups,则形式化地可表示为如下公式:
ptIdGroups=murmur_hash(Str)%50
作为一个示例,在时间维度上,令一年有20个分区,因此1个时间分区的最长时间跨度由如下公式给出:
3600*24*365/20≈1600000s
记系统所定义任一属性的频率最小为flimit秒,即任一个表中的任一个属性相邻两个有效数据间的时间间隔大于等于flimit秒。因此一个时间分区最多可以存储1600000/flimit个时间戳的数据。假设一个表中所有属性的频率分别为f1,2...n(单位秒),则此表的一个时间分区的时间跨度由如下公式给出:
range=min(fi1,fi2...fij)*(1600000/flimit)
其中fi1,i2...ij为f1,2...n中大于等于flimit频率值(若fi1,i2...ij序列长度为0,则min(fi1,i2...ij)取值为默认值fdefault)。由于range是以秒为单位,那么时间分区值为
ptHours=range/3600
本系统时间分区支持以小时、天、周、月、年为单位,上述公式给出的是以小时为单位的分区值。分区计算器中分区函数是可替换的,针对不同的情景可以选择不同的分区函数。
除分区计算器外,分区参数中还包括对应表的属性名信息,除了原始属性外,分区参数中添加了两个额外的属性,分别代表两个维度上的分区值。分区计算器与属性名信息一起构成了分区参数。分区参数建立成功后,被存储到外部存储系统中,作为示例,本系统可以将其存储到Hadoop HDFS系统中,Hadoop HDFS是一个能够对大量数据进行分布式处理的软件框架,具体方法可以是:将分区参数序列化,将其存储到Hadoop HDFS的一个特定目录下,文件名即为此分区参数对应的表名,通过这种机制来确定任一张表分区参数的存储路径。
本系统同样提供了一系列的针对分区信息查询的API(Application ProgrammingInterface,应用程序编程接口)。大体上可分为以下两类:根据设备特征属性值或用户指定的离散化维度取值与时间戳获取相应维度的分区值;根据时间维度分区值获取其对应的时间范围。
作为示例,本系统提供的API实现可以是通过从HDFS中获取对应表的分区参数,根据分区参数中的分区计算器计算出相应的结果。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
此外,本发明另一实施例还提供了一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行如上述任一实施例所述的面向工业时序数据库的自适应数据库分区方法。
本发明实施例提供的面向工业时序数据库的自适应数据库分区方法及系统,通过存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,以实时更新分区参数及方案存储子库,从而解决了存量数据可能与分区不对应的问题,并且为用户的数据库提供有效、规范的分区。
另外,实时更新的分区参数及方案存储子库对增量数据采用高效而有针对性的划分,同时可以避免执行不恰当的昂贵的数据重分区操作,避免影响系统整体性能和造成不必要的资源消耗。
同时,本发明对外提供了分区查询功能,可根据用户输入的时间维度、设备维度、以及用户指定的离散化维度值,返回相应的分区,从而为用户提供有效、规范的查询。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种面向工业时序数据库的自适应数据库分区方法,其特征在于,包括以下步骤:
利用分区参数解析模块接收数据定义操作请求并提取数据定义操作请求中的分区参数;
利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库;所述分区参数为分区方案属性参数;所述工业时序数据库的信息包括设备频率、时间戳以及用户指定的离散化维度;
所述根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
用户注册表格,以触发分区参数的创建;
根据表格的元数据信息,建立分区计算器;
分区计算器与表格的属性名信息一起组合成分区参数及方案存储子库;
其中,分区计算器包括时间维度分区计算器、设备维度分区计算器以及用户指定的离散化维度的分区计算器。
2.根据权利要求1所述的方法,其特征在于,还包括:
利用分区参数提取模块提取分区参数及方案存储子库并发送至分区参数查询模块;
利用分区参数查询模块向用户提供分区参数及方案存储子库。
3.根据权利要求2所述的方法,其特征在于,利用存储子库建立模块根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
利用参数类型判断单元判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;
利用参数相似度判断单元将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
4.根据权利要求3所述的方法,其特征在于,所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;
将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
5.根据权利要求3所述的方法,其特征在于,所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
6.一种面向工业时序数据库的自适应数据库分区系统,其特征在于,包括:
分区参数解析模块,用于接收数据定义操作请求并提取数据定义操作请求中的分区参数;
存储子库建立模块,用于根据解析的分区参数查找预存分区参数,并将解析的分区参数与预存分区参数进行对比,当解析的分区参数与预存分区参数不一致时,根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库;所述分区参数为分区方案属性参数;所述工业时序数据库的信息包括设备频率、时间戳以及用户指定的离散化维度;
所述根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
用户注册表格,以触发分区参数的创建;
根据表格的元数据信息,建立分区计算器;
分区计算器与表格的属性名信息一起组合成分区参数及方案存储子库;
其中,分区计算器包括时间维度分区计算器、设备维度分区计算器以及用户指定的离散化维度的分区计算器。
7.根据权利要求6所述的系统,其特征在于,还包括:
分区参数提取模块,用于提取分区参数及方案存储子库并发送至分区参数查询模块;
分区参数查询模块,用于向用户提供分区参数及方案存储子库。
8.根据权利要求7所述的系统,其特征在于,存储子库建立模块包括:
参数类型判断单元,用于判断解析的分区参数的类型是否属于预存分区参数的类型,若不属于,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,若属于,则将解析的分区参数发送至参数相似度判断单元;
参数相似度判断单元,用于将解析的分区参数与预存分区参数进行对比,计算相似度并判断相似度是否为100%,若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库。
9.根据权利要求8所述的系统,其特征在于,所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
将解析的分区参数与重叠部分的预存分区参数进行对比,找出解析的分区参数与相似的预存分区参数之间的不同部分;
将解析的分区参数与重叠部分的预存分区参数之间的不同部分并入重叠部分的预存分区参数中,以新建分区参数及方案存储子库。
10.根据权利要求8所述的系统,其特征在于,所述若相似度不是100%,则根据解析的分区参数在工业时序数据库中新建分区参数及方案存储子库,包括:
直接将解析的分区参数覆盖重叠部分的预存分区参数,以新建分区参数及方案存储子库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810150077.5A CN108446329B (zh) | 2018-02-13 | 2018-02-13 | 面向工业时序数据库的自适应数据库分区方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810150077.5A CN108446329B (zh) | 2018-02-13 | 2018-02-13 | 面向工业时序数据库的自适应数据库分区方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108446329A CN108446329A (zh) | 2018-08-24 |
CN108446329B true CN108446329B (zh) | 2021-03-12 |
Family
ID=63192331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810150077.5A Active CN108446329B (zh) | 2018-02-13 | 2018-02-13 | 面向工业时序数据库的自适应数据库分区方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108446329B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046183A (zh) * | 2019-04-16 | 2019-07-23 | 北京易沃特科技有限公司 | 一种时序数据聚合检索方法、设备及介质 |
CN111046081B (zh) * | 2019-12-06 | 2023-09-12 | 和利时卡优倍科技有限公司 | 一种工业时序数据的访问方法及系统 |
CN112163013A (zh) * | 2020-09-08 | 2021-01-01 | 深圳市汉云科技有限公司 | 数据处理方法、装置、终端设备及存储介质 |
CN117370329B (zh) * | 2023-12-07 | 2024-02-27 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441738A (zh) * | 2007-12-24 | 2009-05-27 | 北京奥腾讯达科技有限公司 | 分区仓储管理系统 |
CN106462601A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 针对多盘区操作的原子写入 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101145158A (zh) * | 2007-06-06 | 2008-03-19 | 中兴通讯股份有限公司 | 一种数据库表分区的方法 |
CN101876983B (zh) * | 2009-04-30 | 2012-11-28 | 国际商业机器公司 | 数据库分区方法与系统 |
US10133745B2 (en) * | 2015-12-17 | 2018-11-20 | Druva Technologies Pte. Ltd. | Active repartitioning in a distributed database |
CN107171825B (zh) * | 2017-04-11 | 2020-09-25 | Tcl移动通信科技(宁波)有限公司 | 一种终端的重复日志过滤方法 |
-
2018
- 2018-02-13 CN CN201810150077.5A patent/CN108446329B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441738A (zh) * | 2007-12-24 | 2009-05-27 | 北京奥腾讯达科技有限公司 | 分区仓储管理系统 |
CN106462601A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 针对多盘区操作的原子写入 |
Non-Patent Citations (2)
Title |
---|
"Improved Privacy-Preserving Bayesian Network Parameter Learing on Vertically Partitioned Data";Zhiqiang Yang等;《Proceedings of the 21st International Conference on Data Engineering》;20051231;1-10 * |
"Sybase ASE新特性表分区和并行查询的应用";刘国民;《计算机应用》;20040630;第24卷;124-125 * |
Also Published As
Publication number | Publication date |
---|---|
CN108446329A (zh) | 2018-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446329B (zh) | 面向工业时序数据库的自适应数据库分区方法及系统 | |
CN110674432B (zh) | 二级缓存方法、装置及计算机可读存储介质 | |
US20160357740A1 (en) | Metadata Updating Method and Apparatus Based on Columnar Storage in Distributed File System, and Host | |
WO2019085474A1 (zh) | 计算引擎实现方法、电子装置及存储介质 | |
CN101021875A (zh) | 面向对象的数据库访问方法及系统 | |
US9384202B1 (en) | Gateway module to access different types of databases | |
US11734258B2 (en) | Constraint data statistics | |
US11468093B2 (en) | Synopsis based advanced partition elimination | |
US9235613B2 (en) | Flexible partitioning of data | |
CN105373541A (zh) | 数据库的数据操作请求的处理方法和系统 | |
US11308060B2 (en) | Method, apparatus, device and storage medium for managing index | |
US11681691B2 (en) | Presenting updated data using persisting views | |
CN111984659B (zh) | 数据更新方法、装置、计算机设备和存储介质 | |
US20190065551A1 (en) | Data providing apparatus and data providing method | |
US10289620B1 (en) | Reporting and data governance management | |
CN105138649A (zh) | 数据的搜索方法、装置及终端 | |
CN108256019A (zh) | 数据库主键生成方法、装置、设备及其存储介质 | |
CN111666302A (zh) | 用户排名的查询方法、装置、设备及存储介质 | |
CN111008198A (zh) | 业务数据获取方法、装置、存储介质、电子设备 | |
US10318524B2 (en) | Reporting and data governance management | |
CN115963987A (zh) | 分布式存储方法、装置、设备及计算机可读存储介质 | |
CN114579617A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
US20180232416A1 (en) | Distribute execution of user-defined function | |
CN113268483A (zh) | 请求处理方法和装置、电子设备和存储介质 | |
CN111090670A (zh) | 一种数据预聚合的方法、系统、计算设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |