CN106570036B - 基于HBase数据库的数据添加方法和装置 - Google Patents

基于HBase数据库的数据添加方法和装置 Download PDF

Info

Publication number
CN106570036B
CN106570036B CN201510657898.4A CN201510657898A CN106570036B CN 106570036 B CN106570036 B CN 106570036B CN 201510657898 A CN201510657898 A CN 201510657898A CN 106570036 B CN106570036 B CN 106570036B
Authority
CN
China
Prior art keywords
data
rule
identifier
default
increased newly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510657898.4A
Other languages
English (en)
Other versions
CN106570036A (zh
Inventor
陈克凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201510657898.4A priority Critical patent/CN106570036B/zh
Publication of CN106570036A publication Critical patent/CN106570036A/zh
Application granted granted Critical
Publication of CN106570036B publication Critical patent/CN106570036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/217Database tuning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于HBase数据库的数据添加方法和装置。其中,该方法包括:监听是否触发预设增量规则,其中,预设增量规则为在HBase数据库中添加待新增数据的规则;当监听到触发预设增量规则时,按照预设增量规则添加待新增数据至HBase数据库。本申请解决了现有技术中累加待新增数据至数据库中效率较低的技术问题。

Description

基于HBase数据库的数据添加方法和装置
技术领域
本申请涉及计算机领域,具体而言,涉及一种基于HBase数据库的数据添加方法和装置。
背景技术
在对数据的结果进行统计时,若数据量不大,可以使用关系型数据的函数,例如使用sum函数去求满足一定条件的数据进行求和计算。但是如果数据量过大,使用sum函数会使历史统计数据这个过程变得异常缓慢,而且关系型数据对超大数据的支持也不够好。因此使用HBase分布式的数据库保存数据,同时对需要的历史统计数据,进行预计算。
在使用预计算方案的时候,首先会使用分布式任务把现有数据的历史统计数据求出来,保存到统计表中,然后在客户端新增统计数据的时候,从统计表中查询历史统计数据到客户端,然后在客户端把新增数据累加到查询到的历史统计数据中,再将新的历史统计数据保存回统计表中,进行数据的更新。
这样做的缺点是在客户端每一次新增数据的时候,客户端都需要发送请求,来查询统计表的历史统计数据,然后在客户端进行累加后再次发送请求,以保存新的历史统计数据。即为对于一次新增,正常来说客户端只需要发送一个新增请求到服务端就可以了,但是目前的方案需要客户端多发送一次查询请求,把旧的历史统计数据查询到客户端,累加之后再发送修改请求。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于HBase数据库的数据添加方法和装置,以至少解决现有技术中累加待新增数据至数据库中效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种基于HBase数据库的数据添加方法,该方法包括:监听是否触发预设增量规则,其中,所述预设增量规则为在所述HBase数据库中添加待新增数据的规则;以及当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库。
进一步地,监听是否触发预设增量规则包括:获取所述待新增数据的预设标识;判断所述预设标识是否为第一标识,其中,所述第一标识为将所述待新增数据累计到历史统计数据中的标识,所述历史统计数据为所述HBase数据库中已存储的数据;以及在判断出所述预设标识为所述第一标识的情况下,确定触发所述预设增量规则,在判断出所述预设标识为非所述第一标识的情况下,确定未触发所述预设增量规则。
进一步地,当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库包括:在所述HBase数据库中获取目标存储区域,其中,所述目标存储区域为所述待新增数据待增加到所述HBase数据库中的区域;将所述待新增数据累加到所述目标存储区域的所述历史统计数据中,得到累加之后的所述历史统计数据;以及将所述历史统计数据更新为累加之后的所述历史统计数据。
进一步地,所述添加方法还包括:当监听到未触发所述预设增量规则时,判断所述预设标识是否为第二标识,其中,所述第二标识为将所述历史统计数据更新为所述待新增数据的标识;以及在判断出所述预设标识为所述第二标识的情况下,将所述历史统计数据中的数据更新为所述待新增数据。
进一步地,所述添加方法还包括:在判断出所述预设标识非所述第一标识,并且所述预设标识非所述第二标识的情况下,反馈并显示提示信息,其中,所述提示信息用于提示用户所述预设标识非所述第一标识,并且所述预设标识非所述第二标识。
根据本申请实施例的另一方面,还提供了一种基于HBase数据库的数据添加装置,该装置包括:监听单元,用于监听是否触发预设增量规则,其中,所述预设增量规则为在所述HBase数据库中添加待新增数据的规则;以及添加单元,用于当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库。
进一步地,所述监听单元包括:获取模块,用于获取所述待新增数据的预设标识;第一判断模块,用于判断所述预设标识是否为第一标识,其中,所述第一标识为将所述待新增数据累计到历史统计数据中的标识,所述历史统计数据为所述HBase数据库中已存储的数据;以及确定模块,用于在判断出所述预设标识为所述第一标识的情况下,确定触发所述预设增量规则,在判断出所述预设标识为非所述第一标识的情况下,确定未触发所述预设增量规则。
进一步地,所述添加单元包括:获取模块,用于在所述HBase数据库中获取目标存储区域,其中,所述目标存储区域为所述待新增数据待增加到所述HBase数据库中的区域;累加模块,用于将所述待新增数据累加到所述目标存储区域的所述历史统计数据中,得到累加之后的所述历史统计数据;以及第一更新模块,用于将所述历史统计数据更新为累加之后的所述历史统计数据。
进一步地,所述添加装置还包括:第二判断模块,用于当监听到未触发所述预设增量规则时,判断所述预设标识是否为第二标识,其中,所述第二标识为将所述历史统计数据更新为所述待新增数据的标识;以及第二更新模块,用于在判断出所述预设标识为所述第二标识的情况下,将所述历史统计数据中的数据更新为所述待新增数据。
进一步地,所述添加装置还包括:反馈单元,用于在判断出所述预设标识非所述第一标识,并且所述预设标识非所述第二标识的情况下,反馈并显示提示信息,其中,所述提示信息用于提示用户所述预设标识非所述第一标识,并且所述预设标识非所述第二标识。
在本申请实施例中,采用监听是否触发预设增量规则,其中,所述预设增量规则为在所述HBase数据库中添加待新增数据的规则;以及当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库的方式。通过在集群节点监听是否触发预设增量规则,如果监听到该预设增量规则的情况下,将待新增数据添加至HBase数据库即可,相对于现有技术中在添加待新增数据至数据库之前,还需要在数据库中查询原历史统计数据,进而才能增添该待新增数据至数据库中,达到了快速实现数据添加的目的,从而实现了不需要查询原历史统计数据就能将待新增数据增添至原历史统计数据中的技术效果,进而解决了现有技术中累加待新增数据至数据库中效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种基于HBase数据库的数据添加方法的流程图;以及
图2是根据本申请实施例的一种基于HBase数据库的数据添加装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种基于HBase数据库的数据添加方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种基于HBase数据库的数据添加方法的流程图,如图1所示,该方法包括如下步骤S102至步骤S104:
步骤S102,监听是否触发预设增量规则,其中,预设增量规则为在HBase数据库中添加待新增数据的规则。
具体地,增量可以理解为在数据库中添加某项数据或者将待添加的数据覆盖至数据库的原数据中,待新增数据称为普通新增数据;在数据库的原数据中增加待新增数据,进行累计,该待新增数据称为累计到历史统计数据中的数据。为了将普通新增数据和累计到历史统计数据中的数据区分开,在服务端添加表示预设增量规则的代码,来增加类似“增量”的功能,进而,把待添加的数据添加至HBase数据库中。其中,通过在服务端监听是否触发该预设增量规则,来确定是否将待新增数据添加至HBase数据库中。
需要说明的是,对于HBase数据库来说,它提供了一种叫做协处理器的工具,允许用户在服务端添加用户自己的计算逻辑,进而允许用户在服务端制定预设增量规则。
步骤S104,当监听到触发预设增量规则时,按照预设增量规则添加待新增数据至HBase数据库。
具体地,当触发该预设增量规则时,即按照累计到历史统计数据中的数据的操作来添加该待新增数据。
在本申请实施例中,通过在集群节点监听是否触发预设增量规则,如果监听到该预设增量规则的情况下,将待新增数据添加至HBase数据库即可,相对于现有技术中在添加待新增数据至数据库之前,还需要在数据库中查询原历史统计数据,进而才能增添该待新增数据至数据库中,达到了快速实现数据添加的目的,从而实现了不需要查询原历史统计数据就能将待新增数据增添至原历史统计数据中的技术效果,进而解决了现有技术中累加待新增数据至数据库中效率较低的技术问题。
可选地,步骤S102,监听是否触发预设增量规则包括如下步骤S1021至步骤S1025,其中:
步骤S1021,获取待新增数据的预设标识。
步骤S1023,判断预设标识是否为第一标识,其中,第一标识为将待新增数据累计到历史统计数据中的标识,历史统计数据为HBase数据库中已存储的数据。
步骤S1025,在判断出预设标识为第一标识的情况下,确定触发预设增量规则,在判断出预设标识为非第一标识的情况下,确定未触发预设增量规则。
具体地,可通过在待新增数据添加预设标识的方法来区分该待新增数据是普通新增数据还是待累计到历史统计数据中的数据。其中,待新增数据可以为字符串,也可以为字符数组等,当待新增数据为字符串时,可以在字符串的前端或者字符串的尾端加入预设标识,例如,“00”表示第一标识,“01”为非第一标识,当判断出预设标识为第一标识“00”的情况下,表明该待新增数据为待累计到历史统计数据中的数据,此时,确定触发预设增量规则;当判断出预设标识为“01”的情况下,表明该待新增数据为普通新增数据,此时,确定不触发预设增量规则。
又例如,通过判断待新增数据的行主键(rowkey)来判断该数据是普通新增数据,或者是待累计到历史统计数据中的数据,具体地,当检测到待新增数据的rowkey的长度为10的情况下,此时,判断出该待新增数据为普通新增数据,当待新增数据的rowkey的长度为15的情况下,判断出该待新增数据为待累计到历史统计数据中的数据。
可选地,步骤S104当监听到触发预设增量规则时,按照预设增量规则添加待新增数据至HBase数据库包括如下步骤S1041至步骤S1045:
步骤S1041,在HBase数据库中获取目标存储区域,其中,目标存储区域为待新增数据待增加到HBase数据库中的区域。
步骤S1043,将待新增数据累加到目标存储区域的历史统计数据中,得到累加之后的历史统计数据。
步骤S1045,将历史统计数据更新为累加之后的历史统计数据。
具体地,HBase数据库为分布式的数据库,分布于不同的服务器中,即服务器集群中,每个服务器即为一个集群节点。当确定该待新增数据的预设标识为第一标识的情况下,即触发预设增量规则,将该数据添加至HBase数据库中的目标存储区域内,在添加之前,需查找该目标存储区域,即目标存储区域位于哪个集群节点上。
本申请提供的添加方法首先在分布式集群的所有集群节点上进行监控,当待新增数据触发了预设增量规则时,根据HBase的分布规则,可以确定新增数据到达的节点,即旧的统计结果所在的目标存储区域,因此在服务端本地进行的查询旧统计结果比从客户端发送请求到服务端查询要快,并且查询的速度受数据量多少的影响较少。
当查询到待新增数据的目标存储区域之后,将该数据累计到目标存储区域的历史统计数据中,得到累加之后的历史统计数据,并将原历史统计数据更新为累加之后的历史统计数据。
可选地,本申请提供的基于HBase数据库的数据添加方法还包括如下步骤S1至步骤S3:
步骤S1,当监听到未触发预设增量规则时,判断预设标识是否为第二标识,其中,第二标识为将历史统计数据更新为待新增数据的标识。
步骤S3,在判断出预设标识为第二标识的情况下,将历史统计数据中的数据更新为待新增数据。
具体地,若待增量数据的预设标识为非第一标识的情况下,预设增量规则未被触发,此时接续判断预设标识是否为第二标识,例如,判断待增量数据的预设标识是否为“01”,或者判断待增量数据的rowkey的长度是否为15,若判断出预设标识为“01”或者rowkey的长度为15的情况下,在HBase数据库中查询待增量数据的要添加的目标存储区域,并将该目标存储区域内的历史统计结果更新为待增量数据。
可选地,本申请提供的基于HBase数据库的数据添加方法还包括如下步骤S5:
步骤S5,在判断出预设标识非第一标识,并且预设标识非第二标识的情况下,反馈并显示提示信息,其中,提示信息用于提示用户预设标识非第一标识,并且预设标识非第二标识。
例如,判断出待增量的数据的预设标识为“10”或者“11”,由于用户并未定义该标识,因为标识“10”和“11”为非有效标识,此时反馈提示信息至用户,提示用户是否删除待增量数据或者修改待增量数据的预设标识。
对上述实施例的分析可知,用户可以用各种对当前业务最有效的方法来制定预设增量规则,比如:多添加一个预设标识列,包含这一列的待增量数据就进行增量,不包含这一列的就普通新增等。制定预设增量规则的好处是,若用户不清楚放在服务端的增量计算这一步骤,一般也不会知道本申请实施例所提供的数据添加中的增量规则是如何触发的,那么用户就不会把只需要正常新增的数据累加到历史统计数据中,这样在客户端增加了一些容错性。
同时,在添加预设增量规则之后,对于客户端来说,每次新增数据时不再需要先发送查询历史统计结果的请求,相当于减少了一次客户端与服务端的交互,必然可以减少整个流程所消耗的时间。
本申请实施例还提供了一种基于HBase数据库的数据添加装置,该添加装置主要用于执行本申请实施例上述内容所提供的基于HBase数据库的数据添加方法,以下对本申请实施例提供的基于HBase数据库的数据添加装置做具体介绍。
图2是根据本申请实施例的一种基于HBase数据库的数据添加装置的示意图,如图2所示,该装置包括:监听单元10和添加单元20,其中:
监听单元10,用于监听是否触发预设增量规则,其中,预设增量规则为在HBase数据库中添加待新增数据的规则。
具体地,增量可以理解为在数据库中添加某项数据或者将待添加的数据覆盖至数据库的原数据中,待新增数据称为普通新增数据;在数据库的原数据中增加待新增数据,进行累计,该待新增数据称为累计到历史统计数据中的数据。为了将普通新增数据和累计到历史统计数据中的数据区分开,在服务端添加表示预设增量规则的代码,来增加类似“增量”的功能,进而,把待添加的数据添加至HBase数据库中。其中,通过在服务端监听是否触发该预设增量规则,来确定是否将待新增数据添加至HBase数据库中。
需要说明的是,对于HBase数据库来说,它提供了一种叫做协处理器的工具,允许用户在服务端添加用户自己的计算逻辑,进而允许用户在服务端制定预设增量规则。
添加单元20,用于当监听到触发预设增量规则时,按照预设增量规则添加待新增数据至HBase数据库。
具体地,当触发该预设增量规则时,通过添加单元20按照待累计到历史统计数据中的数据的操作来添加该待新增数据。
在本申请实施例中,通过在集群节点监听是否触发预设增量规则,如果监听到该预设增量规则的情况下,将待新增数据添加至HBase数据库即可,相对于现有技术中在添加待新增数据至数据库之前,还需要在数据库中查询原历史统计数据,进而才能增添该待新增数据至数据库中,达到了快速实现数据添加的目的,从而实现了不需要查询原历史统计数据就能将待新增数据增添至原历史统计数据中的技术效果,进而解决了现有技术中累加待新增数据至数据库中效率较低的技术问题。
可选地,监听单元10包括获取模块、第一判断模块和确定模块,其中:
获取模块,用于获取待新增数据的预设标识。
第一判断模块,用于判断预设标识是否为第一标识,其中,第一标识为将待新增数据累计到历史统计数据中的标识,历史统计数据为HBase数据库中已存储的数据。
确定模块,用于在判断出预设标识为第一标识的情况下,确定触发预设增量规则,在判断出预设标识为非第一标识的情况下,确定未触发预设增量规则。
具体地,通过获取模块获取待新增数据的预设标识,可通过在待新增数据添加预设标识的方法来区分该待新增数据是普通新增数据还是待累计到历史统计数据中的数据。其中,待新增数据可以为字符串和字符数组等,当待新增数据为字符串时,可以在字符串的前端或者字符串的尾端加入预设标识,例“00”表示第一标识,“01”为非第一标识,当判断出预设标识为第一标识“00”的情况下,表明该待新增数据为待累计到历史统计数据中的数据,此时,确定触发预设增量规则;当判断出预设标识为“01”的情况下,表明该待新增数据为普通新增数据,此时,确定不触发预设增量规则。
又例如,通过第一判断模块判断待新增数据的行rowkey来判断该数据是普通新增数据,还是待累计到历史统计数据中的数据,具体地,当检测到待新增数据的rowkey的长度为10的情况下,此时,通过确定模块确定出该新增数据为普通新增数据,当待新增数据的rowkey的长度为15的情况下,通过确定模块确定出该新增数据为累计到历史统计数据中的数据。
可选地,添加单元20包括获取模块和累加模块,其中:
获取模块,用于在HBase数据库中获取目标存储区域,其中,目标存储区域为待新增数据待增加到HBase数据库中的区域。
累加模块,用于将待新增数据累加到目标存储区域的历史统计数据中,得到累加之后的历史统计数据。
第一更新模块,用于将历史统计数据更新为累加之后的历史统计数据。
具体地,HBase数据库为分布式的数据库,分布于不同的服务器中,即服务器集群中,每个服务器即为一个集群节点。当确定该待新增数据的预设标识为第一标识的情况下,即触发预设增量规则,将该数据添加至HBase数据库中的目标存储区域内,在添加之前,需通过获取模块获取该目标存储区域,即目标存储区域位于哪个集群节点上。
本申请提供的添加方法先在分布式集群的所有集群节点上进行监听,当监听到待新增数据触发了预设增量规则时,根据HBase的分布规则,可以确定出新增数据到达的节点,即旧的统计结果所在的目标存储区域,因此在服务端本地进行的查询旧统计结果比从客户端发送请求到服务端查询要快,并且查询的速度受数据量多少的影响较少。
当查询到待新增数据的目标存储区域之后,通过累加模块将该数据累计到目标存储区域的历史统计数据中,得到累加之后的历史统计数据,并通过第一更新模块将原历史统计数据更新为累加之后的历史统计数据。
可选地,本申请提供的添加装置还包括第二判断模块和第二更新模块,其中:
第二判断模块,用于当监听到未触发预设增量规则时,判断预设标识是否为第二标识,其中,第二标识为将历史统计数据更新为待新增数据的标识。
第二更新模块,用于在判断出预设标识为第二标识的情况下,将历史统计数据中的数据更新为待新增数据。
具体地,若通过第一判断模块判断出待增量数据的预设标识为非第一标识的情况下,确定出预设增量规则未被触发,此时通过第二判断模块接续判断预设标识是否为第二标识,例如,判断待增量数据的预设标识是否为“01”,或者判断待增量数据的rowkey的长度是否为15,若判断出预设标识为“01”,或者rowkey的长度为15的情况下,在HBase数据库中获取待增量数据的要添加的目标存储区域,并通过第二更新模块将该目标存储区域内的历史统计结果更新为待增量数据。
可选地,本申请提供的添加装置还包括:反馈单元,用于在判断出预设标识非第一标识,并且预设标识非第二标识的情况下,反馈并显示提示信息,其中,提示信息用于提示用户预设标识非第一标识,并且预设标识非第二标识。
例如,判断出待增量的数据的预设标识为“10”或者“11”,由于用户并未定义该标识,因为标识“10”和“11”为非有效标识,此时反馈提示信息至用户,提示用户是否删除待增量数据或者修改待增量数据的预设标识。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种基于HBase数据库的数据添加方法,其特征在于,包括:
监听是否触发预设增量规则,其中,所述预设增量规则为在所述HBase数据库中添加待新增数据的规则;以及
当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库;
其中,监听是否触发预设增量规则包括:
获取所述待新增数据的预设标识;
判断所述预设标识是否为第一标识,其中,所述第一标识为将所述待新增数据累计到历史统计数据中的标识,所述历史统计数据为所述HBase数据库中已存储的数据;以及
在判断出所述预设标识为所述第一标识的情况下,确定触发所述预设增量规则,在判断出所述预设标识为非所述第一标识的情况下,确定未触发所述预设增量规则。
2.根据权利要求1所述的添加方法,其特征在于,当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库包括:
在所述HBase数据库中获取目标存储区域,其中,所述目标存储区域为所述待新增数据待增加到所述HBase数据库中的区域;
将所述待新增数据累加到所述目标存储区域的所述历史统计数据中,得到累加之后的所述历史统计数据;以及
将所述历史统计数据更新为累加之后的所述历史统计数据。
3.根据权利要求1所述的添加方法,其特征在于,所述添加方法还包括:
当监听到未触发所述预设增量规则时,判断所述预设标识是否为第二标识,其中,所述第二标识为将所述历史统计数据更新为所述待新增数据的标识;以及
在判断出所述预设标识为所述第二标识的情况下,将所述历史统计数据中的数据更新为所述待新增数据。
4.根据权利要求3所述的添加方法,其特征在于,所述添加方法还包括:
在判断出所述预设标识非所述第一标识,并且所述预设标识非所述第二标识的情况下,反馈并显示提示信息,其中,所述提示信息用于提示用户所述预设标识非所述第一标识,并且所述预设标识非所述第二标识。
5.一种基于HBase数据库的数据添加装置,其特征在于,包括:
监听单元,用于监听是否触发预设增量规则,其中,所述预设增量规则为在所述HBase数据库中添加待新增数据的规则;以及
添加单元,用于当监听到触发所述预设增量规则时,按照所述预设增量规则添加所述待新增数据至所述HBase数据库;
所述监听单元包括:
获取模块,用于获取所述待新增数据的预设标识;
第一判断模块,用于判断所述预设标识是否为第一标识,其中,所述第一标识为将所述待新增数据累计到历史统计数据中的标识,所述历史统计数据为所述HBase数据库中已存储的数据;以及
确定模块,用于在判断出所述预设标识为所述第一标识的情况下,确定触发所述预设增量规则,在判断出所述预设标识为非所述第一标识的情况下,确定未触发所述预设增量规则。
6.根据权利要求5所述的添加装置,其特征在于,所述添加单元包括:
获取模块,用于在所述HBase数据库中获取目标存储区域,其中,所述目标存储区域为所述待新增数据待增加到所述HBase数据库中的区域;
累加模块,用于将所述待新增数据累加到所述目标存储区域的所述历史统计数据中,得到累加之后的所述历史统计数据;以及
第一更新模块,用于将所述历史统计数据更新为累加之后的所述历史统计数据。
7.根据权利要求5所述的添加装置,其特征在于,所述添加装置还包括:
第二判断模块,用于当监听到未触发所述预设增量规则时,判断所述预设标识是否为第二标识,其中,所述第二标识为将所述历史统计数据更新为所述待新增数据的标识;以及
第二更新模块,用于在判断出所述预设标识为所述第二标识的情况下,将所述历史统计数据中的数据更新为所述待新增数据。
8.根据权利要求7所述的添加装置,其特征在于,所述添加装置还包括:
反馈单元,用于在判断出所述预设标识非所述第一标识,并且所述预设标识非所述第二标识的情况下,反馈并显示提示信息,其中,所述提示信息用于提示用户所述预设标识非所述第一标识,并且所述预设标识非所述第二标识。
CN201510657898.4A 2015-10-13 2015-10-13 基于HBase数据库的数据添加方法和装置 Active CN106570036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510657898.4A CN106570036B (zh) 2015-10-13 2015-10-13 基于HBase数据库的数据添加方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510657898.4A CN106570036B (zh) 2015-10-13 2015-10-13 基于HBase数据库的数据添加方法和装置

Publications (2)

Publication Number Publication Date
CN106570036A CN106570036A (zh) 2017-04-19
CN106570036B true CN106570036B (zh) 2019-11-12

Family

ID=58508159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510657898.4A Active CN106570036B (zh) 2015-10-13 2015-10-13 基于HBase数据库的数据添加方法和装置

Country Status (1)

Country Link
CN (1) CN106570036B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483759A (zh) * 2009-07-09 2012-05-30 诺尔斯克科技公司 用于执行部分数据库的增量更新的方法、系统和装置
CN102591864A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 比对系统中的数据更新方法及装置
CN103488704A (zh) * 2013-09-06 2014-01-01 乐视致新电子科技(天津)有限公司 一种数据存储方法及装置
CN104391910A (zh) * 2014-11-17 2015-03-04 西安交通大学 一种基于HBase的税收统计报表存储与计算的方法
CN104834688A (zh) * 2015-04-20 2015-08-12 北京奇艺世纪科技有限公司 一种二级索引建立方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483759A (zh) * 2009-07-09 2012-05-30 诺尔斯克科技公司 用于执行部分数据库的增量更新的方法、系统和装置
CN102591864A (zh) * 2011-01-06 2012-07-18 上海银晨智能识别科技有限公司 比对系统中的数据更新方法及装置
CN103488704A (zh) * 2013-09-06 2014-01-01 乐视致新电子科技(天津)有限公司 一种数据存储方法及装置
CN104391910A (zh) * 2014-11-17 2015-03-04 西安交通大学 一种基于HBase的税收统计报表存储与计算的方法
CN104834688A (zh) * 2015-04-20 2015-08-12 北京奇艺世纪科技有限公司 一种二级索引建立方法和装置

Also Published As

Publication number Publication date
CN106570036A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
US20210049191A1 (en) Transforming a Data Stream into Structured Data
CN108376118A (zh) 服务发布系统、方法、设备及存储介质
CN107895011B (zh) 会话信息的处理方法、系统、存储介质和电子设备
KR101694285B1 (ko) 질의 분할을 이용한 데이터 스트림 처리 장치 및 방법
Patterson et al. Distributed sparse signal recovery for sensor networks
CN110543512B (zh) 一种信息同步方法,装置及系统
CN107491463B (zh) 数据查询的优化方法和系统
CN109542894B (zh) 用户数据集中存储方法、装置、介质和计算机设备
CN111008109A (zh) 一种监控数据处理方法、装置、电子设备及存储介质
CN111898057A (zh) 资源分发方法和装置
CN109196807A (zh) 网络节点以及操作网络节点以进行资源分发的方法
US7412345B2 (en) System, method, and article of manufacture for obtaining data
CN106570036B (zh) 基于HBase数据库的数据添加方法和装置
CN106446289A (zh) 基于Pinpoint的信息查询方法和装置
CN110134698A (zh) 数据管理方法及相关产品
CN111159131A (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN113377817A (zh) 数据处理方法、系统、设备及存储介质
CN110661660B (zh) 告警信息根源分析方法及装置
CN104750834A (zh) 一种规则的存储方法、匹配方法及装置
CN105335362B (zh) 实时数据的处理方法及系统、即时处理系统
CN107797924A (zh) 一种sql脚本的异常检测方法及其终端
CN113495891B (zh) 一种数据处理方法和装置
CN104579793B (zh) 网络资源的调度方法和系统
CN114051052A (zh) 行为事件配置方法、系统、装置、服务器及存储介质
CN112883253A (zh) 数据处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant