CN104899278B - 一种Hbase数据库数据操作日志的生成方法及装置 - Google Patents

一种Hbase数据库数据操作日志的生成方法及装置 Download PDF

Info

Publication number
CN104899278B
CN104899278B CN201510288933.XA CN201510288933A CN104899278B CN 104899278 B CN104899278 B CN 104899278B CN 201510288933 A CN201510288933 A CN 201510288933A CN 104899278 B CN104899278 B CN 104899278B
Authority
CN
China
Prior art keywords
hbase
log recording
data
hbase database
data operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510288933.XA
Other languages
English (en)
Other versions
CN104899278A (zh
Inventor
王恩胜
葛胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201510288933.XA priority Critical patent/CN104899278B/zh
Publication of CN104899278A publication Critical patent/CN104899278A/zh
Application granted granted Critical
Publication of CN104899278B publication Critical patent/CN104899278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种Hbase数据库数据操作日志的生成方法及装置，所述方法包括：Hbase数据库服务端中配置的协处理器，根据监听到的客户端发送的数据操作请求，生成第一日志记录，和/或，根据监听到的数据库服务端对数据操作请求的响应，生成第二日志记录；所述协处理器将所述日志记录存储到预设数据库中。本发明实施例提供的技术方案，实现了对Hbase数据库中所有的数据操作生成数据操作日志，并降低了Hbase数据库中数据操作日志生成的成本。

Description

一种Hbase数据库数据操作日志的生成方法及装置
技术领域
本发明涉及数据库技术领域，尤其涉及一种Hbase数据库数据操作日志的生成方法及装置。
背景技术
当今互联网中的巨大信息量使得整个互联网朝着数据海量化，用户访问高并行化的方向发展，这对在应用中承受巨大负荷的数据库层提出了更高的性能要求，传统技术无法胜任大数据集的分析、管理和挖掘。HBase(Hadoop DataBase)是Apache Hadoop项目下的一款非关系型数据库，它是一个基于列簇的开源数据存储系统，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的应用分布式数据库，可以适应数据的海量增长。随着海量数据时代的到来，关于HBase的研究和应用也受到越来越多的关注。
目前，对于Hbase中数据操作日志的记录，现有技术中是通过开发的Hbase的上层应用系统的接口来操作Hbase，并在操作的同时记录Hbase操作记录，而不通过应用系统接口对Hbase的操作信息无法得到记录，因此对于Hbase的某些操作信息无法保留，线上集群出现问题时也无从查询操作日志。
发明内容
有鉴于此，本发明的目的在于提出一种Hbase数据库数据操作日志的生成方法及装置，以实现对Hbase数据库中所有的数据操作生成数据操作日志，并降低Hbase数据库中数据操作日志生成的成本。
一方面，本发明实施例提供一种Hbase数据库数据操作日志的生成方法，包括：
Hbase数据库服务端中配置的协处理器，根据监听到的客户端发送的数据操作请求，生成第一日志记录，和/或，根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录；
所述协处理器将所述日志记录存储到预设数据库中。
进一步的，所述协处理器根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录包括：
所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。
进一步的，所述协处理器作为插件配置在Hbase数据库服务端中。
进一步的，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
进一步的，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。
另一方面，本发明实施例还提供一种Hbase数据库数据操作日志的生成装置，包括：
日志记录生成单元，用于Hbase数据库服务端中配置的协处理器，根据监听到的客户端发送的数据操作请求，生成第一日志记录，和/或，根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录；
日志记录存储单元，用于所述协处理器将所述日志记录存储到预设数据库中。
进一步的，所述日志记录生成单元具体用于：所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。
进一步的，所述协处理器作为插件配置在Hbase数据库服务端中。
进一步的，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
进一步的，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。
本发明实施例提供的Hbase数据库数据操作日志的生成方法及装置，在客户端向数据库服务端发送数据操作请求后，由Hbase数据库服务端中配置的协处理器根据监听到的所述数据操作请求，生成第一日志记录，和/或，根据监听到的数据库服务端对数据操作请求的响应，生成第二日志记录，并由所述协处理器将所述日志记录存储到预设数据库中，实现了对Hbase数据库中所有的数据操作生成数据操作日志，并降低了Hbase数据库中数据操作日志生成的成本。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1是本发明实施例一提供的Hbase数据库数据操作日志的生成方法的流程图；
图2是本发明实施例二提供的Hbase数据库数据操作日志的生成装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将结合本发明实施例中的附图，通过具体实施方式，完整地描述本发明的技术方案。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，均落入本发明的保护范围之内。
实施例一
图1给出了本发明实施例一提供的Hbase数据库数据操作日志的生成方法的流程图，本实施例可适用于Hbase数据库服务端中配置有协处理器的情况，该方法可由Hbase数据库数据操作日志的生成装置执行，所述Hbase数据库数据操作日志的生成装置可内置在协处理器中，所述协处理器可配置于Hbase数据库服务端中，所述Hbase数据库数据操作日志的生成装置可由软件和/或硬件来实现。
如图1所示，本实施例提供的Hbase数据库数据操作日志的生成方法包括以下步骤：
步骤S101，Hbase数据库服务端中配置的协处理器，根据监听到的客户端发送的数据操作请求，生成第一日志记录，和/或，根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录。
本实施例中所述的Hbase数据库服务端中配置有协处理器，所述协处理器可以为内置在Hbase数据库服务端中一段程序，可以监听客户端与Hbase数据库之间的交互操作。客户端向Hbase数据库服务端发送数据操作请求，在Hbase数据库服务端接收和响应所述数据操作请求之前，所述协处理器根据监听到的所述数据操作请求，生成第一日志记录。其中，所述数据操作请求可以为数据包的形式，即数据操作请求包，所述数据操作请求包可以包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项。在Hbase数据库响应所述数据操作请求之后，所述协处理器根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录。
其中，所述协处理器根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录具体可以包括：所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。所述数据操作响应包可以包括：数据操作响应时间、数据操作响应结果中的至少一项。
优选的，所述协处理器作为插件配置在Hbase数据库服务端中。
优选的，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
另外，本实施例中的协处理器还可以提供Hbase数据库的审计功能，在客户端需要对Hbase数据库进行数据操作时，可以直接访问Hbase数据库，而无需Hbase数据库的上层应用系统接口作为中间层进行转达，无需修改客户端，例如修改客户端的目标IP地址，提高了客户端与Hbase数据库进行数据操作的效率。
步骤S102，所述协处理器将所述日志记录存储到预设数据库中。
其中，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。所述预设数据库可以为接收和响应数据操作请求的Hbase数据库，也可以为与所述接收和响应数据操作请求的Hbase数据库在同一服务端上的MySQL数据库或Oracle数据库，也可以为与所述接收和响应数据操作请求的Hbase数据库不在同一服务端上的MySQL数据库或Oracle数据库。
本实施例提供的Hbase数据库数据操作日志的生成方法，在客户端向Hbase数据库服务端发送数据操作请求后，由Hbase数据库服务端中配置的协处理器根据监听到的所述数据操作请求，生成第一日志记录，和/或，根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录，并由所述协处理器将所述日志记录存储到预设数据库中，实现了客户端直接向Hbase数据库服务端进行数据操作的日志记录的生成，解决了需要通过开发Hbase上层应用系统接口才能生成对Hbase数据库的数据操作日志记录，以及无法生成不通过上层应用系统接口而直接对Hbase数据库进行数据操作的日志记录的问题，降低了Hbase数据库中数据操作日志记录生成的成本，实现了对Hbase数据库中所有的数据操作生成数据操作日志记录。
实施例二
图2给出了本发明实施例二提供的Hbase数据库数据操作日志的生成装置的结构示意图。如图2所示，本实施例提供的Hbase数据库数据操作日志的生成装置包括：
日志记录生成单元210，用于Hbase数据库服务端中配置的协处理器，根据监听到的客户端发送的数据操作请求，生成第一日志记录，和/或，根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录；
日志记录存储单元220，用于所述协处理器将所述日志记录存储到预设数据库中。
进一步的，所述日志记录生成单元210具体用于：所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。
进一步的，所述协处理器作为插件配置在Hbase数据库服务端中。
进一步的，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
进一步的，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。
本发明实施例提供的Hbase数据库数据操作日志的生成装置可执行本发明实施例一提供的Hbase数据库数据操作日志的生成方法，具备执行方法相应的功能模块和有益效果。
上述仅为本发明的较佳实施例及所运用的技术原理。本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求的范围决定。

Claims (10)

1.一种Hbase数据库数据操作日志的生成方法，其特征在于，包括：
Hbase数据库服务端中配置的协处理器，根据监听到的客户端向所述Hbase数据库服务端发送的数据操作请求，生成第一日志记录，和根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录；
所述协处理器将所述日志记录存储到预设数据库中；
所述协处理器根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录包括：
所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。
2.根据权利要求1所述的方法，其特征在于，所述协处理器作为插件配置在Hbase数据库服务端中。
3.根据权利要求1所述的方法，其特征在于，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
4.根据权利要求1所述的方法，其特征在于，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。
5.一种Hbase数据库数据操作日志的生成装置，其特征在于，包括：
日志记录生成单元，用于Hbase数据库服务端中配置的协处理器，根据监听到的客户端向所述Hbase数据库服务端发送的数据操作请求，生成第一日志记录，和根据监听到的Hbase数据库服务端对数据操作请求的响应，生成第二日志记录；
日志记录存储单元，用于所述协处理器将所述日志记录存储到预设数据库中；
所述日志记录生成单元具体用于：所述协处理器在监听到Hbase数据库服务端响应客户端发送的数据操作请求时，根据Hbase数据库服务端生成的待返回给客户端的数据操作响应包，生成第二日志记录。
6.根据权利要求5所述的装置，其特征在于，所述协处理器作为插件配置在Hbase数据库服务端中。
7.根据权利要求5所述的装置，其特征在于，所述第一日志记录包括数据操作请求类型、数据操作时间、发送数据操作请求的客户端的IP地址中的至少一项，所述第二日志记录包括数据操作响应时间、数据操作响应结果中的至少一项。
8.根据权利要求5所述的装置，其特征在于，所述预设数据库包括Hbase数据库、MySQL数据库或Oracle数据库。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一所述的Hbase数据库数据操作日志的生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4任一所述的Hbase数据库数据操作日志的生成方法。
CN201510288933.XA 2015-05-29 2015-05-29 一种Hbase数据库数据操作日志的生成方法及装置 Active CN104899278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510288933.XA CN104899278B (zh) 2015-05-29 2015-05-29 一种Hbase数据库数据操作日志的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510288933.XA CN104899278B (zh) 2015-05-29 2015-05-29 一种Hbase数据库数据操作日志的生成方法及装置

Publications (2)

Publication Number Publication Date
CN104899278A CN104899278A (zh) 2015-09-09
CN104899278B true CN104899278B (zh) 2019-05-03

Family

ID=54031941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510288933.XA Active CN104899278B (zh) 2015-05-29 2015-05-29 一种Hbase数据库数据操作日志的生成方法及装置

Country Status (1)

Country Link
CN (1) CN104899278B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776617B (zh) * 2015-11-20 2020-11-06 北京国双科技有限公司 日志文件的保存方法和装置
CN106126551A (zh) * 2016-06-13 2016-11-16 浪潮电子信息产业股份有限公司 一种Hbase数据库访问日志的生成方法、装置及系统
CN106570126A (zh) * 2016-11-02 2017-04-19 北京集奥聚合科技有限公司 一种收集HBase热点数据块信息的方法及系统
CN107122417B (zh) * 2017-03-31 2020-05-19 深圳昂楷科技有限公司 一种数据库审计方法及装置
CN110569178B (zh) * 2019-09-12 2022-12-27 成都中科大旗软件股份有限公司 基于大数据平台的接口预警方法和系统
CN113661484A (zh) * 2021-08-25 2021-11-16 商汤国际私人有限公司 日志记录方法及装置、电子设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858738A (zh) * 2006-02-15 2006-11-08 华为技术有限公司 访问数据库的方法及装置
CN101436956A (zh) * 2007-11-12 2009-05-20 北京启明星辰信息技术有限公司 一种数据库操作响应时间测算方法及系统
CN103327069A (zh) * 2013-05-16 2013-09-25 北京神鹰城讯科技有限公司 基于web的远程客户服务支持方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291259B (zh) * 2007-04-18 2011-01-26 阿里巴巴集团控股有限公司 一种用于监控网站访客地理位置和访问状态的系统及方法
CN101493826B (zh) * 2008-12-23 2012-12-19 中兴通讯股份有限公司 基于web应用的数据库系统及其数据管理方法
CN102479076A (zh) * 2010-11-26 2012-05-30 金蝶软件（中国）有限公司 一种记录审计日志的方法、装置及业务系统
CN102684934B (zh) * 2011-03-17 2015-02-04 阿里巴巴集团控股有限公司 监控web应用程序性能的方法、系统和web服务器
CN103475519B (zh) * 2013-09-09 2016-09-14 北京思特奇信息技术股份有限公司 一种大数据量的日志记录方法及装置
CN103763368B (zh) * 2014-01-20 2016-07-06 浪潮电子信息产业股份有限公司 一种跨数据中心的数据同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858738A (zh) * 2006-02-15 2006-11-08 华为技术有限公司 访问数据库的方法及装置
CN101436956A (zh) * 2007-11-12 2009-05-20 北京启明星辰信息技术有限公司 一种数据库操作响应时间测算方法及系统
CN103327069A (zh) * 2013-05-16 2013-09-25 北京神鹰城讯科技有限公司 基于web的远程客户服务支持方法与系统

Also Published As

Publication number Publication date
CN104899278A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104899278B (zh) 一种Hbase数据库数据操作日志的生成方法及装置
CN110147398B (zh) 一种数据处理方法、装置、介质和电子设备
US20230004434A1 (en) Automated reconfiguration of real time data stream processing
JP2022529967A (ja) ブロックチェーン・ネットワークからのデータの抽出
CN108536778B (zh) 一种数据应用共享平台及方法
CN109063196B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111459986B (zh) 数据计算系统及方法
US20140280276A1 (en) Database sharding by shard levels
US11539663B2 (en) System and method for midserver facilitation of long-haul transport of telemetry for cloud-based services
CN104125240A (zh) 一种信息外网、信息内网及内外网数据交互系统和方法
WO2019041738A1 (zh) 客户资源获取方法、装置、终端设备及存储介质
JP7084691B2 (ja) 地図上で実時間のソーシャルデータを処理及び提示するための方法
CN103646073A (zh) 一种基于HBase表的条件查询优化方法
US20210110056A1 (en) Multi-regional data storage and querying
CN103942330B (zh) 一种大数据的处理方法、系统
JP2019533233A (ja) メディア記憶
Xia et al. Adopting cloud computing to optimize spatial web portals for better performance to support Digital Earth and other global geospatial initiatives
US20240364941A1 (en) Live broadcast processing method, electronic device and storage medium
US11327811B2 (en) Distributed computing mesh
US11316947B2 (en) Multi-level cache-mesh-system for multi-tenant serverless environments
Lohitha et al. Integrated publish/subscribe and push-pull method for cloud based IoT framework for real time data processing
CN112506887B (zh) 车辆终端can总线数据处理方法及装置
US9648103B2 (en) Non-uniform file access in a distributed file system
CN103902614A (zh) 一种数据处理方法、设备和系统
CN112804366B (zh) 用于解析域名的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant