CN116108108A - 数据查询系统、Hbase监听装置及方法、电子设备 - Google Patents

数据查询系统、Hbase监听装置及方法、电子设备 Download PDF

Info

Publication number
CN116108108A
CN116108108A CN202310181791.1A CN202310181791A CN116108108A CN 116108108 A CN116108108 A CN 116108108A CN 202310181791 A CN202310181791 A CN 202310181791A CN 116108108 A CN116108108 A CN 116108108A
Authority
CN
China
Prior art keywords
data
hbase
cluster
message queue
synchronized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310181791.1A
Other languages
English (en)
Inventor
周雪刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinzhi Junyang Information Technology Co ltd
Original Assignee
Beijing Xinzhi Junyang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinzhi Junyang Information Technology Co ltd filed Critical Beijing Xinzhi Junyang Information Technology Co ltd
Priority to CN202310181791.1A priority Critical patent/CN116108108A/zh
Publication of CN116108108A publication Critical patent/CN116108108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2393—Updating materialised views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据查询系统、Hbase监听装置及方法、电子设备，涉及计算机技术领域。数据查询系统，包括：Hbase集群、Hbase监听装置、Elasticsearch集群，所述Hbase监听装置用于通过Hbase集群间数据同步协议从所述Hbase集群中获取待同步数据，对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；Elasticsearch集群，用于根据接收到的所述更新数据，更新自身存储的二级索引。不需要使用协处理器，从而不会降低二级索引插入性能。且工作人员仅需要维护该Hbase监听装置，降低了后续管理及维护的成本。

Description

数据查询系统、Hbase监听装置及方法、电子设备
技术领域
本申请涉及计算机的技术领域，具体而言，涉及一种数据查询系统、Hbase监听装置及方法、电子设备。
背景技术
为了便于使用Hbase(结构化数据的分布式存储系统)数据进行实时查询，通常会创建二级索引，并采用采用Elasticsearch(分布式搜索和分析引擎)来存储Hbase数据的二级索引。而目前实时更新Elasticsearch中存储的二级索引的方式是：在Hbase中的Hbase表(Hbase中存储数据的形式)上挂载协处理器，协处理器用于监听该Hbase表的变化，并将变化的数据同步到Elasticsearch中，以使Elasticsearch根据协处理器同步的变化的数据更新自身存储的二级索引。
但是，由于Hbase中的二级索引上挂载有协处理器，会降低该二级索引的插入性能。并且，该方式需要在每一个Hbase中的二级索引上挂载协处理器，当协处理器的数量较多时，会增大后续管理及维护协处理器的工作量。
发明内容
本申请提供一种数据查询系统、Hbase监听装置及方法、电子设备，以解决现有的实时更新Elasticsearch中存储的二级索引的方式导致的二级索引插入性能降低，以及后续管理及维护协处理器的工作量大的问题。
第一方面，本申请提供一种数据查询系统，包括：Hbase集群、Hbase监听装置、Elasticsearch集群，所述Hbase监听装置用于通过Hbase集群间数据同步协议从所述Hbase集群中获取待同步数据，对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；Elasticsearch集群，用于根据接收到的所述更新数据，更新自身存储的二级索引。
本申请实施例中，通过在Hbase集群和Elasticsearch集群之间设置Hbase监听装置，实现对二级索引的更新。不需要使用协处理器，从而不会降低二级索引插入性能。且仅需要设置一个Hbase监听装置，即可实现对Elasticsearch集群中的每个二级索引进行更新，使得工作人员仅需要维护该Hbase监听装置即可，相较于现有的更新协处理器的方式，本方案降低了后续管理及维护的成本。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述Hbase监听装置，包括：同步协议解析器、消息队列模块、数据处理脚本引擎，同步协议解析器用于获取所述待同步数据，并对所述待同步数据进行协议解析处理，得到初始更新数据；消息队列模块用于接收所述同步协议解析器发送的所述初始更新数据，并将所述初始更新数据插入消息队列中；数据处理脚本引擎用于从所述消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群的格式，得到并输出所述更新数据。
本申请实施例中，通过消息队列模块将更新数据消息插入消息队列中，使得数据处理脚本引擎可以根据消息队列将其中的消息转换为适用于Elasticsearch集群的格式，从而实现对每一条初始更新数据进行数据转换。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述消息队列模块，还用于将所述消息队列写入存储介质中。
本申请实施例中，通过将消息队列写入存储介质中，可以防止因Hbase监听装置出现错误导致数据丢失，提高数据的安全性。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述Hbase监听装置，还包括：可视化页面服务模块，用于获取所述消息队列，并基于所述消息队列生成所述消息队列对应的可视化数据，以使显示装置基于所述可视化数据在可视化页面中显示所述消息队列。
本申请实施例中，通过设置可视化页面服务模块将消息队列生成消息队列对应的可视化数据，从而可以在显示装置上显示消息队列，便于用户查看二级索引更新进度，提高用户体验。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述可视化页面服务模块，还用于接收所述显示装置发送的所述数据处理脚本引擎的配置数据，并将所述配置数据发送给所述数据处理脚本引擎；所述数据处理脚本引擎，还用于根据所述配置数据更新自身配置。
本申请实施例中，通过可视化页面服务模块与显示装置通信，使得用户可以在显示装置上对数据处理脚本引擎进行配置，提高了配置数据处理脚本引擎的灵活性。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述数据查询系统，还包括：Zookeeper(分布式应用程序协调服务软件)集群，所述Zookeeper集群分别与所述Hbase集群、所述Hbase监听装置通信连接；所述Hbase集群，还用于在自身数据更新后，向所述Zookeeper集群发送数据更新提示信息；所述Hbase监听装置，还用于从所述Zookeeper集群中获取所述数据更新提示信息，以根据所述数据更新提示信息，通过所述Hbase集群间数据同步协议从所述Hbase集群中获取所述待同步数据。
本申请实施例中，通过Zookeeper集群可以将Hbase集群发生数据更新后，及时提醒Hbase监听装置，使得Hbase监听装置能够及时获取Hbase集群中的述待同步数据，提高二级索引更新的效率。
第二方面，本申请提供一种Hbase监听装置，包括：同步协议解析器、消息队列模块、数据处理脚本引擎，同步协议解析器用于获取待同步数据，并对所述待同步数据进行协议解析处理，得到初始更新数据；消息队列模块用于接收所述同步协议解析器发送的所述初始更新数据，并将所述初始更新数据作为一条消息插入消息队列中；数据处理脚本引擎用于从所述消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群的格式，得到并输出更新数据。
第三方面，本申请提供一种Hbase监听方法，应用于Hbase监听装置，所述方法包括：通过Hbase集群间数据同步协议从Hbase集群中获取待同步数据；对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；将所述更新数据发送给Elasticsearch集群，以使所述Elasticsearch集群基于所述更新数据，更新自身存储的二级索引。
第四方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行如上述第三方面实施例和/或结合上述第三方面实施例的任一种可能的实施方式提供的方法。
第五方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如上述第三方面实施例和/或结合上述第三方面实施例的任一种可能的实施方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例示出的第一种数据查询系统的结构框图；
图2为本申请实施例示出的一种Hbase监听装置的结构框图；
图3为本申请实施例示出的第二种数据查询系统的结构框图；
图4为本申请实施例示出的一种Hbase监听方法的流程示意图；
图5为本申请实施例示出的一种电子设备的结构框图。
附图标记：100-数据查询系统；110-Hbase集群；120-Hbase监听装置；121-同步协议解析器；122-消息队列模块；123-数据处理脚本引擎；130-Elasticsearch集群；200-电子设备；210-收发器；220-存储器；230-通讯总线；240-处理器。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
下面将结合附图对本申请的技术方案进行详细地描述。
请参阅图1，图1为本申请实施例示出的一种数据查询系统的结构示意图，该数据查询系统100包括Hbase集群110、Hbase监听装置120、Elasticsearch集群130。
Hbase集群110的具体实现方式及功能已为本领域技术人员所熟知，为简要描述，此处不再赘述。
Elasticsearch集群130中存储有二级索引，Elasticsearch集群130可以根据接收到的更新数据，更新自身存储的二级索引。
Elasticsearch集群130的具体实现方式及功能已为本领域技术人员所熟知，为简要描述，此处不再赘述。
Hbase监听装置120用于通过Hbase集群110间数据同步协议从Hbase集群110中获取待同步数据，对待同步数据进行格式转换处理，得到更新数据，并将更新数据发送给Elasticsearch集群130，其中，待同步数据为所述Hbase集群110中发生更新的数据。
一种实施方式下，Hbase监听装置120的具体实现方式如图2所示，Hbase监听装置120包括同步协议解析器121、消息队列模块122和数据处理脚本引擎123。
同步协议解析器121，用于获取待同步数据，并对待同步数据进行协议解析处理，得到初始更新数据。
同步协议解析器121可以是任意类型的同步协议解析器121，只要其能解析基于Hbase集群110间数据同步协议发送的待同步数据进行解析，得到初始更新数据即可，此处不对同步协议解析器121的具体类型进行限制。
消息队列模块122用于接收同步协议解析器121发送的初始更新数据，并将初始更新数据插入消息队列中。
其中，初始数据更新数据可以包括一条或多条数据更新数据，当初始数据更新数据包括一条数据更新数据时，直接将该条数据更新数据插入消息队列即可。
当初始数据更新数据包括多条数据更新数据时，可以将该初始数据更新数据整体作为一条消息，插入消息队列；或者，也可以将该初始数据更新数据中的每一条数据更新数据分别作为一条消息，依次插入消息队列中。
例如，当初始数据更新数据包括表A的更新数据、表B的更新数据、表C的更新数据这三条更新数据时，可以将表A的更新数据、表B的更新数据、表C的更新数据作为一条消息插入消息队列中。
或者，也可以将表A的更新数据作为一条消息插入消息队列中；将表B的更新数据作为一条消息插入消息队列中；将表C的更新数据作为一条消息插入消息队列中。
为了保证数据安全，防止因Hbase监听装置120出现错误导致数据丢失，一种实施方式下，消息队列模块122还用于将消息队列写入存储介质中。
例如，在消息队列模块122将初始更新数据插入消息队列中后，将更新后的消息队列写入本地存储中。或者，也可以是在消息队列模块122将将初始更新数据插入消息队列中后，将初始更新数据写入本地存储的特定区域，其中，该特定区域用于存储消息队列中的每一条消息。
数据处理脚本引擎123，用于从所述消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群130的格式，得到并输出所述更新数据。
其中，Elasticsearch集群130的格式可以是预先设置好的，数据处理脚本引擎123在从消息队列中读取到消息后，直接将该消息转换为预设的Elasticsearch集群130的格式即可。
或者，也可以是数据处理脚本引擎123与Elasticsearch集群130进行通信，获取到Elasticsearch集群130的格式，然后将从消息队列中读取到消息Elasticsearch集群130的格式。
为了实现对消息队列的实时监控，以便用户查看二级索引的更新进度，一种实施方式下，Hbase监听装置120，还包括可视化页面服务模块。
可视化页面服务模块用于获取消息队列，并基于消息队列生成消息队列对应的可视化数据，以使显示装置基于可视化数据在可视化页面中显示消息队列。其中，显示装置用于接收并显示该可视化数据。
可选的，也可以是该数据查询系统100还包括web服务(Web Service；一个平台独立的、低耦合的、自包含的、基于可编程的web的应用程序)，可视化页面服务模块将可视化数据发送给web服务，进而使得工作人员可以通过浏览器访问该web服务查看消息队列。具体的，工作人员可以查看Hbase集群110中的表名列表、消息队列的积压情况，其中，表名列表可以根据消息队列中每一条消息包括的表名得到。
其中，web服务可以利用内置的jetty web容器(基于java(计算机编程语言)的web容器)实现，此处举例仅为便于理解，不应将其作为对本申请的限制，实现web服务的具体方式已为本领域技术人员所熟知，为简要描述，此处不再赘述。
进一步地，为了便于用户管理和维护该Hbase监听装置120，一种实施方式下，可视化页面服务模块还用于接收显示装置或web服务发送的数据处理脚本引擎123的配置数据，并将配置数据发送给数据处理脚本引擎123。相应的，数据处理脚本引擎123还用于根据配置数据更新自身配置。
其中，数据处理脚本引擎123的配置数据可以包括数据处理任务脚本和数据同步对象。数据处理任务脚本即为数据处理脚本引擎123处理消息队列中每一条消息的脚本；数据同步对象为数据处理脚本引擎123发送的更新数据的对象。
用户可以在显示装置或web服务的页面中上传、编辑、配置数据处理任务脚本，并选择是否发布该数据处理任务脚本。在用户选择发布数据处理任务脚本后，显示装置或web服务发送目标数据处理任务脚本，可视化页面服务模块接收并转发给数据处理脚本引擎123，之后，数据处理脚本引擎123基于该目标数据处理任务脚本对消息队列中的消息进行处理。
用户也可以在显示装置或web服务的页面中配置数据同步对象，在配置完成后可以选择发布该数据同步对象。在用户选择发布数据同步对象后，显示装置或web服务发送目标数据同步对象，可视化页面服务模块接收并转发给数据处理脚本引擎123，之后，数据处理脚本引擎123将之后生成的更新数据发送给目标数据同步对象。
为了提高二级索引更新的效率，一种实施方式下，数据查询系统100还包括Zookeeper集群。其中，Zookeeper集群分别与Hbase集群110、Hbase监听装置120通信连接。
此时，Hbase集群110还用于在自身数据更新后，向Zookeeper集群发送数据更新提示信息。
Hbase监听装置120，还用于从Zookeeper集群中获取数据更新提示信息，以根据数据更新提示信息，通过Hbase集群110间数据同步协议从Hbase集群110中获取待同步数据。
通过Zookeeper集群可以将Hbase集群110发生数据更新后，及时提醒Hbase监听装置120，使得Hbase监听装置120能够及时获取Hbase集群110中的述待同步数据，提高二级索引更新的效率。
其中，Zookeeper集群的具体实现方式已为本领域技术人员所熟知，为简要描述，此处不再赘述。
为了便于理解上述的数据查询系统100，以图3为例进行说明，需要注意的是，图3所示的数据查询系统100仅为本申请提供的数据查询系统100的一种实施方式，不应将其所谓对本申请的限制。
如图3所示，数据查询系统100包括Hbase集群110、Hbase监听装置120、Elasticsearch集群130、web服务、Zookeeper集群。
Hbase监听装置120包括同步协议解析器121、消息队列模块122、数据处理脚本引擎123、可视化页面服务模块。其中，同步协议解析器121分别与Hbase集群110、消息队列模块122、Zookeeper集群通信连接，消息队列模块122分别与可视化页面服务模块、数据处理脚本引擎123通信连接，可视化页面服务模块分别与web服务、数据处理脚本引擎123通信连接，数据处理脚本引擎123与Elasticsearch集群130通信连接。
其中，图3所示的数据查询系统100的各个组成部分的具体实现方式及功能在前文已叙述清楚，为简要描述，此处不再赘述。
基于同样的发明构思，本申请还提供一种Hbase监听装置，该Hbase监听装置包括同步协议解析器、消息队列模块、数据处理脚本引擎。
同步协议解析器，用于获取待同步数据，并对待同步数据进行协议解析处理，得到初始更新数据。
消息队列模块，用于接收同步协议解析器发送的初始更新数据，并将初始更新数据作为一条消息插入消息队列中。
数据处理脚本引擎，用于从消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群的格式，得到并输出更新数据。
其中，Hbase监听装置的具体实现方式及功能与前述的数据查询系统中包括的Hbase监听装置相同，为简要描述，Hbase监听装置未描述的内容可以参考前述的数据查询系统中相应的内容。
基于同样的发明构思，本申请还提供一种Hbase监听方法，该方法应用于上述的Hbase监听装置，如图4所示，下面将结合图4对其包含的步骤进行说明。
S100：通过Hbase集群间数据同步协议从Hbase集群中获取待同步数据。
S200：对待同步数据进行格式转换处理，得到更新数据，其中，待同步数据为Hbase集群中发生更新的数据。
S300：将更新数据发送给Elasticsearch集群，以使Elasticsearch集群基于更新数据，更新自身存储的二级索引。
本申请实施例所提供的Hbase监听方法，其实现原理及产生的技术效果和前述Hbase监听装置实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述Hbase监听装置实施例中相应内容。
请参阅图5，其为本申请实施例提供的一种电子设备200。所述电子设备200包括：收发器210、存储器220、通讯总线230、处理器240。
所述收发器210、所述存储器220、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线230或信号线实现电性连接。其中，收发器210用于收发数据。存储器220用于存储计算机程序，如存储有图2中所示的Hbase监听装置功能模块。其中，Hbase监听装置120包括至少一个可以软件或固件(firmware)的形式存储于所述存储器220中或固化在所述电子设备200的操作系统(operating system，OS)中的软件功能模块。所述处理器240，用于执行存储器220中存储的可执行模块，例如Hbase监听装置120包括的软件功能模块或计算机程序。此时，处理器240，用于通过Hbase集群间数据同步协议从Hbase集群中获取待同步数据；对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；将所述更新数据发送给Elasticsearch集群，以使所述Elasticsearch集群基于所述更新数据，更新自身存储的二级索引。
其中，存储器220可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器240也可以是任何常规的处理器等。
其中，上述的电子设备200，包括但不限于个人电脑、服务器等。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备200运行时，执行上述所示的Hbase监听方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据查询系统，其特征在于，包括：
Hbase集群；
Hbase监听装置，所述Hbase监听装置用于通过Hbase集群间数据同步协议从所述Hbase集群中获取待同步数据，对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；
Elasticsearch集群，用于根据接收到的所述更新数据，更新自身存储的二级索引。
2.根据权利要求1所述的数据查询系统，其特征在于，所述Hbase监听装置，包括：
同步协议解析器，用于获取所述待同步数据，并对所述待同步数据进行协议解析处理，得到初始更新数据；
消息队列模块，用于接收所述同步协议解析器发送的所述初始更新数据，并将所述初始更新数据插入消息队列中；
数据处理脚本引擎，用于从所述消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群的格式，得到并输出所述更新数据。
3.根据权利要求2所述的数据查询系统，其特征在于，所述消息队列模块，还用于将所述消息队列写入存储介质中。
4.根据权利要求2所述的数据查询系统，其特征在于，所述Hbase监听装置，还包括：
可视化页面服务模块，用于获取所述消息队列，并基于所述消息队列生成所述消息队列对应的可视化数据，以使显示装置基于所述可视化数据在可视化页面中显示所述消息队列。
5.根据权利要求4所述的数据查询系统，其特征在于，所述可视化页面服务模块，还用于接收所述显示装置发送的所述数据处理脚本引擎的配置数据，并将所述配置数据发送给所述数据处理脚本引擎；
所述数据处理脚本引擎，还用于根据所述配置数据更新自身配置。
6.根据权利要求1所述的数据查询系统，其特征在于，所述数据查询系统，还包括：
Zookeeper集群，所述Zookeeper集群分别与所述Hbase集群、所述Hbase监听装置通信连接；
所述Hbase集群，还用于在自身数据更新后，向所述Zookeeper集群发送数据更新提示信息；
所述Hbase监听装置，还用于从所述Zookeeper集群中获取所述数据更新提示信息，以根据所述数据更新提示信息，通过所述Hbase集群间数据同步协议从所述Hbase集群中获取所述待同步数据。
7.一种Hbase监听装置，其特征在于，包括：
同步协议解析器，用于获取待同步数据，并对所述待同步数据进行协议解析处理，得到初始更新数据；
消息队列模块，用于接收所述同步协议解析器发送的所述初始更新数据，并将所述初始更新数据作为一条消息插入消息队列中；
数据处理脚本引擎，用于从所述消息队列中读取消息，并将读取到的消息转换为适用于Elasticsearch集群的格式，得到并输出更新数据。
8.一种Hbase监听方法，其特征在于，应用于Hbase监听装置，所述方法包括：
通过Hbase集群间数据同步协议从Hbase集群中获取待同步数据；
对所述待同步数据进行格式转换处理，得到更新数据，其中，所述待同步数据为所述Hbase集群中发生更新的数据；
将所述更新数据发送给Elasticsearch集群，以使所述Elasticsearch集群基于所述更新数据，更新自身存储的二级索引。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求8所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求8所述的方法。
CN202310181791.1A 2023-02-21 2023-02-21 数据查询系统、Hbase监听装置及方法、电子设备 Pending CN116108108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181791.1A CN116108108A (zh) 2023-02-21 2023-02-21 数据查询系统、Hbase监听装置及方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181791.1A CN116108108A (zh) 2023-02-21 2023-02-21 数据查询系统、Hbase监听装置及方法、电子设备

Publications (1)

Publication Number Publication Date
CN116108108A true CN116108108A (zh) 2023-05-12

Family

ID=86261602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181791.1A Pending CN116108108A (zh) 2023-02-21 2023-02-21 数据查询系统、Hbase监听装置及方法、电子设备

Country Status (1)

Country Link
CN (1) CN116108108A (zh)

Similar Documents

Publication Publication Date Title
CN109344170B (zh) 流数据处理方法、系统、电子设备及可读存储介质
WO2004029898A2 (en) Xml instrumentation interface for tree-based monitoring architecture
CN102043837A (zh) 数据整合系统和方法
CN109815107A (zh) 自动化测试的方法和装置
CN111464608A (zh) 报文处理方法及装置
CN110908967B (zh) 用于存储日志的方法、装置、设备和计算机可读介质
CN109995643A (zh) 业务邮件推送方法及装置
CN109343975B (zh) 用于页面间异步通信的方法和装置
CN109783151A (zh) 规则变更的方法和装置
CN113157598A (zh) 接口测试方法和模拟挡板
CN111880948A (zh) 数据刷新方法、装置、电子设备及计算机可读存储介质
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
CN102043836A (zh) 数据适配装置和方法
CN116108108A (zh) 数据查询系统、Hbase监听装置及方法、电子设备
CN112445860A (zh) 一种处理分布式事务的方法和装置
CN116339690A (zh) 业务流程的执行方法及其装置、电子设备及存储介质
US9619443B2 (en) Enhanced messaging transaction performance with auto-selected dual-tag fields
CN114138270A (zh) 一种用户界面的显示方法装置、设备及存储介质
CN112416980A (zh) 数据业务处理方法、装置及设备
CN115509705A (zh) 一种定时任务管理系统
CN115623070B (zh) Idl消息的处理方法、装置、电子设备、存储介质
CN113220760B (zh) 一种数据处理方法、装置、服务器及存储介质
CN114253520B (zh) 接口代码生成方法和装置
CN109376023B (zh) 用于生成调用信息、发布返回码组的方法和设备
KR20080001824A (ko) 표준 항목 리포지터리 기반의 화면간 자동 데이터 전송시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination