CN106980621A - 基于MongoDB的事件归档和查询的方法和装置 - Google Patents

基于MongoDB的事件归档和查询的方法和装置 Download PDF

Info

Publication number
CN106980621A
CN106980621A CN201610030963.5A CN201610030963A CN106980621A CN 106980621 A CN106980621 A CN 106980621A CN 201610030963 A CN201610030963 A CN 201610030963A CN 106980621 A CN106980621 A CN 106980621A
Authority
CN
China
Prior art keywords
data
event
mongodb
mysql
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610030963.5A
Other languages
English (en)
Inventor
邱健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201610030963.5A priority Critical patent/CN106980621A/zh
Publication of CN106980621A publication Critical patent/CN106980621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于MongoDB的事件归档和查询的方法和装置，能够实现事件基本信息快速查询，提高响应速度；同时还可进行事件相关信息的查询，扩大数据查询范围；此外，还可实现已归档事件的数据字段的自主扩展。该方法包括：利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；根据查询需求从所述MySQL和/或MongoDB中查询所需数据。

Description

基于MongoDB的事件归档和查询的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于MongoDB的事件归档和查询的方法和装置。
背景技术
随着事件量的不断递增，系统所承载的数据量也是与日俱增，因此，为了保证系统的平稳运行，需要对事件定期归档，即将已完成的事件通过调度任务存入到历史数据库中。例如，在电子商务领域的客服系统中，事件可用于表示客服在每接到一通来电时所记录的本通来电所有相关内容的载体，随着客服系统的运转，需要对客服系统数据库中对已经完成的事件进行归档。
现有的事件归档架构中，通常是采用如下方法：事件归档引擎(事件归档引擎是一种任务调度执行程序，是可在规定时间内自动运行程序并完成执行的业务功能等的一种调度工具)作为调度任务在归档时间内触发并将业务所规定的生产数据事件信息从生产数据库(如MySQL)中读取，并存入到历史数据库(如MySQL)中。
生产数据库中是系统运转过程中产生的数据，但是为了提高生产环境的工作效率，需要控制生产数据库的数据量，因此会将一些不活跃的历史数据，自动同步到另一个数据库中，这个数据库就是历史数据库。归档后从历史数据库进行数据查询。如前所述电子商务领域的客服系统，用户可在客服系统中通过事件号码等数据查询历史数据库并从中获得已归档事件信息。
但是现有的事件归档方法，对于后续的数据查询和扩展存在一定瓶颈：
1)数据字段不够灵活
对于MySQL数据库来说，已归档事件必须严格按照生产数据的字段来进行设计，如果需要扩展字段，需要在应用端与数据库端，共同开发来完成，造成开发周期增强；
2)查询性能瓶颈
MySQL归档的过程中，事件待归档事件信息存储到历史数据库中，但是如果在历史数据库中建立索引，一是会影响归档的性能，二是会占用大量的空间来存储索引，因此，为了保证归档性能，不能建立索引，从而导致在查询历史事件的性能下降；
3)数据查询范围有限
目前查询已归档的事件，由于未建立索引，因此，查询时只能查询事件基本信息，无法查询事件的追踪信息，聊天记录，发送短信内容等相关信息，严重影响用户体验和对归档资源的利用。
发明内容
有鉴于此，本发明提供一种基于MongoDB的事件归档和查询的方法和装置，能够实现事件基本信息快速查询，提高响应速度；同时还可进行相关信息的查询，扩大数据查询范围；此外，还可实现已归档事件的数据字段的自主扩展。
为实现上述目的，根据本发明的一个方面，提供了一种基于MongoDB的事件归档和查询的方法。
本发明的基于MongoDB的事件归档和查询的方法包括：利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
可选地，利用事件归档引擎获取待归档事件的数据包括利用clover分布式任务调度系统抓取待归档事件的数据。
可选地，在所述数据的字段上建立索引包括在所述数据的事件号字段上建立单键索引。
可选地，根据查询需求从所述MySQL和/或MongoDB中查询所需数据包括：根据查询需求，根据单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
可选地，所述方法还包括：利用spring data框架中的PagingAndSortingRepository接口实现在MongoDB中分页查询所需数据。
为实现上述目的，根据本发明的另一方面，提供了一种基于MongoDB的事件归档和查询的装置。
本发明的基于MongoDB的事件归档和查询的装置包括：数据获取模块，用于利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；归档模块，用于将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；查询模块，用于根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
可选地，所述数据获取模块还用于：利用clover分布式任务调度系统抓取待归档事件的数据。
可选地，所述归档模块还用于：在所述数据的事件号字段上建立单键索引。
可选地，所述查询模块还用于：根据查询需求，根据单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
可选地，所述查询模块还用于：利用spring data框架中的PagingAndSortingRepository接口实现在MongoDB中分页查询所需数据。
根据本发明的技术方案，通过利用事件归档引擎获取待归档事件的数据，并将数据存储到MySQL，从而可以保证数据的持久化存储，并有利于后续查询过程中利用结构化查询语句进行复杂的多表关联查询；同时，通过将数据存储到MongoDB中并建立索引，从而可以实现在保证归档性能的同时，打破数据查询的性能瓶颈，在保证事件基本信息的快速查询，提高响应速度的同时，还可以进一步扩大查询的范围；此外，鉴于MongoDB中字段的可动态扩展性，从而可以保证已归档事件的数据字段自主扩展。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是现有技术的事件归档和查询方法的主要流程的示意图；
图2是根据本发明实施例的基于MongoDB的事件归档和查询的方法的主要流程的示意图；
图3是根据本发明实施例的基于MongoDB的事件归档和查询的方法的主要步骤的示意图；
图4是根据本发明实施例的基于MongoDB的事件归档和查询的装置的主要模块的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是现有技术中事件归档和查询方法的主要流程的示意图。
如图1所示，现有技术的利用MySQL进行事件归档和查询方法的主要流程如下，事件归档引擎作为调度任务在归档时间内触发并将业务所规定的生产数据事件信息从生产数据库(如MySQL)中读取，并存入到历史数据库(如MySQL)中。用户在需要查询的时候，可通过事件号码查询历史数据库并获得已归档事件信息的查询。
但是现有技术中，对于MySQL数据库而言，字段一旦确定，若需要扩展一条数据的字段常常需要扩展整个表的字段，造成数据库空间资源的浪费；另，为了保障事件归档的性能，暂无法对归档数据建立索引，导致用户查询历史事件时的性能下降；此外，由于未建立索引，查询事件时，只能查询已归档事件的基本信息，无法查询事件的相关信息，如在电子商务的客服系统中，需要进一步了解事件的追踪信息、聊天记录、发送短信内容等相关信息。因此，现有的归档方法会影响用户的查询体验，造成归档资源的浪费。
图2是根据本发明实施例的基于MongoDB的事件归档和查询的方法的主要流程的示意图。
如图2所示，本发明实施例的基于MongoDB的事件归档和查询的方法的主要流程相对于图1的传统流程而言，增加了利用事件归档引擎中将待归档事件的数据写入MongoDB的流程。此外，基于MongoDB数据库的特点图2中的外部应用系统是B/S结构(Browser/Server，浏览器/服务器模式)，客户端发起事件信息查询请求，可以直接请求MongoDB数据库完成事件归档记录的查询。
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
本发明实施例中，使用MongoDB作为归档的数据库之一，同时保留数据在Mysql中的存储。如此，一方面可以利用MongoDB作为一种扩展的存储方案，以便于在归档过程建立索引，方便对已归档数据的查询，并且有利于已归档数据字段的自主扩展；另一方面，可以在保障数据持久化存储的同时，利用结构化查询语言(SQL)在MySQL数据库进行复杂的多表关联查询，从而可以方便的获取数据。
图3是根据本发明实施例的基于MongoDB的事件归档和查询的方法的主要步骤的示意图。
如图3所示，本发明实施例的基于MongoDB的事件归档和查询的方法的主要步骤包括：
步骤S31：利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据。
事件归档引擎是一种任务调度执行程序，是在规定时间内自动运行程序并完成执行的业务功能等的一种调度工具。在本发明实施例中，利用事件归档引擎获取待归档事件的数据，并将数据存入数据库中。
在本发明的一个实施例中，利用事件归档引擎获取待归档事件的数据可以是利用clover分布式任务调度系统(使用Java技术自主开发的调度系统)抓取待归档事件的数据。
事件归档引擎启动后，在生产数据库中检索待归档事件的数据，待归档事件的数据包括事件的基本信息数据和相关信息数据。例如在客户服务系统中，事件的数据信息可以包括：事件基本信息，以及事件追踪信息、事件日志、事件聊天记录等事件相关信息。事件归档引擎获取上述数据并将上述数据存入到数据库中。具体将数据存入数据库的过程，从步骤S32开始。
步骤S32：将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引。
本发明实施例中，利用事件归档引擎从生产数据库抓取数据后，将数据存入历史数据库MySQL和MongoDB。其中，存入MongoDB的过程如下：事件归档引擎从生产数据库中获取数据后，结合springdata mongodb所对外开放的接口(PagingAndSortingRepository)进行基础数据的封装，调用保存方法来进行事件数据的归档操作。
归档的同时，为了便于后续的已归档数据的查询，可以在所述数据的字段上建立索引。例如可以是在所述数据的事件号字段上建立单键索引。
如前所述的电子商务领域的客户服务系统中，事件归档引擎获取待归档事件的数据。其中，事件基本信息即事件表，作为事件信息主表，其包含事件号、事件线索、事件追踪人、事件概要等相关信息，故可以在事件号字段上面建立单键索引，用于快速查询事件基本信息；此外，事件相关信息中，追踪记录表记录了事件声明周期、状态变更、操作人等信息，可用事件号作为追踪信息与事件表的关联关系；聊天记录表记录了客服与客户之间的沟通信息，可用事件号作为聊天记录与事件表的关联关系；事件日志表记录了客服在处理事件是所遇到的问题描述、解决方案描述，同样用事件号作为事件日志与事件表的联系。
完成归档和索引的建立后，用户便可根据需求从历史数据库中进行数据查询。
步骤S33：根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
根据查询需求，利用单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
由于将数据归档到MongoDB的过程中，对事件的数据进行了索引，因此，本发明实施例中在对数据进行查询的过程中，不仅可以快速的查询到事件的基础信息数据，而且可以查询到深度的事件相关信息数据。例如可以是，用户首先通过事件号将已归档事件的基本信息列表查询出来，数据就展示到浏览器的页面，再通过当前事件号分别查询事件记录的日志信息，事件追踪信息，事件的聊天记录信息，事件的发送短信信息等。当然如果涉及到利用结构化查询语句(SQL)进行复杂的多表关联查询时，还是需要从MySQL中进行数据的查询，这也是本发明技术方案中保留了将数据存储到MySQL中的一个原因。
为了便于用户在浏览器种浏览数据，本发明一实施例中，支持对MongoDB中已归档数据的分页查询。
虽然MongoDB支持多种查询方式，但并没有直接的支持以动态查询条件支持分页查询的方法。本发明一实施例中，利用了spring data框架中PagingAndSortingRepository接口，编写动态拼装查询条件的工具，结合spring framework的Page对象实现了分页查询的功能。
根据本发明实施例的基于MongoDB的事件归档和查询的方法可以看出，通过利用事件归档引擎获取待归档事件的数据，并将数据存储到MySQL，从而可以保证数据的持久化存储，并有利于后续查询过程中利用结构化查询语句进行复杂的多表关联查询；同时，通过将数据存储到MongoDB中并建立索引，从而可以实现在保证归档性能的同时，打破数据查询的性能瓶颈，在保证事件基本信息的快速查询，提高响应速度的同时，还可以进一步扩大查询的范围；此外，鉴于MongoDB中字段的可动态扩展性，从而可以保证已归档事件的数据字段自主扩展。
图4是根据本发明实施例的基于MongoDB的事件归档和查询的装置的主要模块的示意图。
如图4所示，本发明实施例的基于MongoDB的事件归档和查询的装置40主要包括如下模块：数据获取模块401、归档模块402、查询模块403。
数据获取模块401用于利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；归档模块402用于将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；查询模块403用于根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
数据获取模块401还用于利用clover分布式任务调度系统抓取待归档事件的数据。
归档模块402还用于在所述数据的事件号字段上建立单键索引。
查询模块403还用于：根据查询需求，根据单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
查询模块403还用于利用spring data框架中的PagingAndSortingRepository接口实现在MongoDB中分页查询所需数据。
从以上描述可以看出，通过利用事件归档引擎获取待归档事件的数据，并将数据存储到MySQL，从而可以保证数据的持久化存储，并有利于后续查询过程中利用结构化查询语句进行复杂的多表关联查询；同时，通过将数据存储到MongoDB中并建立索引，从而可以实现在保证归档性能的同时，打破数据查询的性能瓶颈，在保证事件基本信息的快速查询，提高响应速度的同时，还可以进一步扩大查询的范围；此外，鉴于MongoDB中字段的可动态扩展性，从而可以保证已归档事件的数据字段自主扩展。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于MongoDB的事件归档和查询的方法，其特征在于，包括：
利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；
将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；
根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
2.根据权利要求1所述的方法，其特征在于，利用事件归档引擎获取待归档事件的数据包括利用clover分布式任务调度系统抓取待归档事件的数据。
3.根据权利要求1所述的方法，其特征在于，在所述数据的字段上建立索引包括在所述数据的事件号字段上建立单键索引。
4.根据权利要求1所述的方法，其特征在于，根据查询需求从所述MySQL和/或MongoDB中查询所需数据包括：
根据查询需求，根据单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用spring data框架中的PagingAndSortingRepository接口实现在MongoDB中分页查询所需数据。
6.一种基于MongoDB的事件归档和查询的装置，其特征在于，包括：
数据获取模块，用于利用事件归档引擎获取待归档事件的数据，所述数据包括待归档事件的基本信息数据和相关信息数据；
归档模块，用于将所述数据存入MySQL中，同时将所述数据存入MongoDB，其中，将所述数据存入MongoDB的过程中，在所述数据的字段上建立索引；
查询模块，用于根据查询需求从所述MySQL和/或MongoDB中查询所需数据。
7.根据权利要求6所述的装置，其特征在于，所述数据获取模块还用于：利用clover分布式任务调度系统抓取待归档事件的数据。
8.根据权利要求6所述的装置，其特征在于，所述归档模块还用于：在所述数据的事件号字段上建立单键索引。
9.根据权利要求6所述的装置，其特征在于，所述查询模块还用于：根据查询需求，根据单键索引的字段从MongoDB中查询所需数据和/或利用结构化查询语句从MySQL中多表关联查询所需数据。
10.根据权利要求6所述的装置，其特征在于，所述查询模块还用于：利用spring data框架中的PagingAndSortingRepository接口实现在MongoDB中分页查询所需数据。
CN201610030963.5A 2016-01-18 2016-01-18 基于MongoDB的事件归档和查询的方法和装置 Pending CN106980621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610030963.5A CN106980621A (zh) 2016-01-18 2016-01-18 基于MongoDB的事件归档和查询的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610030963.5A CN106980621A (zh) 2016-01-18 2016-01-18 基于MongoDB的事件归档和查询的方法和装置

Publications (1)

Publication Number Publication Date
CN106980621A true CN106980621A (zh) 2017-07-25

Family

ID=59340140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610030963.5A Pending CN106980621A (zh) 2016-01-18 2016-01-18 基于MongoDB的事件归档和查询的方法和装置

Country Status (1)

Country Link
CN (1) CN106980621A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263060A (zh) * 2019-06-06 2019-09-20 零搜科技(深圳)有限公司 一种erp电子附件管理方法及计算机设备
CN111522850A (zh) * 2020-04-23 2020-08-11 京东数字科技控股有限公司 一种数据对象的存储和查询方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020325A (zh) * 2013-01-17 2013-04-03 中国科学院计算机网络信息中心 基于NoSQL数据库的分布式遥感数据组织查询方法
WO2013064815A1 (en) * 2011-11-04 2013-05-10 Performance Horizon Group Method and database system for manipulating data
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013064815A1 (en) * 2011-11-04 2013-05-10 Performance Horizon Group Method and database system for manipulating data
CN103020325A (zh) * 2013-01-17 2013-04-03 中国科学院计算机网络信息中心 基于NoSQL数据库的分布式遥感数据组织查询方法
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚昊: "文档数据库适应新媒体业务的应用研究", 《中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届"王选新闻科学技术奖"和优秀论文奖颁奖大会》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263060A (zh) * 2019-06-06 2019-09-20 零搜科技(深圳)有限公司 一种erp电子附件管理方法及计算机设备
CN111522850A (zh) * 2020-04-23 2020-08-11 京东数字科技控股有限公司 一种数据对象的存储和查询方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109582660B (zh) 数据血缘分析方法、装置、设备、系统及可读存储介质
CN110489445A (zh) 一种基于多形态复合的海量数据快速查询方法
CN106649630A (zh) 数据查询方法及装置
CN109656963B (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN102609421B (zh) 数据查询方法及装置
CN105138661A (zh) 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法
CN107066546B (zh) 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN108170734A (zh) 一种智能化运维机器人
CN103646073A (zh) 一种基于HBase表的条件查询优化方法
WO2019047441A1 (zh) 一种通信优化方法及系统
CN104239572A (zh) 基于分布式缓存实现元数据分析的系统及方法
CN109299073A (zh) 一种数据血缘的生成方法、系统、电子设备和存储介质
CN104516979A (zh) 一种基于二次检索的数据查询方法及系统
CN103034735A (zh) 一种大数据分布式文件导出方法
CN109643305A (zh) 数据查询方法、应用和数据库服务器、中间件及系统
CN102891768A (zh) 网络管理的方法和网元
CN104199978A (zh) 基于NoSQL实现元数据缓存与分析的系统及方法
CN104090896B (zh) 一种导入数据的方法、装置和系统
CN107273462B (zh) 一种构建HBase集群全文索引方法，数据读取方法以及数据写入方法
CN113568938A (zh) 数据流处理方法、装置、电子设备及存储介质
CN113946399B (zh) 一种空间数据加载方法及装置
CN106980621A (zh) 基于MongoDB的事件归档和查询的方法和装置
US10432792B2 (en) System and method of integrating to an external search application in an employee desktop web client
CN106445968A (zh) 一种数据合并方法及装置
CN108319604B (zh) 一种hive中大小表关联的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170725

RJ01 Rejection of invention patent application after publication