CN108021688A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN108021688A
CN108021688A CN201711349654.5A CN201711349654A CN108021688A CN 108021688 A CN108021688 A CN 108021688A CN 201711349654 A CN201711349654 A CN 201711349654A CN 108021688 A CN108021688 A CN 108021688A
Authority
CN
China
Prior art keywords
data
stored
deleted
relevant database
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711349654.5A
Other languages
English (en)
Other versions
CN108021688B (zh
Inventor
董晓斌
王志海
喻波
安鹏
吴宏毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN201711349654.5A priority Critical patent/CN108021688B/zh
Publication of CN108021688A publication Critical patent/CN108021688A/zh
Application granted granted Critical
Publication of CN108021688B publication Critical patent/CN108021688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972Access to data in other repository systems, e.g. legacy data or dynamic Web page generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置。在本发明实施例中,在关系型数据库中可以存储数据,在ES中也可以存储数据,在关系型数据库中存储了海量的数据以及在ES中也存储了海量的数据的情况下,从关系型数据库中获取需要获取的数据所需耗费的时间往往远远大于从ES中获取需要获取的数据所需耗费的时间,因此,当获取到携带待获取数据的数据标识的第一数据获取请求之后,可以根据该数据标识判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则根据该数据标识从ES中获取待获取数据,无需从关系型数据库中获取待获取数据,从而可以减少获取待获取数据所需耗费的时间,以提高获取待获取数据的效率。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据处理方法及装置。
背景技术
随着技术的飞速发展,网络源源不断地在产生新的数据,当产生数据之后,为了之后能够使用该数据,则往往需要将该数据存储,目前,通常使用MYSQL等数据库存储数据。
当之后需要使用该数据时,可以向MYSQL发送数据获取请求,该数据获取请求携带该数据的数据标识,MYSQL接收该数据获取请求,然后从该数据获取请求中提取该数据标识,然后在MYSQL中存储的数据中获取该数据标识所对应的该数据,并向该数据获取请求的发送方发送获取的该数据。
然而,发明人发现,当MYSQL中存储了海量的数据时,在MYSQL中存储的数据中获取该数据标识所对应的数据需要耗费较长的时间,导致获取数据的效率较低。
发明内容
为了提高获取数据的效率,本发明实施例示出了一种数据处理方法及装置。
第一方面,本发明实施例示出了一种数据处理方法,所述方法应用于关系型数据库中,所述关系型数据库与分布式全文搜索引擎ES之间通信连接,所述方法包括:
获取第一数据获取请求,所述第一数据获取请求携带待获取数据的数据标识;
根据所述数据标识判断所述待获取数据是否存储在所述ES中;
如果所述待获取数据存储在所述ES中,则根据所述数据标识从所述ES中获取所述待获取数据。
在一个可选的实现方式中,所述待获取数据为多个,所述方法还包括:
如果一部分待获取数据存储在所述关系型数据库中,且另一部分待获取数据存储在所述ES中,则从所述关系型数据库中获取所述一部分待获取数据,以及从所述ES中获取所述另一部分待获取数据。
在一个可选的实现方式中,所述方法还包括:
接收数据存储请求,所述数据存储请求携带待存储数据;
将所述待存储数据存储在所述ES中。
在一个可选的实现方式中,所述接收数据存储请求之后,还包括:
将所述待存储数据存储在所述关系型数据库中;
向所述数据存储请求的发送方发送通知消息,所述通知消息用于通知已将所述待存储数据存储完毕,然后执行所述将所述待存储数据存储在所述ES中的步骤。
在一个可选的实现方式中,所述将所述待存储数据存储在所述ES中之后,还包括:
删除在所述关系型数据库中存储的所述待存储数据。
在一个可选的实现方式中,所述待存储数据为多个,所述方法还包括:
每当将一个待存储数据存储在所述ES中,则将所述一个待存储数据的数据标识存储在预设列表中,所述预设列表用于存储在所述ES中存储的数据的数据标识。
在一个可选的实现方式中,所述方法还包括:
接收数据删除请求,所述数据删除请求携带待删除数据的数据标识;
根据所述待删除数据的数据标识判断所述待删除数据是否存储在所述ES中;
如果所述待删除数据存储在所述ES中,则根据所述待删除数据的数据标识从所述ES中删除所述待删除数据。
在一个可选的实现方式中,所述根据所述待删除数据的数据标识从所述ES中删除所述待删除数据之后,还包括:
从所述预设列表删除所述待删除数据的数据标识。
第二方面,本发明实施例示出了一种数据处理装置,所述装置应用于关系型数据库中,所述关系型数据库与分布式全文搜索引擎ES之间通信连接,所述装置包括:
第一获取模块,用于获取第一数据获取请求,所述第一数据获取请求携带待获取数据的数据标识;
第一判断模块,用于根据所述数据标识判断所述待获取数据是否存储在所述ES中;
第二获取模块,用于如果所述待获取数据存储在所述ES中,则根据所述数据标识从所述ES中获取所述待获取数据。
在一个可选的实现方式中,所述待获取数据为多个,所述装置还包括:
第三获取模块,用于如果一部分待获取数据存储在所述关系型数据库中,且另一部分待获取数据存储在所述ES中,则从所述关系型数据库中获取所述一部分待获取数据,以及从所述ES中获取所述另一部分待获取数据。
在一个可选的实现方式中,所述装置还包括:
第一接收模块,用于接收数据存储请求,所述数据存储请求携带待存储数据;
第一存储模块,用于将所述待存储数据存储在所述ES中。
在一个可选的实现方式中,所述装置还包括:
第二存储模块,用于将所述待存储数据存储在所述关系型数据库中;
发送模块,用于向所述数据存储请求的发送方发送通知消息,所述通知消息用于通知已将所述待存储数据存储完毕,然后执行所述将所述待存储数据存储在所述ES中的步骤。
在一个可选的实现方式中,所述装置还包括:
第一删除模块,用于删除在所述关系型数据库中存储的所述待存储数据。
在一个可选的实现方式中,所述待存储数据为多个,所述装置还包括:
第三存储模块,用于每当将一个待存储数据存储在所述ES中,则将所述一个待存储数据的数据标识存储在预设列表中,所述预设列表用于存储在所述ES中存储的数据的数据标识。
在一个可选的实现方式中,所述装置还包括:
第二接收模块,用于接收数据删除请求,所述数据删除请求携带待删除数据的数据标识;
第二判断模块,用于根据所述待删除数据的数据标识判断所述待删除数据是否存储在所述ES中;
第二删除模块,用于如果所述待删除数据存储在所述ES中,则根据所述待删除数据的数据标识从所述ES中删除所述待删除数据。
在一个可选的实现方式中,所述装置还包括:
第三删除模块,用于从所述预设列表删除所述待删除数据的数据标识。
本发明实施例的有益效果为:
在本发明实施例中,在关系型数据库中可以存储数据,在ES中也可以存储数据,在关系型数据库中存储了海量的数据以及在ES中也存储了海量的数据的情况下,从关系型数据库中获取需要获取的数据所需耗费的时间往往远远大于从ES中获取需要获取的数据所需耗费的时间,因此,当获取到携带待获取数据的数据标识的第一数据获取请求之后,可以根据该数据标识判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则根据该数据标识从ES中获取待获取数据,无需从关系型数据库中获取待获取数据,从而可以减少获取待获取数据所需耗费的时间,以提高获取待获取数据的效率。
附图说明
图1是本发明的一种数据处理方法实施例的步骤流程图;
图2是本发明的一种数据处理装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种数据处理方法实施例的步骤流程图,方法应用于关系型数据库中,关系型数据库与ES(Elastic Search,分布式全文搜索引擎)之间通信连接,该方法具体可以包括如下步骤:
在步骤S101中,获取第一数据获取请求,第一数据获取请求携带待获取数据的数据标识;
在本发明实施例中,关系型数据库包括Oracle、DB2、PostgreSQL、Microsoft SQLServer、Microsoft Access以及MYSQL等等。
数据标识用于唯一标识数据。
在步骤S102中,根据该数据标识判断待获取数据是否存储在ES中;
在本发明实施例中,待获取数据可能存储在关系型数据库中,也可能存储在ES中,为了提高获取待获取数据的效率,则需要判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则执行步骤S103。
本步骤的具体判断步骤可参见之后的实施例,在此不做详述。
如果待获取数据存储在ES中,在步骤S103中,则根据该数据标识从ES中获取待获取数据。
具体地,关系型数据库可以向ES发送第一数据获取请求。ES接收第一数据获取请求,从第一数据获取请求中提取该数据标识,并根据该数据标识获取存储在ES中的待获取数据,并向关系型数据库发送待获取数据。关系型数据库接收ES发送的待获取数据。进一步地,关系型数据库还可以向数据获取请求的发送方发送待获取数据。
在本发明实施例中,在关系型数据库中可以存储数据,在ES中也可以存储数据,当在关系型数据库中和在ES中分别存储了海量且相同的数据时,从关系型数据库中获取需要获取的数据所需耗费的时间往往远远大于从ES中获取需要获取的数据所需耗费的时间,因此,当获取到携带待获取数据的数据标识的第一数据获取请求之后,可以根据该数据标识判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则根据该数据标识从ES中获取待获取数据,无需从关系型数据库中获取待获取数据,从而可以减少获取待获取数据所需耗费的时间,以提高获取待获取数据的效率。
在本发明实施例中,有时候待获取数据可能为多个,当待获取数据为多个时,可能存在一部分待获取数据存储在关系型数据库中,且另一部分待获取数据存储在ES中的情况,如果一部分待获取数据中存储在关系型数据库中,且另一部分待获取数据中存储在ES中,则需要从关系型数据库中获取该一部分待获取数据,以及从ES中获取该另一部分待获取数据。
例如,关系型数据库在关系型数据库中查找该数据标识所对应数据,并作为待获取数据;以及,关系型数据库生成第二数据获取请求,第二数据获取请求携带该另一部分待获取数据的数据标识,向ES发送第二数据获取请求。ES接收第二数据获取请求,从第二数据获取请求中提取出该另一部分待获取数据的数据标识,并根据该另一部分待获取数据的数据标识获取存储在ES中的该另一部分待获取数据,并向关系型数据库发送该另一部分待获取数据。关系型数据库接收ES发送的该另一部分待获取数据。
为了关系型数据库在需要获取待获取数据时,能够从ES中获取待获取数据,以提高获取效率,在本发明另一实施例中,在关系型数据库需要存储数据时,关系型数据库可以将需要存储的数据存储在ES中。具体地,关系型数据库接收数据存储请求,该数据存储请求携带待存储数据,然后将待存储数据存储在ES中。其中,关系型数据库可以向ES发送该数据存储请求。ES接收该数据存储请求,并从该数据存储请求中提取出待存储数据,然后将待存储数据存储在ES中。
在本发明实施例中,数据存储请求往往是其他用户向关系型数据库发送的,通常情况下,在关系型数据库将待存储数据存储完毕之后,就会向数据存储请求的发送方发送通知消息,该通知消息用于通知已将待存储数据存储完毕,当数据存储请求的发送方接收到该通知消息之后,就会显示该通知消息,如此使得用户就可以获知关系型数据库已将待存储数据存储完毕。
但是,当在短时间内需要存储海量的数据时,在将海量的数据存储在ES中所需耗费的时间往往较长,因此,当需要在ES中存储待存储数据时,如果还需要在ES中存储其他海量的数据,则在ES中存储待存储数据所需耗费的时间往往较长,如此导致数据存储请求的发送方需要等待较长时间才能得到该通知消息,进而导致用户需要等待较长时间才能看到显示的该通知消息,从而导致用户体验较低。
因此,为了提高用户体验,在本发明又一实施例中,在接收到该数据存储请求之后,关系型数据库可以先将待存储数据存储在关系型数据库中,然后向该数据存储请求的发送方发送通知消息,该通知消息用于通知已将待存储数据存储完毕,然后再将待存储数据存储在ES中。
其中,虽然关系型数据库在将待存储数据存储完毕之后,才会向数据存储请求的发送方发送该通知消息,但是,当在短时间内需要存储海量的数据时,在将海量的数据存储在关系型数据库中所需耗费的时间往往较短,因此,当需要在关系型数据库中存储待存储数据时,如果还需要在关系型数据库中存储其他海量的数据,在关系型数据库中存储待存储数据所需耗费的时间往往较短,如此使得该数据存储请求的发送方只需要等待较短时间就能得到该通知消息,进而使得用户无需等待较长时间就能看到显示的该通知消息,从而可以提高用户体验。
在前述实施例中,在将待存储数据存储在关系型数据库中之后,关系型数据库也会将待存储数据存储在ES中。如此,在关系型数据库和ES中同时存储有待存储数据,如果之后关系型数据库需要获取已存储的待存储数据,则往往是从ES中获取已存储的待存储数据,而通常不会从关系型数据库中获取已存储的待存储数据,因此,在关系型数据库和ES中同时存储待存储数据浪费较多的存储资源,所以为了节省存储资源,在本发明又一实施例中,再将待存储数据存储在ES中之后,可以删除在关系型数据库中存储的待存储数据。
进一步地,有时候待存储数据为多个,如果待存储数据为多个,关系型数据库在将多个待存储数据存储在ES中时,往往是将多个待存储数据一个一个依次存储在ES中,如果此时还需要将海量的数据存储在ES中,则会导致在ES中存储一个数据所需耗费的时间往往较长,如此将多个待存储数据一个一个依次存储在ES中往往会耗费非常多的时间。在将多个待存储数据一个一个依次存储在ES中的这段时间内,如果关系型数据库接收到用于获取多个待存储数据中的某一待存储数据的第三数据获取请求,为了在将该待存储数据已存储在ES中的情况下,能够从ES中获取该待存储数据,以提高获取该待存储数据的获取效率,关系型数据库需要实时获知多个待存储数据在ES中的存储情况。
为了使得关系型数据库能够实时获知多个待存储数据在ES中的存储情况,每当关系型数据库将一个待存储数据存储在ES中,则需要将该一个待存储数据的数据标识存储在预设列表中,预设列表用于存储在ES中存储的数据的数据标识。
进一步地,步骤S102具体可以为:在预设列表中查找是否存在待获取数据的数据标识;如果预设列表中存在待获取数据的数据标识,则确定待获取数据存储在ES中;如果预设列表中不存在待获取数据的数据标识,则确定待获取数据未存储在ES中。
在本发明又一实施例中,有时候可能需要将事先在ES中或者关系型数据库中存储的数据删除,当需要将事先在ES中或者关系型数据库中存储的某些数据删除时,可以向关系型数据库发送数据删除请求,该数据删除请求携带待删除数据的数据标识;
关系型数据库接收该数据删除请求,从该数据删除请求中提取出待删除数据的数据标识,然后根据待删除数据的数据标识判断待删除数据是否存储在ES中,其中,可以在预设列表中查找是否存在待删除数据的数据标识;如果预设列表中存在待删除数据的数据标识,则确定待删除数据存储在ES中;如果预设列表中不存在待删除数据的数据标识,则确定待删除数据未存储在ES中。如果待删除数据存储在ES中,则根据待删除数据的数据标识从ES中删除待删除数据。如果待删除数据未存储在ES中,则根据待删除数据的数据标识从关系型数据库中删除待删除数据。
进一步地,在根据待删除数据的数据标识从ES中删除待删除数据之后,还可以从预设列表删除待删除数据的数据标识。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图2,示出了本发明一种数据处理装置实施例的结构框图,所述装置应用于关系型数据库中,所述关系型数据库与分布式全文搜索引擎ES之间通信连接,所述装置具体可以包括如下模块:
第一获取模块11,用于获取第一数据获取请求,所述第一数据获取请求携带待获取数据的数据标识;
第一判断模块12,用于根据所述数据标识判断所述待获取数据是否存储在所述ES中;
第二获取模块13,用于如果所述待获取数据存储在所述ES中,则根据所述数据标识从所述ES中获取所述待获取数据。
在一个可选的实现方式中,所述待获取数据为多个,所述装置还包括:
第三获取模块,用于如果一部分待获取数据存储在所述关系型数据库中,且另一部分待获取数据存储在所述ES中,则从所述关系型数据库中获取所述一部分待获取数据,以及从所述ES中获取所述另一部分待获取数据。
在一个可选的实现方式中,所述装置还包括:
第一接收模块,用于接收数据存储请求,所述数据存储请求携带待存储数据;
第一存储模块,用于将所述待存储数据存储在所述ES中。
在一个可选的实现方式中,所述装置还包括:
第二存储模块,用于将所述待存储数据存储在所述关系型数据库中;
发送模块,用于向所述数据存储请求的发送方发送通知消息,所述通知消息用于通知已将所述待存储数据存储完毕,然后执行所述将所述待存储数据存储在所述ES中的步骤。
在一个可选的实现方式中,所述装置还包括:
第一删除模块,用于删除在所述关系型数据库中存储的所述待存储数据。
在一个可选的实现方式中,所述待存储数据为多个,所述装置还包括:
第三存储模块,用于每当将一个待存储数据存储在所述ES中,则将所述一个待存储数据的数据标识存储在预设列表中,所述预设列表用于存储在所述ES中存储的数据的数据标识。
在一个可选的实现方式中,所述装置还包括:
第二接收模块,用于接收数据删除请求,所述数据删除请求携带待删除数据的数据标识;
第二判断模块,用于根据所述待删除数据的数据标识判断所述待删除数据是否存储在所述ES中;
第二删除模块,用于如果所述待删除数据存储在所述ES中,则根据所述待删除数据的数据标识从所述ES中删除所述待删除数据。
在一个可选的实现方式中,所述装置还包括:
第三删除模块,用于从所述预设列表删除所述待删除数据的数据标识。
在本发明实施例中,在关系型数据库中可以存储数据,在ES中也可以存储数据,在关系型数据库中存储了海量的数据以及在ES中也存储了海量的数据的情况下,从关系型数据库中获取需要获取的数据所需耗费的时间往往远远大于从ES中获取需要获取的数据所需耗费的时间,因此,当获取到携带待获取数据的数据标识的第一数据获取请求之后,可以根据该数据标识判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则根据该数据标识从ES中获取待获取数据,无需从关系型数据库中获取待获取数据,从而可以减少获取待获取数据所需耗费的时间,以提高获取待获取数据的效率。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法及装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种数据处理方法,其特征在于,所述方法应用于关系型数据库中,所述关系型数据库与分布式全文搜索引擎ES之间通信连接,所述方法包括:
获取第一数据获取请求,所述第一数据获取请求携带待获取数据的数据标识;
根据所述数据标识判断所述待获取数据是否存储在所述ES中;
如果所述待获取数据存储在所述ES中,则根据所述数据标识从所述ES中获取所述待获取数据。
2.根据权利要求1所述的方法,其特征在于,所述待获取数据为多个,所述方法还包括:
如果一部分待获取数据存储在所述关系型数据库中,且另一部分待获取数据存储在所述ES中,则从所述关系型数据库中获取所述一部分待获取数据,以及从所述ES中获取所述另一部分待获取数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收数据存储请求,所述数据存储请求携带待存储数据;
将所述待存储数据存储在所述ES中。
4.根据权利要求3所述的方法,其特征在于,所述接收数据存储请求之后,还包括:
将所述待存储数据存储在所述关系型数据库中;
向所述数据存储请求的发送方发送通知消息,所述通知消息用于通知已将所述待存储数据存储完毕,然后执行所述将所述待存储数据存储在所述ES中的步骤。
5.根据权利要求4所述的方法,其特征在于,所述将所述待存储数据存储在所述ES中之后,还包括:
删除在所述关系型数据库中存储的所述待存储数据。
6.根据权利要求5所述的方法,其特征在于,所述待存储数据为多个,所述方法还包括:
每当将一个待存储数据存储在所述ES中,则将所述一个待存储数据的数据标识存储在预设列表中,所述预设列表用于存储在所述ES中存储的数据的数据标识。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
接收数据删除请求,所述数据删除请求携带待删除数据的数据标识;
根据所述待删除数据的数据标识判断所述待删除数据是否存储在所述ES中;
如果所述待删除数据存储在所述ES中,则根据所述待删除数据的数据标识从所述ES中删除所述待删除数据。
8.根据权利要求7所述的方法,其特征在于,所述根据所述待删除数据的数据标识从所述ES中删除所述待删除数据之后,还包括:
从所述预设列表删除所述待删除数据的数据标识。
9.一种数据处理装置,其特征在于,所述装置应用于关系型数据库中,所述关系型数据库与分布式全文搜索引擎ES之间通信连接,所述装置包括:
第一获取模块,用于获取第一数据获取请求,所述第一数据获取请求携带待获取数据的数据标识;
第一判断模块,用于根据所述数据标识判断所述待获取数据是否存储在所述ES中;
第二获取模块,用于如果所述待获取数据存储在所述ES中,则根据所述数据标识从所述ES中获取所述待获取数据。
10.根据权利要求9所述的装置,其特征在于,所述待获取数据为多个,所述装置还包括:
第三获取模块,用于如果一部分待获取数据存储在所述关系型数据库中,且另一部分待获取数据存储在所述ES中,则从所述关系型数据库中获取所述一部分待获取数据,以及从所述ES中获取所述另一部分待获取数据。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一接收模块,用于接收数据存储请求,所述数据存储请求携带待存储数据;
第一存储模块,用于将所述待存储数据存储在所述ES中。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第二存储模块,用于将所述待存储数据存储在所述关系型数据库中;
发送模块,用于向所述数据存储请求的发送方发送通知消息,所述通知消息用于通知已将所述待存储数据存储完毕,然后执行所述将所述待存储数据存储在所述ES中的步骤。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第一删除模块,用于删除在所述关系型数据库中存储的所述待存储数据。
CN201711349654.5A 2017-12-15 2017-12-15 一种数据处理方法及装置 Active CN108021688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711349654.5A CN108021688B (zh) 2017-12-15 2017-12-15 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711349654.5A CN108021688B (zh) 2017-12-15 2017-12-15 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN108021688A true CN108021688A (zh) 2018-05-11
CN108021688B CN108021688B (zh) 2019-05-21

Family

ID=62073724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711349654.5A Active CN108021688B (zh) 2017-12-15 2017-12-15 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108021688B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569268A (zh) * 2019-09-17 2019-12-13 深圳前海环融联易信息科技服务有限公司 数据查询方法、系统及计算机可读存储介质
WO2020186791A1 (zh) * 2019-03-16 2020-09-24 平安科技(深圳)有限公司 数据传输方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
US20120303584A1 (en) * 2000-09-08 2012-11-29 Oracle International Corporation Techniques for automatically provisioning a database over a wide area network
CN102929933A (zh) * 2012-09-21 2013-02-13 北京世纪高通科技有限公司 数据处理的方法和装置
CN103577431A (zh) * 2012-07-27 2014-02-12 深圳市易通无限科技有限公司 一种利用多种数据库进行系统设计的方法、装置以及系统
CN103646127A (zh) * 2013-11-20 2014-03-19 中国空间技术研究院 卫星轨道姿态可视化三维显示方法
CN104142957A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种面向区域医疗的数据共享的方法及其系统
CN104317926A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种持久化的数据存储和查询方法及对应的装置和系统
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
US20170046364A1 (en) * 2015-08-10 2017-02-16 International Business Machines Corporation Optimizing online schema processing for busy database objects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303584A1 (en) * 2000-09-08 2012-11-29 Oracle International Corporation Techniques for automatically provisioning a database over a wide area network
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN103577431A (zh) * 2012-07-27 2014-02-12 深圳市易通无限科技有限公司 一种利用多种数据库进行系统设计的方法、装置以及系统
CN102929933A (zh) * 2012-09-21 2013-02-13 北京世纪高通科技有限公司 数据处理的方法和装置
CN104142957A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种面向区域医疗的数据共享的方法及其系统
CN103646127A (zh) * 2013-11-20 2014-03-19 中国空间技术研究院 卫星轨道姿态可视化三维显示方法
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN104317926A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种持久化的数据存储和查询方法及对应的装置和系统
US20170046364A1 (en) * 2015-08-10 2017-02-16 International Business Machines Corporation Optimizing online schema processing for busy database objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186791A1 (zh) * 2019-03-16 2020-09-24 平安科技(深圳)有限公司 数据传输方法、装置、设备及存储介质
CN110569268A (zh) * 2019-09-17 2019-12-13 深圳前海环融联易信息科技服务有限公司 数据查询方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN108021688B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN103136342A (zh) 应用程序app的搜索方法、系统以及搜索服务器
CN103237060A (zh) 一种数据对象获取方法、装置及系统
CN105100050A (zh) 用户权限管理方法及系统
CN102769640B (zh) 用户信息的更新方法、服务器以及系统
CN105843895A (zh) 基于Ehcache的数据查询及同步方法,装置及系统
CN109582470A (zh) 一种数据处理方法及数据处理装置
CN106685902A (zh) 一种用户权限管理方法及客户端、服务器
CN106326013A (zh) 一种分布式文件系统的磁盘配额管理系统及方法
CN113656179A (zh) 云计算资源的调度方法及装置、电子设备和存储介质
CN103902519A (zh) 一种信息处理方法及电子设备
CN104598620A (zh) 应用程序搜索方法和装置
CN104699795A (zh) 一种推送视频的方法及装置
CN108021688A (zh) 一种数据处理方法及装置
CN103412900A (zh) 一种文件下载处理方法及终端
CN104484413A (zh) 一种获得搜索结果的方法和装置
CN104750718A (zh) 一种数据信息的搜索方法和设备
CN104424188B (zh) 对获取的网页数据进行更新的系统及方法
JP2014211803A (ja) データ提供システム及びデータ提供システムにおける開示ステータス設定方法
CN106445936A (zh) 一种数据处理方法及设备
CN106250501A (zh) 报表处理方法及报表系统
CN103634385A (zh) 一种数据同步系统、方法及服务器
CN113377817A (zh) 数据处理方法、系统、设备及存储介质
CN102625290A (zh) 一种资源下载的方法、装置和系统及终端
CN107968812A (zh) 同步本地资源与网络资源的方法及装置
CN107070987B (zh) 用于分布式对象存储系统的数据获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant