CN110019213A - 数据管理方法、装置、电子设备及存储介质 - Google Patents

数据管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110019213A
CN110019213A CN201711261335.9A CN201711261335A CN110019213A CN 110019213 A CN110019213 A CN 110019213A CN 201711261335 A CN201711261335 A CN 201711261335A CN 110019213 A CN110019213 A CN 110019213A
Authority
CN
China
Prior art keywords
data
database
major key
field
assigned indexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711261335.9A
Other languages
English (en)
Inventor
罗金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711261335.9A priority Critical patent/CN110019213A/zh
Publication of CN110019213A publication Critical patent/CN110019213A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例提供了一种数据管理方法、装置、电子设备及存储介质,涉及数据处理技术领域。该方法包括:接收对第一数据库中的业务数据的查询请求,该查询请求中包含有待查询数据的指定索引字段;根据查询请求中的指定索引字段从第二数据库中获取待查询数据的主键;根据待查询数据的主键在第一数据库中查找待查询数据;其中,第一数据库中存储有业务数据以及业务数据的主键索引,第二数据库中存储有业务数据的主键以及指定索引字段的信息。本发明实施例的技术方案能够在保证高效查询数据的前提下,降低存储过多索引数据而对数据库性能造成影响。

Description

数据管理方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据管理方法、数据管理装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网技术的发展,数据规模呈几何级增长,数据库的索引技术也得到了广泛应用。
然而,数据库的索引技术在带来高效查询的同时也会影响数据库的性能。例如,数据库的索引需要占据物理存储空间,随着数据规模的增大,数据库的索引占据的空间也越来越大。
因此,如何能够在应用索引技术高效地查询数据的前提下,降低存储过多索引数据对数据库性能造成的影响成为亟待解决的技术问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种数据管理方法、数据管理装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明实施例的第一方面,提供了一种数据管理方法,包括:接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:接收将待插入数据插入所述第一数据库中的插入请求;判断所述待插入数据中是否包含所述指定索引字段;在判定所述待插入数据中包含所述指定索引字段时,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中。
在本发明的一些实施例中,基于前述方案,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中,包括:根据所述待插入数据的主键和所述指定索引字段的信息,生成第一消息;将所述第一消息发送至所述第二数据库,以使所述第二数据库存储所述待插入数据的主键和所述指定索引字段的信息。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:在所述第一数据库中对所述待插入数据执行插入操作时,在所述第一数据库中存储所述待插入数据的主键索引。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:接收对所述第一数据库中的业务数据的更新请求;判断所述更新请求中是否包含所述指定索引字段;在判定所述更新请求中包含所述指定索引字段时,根据所述更新请求中包含的所述指定索引字段从所述第二数据库中获取待更新数据的主键;根据所述待更新数据的主键在所述第一数据库中查找所述待更新数据,并对所述待更新数据进行更新。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:判断所述更新请求要更新的字段是否包含所述指定索引字段;在判定要更新的字段包含所述指定索引字段时,对所述第二数据库中存储的所述指定索引字段的信息进行更新。
在本发明的一些实施例中,基于前述方案,对所述第二数据库中存储的所述指定索引字段的信息进行更新,包括:根据所述待更新数据要更新的索引字段的信息,生成第二消息;将所述第二消息发送至所述第二数据库,以使所述第二数据库对存储的所述待更新数据的要更新的索引字段的信息进行更新。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:接收对所述第一数据库中的业务数据的删除请求;判断所述删除请求中是否包含所述指定索引字段;在判定所述删除请求中包含所述指定索引字段时,根据所述删除请求中包含的所述指定索引字段从所述第二数据库中获取待删除数据的主键;根据所述待删除数据的主键在所述第一数据库中查找并删除所述待删除数据。
在本发明的一些实施例中,基于前述方案,所述数据管理方法还包括:删除所述第二数据库中存储的与所述待删除数据对应的数据。
在本发明的一些实施例中,基于前述方案,所述第一数据库为关系型数据库,所述第二数据库为非关系型数据库。
根据本发明实施例的第二方面,提供了一种数据管理装置,包括:请求接收单元,用于接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;主键获取单元,用于根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;查找单元,用于根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
根据本发明实施例的第三方面,提供了一种电子设备,包括:处理器;以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的数据管理方法。
根据本发明实施例的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的数据管理方法。
在本发明的一些实施例所提供的技术方案中,一方面,在第一数据库中存储业务数据及其主键索引,在第二数据库中存储业务数据的主键以及指定索引字段的信息,可以显著减少第一数据库中的索引数量,从而能够减少创建维护索引耗费的时间以及索引占据的空间,进而能够降低索引对数据库性能的影响;另一方面,根据查询请求中的指定索引字段从第二数据库中获取待查询数据的主键,根据该主键在第一数据库中查找对应的数据,又可以保证高效地查询第一数据库中的数据。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本发明的示例实施例的数据管理方法的流程示意图;
图2示出了根据本发明的一示例性实施例的数据管理系统的示意框图;
图3示出了根据本发明的一示例实施例的数据插入操作的流程示意图;
图4示出了根据本发明的另一示例实施例的数据插入操作的流程示意图;
图5示出了根据本发明的一示例实施例的数据更新操作的流程示意图;
图6示出了根据本发明的另一示例性实施例的数据更新操作的流程示意图;
图7示出了根据本发明的一示例性实施例的数据删除操作的流程示意图;
图8示出了根据本发明的另一示例性实施例的数据删除操作的流程示意图;
图9示出了根据本发明的一示例性实施例的数据管理装置的示意框图;
图10示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明的示例实施例的数据管理方法的流程示意图。参照图1所示,该数据管理方法可以包括以下步骤:
步骤S110,接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;
步骤S120,根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;
步骤S130,根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;
其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
根据图1中所示的数据管理方法,一方面,在第一数据库中存储业务数据及其主键索引,在第二数据库中存储业务数据的主键以及指定索引字段的信息,可以显著减少第一数据库中的索引数量,从而能够减少创建维护索引耗费的时间以及索引占据的空间,进而能够降低索引对数据库性能的影响;另一方面,根据查询请求中的指定索引字段从第二数据库中获取待查询数据的主键,根据该主键在第一数据库中查找对应的数据,又可以保证高效地查询第一数据库中的数据。
下面,将对图1的示例实施例中的数据管理方法进行详细的说明。
在步骤S110,接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段。
在本示例实施例中,可以在第一数据库中存储业务数据以及业务数据的主键索引,在第二数据库中存储业务数据的主键以及业务数据的指定索引字段的信息。举例而言,设业务数据为下表1中的用户信息数据:
表1
假设该用户信息数据的指定索引字段为身份证号以及姓名,则可以在第一数据库中存储表1中的用户信息数据以及用户信息数据的主键索引,在第二数据库库中存储该用户信息数据的主键、身份证号以及姓名字段。在对该用户信息数据进行查询时,查询请求中可以包括该用户信息数据的身份证号和/或姓名。
需要说明的是,在本示例实施例中,第一数据库可以为关系型数据库例如MySQL数据库或Oracle数据库,但是本发明的示例实施例不限于此,例如第一数据库还可以为SQLserver数据库、DB2数据库等。第二数据库可以为非关系型数据库例如MongoDB数据库或CouchDB数据库,但是本发明的示例实施例不限于此,例如第二数据库还可以为Redis数据库、Voldemort数据库等。
在步骤S120,根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键。
在本示例实施例中,由于第二数据库中存储有业务数据的主键以及指定索引字段的信息,则可以根据查询请求中的待查询数据的指定索引字段从第二数据库中获取待查询数据的主键。举例而言,可以根据上表1中的用户信息数据的身份证号和/或姓名从第二数据数据库中获取该用户信息数据的主键。
在步骤S130,根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据。
在本示例实施例中,由于第一数据库中存储有业务数据以及业务数据的主键索引,则可以根据待查询数据的主键从第一数据库中查找到待查询数据。
图2示出了根据本发明的一示例实施例的数据管理系统的示意框图。参照图2所示,该数据管理系统可以包括:业务数据处理模块210、索引配置模块220以及索引字段存储模块230。业务数据处理模块210可以对接收到的业务数据的增、删、改、查操作请求进行处理。索引配置模块220可以对业务数据的索引字段进行配置。索引字段存储模块230可以对索引配置模块220中配置的索引字段进行存储。
进一步地,业务数据处理模块210可以包括:请求接收单元212,请求接收单元212可以接收对业务数据的增、删、改、查等数据操作请求;请求处理单元214,请求处理单元214可以处理请求接收单元212接收到的操作请求;第一数据库216可以存储业务数据以及业务数据的主键索引。
索引配置模块220可以包括:索引字段配置单元222,索引字段配置单元222可以对业务数据的索引字段进行指定和配置;消息生成单元224,消息生成单元224可以在请求处理单元214中处理的业务数据的索引字段发生变更时生成MQ(Message Queue,消息队列)消息。例如,可以通过ActiveMQ(Active Message Quene,活动消息队列)生成MQ消息。
索引字段存储模块230可以包括:第二数据库232,第二数据库232中可以存储在索引配置模块220中配置的索引字段以及对应的业务数据的主键;主键获取单元234,主键获取单元234可以根据第二数据库232中存储的业务数据的索引字段获取业务数据的主键。例如,可以根据业务数据的索引字段从第二数据库例如ES(ElasticSearch,灵活搜索)服务器中获取待查询数据的主键。
图3示出了根据本发明的一示例实施例的数据插入操作的流程示意图。
参照图3所示,在步骤S310中,接收将待插入数据插入所述第一数据库中的插入请求。例如,待插入数据可以为上表1中的用户信息数据。
在步骤S320中,判断所述待插入数据中是否包含所述指定索引字段。在待插入数据为上表1中的用户信息数据时,指定索引字段可以为“身份证号”和/或“姓名”。
在步骤S330中,在判定所述待插入数据中包含所述指定索引字段时,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中。
在本示例实施例中,以上表1中的用户信息数据为例,在判定待插入数据中包含“身份证号”和“姓名”等指定字段时,可以将待插入数据的主键以及“身份证号”和“姓名”字段的信息存储到第二数据库中。第二数据库中存储的数据格式可以为:主键-索引字段1-索引字段2-索引字段N,以上表1中的用户信息数据为例,第二数据库中存储的结果可以为下表2:
主键id 身份证号 姓名
1 123456789 张三
表2
图4示出了根据本发明的另一示例实施例的数据插入操作的流程示意图。
参照图4所示,在步骤S410中,接收业务请求,例如,可以通过图2中所示的业务数据处理模块210接收业务请求。
在步骤S420中,判断接收的业务请求是否为数据插入请求。在判定业务请求为数据插入请求时,转至步骤S430。
在步骤S430中,判断数据插入请求中的待插入数据是否存在指定索引字段。在第一数据库中存储的业务数据为与表1中的用户信息数据类似的数据时,指定索引字段可以为“身份证号”和“姓名”。在判定待插入数据中存在指定索引字段时,转至步骤S440。
在步骤S440中,可以根据待插入数据的主键和指定索引字段的信息,生成消息,该消息可以是MQ(Message Queue,消息队列)消息。进一步地,还可以对该消息中的数据进行处理,生成JSON(JavaScript Object Notation,JS对象标记)格式的数据。JSON格式的数据为{索引字段1,索引字段2,…,索引字段N,业务数据主键}。
在步骤S450中,向索引字段存储模块发送步骤S440中生成的消息。例如,可以向图2中的索引字段存储模块230发送包含指定索引字段以及业务数据主键的JSON格式的消息,该JSON格式的消息可以为“身份证号”:“123456789”,“姓名”:“张三”,“主键id”:“1”)。
图5示出了根据本发明的一示例实施例的数据更新操作的流程示意图。
参照图5所示,在步骤S510中,接收对所述第一数据库中的业务数据的更新请求。例如,可以通过图2中的业务数据处理模块210接收对第一数据库中的业务数据的更新请求。
在步骤S520中,判断所述更新请求中是否包含所述指定索引字段。在对上表1中的用户信息数据进行更新时,指定索引字段可以为“身份证号”、“姓名”。
在步骤S530中,在判定所述更新请求中包含所述指定索引字段时,根据所述更新请求中包含的所述指定索引字段从所述第二数据库中获取待更新数据的主键。例如,在指定索引字段为“身份证号”和“姓名”时,可以根据更新请求中包含的“身份证号”和“姓名”从第二数据库中获取待更新数据的主键。
在步骤S540中,根据所述待更新数据的主键在所述第一数据库中查找所述待更新数据,并对所述待更新数据进行更新。例如,可以根据步骤S530中获取到的待更新数据的主键在第一数据库中查找对应的待更新数据,在查找到待更新数据时,根据更新请求对待更新数据进行更新。
图6示出了根据本发明的另一示例性实施例的数据更新操作的流程示意图。
参照图6所示,在步骤S610中,接收对第一数据库中存储的业务数据的更新请求。例如,可以通过图2中所示的业务数据处理模块210接收对第一数据库中存储的业务数据的更新请求。
在步骤S620中,判断更新请求是否为包含索引条件的更新请求。在判定更新请求为包含索引条件的更新请求时,转至步骤S630;在判定为更新请求为不包含索引条件的更新时,转至步骤S650。
在步骤S630中,根据索引条件从第二数据库中查询待更新数据的主键。
在步骤S640中,在查询到待更新数据的主键之后,根据主键查询到要更新的数据。
在步骤S650中,判断更新请求要更新字段是否为指定索引字段,在判定要更新的字段为指定索引字段时,转至步骤S660,在判定要更新的字段不是指定索引字段时,转至步骤S670。
在步骤S660中,根据待更新数据要更新的指定索引字段的信息,生成消息并发送至第二数据库,在第二数据库中对待更新数据要更新的索引字段的信息进行更新。在本发明的实施例中,该消息可以是MQ消息,并且还可以对该消息中的数据进行处理,生成JSON格式的数据。
在步骤S670中,更新第一数据库中对应的数据
图7示出了根据本发明的一示例性实施例的数据删除操作的流程示意图。
参照图7所示,在步骤S710中,接收对第一数据库中的业务数据的删除请求。例如,可以通过图2中的业务数据处理模块210接收对第一数据库中的业务数据的删除请求。
在步骤S720中,判断所述删除请求中是否包含所述指定索引字段。在对上表1中的用户信息数据进行删除时,指定索引字段可以为“身份证号”、“姓名”。
在步骤S730中,在判定所述删除请求中包含所述指定索引字段时,根据所述删除请求中包含的所述指定索引字段从所述第二数据库中获取待删除数据的主键。例如,在指定索引字段为“身份证号”和“姓名”时,可以根据删除请求中包含的“身份证号”和“姓名”从第二数据库中获取待删除数据的主键。
在步骤S740中,根据所述待删除数据的主键在所述第一数据库中查找并删除所述待删除数据。例如,可以根据步骤S730中获取到的待删除数据的主键在第一数据库中查找并删除对应的待删除数据。
图8示出了根据本发明的另一示例性实施例的数据删除操作的流程示意图。
参照图8所示,在步骤S810中,接收对第一数据库中存储的业务数据的删除请求。例如,可以通过图2中所示的业务数据处理模块210接收对第一数据库中存储的业务数据的删除请求。
在步骤S820中,判断删除请求是否为包含索引条件的删除请求。在判定删除请求为包含索引条件的删除请求时,转至步骤S830;在判定删除请求为不包含索引条件的删除请求时,转至步骤S850。
在步骤S830中,根据索引条件从第二数据库中查询待删除数据的主键。
在步骤S840中,根据查询到的主键删除第一数据库中对应的数据。
在步骤S850中,生成删除消息并发送至第二数据库。在本发明的实施例中,删除消息也可以是MQ消息,并且还可以对删除消息中的数据进行处理,生成JSON格式的数据。
在步骤S860中,可以根据所述删除消息从第二数据库中删除相应的主键及索引字段。
图9示出了根据本发明的一示例性实施例的数据管理装置的示意框图。参照图9所示,该数据管理装置900可以包括:接收单元910、主键获取单元920以及查找单元930。
其中,接收单元910用于接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;主键获取单元920用于根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;查找单元930用于根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
在本发明的一些实施例中,基于前述方案,该数据管理装置900还包括:插入请求接收单元,用于接收将待插入数据插入所述第一数据库中的插入请求;第一判断单元,用于判断所述待插入数据中是否包含所述指定索引字段;保存单元,用于在判定所述待插入数据中包含所述指定索引字段时,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中。
在本发明的一些实施例中,基于前述方案,保存单元被配置成:根据所述待插入数据的主键和所述指定索引字段的信息,生成第一消息;将所述第一消息发送至所述第二数据库,以使所述第二数据库存储所述待插入数据的主键和所述指定索引字段的信息。
在本发明的一些实施例中,基于前述方案,该数据管理装置900还包括:主键索引存储单元,用于在所述第一数据库中对所述待插入数据执行插入操作时,在所述第一数据库中存储所述待插入数据的主键索引。
在本发明的一些实施例中,基于前述方案,该数据管理装置900还包括:更新请求接收单元,用于接收对所述第一数据库中的业务数据的更新请求;第二判断单元,判断所述更新请求中是否包含所述指定索引字段;第一获取单元,用于在判定所述更新请求中包含所述指定索引字段时,根据所述更新请求中包含的所述指定索引字段从所述第二数据库中获取待更新数据的主键;第一更新单元,用于根据所述待更新数据的主键在所述第一数据库中查找所述待更新数据,并对所述待更新数据进行更新。
在本发明的一些实施例中,基于前述方案,该数据管理装置还包括:第三判断单元,用于判断所述更新请求要更新的字段是否包含所述指定索引字段;第二更新单元,用于在判定要更新的字段包含所述指定索引字段时,对所述第二数据库中存储的所述指定索引字段的信息进行更新。
在本发明的一些实施例中,基于前述方案,所述第二更新单元被配置成:根据所述待更新数据要更新的索引字段的信息,生成第二消息;将所述第二消息发送至所述第二数据库,以使所述第二数据库对存储的所述待更新数据的要更新的索引字段的信息进行更新。
在本发明的一些实施例中,基于前述方案,该数据管理装置900还包括:删除请求接收单元,用于接收对所述第一数据库中的业务数据的删除请求;第三判断单元,用于判断所述删除请求中是否包含所述指定索引字段;第二获取单元,用于在判定所述删除请求中包含所述指定索引字段时,根据所述删除请求中包含的所述指定索引字段从所述第二数据库中获取待删除数据的主键;第一删除单元,用于根据所述待删除数据的主键在所述第一数据库中查找并删除所述待删除数据。
在本发明的一些实施例中,基于前述方案,该数据管理装置900还包括:第二删除单元,用于删除所述第二数据库中存储的与所述待删除数据对应的数据。
在本发明的一些实施例中,基于前述方,所述第一数据库为关系型数据库,所述第二数据库为非关系型数据库。
由于本发明的示例实施例的数据管理装置900的各个功能模块与上述数据管理方法的示例实施例的步骤对应,因此在此不再赘述。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参考图10,其示出了适于用来实现本发明实施例的电子设备的计算机系统1000的结构示意图。图10示出的电子设备的计算机系统1000仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的数据处理方法。
例如,所述电子设备可以实现如图1中所示的:步骤S110,接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;步骤S120,根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;步骤S130,根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备或装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种数据管理方法,其特征在于,包括:
接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;
根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;
根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;
其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
2.根据权利要求1所述的数据管理方法,其特征在于,所述数据管理方法还包括:
接收将待插入数据插入所述第一数据库中的插入请求;
判断所述待插入数据中是否包含所述指定索引字段;
在判定所述待插入数据中包含所述指定索引字段时,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中。
3.根据权利要求2所述的数据管理方法,其特征在于,将所述待插入数据的主键和所述指定索引字段的信息存储至所述第二数据库中,包括:
根据所述待插入数据的主键和所述指定索引字段的信息,生成第一消息;
将所述第一消息发送至所述第二数据库,以使所述第二数据库存储所述待插入数据的主键和所述指定索引字段的信息。
4.根据权利要求2所述的数据管理方法,其特征在于,所述数据管理方法还包括:
在所述第一数据库中对所述待插入数据执行插入操作时,在所述第一数据库中存储所述待插入数据的主键索引。
5.根据权利要求1所述的数据管理方法,其特征在于,所述数据管理方法还包括:
接收对所述第一数据库中的业务数据的更新请求;
判断所述更新请求中是否包含所述指定索引字段;
在判定所述更新请求中包含所述指定索引字段时,根据所述更新请求中包含的所述指定索引字段从所述第二数据库中获取待更新数据的主键;
根据所述待更新数据的主键在所述第一数据库中查找所述待更新数据,并对所述待更新数据进行更新。
6.根据权利要求5所述的数据管理方法,其特征在于,所述数据管理方法还包括:
判断所述更新请求要更新的字段是否包含所述指定索引字段;
在判定要更新的字段包含所述指定索引字段时,对所述第二数据库中存储的所述指定索引字段的信息进行更新。
7.根据权利要求6所述的数据管理方法,其特征在于,对所述第二数据库中存储的所述指定索引字段的信息进行更新,包括:
根据所述待更新数据要更新的索引字段的信息,生成第二消息;
将所述第二消息发送至所述第二数据库,以使所述第二数据库对存储的所述待更新数据的要更新的索引字段的信息进行更新。
8.根据权利要求1所述的数据管理方法,其特征在于,所述数据管理方法还包括:
接收对所述第一数据库中的业务数据的删除请求;
判断所述删除请求中是否包含所述指定索引字段;
在判定所述删除请求中包含所述指定索引字段时,根据所述删除请求中包含的所述指定索引字段从所述第二数据库中获取待删除数据的主键;
根据所述待删除数据的主键在所述第一数据库中查找并删除所述待删除数据。
9.根据权利要求8所述的数据管理方法,其特征在于,所述数据管理方法还包括:
删除所述第二数据库中存储的与所述待删除数据对应的数据。
10.根据权利要求1至9中任一项所述的数据管理方法,其特征在于,所述第一数据库为关系型数据库,所述第二数据库为非关系型数据库。
11.一种数据管理装置,其特征在于,包括:
接收单元,用于接收对第一数据库中的业务数据的查询请求,所述查询请求中包含有待查询数据的指定索引字段;
主键获取单元,用于根据所述查询请求中的指定索引字段从第二数据库中获取所述待查询数据的主键;
查找单元,用于根据所述待查询数据的主键在所述第一数据库中查找所述待查询数据;
其中,所述第一数据库中存储有所述业务数据以及所述业务数据的主键索引,所述第二数据库中存储有所述业务数据的主键以及指定索引字段的信息。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至10中任一项所述的数据管理方法。
13.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的数据管理方法。
CN201711261335.9A 2017-12-04 2017-12-04 数据管理方法、装置、电子设备及存储介质 Pending CN110019213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711261335.9A CN110019213A (zh) 2017-12-04 2017-12-04 数据管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711261335.9A CN110019213A (zh) 2017-12-04 2017-12-04 数据管理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110019213A true CN110019213A (zh) 2019-07-16

Family

ID=67186524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711261335.9A Pending CN110019213A (zh) 2017-12-04 2017-12-04 数据管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110019213A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704486A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 数据处理方法、装置、系统、存储介质和服务器
CN110955671A (zh) * 2019-11-21 2020-04-03 北京天元创新科技有限公司 一种数据更新处理方法及装置
CN111104426A (zh) * 2019-11-22 2020-05-05 深圳智链物联科技有限公司 一种数据查询方法及系统
CN111666265A (zh) * 2020-06-04 2020-09-15 南京领行科技股份有限公司 一种数据管理方法、装置、服务器及存储介质
CN112395312A (zh) * 2019-08-15 2021-02-23 珠海格力电器股份有限公司 一种数据存储与查找方法、装置、计算机设备及存储介质
CN112689157A (zh) * 2020-12-23 2021-04-20 南京石三心网络科技有限公司 用于处理云计算资源的方法以及无线通信设备
CN112951437A (zh) * 2019-12-11 2021-06-11 北京懿医云科技有限公司 医疗数据管理方法、装置、存储介质与电子设备
CN113268488A (zh) * 2020-02-14 2021-08-17 北京京东振世信息技术有限公司 数据持久化的方法和装置
CN113434501A (zh) * 2021-06-23 2021-09-24 平安国际智慧城市科技股份有限公司 关系型数据库表的存储方法、设备及可读存储介质
CN113934731A (zh) * 2021-11-05 2022-01-14 盐城金堤科技有限公司 任务执行方法、装置、存储介质及电子设备
CN113986942A (zh) * 2021-12-28 2022-01-28 零犀(北京)科技有限公司 一种基于人机对话的消息队列管理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963977A (zh) * 2010-09-19 2011-02-02 北京腾瑞万里科技有限公司 无城市搜索方法及移动终端
JP5069525B2 (ja) * 2007-09-11 2012-11-07 株式会社野村総合研究所 データ処理システム
CN106326309A (zh) * 2015-07-03 2017-01-11 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN107133362A (zh) * 2017-06-01 2017-09-05 北京凤凰理理它信息技术有限公司 商品信息搜索方法、系统、计算机程序及电子设备
CN107248052A (zh) * 2017-05-16 2017-10-13 上海艾融软件股份有限公司 一种商品库存信息确定方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5069525B2 (ja) * 2007-09-11 2012-11-07 株式会社野村総合研究所 データ処理システム
CN101963977A (zh) * 2010-09-19 2011-02-02 北京腾瑞万里科技有限公司 无城市搜索方法及移动终端
CN106326309A (zh) * 2015-07-03 2017-01-11 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN107248052A (zh) * 2017-05-16 2017-10-13 上海艾融软件股份有限公司 一种商品库存信息确定方法、装置及系统
CN107133362A (zh) * 2017-06-01 2017-09-05 北京凤凰理理它信息技术有限公司 商品信息搜索方法、系统、计算机程序及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋加伏等: "《Access数据库应用技术》", 31 January 2014, 复旦大学出版社 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395312A (zh) * 2019-08-15 2021-02-23 珠海格力电器股份有限公司 一种数据存储与查找方法、装置、计算机设备及存储介质
CN110704486A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 数据处理方法、装置、系统、存储介质和服务器
CN110955671A (zh) * 2019-11-21 2020-04-03 北京天元创新科技有限公司 一种数据更新处理方法及装置
CN111104426A (zh) * 2019-11-22 2020-05-05 深圳智链物联科技有限公司 一种数据查询方法及系统
CN111104426B8 (zh) * 2019-11-22 2024-04-23 北京傲速科技有限公司 一种数据查询方法及系统
CN111104426B (zh) * 2019-11-22 2024-04-05 深圳智链物联科技有限公司 一种数据查询方法及系统
CN112951437A (zh) * 2019-12-11 2021-06-11 北京懿医云科技有限公司 医疗数据管理方法、装置、存储介质与电子设备
CN112951437B (zh) * 2019-12-11 2023-08-08 北京懿医云科技有限公司 医疗数据管理方法、装置、存储介质与电子设备
CN113268488A (zh) * 2020-02-14 2021-08-17 北京京东振世信息技术有限公司 数据持久化的方法和装置
CN113268488B (zh) * 2020-02-14 2023-11-03 北京京东振世信息技术有限公司 数据持久化的方法和装置
CN111666265A (zh) * 2020-06-04 2020-09-15 南京领行科技股份有限公司 一种数据管理方法、装置、服务器及存储介质
CN111666265B (zh) * 2020-06-04 2022-06-24 南京领行科技股份有限公司 一种数据管理方法、装置、服务器及存储介质
CN112689157B (zh) * 2020-12-23 2022-07-19 广东粤科芮银信息科技有限公司 用于处理云计算资源的方法以及无线通信设备
CN112689157A (zh) * 2020-12-23 2021-04-20 南京石三心网络科技有限公司 用于处理云计算资源的方法以及无线通信设备
CN113434501A (zh) * 2021-06-23 2021-09-24 平安国际智慧城市科技股份有限公司 关系型数据库表的存储方法、设备及可读存储介质
CN113934731A (zh) * 2021-11-05 2022-01-14 盐城金堤科技有限公司 任务执行方法、装置、存储介质及电子设备
CN113986942A (zh) * 2021-12-28 2022-01-28 零犀(北京)科技有限公司 一种基于人机对话的消息队列管理方法及装置

Similar Documents

Publication Publication Date Title
CN110019213A (zh) 数据管理方法、装置、电子设备及存储介质
CN109800223A (zh) 日志处理方法、装置、电子设备及存储介质
CN108932313A (zh) 数据处理方法、装置、电子设备及存储介质
CN108965355A (zh) 用于数据传输的方法、装置及计算机可读存储介质
CN110019080A (zh) 数据访问方法和装置
CN110334091A (zh) 一种数据分片分布式处理方法、系统、介质和电子设备
CN109388626A (zh) 用于向业务分配编号的方法和装置
CN109656923A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN109344142A (zh) 数据处理方法、装置、电子设备及存储介质
CN108733724A (zh) 一种跨异构数据源实时连接方法及装置
CN109344154A (zh) 数据处理方法、装置、电子设备及存储介质
CN110427415A (zh) 知识库共享方法、装置、系统介质及电子设备
CN110222775A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110427551A (zh) 信息推送方法、装置、电子设备和计算机可读介质
CN108921712A (zh) 数据处理方法、装置、介质及电子设备
CN109597810A (zh) 一种任务切分方法、装置、介质及电子设备
CN109508361A (zh) 用于输出信息的方法和装置
CN108733720A (zh) 多数据库类型的sql查询的在线校验方法和校验系统
CN109670975A (zh) 计算机系统中生成单号的方法、介质及电子设备
CN111258988B (zh) 资产管理方法、装置、电子设备以及介质
CN108399046A (zh) 文件操作请求处理方法和装置
CN109992719A (zh) 用于确定推送优先级信息的方法和装置
CN110895591A (zh) 一种定位自提点的方法和装置
CN109375910A (zh) 类文件生成方法、装置、电子设备及存储介质
CN108804451A (zh) 生成主键的方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716