CN112699187A - 关联数据处理方法、装置、设备、介质及产品 - Google Patents

关联数据处理方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN112699187A
CN112699187A CN202011603529.4A CN202011603529A CN112699187A CN 112699187 A CN112699187 A CN 112699187A CN 202011603529 A CN202011603529 A CN 202011603529A CN 112699187 A CN112699187 A CN 112699187A
Authority
CN
China
Prior art keywords
association
relational database
retrieval
target
associated data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011603529.4A
Other languages
English (en)
Other versions
CN112699187B (zh
Inventor
张雪
于庆淼
付喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011603529.4A priority Critical patent/CN112699187B/zh
Publication of CN112699187A publication Critical patent/CN112699187A/zh
Application granted granted Critical
Publication of CN112699187B publication Critical patent/CN112699187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/235—Update request formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种关联数据处理方法、装置、设备、介质及产品，该方法包括：接收用户触发的关联数据同步处理指令；根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，由于具有关联关系的数据位于同一索引中，所以使得非关系型数据库也能够实现关联检索，并且在体量较大的关联检索中，由于非关系型数据库本身具有检索速度快的特点，所以提高关联检索的检索效率。

Description

关联数据处理方法、装置、设备、介质及产品
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种关联数据处理方法、装置、设备、介质及产品。
背景技术
随着云计算技术及大数据技术的不断发展，业务数据间存在彼此关联，一般采用关系型数据库以表的形式对数据进行存储并关联，以满足关联检索的需求。
但由于随着业务的不断发展，在关系型数据库中会存在海量业务数据，并且还存在体量较大的关联表，在对体量较大的关联表中的数据进行关联检索时，导致关联检索的检索效率较低。
发明内容
本发明实施例提供一种关联数据处理方法、装置、设备、介质及产品，解决了现有技术中对体量较大的关联表中的数据进行关联检索时，导致关联检索的检索效率较低的技术问题。
第一方面，本发明实施例提供一种关联数据处理方法，包括：
接收用户触发的关联数据同步处理指令；
根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；
将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
可选地，如上所述的方法，所述将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，包括：
确定所述目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系；
根据所述基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中；
若确定所述基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号，并将同一类型字段的各字段值间进行拼接；
将添加有多个字段的基准表确定为目标索引。
可选地，如上所述的方法，还包括：
接收用户触发的关联检索请求，所述关联检索请求中包括至少一个检索条件；
若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据所述检索条件生成关联检索指令；
将所述关联检索指令发送给非关系型数据库，以使所述非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果；
接收所述非关系型数据库发送的所述关联检索结果。
可选地，如上所述的方法，所述将同一类型字段的各字段值间进行拼接之前，还包括：
在所述前预设标记符号之前和所述后预设标记符号之后分别添加字段值标识信息。
可选地，如上所述的方法，还包括：
接收用户触发的关联数据更新请求，所述关联数据更新请求中包括：目标字段的标识信息；
若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向所述非关系型数据库发送关联数据更新指令，所述关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对所述目标字段进行更新。
可选地，如上所述的方法，所述关联数据更新请求为以下请求的任意一种：
关联数据增加请求，关联数据删除请求，关联数据修改请求。
第二方面，本发明实施例提供一种关联数据处理装置，包括：
接收模块，用于接收用户触发的关联数据同步处理指令；
获取模块，用于根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；
同步模块，用于将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
可选地，如上所述的装置，所述同步模块，具体用于：
确定所述目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系；
根据所述基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中；
若确定所述基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号，并将同一类型字段的各字段值间进行拼接；
将添加有多个字段的基准表确定为目标索引。
可选地，如上所述的装置，还包括：生成模块和发送模块；
所述接收模块，还用于接收用户触发的关联检索请求，所述关联检索请求中包括至少一个检索条件；
所述生成模块，用于若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据所述检索条件生成关联检索指令；
所述发送模块，用于将所述关联检索指令发送给非关系型数据库，以使所述非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果；
所述接收模块，还用于接收所述非关系型数据库发送的所述关联检索结果。
可选地，如上所述的装置，添加模块，用于在所述前预设标记符号之前和所述后预设标记符号之后分别添加字段值标识信息。
可选地，如上所述的装置，
所述接收模块，用于接收用户触发的关联数据更新请求，所述关联数据更新请求中包括：目标字段的标识信息；
发送模块，还用于若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向所述非关系型数据库发送关联数据更新指令，所述关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对所述目标字段进行更新。
所述关联数据更新请求为以下请求的任意一种：
关联数据增加请求，关联数据删除请求，关联数据修改请求。
第三方面，本发明实施例提供一种电子设备，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。
第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法。
本发明实施例提供一种关联数据处理方法、装置、设备、介质及产品，通过接收用户触发的关联数据同步处理指令；根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，由于具有关联关系的数据位于同一索引中，所以使得非关系型数据库也能够实现关联检索，并且在体量较大的关联检索中，由于非关系型数据库本身具有检索速度快的特点，所以提高关联检索的检索效率。
应当理解，上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的关联数据处理方法的一种应用场景图；
图2为本发明一实施例提供的关联数据处理方法的流程图；
图3为本发明另一实施例提供的关联数据处理方法的流程图；
图4为本发明又一实施例提供的关联数据处理方法的流程图；
图5为本发明再一实施例提供的关联数据处理方法的流程图；
图6为本发明一实施例提供的关联数据处理装置的结构示意图；
图7为本发明另一实施例提供的关联数据处理装置的结构示意图；
图8为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
随着业务量的激增，数据体量的不断暴涨，传统的关系型数据库中具有几十亿甚至上百亿的数据体量，并且还存在体量较大的关联表，各关联表中通过相同字段进行关联。但关系型数据库有一个缺点，就是面对体量较大的关联表及海量业务数据时，关联检索的效率较慢。而虽然非关系型数据库能够以索引的形式存储数据，关系型数据库中的每个数据表能够同步到非关系型数据库中的不同索引上，但不同索引之间无法构建关联关系，导致无法采用非关系型数据库存储关联数据。非关系型数据库不能支撑关联检索的功能。
基于现有技术中的上述技术问题，发明人通过进一步研究发现，若具有多个关联关系的目标数据表中至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值，则说明目标数据表或者多个目标数据表的体量较大，需要将该多个具有关联关系的目标数据表按照预设同步策略同步到非关系型数据库的同一个索引中，来达到将关联关系的数据表中的所有字段同步到同一索引中，使得非关系型数据库也能够实现关联检索，并且在体量较大的关联检索中，由于非关系型数据库本身具有检索速度快的特点，所以提高关联检索的检索效率。
所以发明人基于上述的创造性发现，提出了本发明实施例的技术方案。下面对本发明实施例提供的关联数据处理方法的应用场景进行介绍。如图1所示，本实施例提供的关联数据处理方法的应用场景中包括：电子设备1，关系型数据库2和非关系型数据库3。首先构建电子设备1分别与关系型数据库2及非关系型数据库3之间的通信连接。在电子设备1中安装有关联数据处理方法的应用程序。该应用程序通过客户端或网页与用户交互。则用户可在客户端或网页的操作界面上触发关联数据同步处理指令。电子设备1接收到该关联数据同步处理指令后，响应于关联数据同步处理指令，获取关系型数据库2中多个具有关联关系的目标数据表。若确定至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值，则将多个具有关联关系的目标数据表同步到非关系型数据库3的同一目标索引中。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图2为本发明一实施例提供的关联数据处理方法的流程图，如图2所示，则本实施例提供的关联数据处理方法的执行主体为关联数据处理装置。该关联数据处理装置可以集成在电子设备中。电子设备可以为计算机，服务器或服务器集群等。则本实施例提供的关联数据处理方法包括以下几个步骤。
步骤101，接收用户触发的关联数据同步处理指令。
具体地，本实施例中，在电子设备的中安装有关联数据处理方法的应用程序。该应用程序通过客户端或网页与用户交互。在客户端或网页中提供操作界面，用户通过操作界面上的组件触发关联数据同步处理指令。
步骤102，根据关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值。
本实施例中，在关系型数据库以表的形式存储数据时，若表之间具有关联，则存储各个表之间的关联关系。则电子设备根据关联数据同步处理指令，从关系型数据库中首先获取多个具有关联关系的数据表，判断至少一个目标数据表的体量是否大于或等于预设体量阈值，若确定至少一个目标数据表的体量大于或等于预设体量阈值，则确定至少一个目标数据表为体量较大的数据表。或者将多个目标数据表的体量总和与预设体量阈值对比，若确定多个目标数据表的体量总和大于或等于预设体量阈值，则确定多个目标数据表的总和为体量比较大的数据。
本实施例中，在确定出至少一个目标数据表为体量较大的数据表或确定出多个目标数据表的总和为体量比较大的数据后，为了提高这些目标数据表的关联检索效率，需要将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，所以从关系型数据库中获取多个具有关联关系的目标数据表。
其中，在从关系型数据库中获取多个具有关联关系的目标数据表时，可向关系型数据库发送目标数据表的获取请求，在目标数据表中包括多个具有关联关系的目标数据表的标识信息，关系型数据库根据该目标数据表的获取请求，查询并获取到多个具有关联关系的目标数据表，并发送给电子设备，以使电子设备接收到多个具有关联关系的目标数据表。
其中，关系型数据库的类型可以为DRDS类型，RDS类型或MYSQL类型等。
步骤103，将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
具体地，本实施例中，将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中时，需要根据预设的同步策略进行同步。具体地，首先要确定多个具有关联关系的目标数据表之间的映射关系的类型，根据映射关系类型的不同，采用的预设同步策略也不同。具体地预设同步策略不做限定。
其中，非关系型数据库为ES类型非关系型数据库。
本实施例提供的关联数据处理方法，通过接收用户触发的关联数据同步处理指令；根据关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，由于具有关联关系的数据位于同一索引中，所以使得非关系型数据库也能够实现关联检索，并且在体量较大的关联检索中，由于非关系型数据库本身具有检索速度快的特点，所以提高关联检索的检索效率。
实施例二
图3为本发明另一实施例提供的关联数据处理方法的流程图，如图3所示，本实施例提供的关联数据处理方法，是在本发明实施例一提供的关联数据处理方法的基础上，对步骤103的进一步细化，则本实施例提供的关联数据处理方法包括以下步骤。
步骤201，接收用户触发的关联数据同步处理指令。
步骤202，根据关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值。
本实施例中，步骤201-步骤202的实现方式与本发明实施例一中的步骤101-步骤102的实现方式类似，在此不再一一赘述。
步骤203，确定目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系。
具体地，本实施例中，对目标数据表中的基准表、关联表的字段进行解析，根据基准表和关联表中的字段确定基准表与关联表中字段间的映射关系。
其中，基准表与关联表中字段间的映射关系可以为一对一的关系，一对多的关系及多对多的关系。
示例性的，具有表A、表B、表C及表D四个表，其中，表A是基准表。表B、表C及表D为关联表。
表A：政企自然客户主表
Figure BDA0002869908370000091
表A中，有四个政企自然客户，共有三个字段。“NATURE_CUST_ID”字段为自然客户标识信息，“NATURE_CUST_NAME”字段为自然客户名字，“ADDR”字段为自然客户地址。
表B：政企自然客户扩展表
Figure BDA0002869908370000092
表B中，有四个政企自然客户，共有三个字段。“NATURE_CUST_ID”字段为自然客户标识信息，“QYFR”字段为自然客户的具体名字。
表C：自然客户与实体客户归集关系表
Figure BDA0002869908370000101
表C中，共有三个字段。“ID”字段为实体客户标识，“CUST_NAME”字段为实体客户的名字。
表D：自然客户与标签关系表
Figure BDA0002869908370000102
表D中，共有三个字段。“ID”字段为标签标识，“TAG_NAME”字段为标签的名字。
步骤204，根据基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中。
具体地，根据基准表与关联表中字段间的映射关系，将关联表中的多个字段添加到基准表中。示例性的，表A与表B中具有相同的字段“NATURE_CUST_ID”，其他字段为一对一的映射关系，则直接在表A中扩展字段“QYFR”及“QYFR”对应的各字段值，无需对字段值做任何处理。表E为目标索引示意表。
步骤205，若确定基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号。
步骤206，在前预设标记符号之前和后预设标记符号之后分别添加字段值标识信息，并将同一类型字段的各字段值间进行拼接。
表E：目标索引示意表
Figure BDA0002869908370000111
具体地，本实施例中，基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则根据相同字段确定具有一对多或多对多字段的添加位置，在添加位置处添加对应的字段及每个字段值，由于同种类型的字段的字段值可以有多个，所以在每个字段值前后补充添加预设标记符号。在字段值前补充添加的预设标记符号为前预设标记符号。在字段值后添加的预设标记符号为后预设标记符号。前预设标记符号和后预设标记符号可以为相同符号。并且保证预设标记符号为在所有目标数据表的字段值中不会存在的符号，如可以为“&”或“*”等。本实施例中对此不做限定。
具体地，本实施例中，为了使非关系型数据库中的目标索引不仅能够对关联数据进行检索，还可以对关联数据进行新增，修改及删除等操作。在每个添加有预设标记符号的前预设标记符号之前和后预设标记符号之后分别添加字段值标识信息。
然后将同一类型字段的各字段值间进行拼接。在进行拼接时可采用空格进行拼接，或采用其他连接符进行拼接，本实施例中对此不做限定。如在表E中，采用空格进行拼接。
如在表E中，“CUST_NAME”字段的一个最终形成的字段值“1&实体客户21&1”中“&”为预设标记符号，“实体客户21”为“CUST_NAME”字段的一个字段值，“1”为该字段值的标识信息。“1&实体客户21&1”与“2&实体客户22&2”之间采用空格进行拼接。
步骤207，将添加有多个字段的基准表确定为目标索引。
如表E为最终形成的目标索引。“CUST_NAME字段的映射关系为一对多的映射关系。和“TAG_NAME”字段的映射关系为多对多的关系。则在“CUST_NAME字段和“TAG_NAME”字段的每个字段值均按照步骤205-步骤206添加了预设标记符号及字段值的标识信息。
本实施例提供的关联数据处理方法，通过接收用户触发的关联数据同步处理指令，根据关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值，确定目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系，根据基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中，若确定基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号，并将同一类型字段的各字段值间进行拼接，在前预设标记符号之前和后预设标记符号之后分别添加字段值标识信息，将添加有多个字段的基准表确定为目标索引。能够保证同一目标索引能够满足关联检索的要求，实现在菲关系型数据库中的关联检索，保证高效率的关联检索。
实施例三
图4为本发明又一实施例提供的关联数据处理方法的流程图，如图4所示，本实施例提供的关联数据处理方法，在本发明实施例一或实施例二提供的关联数据处理方法的基础上，还包括了其他步骤，则本实施例提供的关联数据处理方法包括以下步骤：
步骤301，接收用户触发的关联检索请求，关联检索请求中包括至少一个检索条件。
本实施例中，用户通过应用程序的网页或客户端的操作界面中的相关组件触发关联检索请求。
其中，在关联检索请求中包括至少一个检索条件。如关联检索请求为“位于北京的大客户是哪个政客自然客户”，其中“北京”和“大客户”均为检索条件。
步骤302，若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据检索条件生成关联检索指令。
本实施例中，在非关系型数据库中存储每个关联关系目标数据表对应的目标索引时，对目标索引中的字段进行存储，并对字段的映射关系进行存储。然后将检索条件与目标索引中的字段进行对比，以确定在非关系型数据库中是否存储有对应的目标索引。
本实施例中，若确定非关系型数据库中存储有对应的目标索引，判断各个检索条件是否为一对多或多对多的映射关系，若确定某检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号。如在上述的举例中，确定“大客户”为一对多的映射关系，则在“大客户”这个检索条件前后添加预设标记符号，如前后均添加“&”，变为“&大客户&”。
需要说明的是，若确定检索条件为一对一的映射关系，则无需对检索条件进行处理。
本实施例中，将具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，则在生成关联检索指令，则在关联检索指令中，包括至少一个检索条件，并且若检索条件为一对多或多对多的映射关系时，在该检索条件前后添加有预设标记符号。
步骤303，将关联检索指令发送给非关系型数据库，以使非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果。
本实施例中，将关联检索指令发送给非关系型数据库，非关系型数据库根据关联检索指令的至少一个检索条件，在目标索引中进行检索。若检索条件中具有一对多或多对多的映射关系，由于在目标索引及该检索条件中均具有预设标记符号，所以即使为模糊检索的方式，但是在目标索引中也能够进行精准检索。
步骤304，接收非关系型数据库发送的关联检索结果。
本实施例中，接收到非关系型数据库发送的关联检索结果后，将关联检索结果在操作界面中进行显示，以使用户便于查看关联检索结果。
本实施例提供的关联数据处理方法，通过接收用户触发的关联检索请求，关联检索请求中包括至少一个检索条件；若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据检索条件生成关联检索指令；将关联检索指令发送给非关系型数据库，以使非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果；接收非关系型数据库发送的关联检索结果，通过在一对多或多对多的检索条件及相应的字段值前后均添加预设标记符号，使得非关系型数据库也能够实现关联检索，并且在体量较大的关联检索中，由于非关系型数据库本身具有检索速度快的特点，所以提高关联检索的检索效率。
实施例四
图5为本发明再一实施例提供的关联数据处理方法的流程图，如图5所示，本实施例提供的关联数据处理方法在本发明实施例一或实施例二提供的关联数据处理方法的基础上，还包括了其他步骤，则本实施例提供的关联数据处理方法包括以下步骤：
步骤401，接收用户触发的关联数据更新请求，关联数据更新请求中包括：目标字段的标识信息。
可选地，关联数据更新请求为以下请求的任意一种：
关联数据增加请求，关联数据删除请求，关联数据修改请求。
具体地，本实施例中，用户通过应用程序的网页或客户端的操作界面中的相关组件触发关联数据更新请求。如关联数据更新请求为“将客户类型标识为4的政企自然客户的类型修改为大客户”。
步骤402，若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向非关系型数据库发送关联数据更新指令，关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对目标字段进行更新。
本实施例中，对关联数据更新请求进行解析，确定关联数据更新请求中存在的字段，判断在非关系型数据库中是否存储有对应的目标索引，若确定在非关系型数据库中存储有对应的目标索引，则向非关系型数据库发送关联数据更新指令。非关系型数据库根据更新指令中包括字段标识信息在目标索引中对目标字段进行更新。，如在上述举例中，字段标识信息为“客户类型标识4”。则非关系型数据库根据更新指令中包括字段标识信息将“4&小客户&4”修改为了“1&大客户&1”。
需要说明的是，电子设备还可通过数据传输服务(简称：DTS)监控关系型数据库中具有关联关系的目标数据表的变化，将变化信息推送到对应的消息队列中，消息队列根据变化的字段与目标索引中字段的映射关系，更新目标索引中的对应字段。
本实施例提供的关联数据的处理方法，通过接收用户触发的关联数据更新请求，关联数据更新请求中包括：目标字段的标识信息，若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向非关系型数据库发送关联数据更新指令，关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对目标字段进行更新，能够在非关系型数据库中的目标字段需要进行更新时，根据字段标识信息快速并顺利完成目标字段的更新。
实施例五
图6为本发明一实施例提供的关联数据处理装置的结构示意图，如图6所示，本实施例提供的关联数据处理装置50包括：接收模块51，获取模块52，同步模块53。
其中，接收模块51，用于接收用户触发的关联数据同步处理指令。获取模块52，用于根据关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值。同步模块53，用于将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
本实施例提供的关联数据处理装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例六
图7为本发明另一实施例提供的关联数据处理装置的结构示意图，如图7所示，本实施例提供的关联数据处理装置60在本发明实施例三提供的关联数据处理装置50基础上，进一步地，还包括：生成模块61，发送模块62和添加模块63。
可选地同步模块53，具体用于：
确定目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系；根据基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中；若确定基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号，并将同一类型字段的各字段值间进行拼接；将添加有多个字段的基准表确定为目标索引。
可选地，接收模块51，还用于接收用户触发的关联检索请求，关联检索请求中包括至少一个检索条件。生成模块61，用于若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据检索条件生成关联检索指令。发送模块62，用于将关联检索指令发送给非关系型数据库，以使非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果。接收模块51，还用于接收非关系型数据库发送的关联检索结果。
可选地，添加模块63，用于在前预设标记符号之前和后预设标记符号之后分别添加字段值标识信息。
可选地，接收模块51，用于接收用户触发的关联数据更新请求，关联数据更新请求中包括：目标字段的标识信息。发送模块62，还用于若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向非关系型数据库发送关联数据更新指令，关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对目标字段进行更新。
其中，关联数据更新请求为以下请求的任意一种：
关联数据增加请求，关联数据删除请求，关联数据修改请求。
本实施例提供的关联数据处理装置可以执行图3-图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例七
图8为本发明一实施例提供的电子设备的结构示意图，如图8所示，该电子设备70包括：存储器71，处理器72以及计算机程序。
其中，计算机程序存储在存储器71中，并被配置为由处理器72执行以实现本发明实施例一至实施例四中任意一个实施例提供的关联数据处理方法。相关说明可以对应参见图2至图5的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，本实施例中，存储器71和处理器72通过总线连接。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明实施例一至实施例四中任意一个实施例提供的关联数据处理方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明实施例一至实施例四中任意一个实施例提供的关联数据处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种关联数据处理方法，其特征在于，包括：
接收用户触发的关联数据同步处理指令；
根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；
将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
2.根据权利要求1所述的方法，其特征在于，所述将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中，包括：
确定所述目标数据表中的基准表、关联表及基准表与关联表中字段间的映射关系；
根据所述基准表与关联表中字段间的映射关系，将关联表中的多个字段及字段值添加到基准表中；
若确定所述基准表与关联表中字段间的映射关系为一对多或多对多的映射关系，则在添加的对应的每个字段值前后补充添加预设标记符号，形成前预设标记符号和后预设标记符号，并将同一类型字段的各字段值间进行拼接；
将添加有多个字段的基准表确定为目标索引。
3.根据权利要求2所述的方法，其特征在于，还包括：
接收用户触发的关联检索请求，所述关联检索请求中包括至少一个检索条件；
若根据检索条件确定在非关系型数据库中存储有对应的目标索引，并且存在检索条件为一对多或多对多的映射关系，则在具有一对多或多对多的映射关系的检索条件前后添加预设标记符号，并根据所述检索条件生成关联检索指令；
将所述关联检索指令发送给非关系型数据库，以使所述非关系型数据库根据关联检索指令进行关联检索，以获得关联检索结果；
接收所述非关系型数据库发送的所述关联检索结果。
4.根据权利要求2所述的方法，其特征在于，所述将同一类型字段的各字段值间进行拼接之前，还包括：
在所述前预设标记符号之前和所述后预设标记符号之后分别添加字段值标识信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
接收用户触发的关联数据更新请求，所述关联数据更新请求中包括：目标字段的标识信息；
若根据关联数据更新请求确定在非关系型数据库中存储有对应的目标索引，则向所述非关系型数据库发送关联数据更新指令，所述关联数据更新指令中包括字段标识信息，以使非关系型数据库根据字段标识信息在目标索引中对所述目标字段进行更新。
6.根据权利要求5所述的方法，其特征在于，所述关联数据更新请求为以下请求的任意一种：
关联数据增加请求，关联数据删除请求，关联数据修改请求。
7.一种关联数据处理装置，其特征在于，包括：
接收模块，用于接收用户触发的关联数据同步处理指令；
获取模块，用于根据所述关联数据同步处理指令，获取关系型数据库中多个具有关联关系的目标数据表，至少一个目标数据表的体量或者多个目标数据表的体量总和大于或等于预设体量阈值；
同步模块，用于将多个具有关联关系的目标数据表同步到非关系型数据库的同一目标索引中。
8.一种电子设备，其特征在于，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。
CN202011603529.4A 2020-12-29 2020-12-29 关联数据处理方法、装置、设备、介质及产品 Active CN112699187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011603529.4A CN112699187B (zh) 2020-12-29 2020-12-29 关联数据处理方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011603529.4A CN112699187B (zh) 2020-12-29 2020-12-29 关联数据处理方法、装置、设备、介质及产品

Publications (2)

Publication Number Publication Date
CN112699187A true CN112699187A (zh) 2021-04-23
CN112699187B CN112699187B (zh) 2023-05-16

Family

ID=75512251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011603529.4A Active CN112699187B (zh) 2020-12-29 2020-12-29 关联数据处理方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN112699187B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115189994A (zh) * 2022-07-08 2022-10-14 中国联合网络通信集团有限公司 数据同步方法及装置、计算机可读存储介质
CN117040846A (zh) * 2023-08-10 2023-11-10 广东九博科技股份有限公司 一种接入型otn设备及其数据传输加密和解密方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154197A1 (en) * 2002-02-13 2003-08-14 Permutta Technologies Flexible relational data storage method and apparatus
US20180218020A1 (en) * 2017-01-30 2018-08-02 Salesforce.Com, Inc. Detection of duplicate values during index generation
CN110019211A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 关联索引的方法、装置和系统
US20190251198A1 (en) * 2018-02-12 2019-08-15 Artem Shamsutdinov Autonomous Interdependent Repositories
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统
CN110321344A (zh) * 2019-05-20 2019-10-11 平安普惠企业管理有限公司 关联数据的信息查询方法、装置、计算机设备及存储介质
CN111382198A (zh) * 2018-12-28 2020-07-07 中国移动通信集团山西有限公司 数据还原方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154197A1 (en) * 2002-02-13 2003-08-14 Permutta Technologies Flexible relational data storage method and apparatus
US20180218020A1 (en) * 2017-01-30 2018-08-02 Salesforce.Com, Inc. Detection of duplicate values during index generation
CN110019211A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 关联索引的方法、装置和系统
US20190251198A1 (en) * 2018-02-12 2019-08-15 Artem Shamsutdinov Autonomous Interdependent Repositories
CN111382198A (zh) * 2018-12-28 2020-07-07 中国移动通信集团山西有限公司 数据还原方法、装置、设备及存储介质
CN110196871A (zh) * 2019-03-07 2019-09-03 腾讯科技（深圳）有限公司 数据入库方法和系统
CN110321344A (zh) * 2019-05-20 2019-10-11 平安普惠企业管理有限公司 关联数据的信息查询方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JI CUN等: "device data ingestion for industrial big data platforms with a case study", SENSORS *
杨扬笛;吴海燕;李虎;: "基于非关系型数据库的卫星参数存储与处理", 计算机技术与发展 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115189994A (zh) * 2022-07-08 2022-10-14 中国联合网络通信集团有限公司 数据同步方法及装置、计算机可读存储介质
CN117040846A (zh) * 2023-08-10 2023-11-10 广东九博科技股份有限公司 一种接入型otn设备及其数据传输加密和解密方法

Also Published As

Publication number Publication date
CN112699187B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
EP3702932A1 (en) Method, apparatus, device and medium for storing and querying data
CN107704202B (zh) 一种数据快速读写的方法和装置
CN110019211A (zh) 关联索引的方法、装置和系统
CN109413127A (zh) 一种数据同步方法和装置
US10685031B2 (en) Dynamic hash partitioning for large-scale database management systems
CN111061680A (zh) 一种数据检索的方法和装置
CN110858194A (zh) 一种数据库扩容的方法和装置
CN112699187B (zh) 关联数据处理方法、装置、设备、介质及产品
WO2014110940A1 (en) A method, apparatus and system for storing, reading the directory index
US20180067974A1 (en) Index b-tree maintenance for linear sequential insertion
WO2020215580A1 (zh) 一种分布式全局数据去重方法和装置
CN109815240A (zh) 用于管理索引的方法、装置、设备和存储介质
CN106484694B (zh) 基于分布式数据库的全文搜索方法及系统
CN111046106A (zh) 缓存数据同步方法、装置、设备及介质
US11210212B2 (en) Conflict resolution and garbage collection in distributed databases
CN109739854A (zh) 一种数据存储方法及装置
CN110134698A (zh) 数据管理方法及相关产品
US11461362B2 (en) Merkle super tree for synchronizing data buckets of unlimited size in object storage systems
CN109063215B (zh) 数据检索方法及装置
CN116775712A (zh) 联表查询方法、装置、电子设备、分布式系统和存储介质
CN115480704A (zh) 数据块组迁移映射表的构建方法、装置、设备及存储介质
CN110008243A (zh) 一种数据表处理方法及装置
CN111949648A (zh) 内存缓存数据系统和数据索引方法
CN110704481A (zh) 展示数据的方法和装置
CN114063931A (zh) 一种基于大数据的数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant