CN113849524B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN113849524B
CN113849524B CN202111436096.2A CN202111436096A CN113849524B CN 113849524 B CN113849524 B CN 113849524B CN 202111436096 A CN202111436096 A CN 202111436096A CN 113849524 B CN113849524 B CN 113849524B
Authority
CN
China
Prior art keywords
data
identifier
mapping
mapping relation
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111436096.2A
Other languages
English (en)
Other versions
CN113849524A (zh
Inventor
王学文
康泰
黄玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN202111436096.2A priority Critical patent/CN113849524B/zh
Publication of CN113849524A publication Critical patent/CN113849524A/zh
Application granted granted Critical
Publication of CN113849524B publication Critical patent/CN113849524B/zh
Priority to PCT/CN2022/134455 priority patent/WO2023098593A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24558Binary matching operations
    • G06F16/2456Join operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据处理方法及装置。在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。

Description

一种数据处理方法及装置
技术领域
本申请涉及新一代信息技术领域,特别是涉及一种数据处理方法及装置。
背景技术
有时候,对外提供服务的服务端具有数据库,数据库存储有多个数据,且多个数据之间存在关联关系,例如父子关系或者依赖关系等,以及,多个数据之间的关联关系较复杂且关联层级多。在服务端对外提供服务的场景中,服务端往往需要从数据库中查询具有关联关系的数据,进而通过具有关联关系的数据对外提供服务。然而,由于数据库中的多个数据之间的关联关系较复杂且关联层级多,因此,从数据库中查询具有关联关系的数据的过程需要耗费较长时间,查询效率低。
发明内容
本申请示出了一种数据处理方法及装置。
第一方面,本申请示出了一种数据处理方法,包括:在数据库中存储有多个数据的情况下,对于多个数据中的任意一个第一数据,在数据库中确定与所述第一数据之间具有直接关联关系的第二数据;生成所述第一数据对应的映射关系,第一数据对应的映射关系包括:第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系;在得到多个数据中的各个数据分别对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为一个映射关系集合,任意两个映射关系集合中的数据标识不存在交集;在映射关系集合的集合标识与数据的数据标识之间的对应关系中,存储所述映射关系集合的集合标识以及包括所述映射关系集合中的数据标识的标识集合。
第二方面,本申请示出了一种数据处理方法,包括:在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,获取第三数据的数据标识;在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识;获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与第三数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
第三方面,本申请示出了一种数据处理装置,包括:第一确定模块,用于在数据库中存储有多个数据的情况下,对于多个数据中的任意一个第一数据,在数据库中确定与所述第一数据之间具有直接关联关系的第二数据;第一生成模块,用于生成所述第一数据对应的映射关系,第一数据对应的映射关系包括:第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系;组合模块,用于在得到多个数据中的各个数据分别对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为一个映射关系集合,任意两个映射关系集合中的数据标识不存在交集;第一存储模块,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,存储所述映射关系集合的集合标识以及包括所述映射关系集合中的数据标识的标识集合。
第四方面,本申请示出了一种数据处理装置,包括:第三获取模块,用于在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,获取第三数据的数据标识;第三查找模块,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识;第四获取模块,用于获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与第三数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;第四查找模块,用于根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
第五方面,本申请示出了一种电子设备,所述电子设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如前述的任一方面所示的方法。
第六方面,本申请示出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。
第七方面,本申请示出了一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。
与现有技术相比,本申请包括以下优点:
通过本申请,在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。然后,获取查找到的映射关系集合的集合标识对应的映射关系集合,再根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
可见,在本申请中,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。
可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。
另外,本申请不需要对数据库中的全量的数据进行分析,而通过对映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合分析,即可实现按需分析,例如,可以实现不对与第三数据不关联的数据进行分析,减少了分析的数据量,从而可以提高查询效率。
另外,在数据库中的数据之间的关联关系层级较复杂的情况下,如果需要在包括多个数据的数据库中至少查找第三数据关联的第四数据,在一种方式中,可以多次递归使用join查询,耗费时间较多,导致查询效率低。而在本申请中,通过“在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识”以及“获取查找到的映射关系集合的集合标识对应的映射关系集合”两个查询步骤,即可得到与第三数据关联的所有数据的数据标识,两个查询步骤可以使用一个join查询,也即,通过本申请,使用一个join查询即可得到与第三数据关联的所有数据的数据标识,从而可以提高查询效率。
附图说明
图1是本申请的一种数据处理方法的步骤流程图。
图2是本申请的一种数据的关联关系的示意图。
图3是本申请的一种数据的关联关系的示意图。
图4是本申请的一种数据处理方法的步骤流程图。
图5是本申请的一种数据处理方法的步骤流程图。
图6是本申请的一种数据处理方法的步骤流程图。
图7是本申请的一种数据处理装置的结构框图。
图8是本申请的一种数据处理装置的结构框图。
图9是本申请的一种装置的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本申请的一种数据处理方法的流程示意图,该方法包括:
在步骤S101中,在数据库中存储有多个数据的情况下,对于多个数据中的任意一个第一数据,在数据库中确定与第一数据之间具有直接关联关系的第二数据。
本申请的数据库中包括关系型数据库等。数据库中的数据可以包括元数据等。
在本申请中,数据库中存储有多个数据,在多个数据中,部分数据之间是具有直接关联关系,例如直接的依赖关系以及直接的父子关系等。
其中,一个数据与另一个数据之间可能没有直接的关联关系,但是该一个数据与该另一个数据之间可能是关联的(例如间接关联等)。
例如,在一个例子中,该一个数据与又一个数据之间具有直接关联关系,该又一个数据与该另一个数据之间具有直接关联关系,即使该一个数据与该另一个数据之间没有直接关联关系,但是该一个数据与该另一个数据之间是关联的(例如间接关联等)。
本申请中的两个数据是关联的可以理解为:两个数据是直接关联的或者间接关联的等。
在本步骤中,第一数据为数据库中的多个数据中的任意一个数据。
在数据库中确定与第一数据之间具有直接关联关系的第二数据时,可以通过数据的详细内容(例如包括数据的属性等)来确定与第一数据之间具有直接关联关系的第二数据,具体确定方式可以参见当前已经存在的方式,本申请对具体的确定方式不做限定。
在步骤S102中,生成第一数据对应的映射关系,第一数据对应的映射关系包括:第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系。
数据的数据标识包括数据的ID(Identity Document,身份标识号)等。
其中,在数据库中确定出的与第一数据之间具有直接关联关系的第二数据可能为一个,可能为两个以上。
在本申请中,可以将确定出的各个第二数据的数据标识组合为一个标识集合(即使确定出一个第二数据,也可以将该一个第二数据的数据标识看作一个标识集合),然后生成第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系,并作为第一数据对应的映射关系。
在一个实施例中,第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系可以以键值对“key-value”的形式体现。
例如,“key”可以包括“第一数据的数据标识”,“value”可以包括“包括确定出的第二数据的数据标识的标识集合”,“包括确定出的第二数据的数据标识的标识集合”可以以数组的形式体现,数组中包括确定出的各个第二数据的数据标识等。
对于数据库中存储的多个数据中的其他每一个数据,同样执行步骤S101~步骤S102的流程,从而得到数据库中存储的多个数据中的各个数据分别对应的映射关系。
任意一个数据分别对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系等。
其中,以一个例子对本申请进行举例说明,但不作为对本申请保护范围的限制。例如,假设数据库中包括数据1、数据2、数据3、数据4、数据5以及数据6等。
数据1、数据2、数据3、数据4、数据5以及数据6等的关联关系可以参见图2所示。
其中,数据1与数据2之间具有直接关联关系。数据1与数据3之间具有之间关联关系。数据2还与数据4之间具有之间关联关系。数据2还与数据5之间具有之间关联关系。数据3还与数据6之间具有之间关联关系。
则数据1对应的映射关系包括:“数据1的数据标识”与包括“数据2的数据标识+数据3的数据标识”的标识集合之间的映射关系。
数据2对应的映射关系包括:“数据2的数据标识”与包括“数据1的数据标识+数据4的数据标识+数据5的数据标识”的标识集合之间的映射关系。
数据3对应的映射关系包括:“数据3的数据标识”与包括“数据1的数据标识+数据6的数据标识”的标识集合之间的映射关系。
数据4对应的映射关系包括:“数据4的数据标识”与包括“数据2的数据标识”的标识集合之间的映射关系。
数据5对应的映射关系包括:“数据5的数据标识”与包括“数据2的数据标识”的标识集合之间的映射关系。
数据6对应的映射关系包括:“数据6的数据标识”与包括“数据3的数据标识”的标识集合之间的映射关系。
在步骤S103中,在得到多个数据中的各个数据分别对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为一个映射关系集合,任意两个映射关系集合中的数据标识不存在交集。
在本申请中,数据库中的多个数据中的各个数据分别对应的映射关系中,一部分具有交集的映射关系组合为一个映射关系集合,另一部分具有交集的映射关系组合为另一个映射关系集合……又一部分具有交集的映射关系组合为又一个映射关系集合等。
在一个可能的情况下,可以得到多个不同的映射关系集合。且任意两个映射关系集合中的数据标识不存在交集。
在本申请中,各个数据对应的映射关系中存储的是数据的数据标识,且用于记录数据之间的直接关联关系,如果某两个数据分别对应的映射关系中关于数据的数据标识存在交集,则该两个数据分别对应的映射关系中的数据标识对应的数据之间是关联的(具有直接关联关系或者间接关联关系)。这样,该两个数据分别对应的映射关系可以位于同一个映射关系集合中,用以记录该两个数据分别对应的映射关系中的数据标识对应的数据之间是关联的。
例如,在得到多个数据中的各个数据对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为映射关系集合。
如此可以实现将多个数据中的关联的数据分别对应的映射关系关联起来,也即,一个映射关系集合中的各个映射关系中的数据标识分别对应的数据之间是关联的(包括直接关联以及间接关联等)。
在本申请一个实施例中,在一种可能的情况下,得到的映射关系集合可能为两个以上等。
接步骤S102中的例子,数据1对应的映射关系中的数据标识与数据2~6分别对应的映射关系中的数据标识均具有交集,因此,可以将数据1对应的映射关系、数据2对应的映射关系、数据3对应的映射关系、数据4对应的映射关系、数据5对应的映射关系以及数据6对应的映射关系组合为一个映射关系集合。
接图2所示的例子,假设数据库中还包括数据7、数据8、数据9以及数据10等。
数据7、数据8、数据9以及数据10可以参见图3所示。
其中,数据7与数据8之间具有直接关联关系,数据8与数据10之间具有之间关联关系,以及数据7还与数据9之间具有之间关联关系。
则数据7对应的映射关系包括:“数据7的数据标识”与包括“数据8的数据标识+数据9的数据标识”的标识集合之间的映射关系。
数据8对应的映射关系包括:“数据8的数据标识”与包括“数据7的数据标识+数据10的数据标识”的标识集合之间的映射关系。
数据9对应的映射关系包括:“数据9的数据标识”与包括“数据7的数据标识”的标识集合之间的映射关系。
数据10对应的映射关系包括:“数据10的数据标识”与包括“数据8的数据标识”的标识集合之间的映射关系。
数据7对应的映射关系中的数据标识与数据8~10分别对应的映射关系中的数据标识均具有交集,数据7~10分别对应的映射关系中的数据标识分别与数据1~6分别对应的映射关系中的数据标识之间不存在交集,因此,可以将数据7对应的映射关系、数据8对应的映射关系、数据9对应的映射关系以及数据10对应的映射关系组合为另一个映射关系集合。
在步骤S104中,在映射关系集合的集合标识与数据的数据标识之间的对应关系中,存储映射关系集合的集合标识以及包括映射关系集合中的数据标识的标识集合。
在本步骤中,数据库中的不同的数据的数据标识不同。对于在步骤S103中得到的任意一个映射关系集合,可以设置该映射关系集合的集合标识,其中,本申请中的不同的映射关系集合的集合标识不同,然后统计出该映射关系集合中的各个映射关系中分别包括的数据标识(去重复后的),并将统计出的数据标识组合为标识集合,然后将该映射关系集合的集合标识与组合得到的标识集合组成对应表项,并存储在映射关系集合的集合标识与数据的数据标识之间的对应关系中。
对于在步骤S103中得到的其他每一个映射关系集合,同样如此。
通过本申请,可以实现对数据库中的多个数据之间的关联关系进行记录,以便之后在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。然后,获取查找到的映射关系集合的集合标识对应的映射关系集合,再根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
可见,在本申请中,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。
可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。
另外,本申请不需要对数据库中的全量的数据进行分析,而通过对映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合分析,即可实现按需分析,例如,可以实现不对与第三数据不关联的数据进行分析,减少了分析的数据量,从而可以提高查询效率。
另外,在数据库中的数据之间的关联关系层级较复杂的情况下,如果需要在包括多个数据的数据库中至少查找第三数据关联的第四数据,在一种方式中,可以多次递归使用join查询,耗费时间较多,导致查询效率低。而在本申请中,通过“在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识”以及“获取查找到的映射关系集合的集合标识对应的映射关系集合”两个查询步骤,即可得到与第三数据关联的所有数据的数据标识,两个查询步骤可以使用一个join查询,也即,通过本申请,使用一个join查询即可得到与第三数据关联的所有数据的数据标识,从而可以提高查询效率。
在本申请中,根据实际情况有时候可能会对数据库中的数据进行更新,例如,在数据库中添加新的数据,或者在数据库中删除旧的数据等。
在对数据库中的数据进行更新的情况下,在本申请中,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中对更新的数据的数据标识进行更新,还可以对涉及更新的数据的映射关系集合更新。
以使得数据库中的数据分别与映射关系集合的集合标识与数据的数据标识之间的对应关系能够对应以及映射关系集合能够对应等。
在一个例子中,在数据库中添加了新的数据的情况下,可以按照如下流程完成在映射关系集合的集合标识与数据的数据标识之间的对应关系中添加新的数据的数据标识,以及,对涉及新的数据的映射关系集合更新。
参见图4,更新流程包括:
在步骤S201中,在数据库中添加了新的数据的情况下,在数据库中确定与新的数据之间具有直接关联关系的关联数据的数据标识。
在本申请中,在数据库中添加了新的数据的情况下,可以获取新的数据的数据标识,然后在数据库中确定与新的数据之间具有直接关联关系的关联数据的数据标识。
在数据库中确定与新的数据之间具有直接关联关系的关联数据时,可以通过数据的详细内容(例如包括数据的属性等)来确定与新的数据之间具有直接关联关系的关联数据,具体确定方式可以参见当前已经存在的方式,本申请对具体的确定方式不做限定。
在步骤S202中,在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识。
关联数据与新的数据之间具有直接关联关系,关联数据对应的映射关系集合中具有关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。
由于在数据库中添加新的数据且新的数据与关联数据之间具有直接关联关系,因此,关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,应当包括有新的数据的数据标识。且包括关联数据对应的映射关系的映射关系集合中,应当包括有新的数据对应的映射关系,新的数据对应的映射关系可以包括:新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系。
由于此时关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中不存在新的数据的数据标识,且包括关联数据对应的映射关系的映射关系集合中未包括有新的数据对应的映射关系,因此,需要在关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,添加新的数据的数据标识,以及,需要在包括关联数据对应的映射关系的映射关系集合中添加新的数据对应的映射关系。
为了能够在关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,添加新的数据的数据标识,以及,能够在包括关联数据对应的映射关系的映射关系集合中添加新的数据对应的映射关系,在本申请中,在得到关联数据的数据标识之后,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识,然后执行步骤S203。
在步骤S203中,获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与新的数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。
在本申请中,通过前述实施例中的步骤S101以及步骤S102生成了多个映射关系集合,各个映射关系集合的集合标识不同,在本步骤中,可以在已生成的多个映射关系集合中获取查找到的映射关系集合的集合标识对应的映射关系集合。然后分别执行步骤S204以及步骤S205。
其中,步骤S204以及步骤S205可以分别并行执行,或者先后执行等。
在步骤S204中,在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,在关联数据对应的映射关系中的标识集合中,添加新的数据的数据标识。
在获取的映射关系集合中,包括至少两个数据分别对应的映射关系,例如,与新的数据关联(包括直接关联以及间接关联等)的关联数据分别对应的映射关系。
其中,与新的数据关联的关联数据包括:与新的数据具有直接关联关系的关联数据以及与新的数据具有间接关联关系的数据等。
如此,在获取的映射关系集合中包括的至少两个数据分别对应的映射关系,分别为与新的数据具有直接关联关系的关联数据对应的映射关系,以及与新的数据具有间接关联关系的关联数据对应的映射关系。
与新的数据具有间接关联关系的关联数据对应的映射关系中是不需要涉及新的数据的数据标识的,而与新的数据具有直接关联关系的关联数据对应的映射关系中需要涉及新的数据的数据标识。
也即,不需要在与新的数据具有间接关联关系的关联数据对应的映射关系中的标识集合中添加新的数据的数据标识,而需要在与新的数据具有直接关联关系的关联数据对应的映射关系中的标识集合中添加新的数据的数据标识。
因此,在本申请中,在获取的映射关系集合中,可以确定与新的数据之间具有直接关联关系的关联数据对应的映射关系,与新的数据之间具有直接关联关系的关联数据对应的映射关系包括:与新的数据之间具有直接关联关系的关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,然后在与新的数据之间具有直接关联关系的关联数据对应的映射关系中的标识集合中,添加新的数据的数据标识,以使与新的数据具有直接关联关系的关联数据对应的映射关系中的标识集合中具有新的数据的数据标识。
在步骤S205中,生成新的数据对应的映射关系,新的数据对应的映射关系包括:新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,在获取的映射关系集合中添加新的数据对应的映射关系。
在本申请中,在数据库中与新的数据之间具有直接关联关系的关联数据可能为一个,可能为两个以上。
将确定出的关联数据的数据标识组合为一个标识集合(即使确定出一个关联数据,也可以将该一个关联数据的数据标识看作一个标识集合),然后生成新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,并作为新的数据对应的映射关系。
在一个实施例中,新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系可以以键值对“key-value”的形式体现。
例如,“key”可以包括“新的数据的数据标识”,“value”可以包括“包括确定出的关联数据的数据标识的标识集合”,“包括确定出的关联数据的数据标识的标识集合”可以以数组的形式体现,数组中包括确定出的各个关联数据的数据标识等。
然后可以在获取的映射关系集合中添加新的数据对应的映射关系,以使得包括“与新的数据具有之间关联关系的关联数据对应的映射关系”的映射关系集合中具有新的数据对应的映射关系。
在另一个例子中,在数据库中删除了旧的数据的情况下,可以按照如下流程完成在映射关系集合的集合标识与数据的数据标识之间的对应关系中删除旧的数据的数据标识,以及对涉及旧的数据的映射关系集合更新。
参见图5,更新流程包括:
在步骤S301中,在数据库中删除了旧的数据的情况下,在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识。
在本申请中,在数据库中删除了旧的数据的情况下,可以获取旧的数据的数据标识,然后在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识。
在数据库中确定与旧的数据之间具有直接关联关系的关联数据时,可以通过数据的详细内容(例如包括数据的属性等)来确定与旧的数据之间具有直接关联关系的关联数据,具体确定方式可以参见当前已经存在的方式,本申请对具体的确定方式不做限定。
然而,发明人发现,通过数据的详细内容(例如包括数据的属性等)来确定与旧的数据之间具有直接关联关系的关联数据的过程需要耗费一段时长。
因此,为了进一步地降低确定与旧的数据之间具有直接关联关系的关联数据的过程需要耗费的时长,在本申请另一实施例中,对于数据库中的任意一个的第一数据,在数据库中确定与第一数据之间具有直接关联关系的第二数据之后,可以在数据的数据标识与数据的数据标识之间的直接关联表中,存储第一数据的数据标识与第二数据的数据标识。对于数据库中的其他每一个的第一数据,同样如此。
以及,在数据库中确定与新的数据之间具有直接关联关系的关联数据的数据标识之后,可以在数据的数据标识与数据的数据标识之间的直接关联表中,存储新的数据的数据标识与关联数据的数据标识。
如此,在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识时,可以在数据的数据标识与数据的数据标识之间的直接关联表中,直接查找与旧的数据的数据标识相对应的数据的数据标识,并作为与旧的数据之间具有直接关联关系的关联数据的数据标识。通过查表的方式即可得到与旧的数据之间具有直接关联关系的关联数据的数据标识,从而可以减少确定与旧的数据之间具有直接关联关系的关联数据的数据标识的过程需要耗费的时长。
在步骤S302中,在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识。
关联数据与旧的数据之间具有直接关联关系,关联数据对应的映射关系集合中具有关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。
由于在数据库中添加旧的数据且旧的数据与关联数据之间具有直接关联关系,因此,关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,应当不包括有旧的数据的数据标识。且包括关联数据对应的映射关系的映射关系集合中,应当不包括有旧的数据对应的映射关系,旧的数据对应的映射关系可以包括:旧的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系。
由于此时关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中存在旧的数据的数据标识,且包括关联数据对应的映射关系的映射关系集合中包括有旧的数据对应的映射关系,因此,需要在关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,删除旧的数据的数据标识,以及,需要在包括关联数据对应的映射关系的映射关系集合中删除旧的数据对应的映射关系。
为了能够在关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系中的标识集合中,删除旧的数据的数据标识,以及,能够在包括关联数据对应的映射关系的映射关系集合中删除旧的数据对应的映射关系,在本申请中,在得到关联数据的数据标识之后,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识,然后执行步骤S303。
在步骤S303中,获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:旧的数据对应的映射关系以及与旧的数据关联的至少两个数据分别对应的映射关系,旧的数据对应的映射关系包括:旧的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。
在本申请中,通过前述实施例中的步骤S101以及步骤S102生成了多个映射关系集合,各个映射关系集合的集合标识不同,在本步骤中,可以在已生成的多个映射关系集合中获取查找到的映射关系集合的集合标识对应的映射关系集合。然后分别执行步骤S304以及步骤S305。
其中,步骤S304以及步骤S305可以分别并行执行,或者先后执行等。
在步骤S304中,在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,在关联数据对应的映射关系中的标识集合中,删除旧的数据的数据标识。
在获取的映射关系集合中,包括至少两个数据分别对应的映射关系,例如,旧的数据对应的映射关系,以及,与旧的数据关联(包括直接关联以及间接关联等)的关联数据分别对应的映射关系。
其中,与旧的数据关联的关联数据包括:与旧的数据具有直接关联关系的关联数据以及与旧的数据具有间接关联关系的数据等。
如此,在获取的映射关系集合中包括的至少两个数据分别对应的映射关系,分别为与旧的数据具有直接关联关系的关联数据对应的映射关系,以及与旧的数据具有间接关联关系的关联数据对应的映射关系。
与旧的数据具有间接关联关系的关联数据对应的映射关系中是不涉及旧的数据的数据标识的,而与旧的数据具有直接关联关系的关联数据对应的映射关系中是涉及旧的数据的数据标识的。
也即,与旧的数据具有间接关联关系的关联数据对应的映射关系中的标识集合中不存在旧的数据的数据标识,因此,不需要在与旧的数据具有间接关联关系的关联数据对应的映射关系中的标识集合中删除旧的数据的数据标识。
而与旧的数据具有直接关联关系的关联数据对应的映射关系中的标识集合中存在旧的数据的数据标识,因此,需要在与旧的数据具有直接关联关系的关联数据对应的映射关系中的标识集合中删除旧的数据的数据标识。
因此,在本申请中,在获取的映射关系集合中,可以与旧的数据之间具有直接关联关系的关联数据对应的映射关系,与旧的数据之间具有直接关联关系的关联数据对应的映射关系包括:与旧的数据之间具有直接关联关系的关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,然后在与旧的数据之间具有直接关联关系的关联数据对应的映射关系中的标识集合中,删除旧的数据的数据标识,以使与旧的数据具有直接关联关系的关联数据对应的映射关系中的标识集合中不再具有旧的数据的数据标识。
在本申请中,在数据库中与旧的数据之间具有直接关联关系的关联数据可能为一个,可能为两个以上。
在步骤S305中,在获取的映射关系集合中,删除旧的数据对应的映射关系。
通过本步骤,可以使得包括“与旧的数据具有之间关联关系的关联数据对应的映射关系的映射关系集合中不在具有旧的数据对应的映射关系。
有时候,根据实际需求,可能需要对数据库中存储的多个数据进行查询,例如,由于数据库中的一些数据之间是关联的,例如存在直接的关联关系或者间接的关联关系等,因此,有时候需要查询数据库中的某一个数据,且需要在数据库中的查询该数据关联的其他数据等。
在这种情况下,可以借助该数据的数据标识、映射关系集合的集合标识与数据的数据标识之间的对应关系、映射关系集合中的至少两个数据分别对应的映射关系来查询该数据关联的其他数据。其中,任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的关联数据的数据标识的标识集合之间的映射关系等。
参见图6,查询步骤包括:
在步骤S401中,在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,获取第三数据的数据标识。
第三数据的数据标识可以是用户输入的,也可以是电子设备根据实际需求获取到的等。
在步骤S402中,在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。
在本申请中,经过图1所示的实施例,在数据库中,第三数据对应的映射关系以及与第三数据关联的第四数据对应的映射关系分别位于同一个映射关系集合中,且该映射关系集合的集合标识与包括第三数据的数据标识与每一个第四数据的数据标识的标识集合,以对应表项的形式位于映射关系集合的集合标识与数据的数据标识之间的对应关系中。
为了在包括多个数据的数据库中查找第三数据关联的第四数据,则首先需要得到第三数据关联的第四数据的数据标识。
为了能够得到第三数据关联的第四数据的数据标识,则可以获取第三数据对应的映射关系以及与第三数据关联(包括直接关联以及间接关联等)的第四数据对应的映射关系等。
为了能够得到第三数据对应的映射关系以及与第三数据关联(包括直接关联以及间接关联等)的第四数据对应的映射关系,需要得到包括第三数据对应的映射关系以及与第三数据关联(包括直接关联以及间接关联等)的第四数据对应的映射关系的映射关系集合。
为了得到包括第三数据对应的映射关系以及与第三数据关联(包括直接关联以及间接关联等)的第四数据对应的映射关系的映射关系集合,在本申请中,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与第三数据的数据标识相对应的映射关系集合的集合标识,然后执行步骤S403。
在步骤S403中,获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与第三数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。
在本申请中,通过前述实施例中的步骤S101以及步骤S102生成了多个映射关系集合,各个映射关系集合的集合标识不同,在本步骤中,可以在已生成的多个映射关系集合中获取查找到的映射关系集合的集合标识对应的映射关系集合。然后执行步骤S404。
在步骤S404中,根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
在数据库中,存储有数据的数据标识与数据之间的对应关系。
如果需要在数据库中查找第三数据关联的第四数据,则需要得到第四数据的数据标识。
对于第四数据的数据标识而言,可以通过获取的映射关系集合中的至少两个映射关系来获取。
例如,在一个例子中,可以获取映射关系集合中的至少两个映射关系分别包括的数据标识。
例如,在获取的映射关系集合中,对于任意一个数据对应的映射关系,该数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系。可以获取该映射关系中的各个数据标识,对于其他每一个数据对应的映射关系,同样执行上述操作、从而得到映射关系集合中的各个数据标识。
然后可以根据获取的数据标识在数据库中获取第四数据。例如,可以对得到的数据标识去重复,以及,去除第三数据的数据标识,剩余的数据标识即为与第三数据关联的第四数据的数据标识,这样就可以根据第四数据的数据标识在数据库中获取第四数据,例如,在数据库中的数据的数据标识与数据之间的对应关系中查找第四数据的数据标识对应的数据,并作为第四数据。
通过本申请,在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。然后,获取查找到的映射关系集合的集合标识对应的映射关系集合,再根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
可见,在本申请中,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。
可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。
另外,本申请不需要对数据库中的全量的数据进行分析,而通过对映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合分析,即可实现按需分析,例如,可以实现不对与第三数据不关联的数据进行分析,减少了分析的数据量,从而可以提高查询效率。
另外,在数据库中的数据之间的关联关系层级较复杂的情况下,如果需要在包括多个数据的数据库中至少查找第三数据关联的第四数据,在一种方式中,可以多次递归使用join查询,耗费时间较多,导致查询效率低。而在本申请中,通过“在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识”以及“获取查找到的映射关系集合的集合标识对应的映射关系集合”两个查询步骤,即可得到与第三数据关联的所有数据的数据标识,两个查询步骤可以使用一个join查询,也即,通过本申请,使用一个join查询即可得到与第三数据关联的所有数据的数据标识,从而可以提高查询效率。
进一步地,有时候根据实际需求,用户可能需要查看第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系的示意图,以对第三数据以及第四数据分析统计等,在这种情况下,电子设备可以根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识、根据第三数据的数据标识得到的第三数据以及得到的第四数据,渲染用于指示第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系的示意图。
例如,可以根据获取的映射关系集合中的至少两个映射关系中的数据标识,确定出第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系等,然后根据第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系,可以渲染出包括第三数据以及第四数据的示意图,且示意图中能够指示出第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系等。
例如,在一个实施例中,在示意图中,将具有直接关联关系的两个数据之间通过线段连接,以通过线段来指示两个数据之间具有直接关联关系等。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作并不一定是本申请所必须的。
参照图7,示出了本申请的一种数据处理装置的结构框图,该装置具体可以包括如下模块:
第一确定模块11,用于在数据库中存储有多个数据的情况下,对于多个数据中的任意一个第一数据,在数据库中确定与所述第一数据之间具有直接关联关系的第二数据;
第一生成模块12,用于生成所述第一数据对应的映射关系,第一数据对应的映射关系包括:第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系;
组合模块13,用于在得到多个数据中的各个数据分别对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为一个映射关系集合,任意两个映射关系集合中的数据标识不存在交集;
第一存储模块14,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,存储所述映射关系集合的集合标识以及包括所述映射关系集合中的数据标识的标识集合。
在一个可选的实现方式中,所述装置还包括:
第二确定模块,用于在数据库中添加了新的数据的情况下,在数据库中确定与新的数据之间具有直接关联关系的关联数据的数据标识;
第一查找模块,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识;
第一获取模块,用于获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与新的数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:所述数据的数据标识与包括与所述数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
第三确定模块,用于在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,第一添加模块,用于在关联数据对应的映射关系中的标识集合中,添加新的数据的数据标识;
第二生成模块,用于生成新的数据对应的映射关系,新的数据对应的映射关系包括:新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,第二添加模块,用于在获取的映射关系集合中,添加新的数据对应的映射关系。
在一个可选的实现方式中,所述装置还包括:
第四确定模块,用于在数据库中删除了旧的数据的情况下,在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识;
第二查找模块,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识;
第二获取模块,用于获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:旧的数据对应的映射关系以及与旧的数据关联的至少两个数据分别对应的映射关系,旧的数据对应的映射关系包括:旧的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:数据的数据标识与包括与数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
第五确定模块,用于在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,第二删除模块,用于在关联数据对应的映射关系中的标识集合中,删除旧的数据的数据标识;
第一删除模块,用于在获取的映射关系集合中,删除旧的数据对应的映射关系。
在一个可选的实现方式中,所述装置还包括:
第二存储模块,用于在数据库中确定与所述第一数据之间具有直接关联关系的第二数据之后,在数据的数据标识与数据的数据标识之间的直接关联表中,存储所述第一数据的数据标识与所述第二数据的数据标识。
在一个可选的实现方式中,所述第四确定模块具体用于:在数据的数据标识与数据的数据标识之间的直接关联表中,查找与旧的数据的数据标识相对应的数据的数据标识,并作为与旧的数据之间具有直接关联关系的关联数据的数据标识。
通过本申请,可以实现对数据库中的多个数据之间的关联关系进行记录,以便之后在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。然后,获取查找到的映射关系集合的集合标识对应的映射关系集合,再根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
可见,在本申请中,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。
可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。
另外,本申请不需要对数据库中的全量的数据进行分析,而通过对映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合分析,即可实现按需分析,例如,可以实现不对与第三数据不关联的数据进行分析,减少了分析的数据量,从而可以提高查询效率。
另外,在数据库中的数据之间的关联关系层级较复杂的情况下,如果需要在包括多个数据的数据库中至少查找第三数据关联的第四数据,在一种方式中,可以多次递归使用join查询,耗费时间较多,导致查询效率低。而在本申请中,通过“在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识”以及“获取查找到的映射关系集合的集合标识对应的映射关系集合”两个查询步骤,即可得到与第三数据关联的所有数据的数据标识,两个查询步骤可以使用一个join查询,也即,通过本申请,使用一个join查询即可得到与第三数据关联的所有数据的数据标识,从而可以提高查询效率。
参照图8,示出了本申请的一种数据处理装置的结构框图,该装置具体可以包括如下模块:
第三获取模块21,用于在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,获取第三数据的数据标识;
第三查找模块22,用于在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识;
第四获取模块23,用于获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与第三数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:该数据的数据标识与包括与该数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
第四查找模块24,用于根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
在一个可选的实现方式中,所述第四查找模块包括:
第一获取单元,用于获取映射关系集合中的所述至少两个映射关系分别包括数据标识;
第二获取单元,用于根据获取的数据标识在所述数据库中至少获取第四数据。
在一个可选的实现方式中,所述装置还包括:
渲染模块,用于根据获取的映射关系集合中的所述至少两个映射关系中分别包括的数据标识、根据所述第三数据的数据标识得到的第三数据以及所述第四数据,渲染用于指示所述第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系的示意图。
通过本申请,在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,可以在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识。然后,获取查找到的映射关系集合的集合标识对应的映射关系集合,再根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
可见,在本申请中,不需要对数据库中的所有数据进行分析以得到第三数据关联的第四数据,从而也就不需要将数据库中的各个数据分别加载至内存中,而可以仅仅根据在上述对应关系中查找到的集合标识对应的映射关系集合来分析出第三数据关联的第四数据的数据标识,再根据第四数据的数据标识在数据库中获取第四数据。
可见,本申请可以在内存中仅仅加载映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合等,从而减少了需要在内存中加载的数据,节省内存资源。
另外,本申请不需要对数据库中的全量的数据进行分析,而通过对映射关系集合的集合标识与数据的数据标识之间的对应关系以及查找到的映射关系集合的集合标识对应的映射关系集合分析,即可实现按需分析,例如,可以实现不对与第三数据不关联的数据进行分析,减少了分析的数据量,从而可以提高查询效率。
另外,在数据库中的数据之间的关联关系层级较复杂的情况下,如果需要在包括多个数据的数据库中至少查找第三数据关联的第四数据,在一种方式中,可以多次递归使用join查询,耗费时间较多,导致查询效率低。而在本申请中,通过“在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识”以及“获取查找到的映射关系集合的集合标识对应的映射关系集合”两个查询步骤,即可得到与第三数据关联的所有数据的数据标识,两个查询步骤可以使用一个join查询,也即,通过本申请,使用一个join查询即可得到与第三数据关联的所有数据的数据标识,从而可以提高查询效率。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括服务器、网关、子设备等,子设备为物联网设备等设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端设备如IoT设备等电子设备。
图9示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。
对于一个实施例,图9示出了示例性装置1300,该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310,和被耦合到控制模块1304的网络接口1312。
处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1300 能够作为本申请实施例中所述网关等服务器设备。
在一些实施例中,装置1300 可包括具有指令1314的一个或多个计算机可读介质(例如,存储器1306或NVM/ 存储设备1308) 和与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
对于一个实施例,控制模块1304可包括任意适当的接口控制器,以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
控制模块1304可包括存储器控制器模块,以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例,存储器1306可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1306可包括双倍数据速率四同步动态随机存取存储器(DDR4SDRAM) 。
对于一个实施例,控制模块1304可包括一个或多个输入/输出控制器,以向NVM/存储设备1308及(一个或多个)输入/输出设备1310 提供接口。
例如,NVM/存储设备1308可被用于存储数据和/或指令1314。NVM/存储设备1308可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD) 、一个或多个光盘(CD) 驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。
NVM/存储设备1308可包括在物理上作为装置1300 被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如, NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310 进行访问。
(一个或多个)输入/输出设备1310 可为装置1300 提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、拼音组件、传感器组件等。网络接口1312可为装置1300 提供接口以通过一个或多个网络通信,装置1300 可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如,存储器控制器模块) 的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP) 。对于一个实施例, (一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例, (一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC) 。
在各个实施例中,装置1300可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1300 可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1300包括一个或多个摄像机、键盘、液晶显示器(LCD) 屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。
本申请实施例提供了一种电子设备,包括:一个或多个处理器;和,其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如本申请中一个或多个所述的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程信息处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信息处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例和落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的数据处理方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
在数据库中存储有多个数据的情况下,对于多个数据中的任意一个第一数据,在数据库中确定与所述第一数据之间具有直接关联关系的第二数据;生成所述第一数据对应的映射关系,第一数据对应的映射关系包括:第一数据的数据标识与包括确定出的第二数据的数据标识的标识集合之间的映射关系;
在得到多个数据中的各个数据分别对应的映射关系的情况下,将包括的数据标识存在交集的至少两个数据分别对应的映射关系组合为一个映射关系集合,任意两个映射关系集合中的数据标识不存在交集;
在映射关系集合的集合标识与数据的数据标识之间的对应关系中,存储所述映射关系集合的集合标识以及包括所述映射关系集合中的数据标识的标识集合。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在数据库中添加了新的数据的情况下,在数据库中确定与新的数据之间具有直接关联关系的关联数据的数据标识;
在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识;
获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与新的数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:所述数据的数据标识与包括与所述数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,在关联数据对应的映射关系中的标识集合中,添加新的数据的数据标识;
以及,生成新的数据对应的映射关系,新的数据对应的映射关系包括:新的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,在获取的映射关系集合中,添加新的数据对应的映射关系。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在数据库中删除了旧的数据的情况下,在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识;
在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找与关联数据的数据标识相对应的映射关系集合的集合标识;
获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:旧的数据对应的映射关系以及与旧的数据关联的至少两个数据分别对应的映射关系,旧的数据对应的映射关系包括:旧的数据的数据标识与包括确定出的关联数据的数据标识的标识集合之间的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:所述数据的数据标识与包括与所述数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
在获取的映射关系集合中,确定关联数据对应的映射关系,关联数据对应的映射关系包括:关联数据的数据标识与包括与关联数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系,在关联数据对应的映射关系中的标识集合中,删除旧的数据的数据标识;
以及,在获取的映射关系集合中,删除旧的数据对应的映射关系。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在数据库中确定与所述第一数据之间具有直接关联关系的第二数据之后,在数据的数据标识与数据的数据标识之间的直接关联表中,存储所述第一数据的数据标识与所述第二数据的数据标识。
5.根据权利要求4所述的方法,其特征在于,所述在数据库中确定与旧的数据之间具有直接关联关系的关联数据的数据标识,包括:
在数据的数据标识与数据的数据标识之间的直接关联表中,查找与旧的数据的数据标识相对应的数据的数据标识,并作为与旧的数据之间具有直接关联关系的关联数据的数据标识。
6.一种数据处理方法,其特征在于,所述方法包括:
在需要在包括多个数据的数据库中至少查找第三数据关联的第四数据的情况下,获取第三数据的数据标识;
在映射关系集合的集合标识与数据的数据标识之间的对应关系中,查找第三数据的数据标识相对应的映射关系集合的集合标识;
获取查找到的映射关系集合的集合标识对应的映射关系集合,获取的映射关系集合中包括:与第三数据关联的至少两个数据分别对应的映射关系,至少两个数据中的任意一个数据对应的映射关系包括:所述数据的数据标识与包括与所述数据具有直接关联关系的数据的数据标识的标识集合之间的映射关系;
根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据。
7.根据权利要求6所述的方法,其特征在于,所述根据获取的映射关系集合中的至少两个映射关系中分别包括的数据标识,在数据库中至少查找第四数据,包括:
获取映射关系集合中的所述至少两个映射关系分别包括数据标识;
根据获取的数据标识在所述数据库中至少获取第四数据。
8.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
根据获取的映射关系集合中的所述至少两个映射关系中分别包括的数据标识、根据所述第三数据的数据标识得到的第三数据以及所述第四数据,渲染用于指示所述第三数据与至少部分第四数据之间的直接关联关系以及各个第四数据之间的直接关联关系的示意图。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN202111436096.2A 2021-11-30 2021-11-30 一种数据处理方法及装置 Active CN113849524B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111436096.2A CN113849524B (zh) 2021-11-30 2021-11-30 一种数据处理方法及装置
PCT/CN2022/134455 WO2023098593A1 (zh) 2021-11-30 2022-11-25 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436096.2A CN113849524B (zh) 2021-11-30 2021-11-30 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113849524A CN113849524A (zh) 2021-12-28
CN113849524B true CN113849524B (zh) 2022-10-18

Family

ID=78982271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436096.2A Active CN113849524B (zh) 2021-11-30 2021-11-30 一种数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN113849524B (zh)
WO (1) WO2023098593A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849524B (zh) * 2021-11-30 2022-10-18 阿里云计算有限公司 一种数据处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399175B (zh) * 2017-02-07 2022-04-12 阿里巴巴集团控股有限公司 一种数据存储、查询方法及其装置
CN109871181A (zh) * 2017-12-01 2019-06-11 航天信息股份有限公司 一种对象存取方法及装置
US10877959B2 (en) * 2018-01-17 2020-12-29 Sap Se Integrated database table access
CN111241111B (zh) * 2020-02-12 2023-09-26 网易(杭州)网络有限公司 数据查询方法及装置、数据对比方法及装置、介质及设备
CN111984293B (zh) * 2020-08-17 2023-09-12 腾讯科技(上海)有限公司 一种信息处理方法、装置和存储介质
CN112084270A (zh) * 2020-09-17 2020-12-15 腾讯科技(深圳)有限公司 一种数据血缘处理方法、装置、存储介质及设备
CN113434501A (zh) * 2021-06-23 2021-09-24 平安国际智慧城市科技股份有限公司 关系型数据库表的存储方法、设备及可读存储介质
CN113849524B (zh) * 2021-11-30 2022-10-18 阿里云计算有限公司 一种数据处理方法及装置

Also Published As

Publication number Publication date
CN113849524A (zh) 2021-12-28
WO2023098593A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
US11068441B2 (en) Caseless file lookup in a distributed file system
US11003625B2 (en) Method and apparatus for operating on file
US8615499B2 (en) Estimating data reduction in storage systems
CN108932257B (zh) 多维度数据的查询方法及装置
CN110347651B (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN102129425B (zh) 数据仓库中大对象集合表的访问方法及装置
CN107704202B (zh) 一种数据快速读写的方法和装置
US9235613B2 (en) Flexible partitioning of data
CN110851474A (zh) 数据查询方法、数据库中间件、数据查询设备及存储介质
CN115825312B (zh) 色谱检测数据交互方法、装置、设备和计算机可读介质
CN113849524B (zh) 一种数据处理方法及装置
CN113297267A (zh) 数据缓存和任务处理方法、装置、设备以及存储介质
CN113485980A (zh) 数据处理方法、装置、电子设备及存储介质
CN107430633B (zh) 用于数据存储的系统及方法和计算机可读介质
CN111125216A (zh) 数据导入Phoenix的方法及装置
CN113448739B (zh) 一种数据处理方法及装置
CN111221817B (zh) 业务信息数据存储方法、装置、计算机设备及存储介质
US10114864B1 (en) List element query support and processing
CN110377665B (zh) 数据同步方法、装置、电子设备及存储介质
CN113296973A (zh) 一种消息处理方法、消息读取方法、装置及可读介质
CN114996307A (zh) 一种对数据的联邦处理方法及装置
CN112051964B (zh) 数据处理方法及装置
CN110727672A (zh) 数据映射关系查询方法、装置、电子设备及可读介质
CN114528045B (zh) 插件操作方法、装置、计算机设备和存储介质
CN111651520B (zh) 一种缓存架构访问方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064625

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant