CN116227446A - 信息融合方法、装置及设备 - Google Patents
信息融合方法、装置及设备 Download PDFInfo
- Publication number
- CN116227446A CN116227446A CN202310165480.6A CN202310165480A CN116227446A CN 116227446 A CN116227446 A CN 116227446A CN 202310165480 A CN202310165480 A CN 202310165480A CN 116227446 A CN116227446 A CN 116227446A
- Authority
- CN
- China
- Prior art keywords
- user information
- fusion
- key
- key value
- value pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000009795 derivation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
本申请提供一种信息融合方法、装置及设备。该方法包括:获取待处理的第一表格和第二表格,第一表格中包括M条第一用户信息,第二表格中包括每条第一用户信息对应的第二用户信息,M为大于1的整数;根据第一表格和第二表格,确定M个键值对,键值对中包括融合用户信息,融合用户信息包括第一用户信息和第一用户信息对应的第二用户信息;生成M个键值对对应的树状结构,树状结构中包括M个键值对;根据树状结构生成第一表格和第二表格对应的融合表格,融合表格中包括M条融合用户信息。本申请的方法,提高了多个关联数据表信息融合导出的效率。本申请涉及金融科技领域或其他相关领域。
Description
技术领域
本申请实施例涉及金融科技领域或其他相关领域,尤其涉及一种信息融合方法、装置及设备。
背景技术
在进行信息存储的过程中,通常将一些主要信息存储到表1中,将这些主要信息对应的附属信息存储到表2中。例如,企业对职工信息进行存储时,将每个职工对应的工作信息存储到表1中,将每个职工对应的家庭信息存储到表2中,可以在表1中设置每个职工对应的关联主键,通过点击每个职工对应的关联主键可以跳转查询到表2中该职工对应的家庭信息。
当企业需要对每个职工对应的工作信息和家庭信息导出时,可以选择分别导出或融合导出。相比于分别导出,融合导出因其能直观完整地看到每个职工对应的工作信息和家庭信息,有利于信息查询,成为了多数企业选择的一种信息导出方式。在相关技术中,可以通过如下方式进行融合导出:先查询表1中的任意一个职工对应的职工信息,再通过该职工对应的关联主键跳转至表2中查询到该职工对应的家庭信息,将查询到职工信息、以及职工信息对应的家庭信息融合导出至新的EXCEL表格中。重复上述步骤,直至表1中的所有职工对应的职工信息和家庭信息全部被写入新的EXCEL表格中。
然而,在上述过程中,在对表1和表2中的信息进行融合导出时,若表1中的数据量达到一定量级时,导致多个关联数据表信息融合导出的效率较低。
发明内容
本申请实施例提供一种信息融合方法、装置及设备,用以解决多个关联数据表信息融合导出的效率较低的问题。
第一方面,本申请实施例提供一种信息融合方法,包括:
获取待处理的第一表格和第二表格,所述第一表格中包括M条第一用户信息,所述第二表格中包括每条第一用户信息对应的第二用户信息,所述M为大于1的整数;
根据所述第一表格和所述第二表格,确定M个键值对,所述键值对中包括融合用户信息,所述融合用户信息包括第一用户信息和所述第一用户信息对应的第二用户信息;
生成所述M个键值对对应的树状结构,所述树状结构中包括所述M个键值对;
根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,所述融合表格中包括M条融合用户信息。
在一种可能的实施方式中,根据所述第一表格和所述第二表格,确定M个键值对,包括:
在第二表格中确定每条第一用户信息对应的第二用户信息;
根据所述M条第一用户信息、以及每条第一用户信息对应的第二用户信息,生成所述M个键值对。
在一种可能的实施方式中,针对所述M条第一用户信息中的任意一条第一用户信息;在第二表格中确定所述第一用户信息对应的第二用户信息,包括:
在所述第一用户信息中确定第一主键;
根据所述第一主键,在所述第二表格中确定所述第一用户信息对应的第二用户信息,所述第一用户信息对应的第二用户信息中包括所述第一主键。
在一种可能的实施方式中,针对所述M条第一用户信息中的任意一条第一用户信息;在第二表格中确定所述第一用户信息对应的第二用户信息,包括:
在所述第一用户信息中确定第一主键;
根据所述第一主键,在所述第二表格中确定所述第一用户信息对应的第二用户信息,所述第一用户信息对应的第二用户信息中包括所述第一主键。
在一种可能的实施方式中,生成所述M个键值对对应的树状结构,包括:
确定红黑树对应的构造算法;
根据所述构造算法,分别将所述M个键值对添加至红黑树中,得到所述树状结构。
在一种可能的实施方式中,根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,包括:
遍历所述树状结构,以依次得到所述M个键值对;
分别将所述M个键值对存储至所述融合表格。
在一种可能的实施方式中,获取待处理的第一表格和第二表格,包括:
在文件系统获取所述第一表格和所述第二表格;
以链表的形式,将所述第一表格和所述第二表格加载至内存。
第二方面,本申请实施例提供一种信息融合装置,所述装置包括:
获取模块,获取待处理的第一表格和第二表格,所述第一表格中包括M条第一用户信息,所述第二表格中包括每条第一用户信息对应的第二用户信息,所述M为大于1的整数;
确定模块,用于根据所述第一表格和所述第二表格,确定M个键值对,所述键值对中包括融合用户信息,所述融合用户信息包括第一用户信息和所述第一用户信息对应的第二用户信息;
第一生成模块,用于生成所述M个键值对对应的树状结构,所述树状结构中包括所述M个键值对;
第二生成模块,用于根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,所述融合表格中包括M条融合用户信息。
在一种可能的实施方式中,所述确定模块具体用于:
在第二表格中确定每条第一用户信息对应的第二用户信息;
根据所述M条第一用户信息、以及每条第一用户信息对应的第二用户信息,生成所述M个键值对。
在一种可能的实施方式中,所述确定模块具体用于:
在所述第一用户信息中确定第一主键;
根据所述第一主键,在所述第二表格中确定所述第一用户信息对应的第二用户信息,所述第一用户信息对应的第二用户信息中包括所述第一主键。
在一种可能的实施方式中,所述确定模块具体用于:
将所述第一用户信息中的第一主键,确定为所述第一用户信息对应的键值对的主键;
将所述第一用户信息中除所述第一主键之外的其它内容、以及所述第一用户信息对应的第二用户信息进行融合处理,得到融合信息;
将所述融合信息,确定为所述第一用户信息对应的键值对的值;其中,所述键值对包括所述主键和所述值。
在一种可能的实施方式中,所述第一生成模块具体用于:
确定红黑树对应的构造算法;
根据所述构造算法,分别将所述M个键值对添加至红黑树中,得到所述树状结构。
在一种可能的实施方式中,所述第二生成模块具体用于:
遍历所述树状结构,以依次得到所述M个键值对;
分别将所述M个键值对存储至所述融合表格。
在一种可能的实施方式中,所述获取模块具体用于:
在文件系统获取所述第一表格和所述第二表格;
以链表的形式,将所述第一表格和所述第二表格加载至内存。
第三方面,本申请实施例提供一种电子设备,包括处理器,以及与所述处理器通信连接的存储器;其中,
所述存储器存储有计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面中任一项所述的方法。
本申请实施例提供的信息融合方法、装置及设备,获取待处理的第一表格和第二表格。根据第一表格和第二表格,确定M个键值对。生成M个键值对对应的树状结构。根据树状结构生成第一表格和第二表格对应的融合表格。在上述过程中,通过将第一表格和第二表格的信息进行信息融合处理后生成M个键值对,并基于树状结构对这M个键值对进行排序,使得用户在进行信息导出时可以加快融合信息检索的效率,进而提高了多个关联数据表信息融合导出的效率。
附图说明
图1为本申请实施例提供的应用场景的示意图;
图2为本申请实施例提供的一种信息融合方法的流程示意图;
图3为本申请实施例提供的一种<K,V>结构的示意图;
图4为本申请实施例提供的一种红黑树的树状结构的示意图;
图5为本申请实施例提供的另一种信息融合方法的流程示意图;
图6为本申请实施例提供的一种生成第一用户信息对应的键值对的流程示意图;
图7为本申请实施例提供的一种信息融合装置的结构示意图;
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
图1为本申请实施例提供的应用场景的示意图。请参见图1,包括表1、表2和表3。其中,表1中包含多个第一用户信息,表2包含多个第二用户信息,第一用户信息与第二用户信息之间具有关联关系,该关联关系可以通过关联主键呈现。表3为表1和表2对应的融合表格,表3中包含表1中的多个第一用户信息、以及表2中的多个第二用户信息。
可以通过如下方式得到表3:可以依次遍历表1中的第一用户信息,并在表2中依次获取该第一用户信息对应的第二用户信息,将每一条第一用户信息与该第一用户信息对应的第二用户信息进行信息融合处理后,生成无序排列的多个<K,V>结构的键值对,每个键值对中包含有一条融合信息;根据红黑树对应的构造算法,将这些无序排列的多个<K,V>结构的键值对有序插入红黑树中,以实现上述多个<K,V>结构的键值对的有序排列;对这些有序排列的<K,V>结构的键值对进行遍历,可以依次获得多条融合信息,将这多条融合信息写入到表3中进行存储。
在相关技术中,可以通过如下方式进行融合导出:先查询表1中的任意一个职工对应的职工信息,再通过该职工对应的关联主键跳转至表2中查询到该职工对应的家庭信息,将查询到职工信息、以及职工信息对应的家庭信息融合导出至新的EXCEL表格中。重复上述步骤,直至表1中的所有职工对应的职工信息和家庭信息全部被写入新的EXCEL表格中。在上述过程中,在对表1和表2中的信息进行融合导出时,若表1中的数据量达到一定量级时,导致多个关联数据表信息融合导出的效率较低。
本申请实施例中,获取待处理的第一表格和第二表格。根据第一表格和第二表格,确定M个键值对。生成M个键值对对应的树状结构。根据树状结构生成第一表格和第二表格对应的融合表格。在上述过程中,通过将第一表格和第二表格的信息进行信息融合处理后生成M个键值对,并基于树状结构对这M个键值对进行排序,使得用户在进行信息导出时可以加快融合信息检索的效率,进而提高了多个关联数据表信息融合导出的效率。
下面,通过具体实施例对本申请所示的方法进行说明。需要说明的是,下面几个实施例可以单独存在,也可以互相结合,对于相同或相似的内容,在不同的实施例中不再重复说明。
图2为本申请实施例提供的一种信息融合方法的流程示意图。请参见图2,该方法可以包括:
S201、获取待处理的第一表格和第二表格。
本申请实施例的执行主体可以为电子设备,也可以为设置在电子设备中的信息融合装置。信息融合装置可以通过软件实现,也可以通过软件和硬件的结合实现。电子设备可以为计算机。
第一表格中包括M条第一用户信息,第二表格中包括每条第一用户信息对应的第二用户信息,M为大于1的整数。
例如,第一表格可以为图1中的表1,第二表格可以为图1中的表2。针对于任意一个用户,第一用户信息可以为表1中任意一个职工对应的工作信息,第二用户信息可以为表2中该职工对应的家庭信息。
可选的,每个用户对应的第一用户信息具有唯一标识符,该标识符用于区分该用户的第一用户信息与其他用户的第一用户信息。例如,该标识符可以为第一用户的工牌标识号(Identity document,ID)、序号标识和身份标识等。
可选的,每个用户对应的第二用户信息中包括第一用户信息对应的标识符,用以说明第二用户信息和第一用户信息之间的对应关系。
可选的,第一用户信息可以对应于一个或多个第二用户信息。例如,在图1中,表1中标识符1对应的第一用户信息,可以对应于表2中3条第二用户信息。
可选的,可以通过如下方式获取待处理的第一表格和第二表格:在文件系统获取第一表格和第二表格;以链表的形式,将第一表格和第二表格加载至内存。
可选的,第一表格和第二表格存储于磁盘中的某文件系统(例如,数据库)中,可以通过该文件系统的客户端应用程序界面(Application Program Interface,API)导出第一表格和第二表格,并将第一表格在内存中以链表1的形式进行加载,第二表格在内存中以链表2的形式进行加载,链表1和链表2彼此独立。
S202、根据第一表格和第二表格,确定M个键值对。
键值对中包括融合用户信息,融合用户信息包括第一用户信息和第一用户信息对应的第二用户信息。
可选的,键值对的结构为<K,V>结构,其中K对应于第一用户信息对应的唯一标识符,V对应于融合信息。
可选的,第一用户信息和键值对具有一一对应关系,假设有M个第一用户信息,则可以根据第一表格和第二表格,确定M个键值对,M为大于1的整数。
下面,结合图3,对<K,V>结构进行说明。
图3为本申请实施例提供的一种<K,V>结构的示意图。请参见图3,每个第一用户信息的标识符可以对应于一个K,每个第一用户信息除标识符以外的信息和该第一用户信息对应的第二用户信息可以组成一条融合信息,每条融合信息对应于一个V值,可以根据上述K值和上述V值组成一个键值对。每个第一用户信息的标识符与键值对之间具有一一对应关系,例如,标识符1对应的键值对为<K1,V1>,标识符2对应的键值对为<K2,V2>。
可选的,可以通过Java语言来实现第一用户信息和第二用户信息的融合,以获取融合信息。
S203、生成M个键值对对应的树状结构。
树状结构中包括M个键值对。
可选的,该树状结构可以为红黑树。红黑树是一种自平衡的二叉查找树,是在计算机中用到的一种用于提升查找效率的数据结构。红黑树可以用于防止当插入的一组元素正好有序的时候,二叉排序树根据其定义(若右子树不空,则右子树上所有节点的值均大于它的根节点的值)恰好退化成一个链表,使得数据的查询效率较低。
在构造红黑树时,需满足如下性质:
性质1:每个节点要么是黑色,要么是红色;
性质2:根节点是黑色;
性质3:每个叶子节点黑色且为空节点(即Null);
性质4:每个红色节点对应的两个子节点都是黑色(即,从每个叶子节点到根的路径上不会有两个连续的红色节点);
性质5:从任一一个节点到其子树中每个叶子节点的路径都包含相同数量的黑色节点。
下面,结合图4,对红黑树的树状结构进行示意。
图4为本申请实施例提供的一种红黑树的树状结构的示意图。请参见图4,红黑树的树状结构包括黑色节点、红色节点和空节点。其中每个黑色节点和红色节点中可以存储有一个键值对或键值对的主键,每个空节点中未存储键值对。
S204、根据树状结构生成第一表格和第二表格对应的融合表格。
融合表格中包括M条融合用户信息。融合表格可以为EXCEL格式的表格,例如,融合表格可以为图1中的表3。
可选的,可以通过如下方式生成融合表格:遍历树状结构,以依次得到M个键值对;分别将M个键值对存储至融合表格。
可选的,树状结构中可以包括M个键值对,这M个键值对呈现红黑树结构排列,整体排列有序,在进行信息导出时可以实现对该红黑树结构中的M个键值对的快速遍历,以依次得到M个键值对中的M条融合信息,将依次得到的M条融合信息逐行写入到融合表格中,以实现第一用户信息和第二用户信息的融合导出。
本申请实施例提供的信息融合的方法,可以获取待处理的第一表格和第二表格;根据第一表格和第二表格,确定M个键值对;生成M个键值对对应的树状结构;根据树状结构生成第一表格和第二表格对应的融合表格。在上述过程中,通过将第一表格和第二表格的信息进行信息融合处理后生成M个键值对,并基于树状结构对这M个键值对进行排序,使得用户在进行信息导出时可以加快融合信息检索的效率,进而提高了多个关联数据表信息融合导出的效率。
在上述任意一个实施例的基础上,下面,结合图5,对信息融合的详细过程进行说明。
图5为本申请实施例提供的另一种信息融合方法的流程示意图。请参见图5,该方法可以包括:
S501、在文件系统获取第一表格和第二表格。
S502、以链表的形式,将第一表格和第二表格加载至内存。
需要说明的是,S501~S502的执行过程可以参照执行S201的执行过程,此处不再重复进行赘述。
S503、在第二表格中确定每条第一用户信息对应的第二用户信息。
可选的,针对M条第一用户信息中的任意一条第一用户信息,可以通过如下方式在第二表格中确定第一用户信息对应的第二用户信息:在第一用户信息中确定第一主键;根据第一主键,在第二表格中确定第一用户信息对应的第二用户信息。
第一用户信息对应的第二用户信息中包括第一主键。
可选的,可以将第一用户信息对应的标识符确定为第一主键,通过点击第一表格中任意一条第一用户信息对应的第一主键,可以跳转至第二表格中并定位至第二表格中该第一主键对应的一个或多个第二用户信息。
S504、根据M条第一用户信息、以及每条第一用户信息对应的第二用户信息,生成M个键值对。
针对M条第一用户信息中的任意一条第一用户信息,下面,结合图6,对生成第一用户信息对应的键值对的过程进行详细说明。
图6为本申请实施例提供的一种生成第一用户信息对应的键值对的流程示意图。
S601、将第一用户信息中的第一主键,确定为第一用户信息对应的键值对的主键。
S602、将第一用户信息中除第一主键之外的其它内容、以及第一用户信息对应的第二用户信息进行融合处理,得到融合信息。
S603、将融合信息,确定为第一用户信息对应的键值对的值。
其中,键值对包括主键和值。
例如,当键值对为<K,V>结构时,其中的K为主键,V为值。
S505、确定红黑树对应的构造算法。
可选的,键值对的结构可以为<K,V>,可以通过定义一个数据结构来管理M个键值对,该数据结构至少应包含如下两个接口:添加接口和获取接口,其中:
添加接口:用于增加一个<K,V>对到该数据结构中进行处理。
获取接口:用于根据K获取其对应的V到程序中进行进一步处理。
可选的,为了方便程序获取该数据结构管理的多个<K,V>对,将默认采用“开放地址法”的数据结构来对这多个<K,V>对进行管理。
一种经典的实现方式如下:定义一个长度为m的队列空间,其中m对应于数据结构中管理的<K,V>对的数量;对K进行哈希(Hash)计算,求取其Hash值,假设Hash值为d,则d%m的值,就是<K,V>对在队列中存储的位置;如果d%m中已经存储了相应内容了,则相应的探测(d+1)%m,(d+2)%m是否为空,若为空则进行存储。可以根据Hash算法使得对上述<K,V>对中的每个K计算获得唯一的Hash值,使得多个<K,V>对中任意一个<K,V>对在队列中均具有唯一对应的存储位置。
可选的,该“开放地址法”的数据结构可以为哈希映射(HashMap)。HashMap是一种基于Hash表的常见的<K,V>数据结构,这种数据结构常见的操作是插入和删除,即插入一个key值为K的value,或者获得一个以key值为K的value。然而,尽管HashMap在插入和删除时有较大的优势,但其不保证K是有序的,当需要对这多个<K,V>对中的K进行顺序遍历时,将导致K的遍历效率降低,从而导致对应的V的查询效率降低。
例如,在HashMap中,多个<K,V>对中的K值排序为(10,2,9,8,7,1),如需要(1,2,7,8,9,10)的顺序对这多个K值进行自然升序的遍历时,一共需要经历6+2+5+4+3+1=21次遍历,导致遍历效率降低。
因此,为了进一步提高多个<K,V>对中K值的遍历效率,本申请在选用数据结构时,选择一种基于红黑树算法与哈希算法结合的数据结构,该数据结构中的多个<K,V>对呈有序排列。
可选的,该数据结构可以为Java编程语言对应的公共类库中的TreeMap,或者,该数据结构也可以为参照红黑树的构造算法以及Hash算法自定义的一种类似的数据结构。
例如,该数据结构为TreeMap,TreeMap是Java的一种常见数据结构,其操作使用方式与HashMap类似,在进行数据查询的时候由于底层是红黑树,这M个<K,V>对中的K呈有序排列,使得K的遍历效率较高,进而导致V值的查询效率提升。
可选的,本申请提供的数据结构至少应包含如下两个接口:添加接口和获取接口,其中:
添加接口:采用<K,V>对中的K构造红黑树,在不断添加<K,V>对的过程中,遵循红黑树的构造算法构造出一颗红黑树。
获取接口:利用二叉排序查找树的特点,对红黑树中的某个节点进行二分查找。
S506、根据构造算法,分别将M个键值对添加至红黑树中,得到树状结构。
可选的,可以根据TreeMap中设置的红黑树的构造算法,将上述M个键值对中的主键按照顺序进行排序后,通过添加接口将<K,V>对依次添加至红黑树中,得到树状结构。
S507、遍历树状结构,以依次得到M个键值对。
可选的,可以根据树状结构中键值对对应的顺序,依次遍历树状结构,以得到M个键值对。
S508、分别将M个键值对存储至融合表格。
本申请实施例提供的信息融合的方法,可以获取待处理的第一表格和第二表格;根据第一表格和第二表格,确定M个键值对;生成M个键值对对应的树状结构;根据树状结构生成第一表格和第二表格对应的融合表格。在上述过程中,通过将第一表格和第二表格的信息进行信息融合处理后生成M个键值对,并基于树状结构对这M个键值对进行排序,使得用户在进行信息导出时可以加快融合信息检索的效率,进而提高了多个关联数据表信息融合导出的效率。
图7为本申请实施例提供的一种信息融合装置的结构示意图。请参见图7,该信息融合装置10可以包括:
获取模块11,获取待处理的第一表格和第二表格,所述第一表格中包括M条第一用户信息,所述第二表格中包括每条第一用户信息对应的第二用户信息,所述M为大于1的整数;
确定模块12,用于根据所述第一表格和所述第二表格,确定M个键值对,所述键值对中包括融合用户信息,所述融合用户信息包括第一用户信息和所述第一用户信息对应的第二用户信息;
第一生成模块13,用于生成所述M个键值对对应的树状结构,所述树状结构中包括所述M个键值对;
第二生成模块14,用于根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,所述融合表格中包括M条融合用户信息。
本申请实施例提供的信息融合装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
在一种可能的实施方式中,所述确定模块12具体用于:
在第二表格中确定每条第一用户信息对应的第二用户信息;
根据所述M条第一用户信息、以及每条第一用户信息对应的第二用户信息,生成所述M个键值对。
在一种可能的实施方式中,所述确定模块12具体还用于:
在所述第一用户信息中确定第一主键;
根据所述第一主键,在所述第二表格中确定所述第一用户信息对应的第二用户信息,所述第一用户信息对应的第二用户信息中包括所述第一主键。
在一种可能的实施方式中,所述确定模块12具体还用于:
将所述第一用户信息中的第一主键,确定为所述第一用户信息对应的键值对的主键;
将所述第一用户信息中除所述第一主键之外的其它内容、以及所述第一用户信息对应的第二用户信息进行融合处理,得到融合信息;
将所述融合信息,确定为所述第一用户信息对应的键值对的值;其中,所述键值对包括所述主键和所述值。
在一种可能的实施方式中,所述第一生成模块13具体用于:
确定红黑树对应的构造算法;
根据所述构造算法,分别将所述M个键值对添加至红黑树中,得到所述树状结构。
在一种可能的实施方式中,所述第二生成模块14具体用于:
遍历所述树状结构,以依次得到所述M个键值对;
分别将所述M个键值对存储至所述融合表格。
在一种可能的实施方式中,所述获取模块11具体用于:
在文件系统获取所述第一表格和所述第二表格;
以链表的形式,将所述第一表格和所述第二表格加载至内存。
图8为本申请实施例提供的电子设备的结构示意图。请参见图8,该电子设备20可以包括:存储器21、处理器22。示例性地,存储器21、处理器22,各部分之间通过总线23相互连接。
存储器21用于存储程序指令;
处理器22用于执行该存储器所存储的程序指令,用以使得信息融合设备20执行上述方法实施例所示的方法。
本申请实施例提供的电子设备可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现上述方法。
本申请实施例还可提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,可实现上述方法。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储器(存储介质)包括:只读存储器(英文:read-only memory,缩写:ROM)、随机存取存储器(英文:Random Access Memor,缩写:RAM)、快闪存储器、硬盘、固态硬盘、磁带(英文:magnetic tape)、软盘(英文:floppy disk)、光盘(英文:optical disc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
在本申请中,术语“包括”及其变形可以指非限制性的包括;术语“或”及其变形可以指“和/或”。本申请中术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。本申请中,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
Claims (11)
1.一种信息融合方法,其特征在于,包括:
获取待处理的第一表格和第二表格,所述第一表格中包括M条第一用户信息,所述第二表格中包括每条第一用户信息对应的第二用户信息,所述M为大于1的整数;
根据所述第一表格和所述第二表格,确定M个键值对,所述键值对中包括融合用户信息,所述融合用户信息包括第一用户信息和所述第一用户信息对应的第二用户信息;
生成所述M个键值对对应的树状结构,所述树状结构中包括所述M个键值对;
根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,所述融合表格中包括M条融合用户信息。
2.根据权利要求1所述的方法,其特征在于,根据所述第一表格和所述第二表格,确定M个键值对,包括:
在第二表格中确定每条第一用户信息对应的第二用户信息;
根据所述M条第一用户信息、以及每条第一用户信息对应的第二用户信息,生成所述M个键值对。
3.根据权利要求2所述的方法,其特征在于,针对所述M条第一用户信息中的任意一条第一用户信息;在第二表格中确定所述第一用户信息对应的第二用户信息,包括:
在所述第一用户信息中确定第一主键;
根据所述第一主键,在所述第二表格中确定所述第一用户信息对应的第二用户信息,所述第一用户信息对应的第二用户信息中包括所述第一主键。
4.根据权利要求2或3所述的方法,其特征在于,针对所述M条第一用户信息中的任意一条第一用户信息;根据所述第一用户信息、以及所述第一用户信息对应的第二用户信息,生成所述第一用户信息对应的键值对,包括:
将所述第一用户信息中的第一主键,确定为所述第一用户信息对应的键值对的主键;
将所述第一用户信息中除所述第一主键之外的其它内容、以及所述第一用户信息对应的第二用户信息进行融合处理,得到融合信息;
将所述融合信息,确定为所述第一用户信息对应的键值对的值;其中,所述键值对包括所述主键和所述值。
5.根据权利要求1-4任一项所述的方法,其特征在于,生成所述M个键值对对应的树状结构,包括:
确定红黑树对应的构造算法;
根据所述构造算法,分别将所述M个键值对添加至红黑树中,得到所述树状结构。
6.根据权利要求1-5任一项所述的方法,其特征在于,根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,包括:
遍历所述树状结构,以依次得到所述M个键值对;
分别将所述M个键值对存储至所述融合表格。
7.根据权利要求1-6任一项所述的方法,其特征在于,获取待处理的第一表格和第二表格,包括:
在文件系统获取所述第一表格和所述第二表格;
以链表的形式,将所述第一表格和所述第二表格加载至内存。
8.一种信息融合装置,其特征在于,所述装置包括:
获取模块,获取待处理的第一表格和第二表格,所述第一表格中包括M条第一用户信息,所述第二表格中包括每条第一用户信息对应的第二用户信息,所述M为大于1的整数;
确定模块,用于根据所述第一表格和所述第二表格,确定M个键值对,所述键值对中包括融合用户信息,所述融合用户信息包括第一用户信息和所述第一用户信息对应的第二用户信息;
第一生成模块,用于生成所述M个键值对对应的树状结构,所述树状结构中包括所述M个键值对;
第二生成模块,用于根据所述树状结构生成所述第一表格和所述第二表格对应的融合表格,所述融合表格中包括M条融合用户信息。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;其中,
所述存储器存储有计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165480.6A CN116227446A (zh) | 2023-02-24 | 2023-02-24 | 信息融合方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165480.6A CN116227446A (zh) | 2023-02-24 | 2023-02-24 | 信息融合方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116227446A true CN116227446A (zh) | 2023-06-06 |
Family
ID=86582040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310165480.6A Pending CN116227446A (zh) | 2023-02-24 | 2023-02-24 | 信息融合方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116227446A (zh) |
-
2023
- 2023-02-24 CN CN202310165480.6A patent/CN116227446A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210049163A1 (en) | Data preparation context navigation | |
US9116899B2 (en) | Managing changes to one or more files via linked mapping records | |
JP6011533B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN103810224A (zh) | 信息持久化和查询方法及装置 | |
US20100146056A1 (en) | Searching An Email System Dumpster | |
KR101621385B1 (ko) | 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 | |
Razani et al. | Coupled Coincidence Point Results for (ψ, α, β)‐Weak Contractions in Partially Ordered Metric Spaces | |
JP6828181B2 (ja) | k−匿名化装置、方法及びプログラム | |
US10262026B2 (en) | Relational file database and graphic interface for managing such a database | |
CN116431598A (zh) | 一种基于Redis的关系型数据库全量内存化的方法 | |
CN105843809B (zh) | 数据处理方法和装置 | |
CN113553458A (zh) | 图数据库中的数据导出方法及装置 | |
CN111125216B (zh) | 数据导入Phoenix的方法及装置 | |
US10216771B2 (en) | Creating and handling identification for a resource in a configuration database | |
CN116227446A (zh) | 信息融合方法、装置及设备 | |
CN108121807B (zh) | Hadoop环境下多维索引结构OBF-Index的实现方法 | |
JP2014164477A (ja) | k−匿名データベース制御装置及び制御方法 | |
CN108241758B (zh) | 数据查询方法及相关设备 | |
CN110019357B (zh) | 数据库查询脚本生成方法及装置 | |
CN113806365A (zh) | 一种单数据源数据管理方法、装置及存储介质 | |
CN107451179B (zh) | 针对增加区块的整体勘误的区块链的查询方法及系统 | |
CN110674137A (zh) | 数据处理方法及装置、存储介质、电子设备 | |
CN112883343A (zh) | 一种程序代码的混淆方法及装置 | |
CN105260425A (zh) | 基于云盘的文件显示方法及装置 | |
US20190391974A1 (en) | Join method, computer program and recording medium thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |