CN112163004A - 基于多链数据融合的列表处理及更新展示系统及方法 - Google Patents

基于多链数据融合的列表处理及更新展示系统及方法 Download PDF

Info

Publication number
CN112163004A
CN112163004A CN202011097311.6A CN202011097311A CN112163004A CN 112163004 A CN112163004 A CN 112163004A CN 202011097311 A CN202011097311 A CN 202011097311A CN 112163004 A CN112163004 A CN 112163004A
Authority
CN
China
Prior art keywords
list
data
chain
display
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011097311.6A
Other languages
English (en)
Inventor
郑斌斌
李智博
吴广
阚磊磊
黄守毅
井辉辉
程然
刘伟国
李亚峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wanxiang Blockchain Inc
Original Assignee
Shanghai Wanxiang Blockchain Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wanxiang Blockchain Inc filed Critical Shanghai Wanxiang Blockchain Inc
Priority to CN202011097311.6A priority Critical patent/CN112163004A/zh
Publication of CN112163004A publication Critical patent/CN112163004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于多链数据融合的列表处理及更新展示系统及方法，包括：多链接入模块：搭建多链上不同节点或者连接已有的链上节点进行链交互；链上数据处理模块：列表化传入的多链数据以及缓存数据；列表数据处理模块：进行本地列表缓存、列表对比Diff以及列表整合排序；列表展示模块：进行缓存预展示、多链列表数据覆盖展示。本发明通过采用在链上数据处理模块和列表数据处理模块中的双层缓存结构，将时间窗口内无法同步得到的链上数据进行融合、更新、预展示、再更新的方式，解决了数据返回不及时、请求时间不一致、页面空白的问题。

Description

基于多链数据融合的列表处理及更新展示系统及方法
技术领域
本发明涉及数据处理技术领域，具体地，涉及基于多链数据融合的列表处理及更新展示系统及方法。
背景技术
目前许多需要从多端获取数据进行数据融合的列表展示业务应用中，对数据量过大、获取数据速度不一致、单一数据源产生问题导致整体数据无法展示时常发生，在时间窗口中得不到需要持续更新的数据，往往会造成列表数据处理失败、业务请求耗时很长、界面显示空白问题。
因此，现有技术中(申请号为CN201610541059.0，公开了“一种更新组件列表数据的方法和系统”)的这种根据组件的配置数据更新组件列表数据，虽然其避免了因组件之间的级联关系导致的不必要的数据更新，但却无法支持数据源的多端来源，数据源时间窗口不一致导致的界面显示空白等问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多链数据融合的列表处理及更新展示系统及方法。
根据本发明提供的一种基于多链数据融合的列表处理及更新展示系统，包括：
多链接入模块：搭建多链上不同节点或者连接已有的链上节点进行链交互；
链上数据处理模块：列表化传入的多链数据以及缓存数据；
列表数据处理模块：进行本地列表缓存、列表对比Diff以及列表整合排序；
列表展示模块：进行缓存预展示、多链列表数据覆盖展示。
优选地，所述节点参与验证并传播交易及区块信息，发现并维持与对等节点的连接，通过节点能够查询到业务界面所需要的多链数据，包括以下链数据：地址相关的UTXO、地址余额、交易区块查询；
然后将所述多链数据发送到链上数据处理模块。
优选地，所述链上数据处理模块：
所述列表化传入的多链数据是指将多链数据组合为一条条格式统一的列表数据，然后将列表数据进行缓存，待链上节点异常、数据错误、返回时间长于预设时长时通过缓存将完整的多链信息列表发送给列表数据处理模块。
优选地，所述列表数据处理模块：
所述列表缓存是将列表整合排序后的数据进行本地化缓存；
所述列表对比Diff是将链上数据处理模块得到数据和本地列表缓存id进行一一对比，相同列表项进行更新其中的数据、新增列表项进行添加该项全部数据、下架列表项进行删除该项全部数据；
所述列表整合排序是将更新后的相同列表项和新增列表项合并进行重新按既定规则排序；
然后排序完成的列表数据传给列表展示模块。
优选地，所述列表展示模块：
所述缓存预展示是将列表数据处理模块中的缓存数据进行预展示，然后监听列表数据处理模块的列表对比Diff逻辑，当监听到存在变动数据时获取最新列表数据进行覆盖展示。
根据本发明提供的一种基于多链数据融合的列表处理及更新展示方法，包括：
多链接入步骤：搭建多链上不同节点或者连接已有的链上节点进行链交互；
链上数据处理步骤：列表化传入的多链数据以及缓存数据；
列表数据处理步骤：进行本地列表缓存、列表对比Diff以及列表整合排序；
列表展示模块：进行缓存预展示、多链列表数据覆盖展示。
优选地，所述节点参与验证并传播交易及区块信息，发现并维持与对等节点的连接，通过节点能够查询到业务界面所需要的多链数据，包括以下链数据：地址相关的UTXO、地址余额、交易区块查询；
然后将所述多链数据发送到链上数据处理步骤。
优选地，所述链上数据处理步骤：
所述列表化传入的多链数据是指将多链数据组合为一条条格式统一的列表数据，然后将列表数据进行缓存，待链上节点异常、数据错误、返回时间长于预设时长时通过缓存将完整的多链信息列表发送给列表数据处理步骤。
优选地，所述列表数据处理步骤：
所述列表缓存是将列表整合排序后的数据进行本地化缓存；
所述列表对比Diff是将链上数据处理步骤得到数据和本地列表缓存id进行一一对比，相同列表项进行更新其中的数据、新增列表项进行添加该项全部数据、下架列表项进行删除该项全部数据；
所述列表整合排序是将更新后的相同列表项和新增列表项合并进行重新按既定规则排序；
然后排序完成的列表数据传给列表展示步骤。
优选地，所述列表展示步骤：
所述缓存预展示是将列表数据处理步骤中的缓存数据进行预展示，然后监听列表数据处理步骤的列表对比Diff逻辑，当监听到存在变动数据时获取最新列表数据进行覆盖展示。
与现有技术相比，本发明具有如下的有益效果：
(1)通过采用在链上数据处理模块和列表数据处理模块中的双层缓存结构，将时间窗口内无法同步得到的链上数据进行融合、更新、预展示、再更新的方式，解决了数据返回不及时、请求时间不一致、页面空白的问题。
(2)通过采用列表对比Diff的方式，将业务界面的本地列表缓存与最新列表数据进行对比分析，更新列表项中的数据、添加新增列表项、删除下架列表项，从而一直保持了列表展示正确性和实时性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的基于多链信息融合的列表数据处理及更新展示方法示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
下面通过实施例，对本发明进行更为具体地说明。
实施例1：
在从多链上同时获取业务界面所需要数据列表时，将时间窗口内无法同步正确得到的链上数据提供给业务平台进行融合、更新、预展示、再更新的方式。
入图1所示，一种基于多链信息融合的列表数据处理及更新展示方法，包括：
多链接入模块，包括搭建多链上不同节点或者连接已有的链上节点进行链交互；所述节点(因为是从多条不同的公有链上获取数据，所以这里是包括多个节点，不同链上节点可以自行搭建也可以使用已有的第三方服务节点)会参与验证并传播交易及区块信息，发现并维持与对等节点的连接，通过节点我们可以查询到业务界面所需要的数据，比如地址相关的UTXO、地址余额，交易区块查询等链数据。然后将所述数据发送到链上数据处理模块；
目前公有链需要进行从链上获取数据时，都是通过节点进行获取。节点本身是可以通过本地电脑搭建一套节点服务或者使用有第三方已搭建好的节点服务；本专利发明在此处表述的是需要从不同的公有链上获取所需的信息时，既可以本地自行搭建多个分别对接不同公有链的节点服务、也可链接已有节点服务的第三方进行数据获取。
链上数据处理模块，包括列表化传入的多链数据以及缓存数据；所述列表化传入的多链数据是将多链数据组合为一条条格式统一的列表数据，然后将列表数据进行缓存，待链上节点异常、数据错误、返回时间过长时能够通过缓存将完整的多链信息列表发送给列表数据处理模块。
列表数据处理模块，包括本地列表缓存、列表对比Diff、列表整合排序；所述列表缓存是将列表整合排序后的数据进行本地化缓存；列表对比Diff是将链上数据处理模块得到数据和本地列表缓存id进行一一对比，相同列表项进行更新其中的数据、新增列表项进行添加该项全部数据、下架列表项进行删除该项全部数据；列表整合排序是将更新后的相同列表项和新增列表项合并进行重新按既定规则排序；然后排序完成的列表数据传给列表展示模块；
列表展示模块，包括缓存预展示、多链列表数据覆盖展示；所述缓存预展示是将列表数据处理模块中的缓存数据进行预展示，然后监听列表数据处理模块的列表对比Diff逻辑，当监听到存在变动数据时获取最新列表数据进行覆盖展示。此处监听的时根据某一既定规则(如定时获取链上数据、或用户主动刷新数据)时，监听最新数据与本地缓存数据Diff对比结果，当不同时触发覆盖展示。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于多链数据融合的列表处理及更新展示系统，其特征在于，包括：
多链接入模块：搭建多链上不同节点或者连接已有的链上节点进行链交互；
链上数据处理模块：列表化传入的多链数据以及缓存数据；
列表数据处理模块：进行本地列表缓存、列表对比Diff以及列表整合排序；
列表展示模块：进行缓存预展示、多链列表数据覆盖展示。
2.根据权利要求1所述的基于多链数据融合的列表处理及更新展示系统，其特征在于，所述节点参与验证并传播交易及区块信息，发现并维持与对等节点的连接，通过节点能够查询到业务界面所需要的多链数据，包括以下链数据：地址相关的UTXO、地址余额、交易区块查询；
然后将所述多链数据发送到链上数据处理模块。
3.根据权利要求1所述的基于多链数据融合的列表处理及更新展示系统，其特征在于，所述链上数据处理模块：
所述列表化传入的多链数据是指将多链数据组合为一条条格式统一的列表数据，然后将列表数据进行缓存，待链上节点异常、数据错误、返回时间长于预设时长时通过缓存将完整的多链信息列表发送给列表数据处理模块。
4.根据权利要求1所述的基于多链数据融合的列表处理及更新展示系统，其特征在于，所述列表数据处理模块：
所述列表缓存是将列表整合排序后的数据进行本地化缓存；
所述列表对比Diff是将链上数据处理模块得到数据和本地列表缓存id进行一一对比，相同列表项进行更新其中的数据、新增列表项进行添加该项全部数据、下架列表项进行删除该项全部数据；
所述列表整合排序是将更新后的相同列表项和新增列表项合并进行重新按既定规则排序；
然后排序完成的列表数据传给列表展示模块。
5.根据权利要求1所述的基于多链数据融合的列表处理及更新展示系统，其特征在于，所述列表展示模块：
所述缓存预展示是将列表数据处理模块中的缓存数据进行预展示，然后监听列表数据处理模块的列表对比Diff逻辑，当监听到存在变动数据时获取最新列表数据进行覆盖展示。
6.一种基于多链数据融合的列表处理及更新展示方法，其特征在于，包括：
多链接入步骤：搭建多链上不同节点或者连接已有的链上节点进行链交互；
链上数据处理步骤：列表化传入的多链数据以及缓存数据；
列表数据处理步骤：进行本地列表缓存、列表对比Diff以及列表整合排序；
列表展示模块：进行缓存预展示、多链列表数据覆盖展示。
7.根据权利要求6所述的基于多链数据融合的列表处理及更新展示方法，其特征在于，所述节点参与验证并传播交易及区块信息，发现并维持与对等节点的连接，通过节点能够查询到业务界面所需要的多链数据，包括以下链数据：地址相关的UTXO、地址余额、交易区块查询；
然后将所述多链数据发送到链上数据处理步骤。
8.根据权利要求6所述的基于多链数据融合的列表处理及更新展示方法，其特征在于，所述链上数据处理步骤：
所述列表化传入的多链数据是指将多链数据组合为一条条格式统一的列表数据，然后将列表数据进行缓存，待链上节点异常、数据错误、返回时间长于预设时长时通过缓存将完整的多链信息列表发送给列表数据处理步骤。
9.根据权利要求6所述的基于多链数据融合的列表处理及更新展示方法，其特征在于，所述列表数据处理步骤：
所述列表缓存是将列表整合排序后的数据进行本地化缓存；
所述列表对比Diff是将链上数据处理步骤得到数据和本地列表缓存id进行一一对比，相同列表项进行更新其中的数据、新增列表项进行添加该项全部数据、下架列表项进行删除该项全部数据；
所述列表整合排序是将更新后的相同列表项和新增列表项合并进行重新按既定规则排序；
然后排序完成的列表数据传给列表展示步骤。
10.根据权利要求6所述的基于多链数据融合的列表处理及更新展示方法，其特征在于，所述列表展示步骤：
所述缓存预展示是将列表数据处理步骤中的缓存数据进行预展示，然后监听列表数据处理步骤的列表对比Diff逻辑，当监听到存在变动数据时获取最新列表数据进行覆盖展示。
CN202011097311.6A 2020-10-14 2020-10-14 基于多链数据融合的列表处理及更新展示系统及方法 Pending CN112163004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011097311.6A CN112163004A (zh) 2020-10-14 2020-10-14 基于多链数据融合的列表处理及更新展示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011097311.6A CN112163004A (zh) 2020-10-14 2020-10-14 基于多链数据融合的列表处理及更新展示系统及方法

Publications (1)

Publication Number Publication Date
CN112163004A true CN112163004A (zh) 2021-01-01

Family

ID=73868255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011097311.6A Pending CN112163004A (zh) 2020-10-14 2020-10-14 基于多链数据融合的列表处理及更新展示系统及方法

Country Status (1)

Country Link
CN (1) CN112163004A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681963A (zh) * 2018-03-29 2018-10-19 深圳市网心科技有限公司 多区块链整合控制方法、系统、电子装置及存储介质
CN108876370A (zh) * 2018-06-12 2018-11-23 北京航空航天大学 一种异构多链架构下跨区块链共享开放数据的体系架构
CN109067521A (zh) * 2018-07-27 2018-12-21 天津大学 一种基于区块链的公钥分发方法
CN109165229A (zh) * 2018-08-23 2019-01-08 北京京东金融科技控股有限公司 本地区块同步的检验方法、装置、设备及存储介质
CN109977123A (zh) * 2019-04-01 2019-07-05 时代数媒科技股份有限公司 一种移动端列表数据diff算法
CN110377704A (zh) * 2019-07-22 2019-10-25 北京百度网讯科技有限公司 数据一致性的检测方法、装置和计算机设备
CN110535955A (zh) * 2019-09-02 2019-12-03 广东电网有限责任公司 一种基于多链的配用电数据共享系统与方法
CA3061603A1 (en) * 2018-11-14 2020-05-14 Royal Bank Of Canada System and method for storing contract data structures on permissioned distributed ledgers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681963A (zh) * 2018-03-29 2018-10-19 深圳市网心科技有限公司 多区块链整合控制方法、系统、电子装置及存储介质
CN108876370A (zh) * 2018-06-12 2018-11-23 北京航空航天大学 一种异构多链架构下跨区块链共享开放数据的体系架构
CN109067521A (zh) * 2018-07-27 2018-12-21 天津大学 一种基于区块链的公钥分发方法
CN109165229A (zh) * 2018-08-23 2019-01-08 北京京东金融科技控股有限公司 本地区块同步的检验方法、装置、设备及存储介质
CA3061603A1 (en) * 2018-11-14 2020-05-14 Royal Bank Of Canada System and method for storing contract data structures on permissioned distributed ledgers
CN109977123A (zh) * 2019-04-01 2019-07-05 时代数媒科技股份有限公司 一种移动端列表数据diff算法
CN110377704A (zh) * 2019-07-22 2019-10-25 北京百度网讯科技有限公司 数据一致性的检测方法、装置和计算机设备
CN110535955A (zh) * 2019-09-02 2019-12-03 广东电网有限责任公司 一种基于多链的配用电数据共享系统与方法

Similar Documents

Publication Publication Date Title
US11556518B2 (en) System and method for providing high availability data
US9753954B2 (en) Data node fencing in a distributed file system
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN109522363B (zh) 基于区块链的云平台同步方法、系统、设备及存储介质
CN110909521B (zh) 在线文档信息的同步处理方法、装置及电子设备
US7024428B1 (en) Reliable data synchronization over unreliable networks
US20090083210A1 (en) Exchange of syncronization data and metadata
CN113094430B (zh) 一种数据处理方法、装置、设备以及存储介质
CN115757400B (zh) 数据表处理方法、装置、电子设备和计算机可读介质
CN113645287B (zh) 汽车报文存储方法及装置、汽车报文存储系统
CN111338834B (zh) 数据存储方法和装置
US20100274761A1 (en) System and method for reliable symmetric data synchronization
WO2019047737A1 (zh) 事务处理方法、装置和系统以及电子设备
CN112163004A (zh) 基于多链数据融合的列表处理及更新展示系统及方法
CN112988738B (zh) 用于区块链的数据分片方法和装置
CN107688978B (zh) 用于检测重复订单信息的方法及装置
CN112685486A (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
US9703646B2 (en) Centralized database system
WO2020042150A1 (zh) 区块链系统、信息共享方法及相关设备
CN112860796B (zh) 用于同步数据的方法、装置、设备以及存储介质
CN101490667A (zh) 管理域状态信息的系统和方法
CN114928620A (zh) 用户信息同步方法、装置、设备、存储介质和程序产品
CN114036218A (zh) 一种数据模型切换方法、装置、服务器和存储介质
CN114253924A (zh) 一种同步方法、设备和存储介质
CN109710688B (zh) 一种数据实时比对校验方法及消息中间件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101