CN112487090A - 数据同步方法、数据展示平台及计算机可读存储介质 - Google Patents

数据同步方法、数据展示平台及计算机可读存储介质 Download PDF

Info

Publication number
CN112487090A
CN112487090A CN202011384115.7A CN202011384115A CN112487090A CN 112487090 A CN112487090 A CN 112487090A CN 202011384115 A CN202011384115 A CN 202011384115A CN 112487090 A CN112487090 A CN 112487090A
Authority
CN
China
Prior art keywords
data
resource
target
target data
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011384115.7A
Other languages
English (en)
Inventor
刘颖麒
张占腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ibeacon Technology Co ltd
Original Assignee
Ibeacon Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibeacon Technology Co ltd filed Critical Ibeacon Technology Co ltd
Priority to CN202011384115.7A priority Critical patent/CN112487090A/zh
Publication of CN112487090A publication Critical patent/CN112487090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法，所述方法包括以下步骤：接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。本发明还公开了一种数据展示平台及计算机可读存储介质。通过通过参数配置操作实现从不同的数据源中获取目标数据资源，避免银受到平台、系统及数据源等限制，导致数据传输效果不佳，提高了数据传输效果。

Description

数据同步方法、数据展示平台及计算机可读存储介质
技术领域
本发明涉及设备控制技术领域，尤其涉及一种数据同步方法、数据展示平台及计算机可读存储介质。
背景技术
随着大数据、人工智能技术的兴起，数据作为一种资源，越来越受重视，且数据产出的经济和社会价值也越来越明显。
然而，企业数据越来越庞大与复杂，呈现数据量巨大且数据种类繁多等特点，要从不同的数据源中获取数据量巨大且数据种类繁多的数据资源，势必会受到平台、系统及数据源等诸多方面的限制，使得难以将不同数据源的数据同步至本地，导致数据传输效果不佳。
发明内容
本发明主要目的在于提供一种数据同步方法、数据展示平台及计算机可读存储介质，旨在解决现有技术中难以将不同数据源的数据同步至本地，导致数据传输效果不佳的问题。
为实现上述目的，本发明提供一种数据同步方法，所述方法包括以下步骤：
接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；
以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。
可选地，所述确定所述目标数据资源对应的数据拉取方式的步骤包括：
确定所述目标数据资源的来源信息和资源类型；
根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式。
可选地，所述根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式的步骤包括：
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线上资源，则确定所述目标数据资源对应的数据拉取方式为自动录入；
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线下资源，则确定所述目标数据资源对应的数据拉取方式为手动录入；
若根据所述来源信息确定所述目标数据资源来源于外部文件，则确定所述目标数据资源对应的数据拉取方式为批量导入。
可选地，所述以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库的步骤包括：
将所述目标数据资源划分为多个类型的目标数据；
确定不同类型的目标数据所对应的获取时间周期；
按照所述获取时间周期，在不同的时间段以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
可选地，所述将所获取的目标数据资源同步至所述数据展示平台的中心数据库的步骤之后，包括：
获取所述目标数据资源的同步信息；
对所述同步信息进行标记，生成标识信息存储至所述中心数据库。
可选地，所述对所述同步信息进行标记，生成标识信息存储至所述中心数据库的步骤之后，包括：
从所述中心数据库中获取所述标识信息；
若根据所述标识信息确定所述目标数据资源未完成数据同步，则在下次进行数据同步时，对未完成数据同步的目标数据资源进行断点续传。
可选地，所述以所述数据拉取方式从不同的数据源中获取相应的目标数据资源的步骤包括：
确定与不同数据源对应的沟通协议；
按照所述沟通协议连接至存在所述目标数据资源的数据源；
在连接至存在所述目标数据资源的数据源后，以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
可选地，所述将所获取的目标数据资源同步至所述数据展示平台的中心数据库的步骤之后，还包括：
接收对中心数据库中的数据资源进行展示的设置操作；
确定与所述设置操作对应的目标统计数据，及所述目标统计数据对应的统计方式和展示方式；
按照所述统计方式对所述目标统计数据进行统计分析，得到分析数据；
按照所述展示方式对所述分析数据进行多维度展示，以展示企业当前的运营情况和企业运营的发展情况。
此外，为实现上述目的，本发明还提供一种数据展示平台，所述数据展示平台包括存储器、处理器及存储在所述处理器上并可在处理器上运行的数据同步程序，所述处理器执行所述数据同步程序时实现如上所述的数据同步方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
本发明实施例通过接收数据同步对应的参数配置操作，以根据该参数配置操作生成数据同步指令，然后，确定与该数据同步指令对应的目标数据资源，及目标数据资源对应的数据拉取方式，再以所确定的数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。也即，通过参数配置确定目标数据资源及其对应的数据拉取方式，使得以所确定的数据拉取方式可以从不同的数据源中获取目标数据资源同步至中心数据库时，能够根据中心数据库中的数据资源对企业经营情况进行多维度展示，避免因受到平台、系统及数据源等诸多因素的限制，导致数据传输效果不佳，无法对企业经营情况进行有效展示，提高了数据传输效果，使得根据中心数据库中的数据资源能够对企业经营情况进行有效展示。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的数据展示平台结构示意图；
图2是本发明数据同步方法第一实施例的流程示意图；
图3为本发明数据同步方法第二实施例的流程示意图；
图4为本发明数据同步方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要解决方案是：接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。
目前的数据同步方法因受到系统、平台及数据源等因素的限制，无法从多个不同的数据源中有效获取与企业经营情况相关的数据资源，导致数据传输效果不佳，无法真实反映企业经营情况。因而，本发明提出一种数据同步方法、数据展示平台及计算机可读存储介质，通过接收数据同步对应的参数配置操作生成数据同步指令，然后确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式，再以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示，避免因受到系统、平台及数据源等因素的限制，无法从多个不同的数据源中有效获取与企业经营情况相关的数据资源，导致数据传输效果不佳，无法真实反映企业经营情况，能够提高数据传输效果，以真实有效的对企业的经营情况进行多维度展示。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据展示平台结构示意图。
如图1所示，该数据展示平台可以包括：通信总线1002，处理器1001，例如CPU，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的数据展示平台结构并不构成对数据展示平台的限定，可以包括比图示更多或更少的部件，或组合某些部件，或者不同的部件布置。
在图1所示的数据展示平台中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据同步程序，并执行以下操作：
接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；
以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。
可选地，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
确定所述目标数据资源的来源信息和资源类型；
根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式。
可选地，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线上资源，则确定所述目标数据资源对应的数据拉取方式为自动录入；
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线下资源，则确定所述目标数据资源对应的数据拉取方式为手动录入；
若根据所述来源信息确定所述目标数据资源来源于外部文件，则确定所述目标数据资源对应的数据拉取方式为批量导入。
可选地，处理器1001调用存储器1005中存储的数据同步程序，并执行以下操作：
所述以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库的步骤包括：
将所述目标数据资源划分为多个类型的目标数据；
确定不同类型的目标数据所对应的获取时间周期；
按照所述获取时间周期，在不同的时间段以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
可选地，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
获取所述目标数据资源的同步信息；
对所述同步信息进行标记，生成标识信息存储至所述中心数据库。
可选地，所述对所述同步信息进行标记，生成标识信息存储至所述中心数据库的步骤之后，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
从所述中心数据库中获取所述标识信息；
若根据所述标识信息确定所述目标数据资源未完成数据同步，则在下次进行数据同步时，对未完成数据同步的目标数据资源进行断点续传。
可选地，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
确定与不同数据源对应的沟通协议；
按照所述沟通协议连接至存在所述目标数据资源的数据源；
在连接至存在所述目标数据资源的数据源后，以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
可选地，所述将所获取的目标数据资源同步至所述数据展示平台的中心数据库的步骤之后，处理器1001可以调用存储器1005中存储的数据同步程序，还执行以下操作：
接收对中心数据库中的数据资源进行展示的设置操作；
确定与所述设置操作对应的目标统计数据，及所述目标统计数据对应的统计方式和展示方式；
按照所述统计方式对所述目标统计数据进行统计分析，得到分析数据；
按照所述展示方式在显示界面上对所述分析数据进行多维度展示，以展示企业当前的运营情况和企业运营的发展情况。
参照图2，图2为本发明数据同步方法的第一实施例流程图，本实施例中，所述数据同步方法包括以下步骤：
步骤S10：接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
本实施例中，为了避免从不同的数据源中获取数据量巨大且数据种类繁多的数据资源时，受到平台、系统或数据源等诸多方面的限制，本实施例中提出一种数据同步方法，可将来自不同数据平台的数据资源同步至本地数据库中，以便根据本地数据库中的数据从多个维度对企业的经营情况进行展示。并且，该数据同步方法应用于数据展示平台，该数据展示平台尤指可以进行数据统计、分析与展示的应用平台，可用于从多个数据源中获取各种类型的数据资源，并对所获取的数据资源进行统计分析，还可将分析后的统计数据进行多维度展示，以反映企业目前的经营状况以及未来一段时间内的发展趋势等。
具体地，该数据展示平台可提供参数配置选项，用户可以在所述数据展示平台的显示界面上触发参数配置操作，对数据同步对应的同步参数进行配置。该参数配置操作对应的可配置参数可包括：不同数据源对应的数据同步时间，数据类型，数据存储格式和数据同步规则等同步参数。于是，在接收到数据同步对应的参数配置操作时，可先确定与所述参数配置操作对应的同步参数，然后确定与所述同步参数对应的数据同步指令。如，若确定与第一数据源对应的数据同步时间为10点至11点，与第二数据源对应的数据同步时间为11点至12点，则确定相应的数据同步指令包括：在10点至11点获取第一数据源中的数据资源；在11点至12点获取第二数据源中的数据资源。
当然，在其他的一些实施例中，也可以是在数据展示平台相应的脚本程序中对数据同步对应的同步参数进行参数配置，并在配置后反馈至数据展示平台生成数据同步指令。
步骤S20：确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；
在生成数据同步指令后，可根据数据同步指令确定与不同数据源中待获取的各类数据资源及其对应的数据拉取方式。所述不同数据源尤指不同数据平台对应的数据，可以是不同数据平台的数据库中存储的数据，也可以是不同数据平台的外部文件中存储的数据等。所述各类数据资源可以是支付数据资源、结算数据资源、审批数据资源和商业服务数据资源等。所述数据拉取方式尤指从不同的数据平台获取数据的方式，可包括线上数据(网页数据)的拉取方式、线下数据(现金支付)和外部文件数据(如外部存储的文档或数据表等)的拉取方式等，具体可以是通过单线程或多线程的方式拉取、通过手动录入或批量导入的方式拉取、以不同的时间粒度拉取或根据不同的数据获取协议拉取等。
具体地，可根据数据同步指令确定不同数据源中待获取的目标数据资源，及该目标数据资源对应的数据拉取方式，以便从不同的数据源中以相应的数据拉取方式获取目标数据资源。其中，目标数据资源可包括多种类型的数据资源，所述多种类型的数据资源具体可以是不同数据源中的多种类型的数据资源，因而，不同数据源中不同类型的数据资源可对应不同的数据拉取方式。也即，可根据所述数据同步指令确定待获取的数据资源的数据来源和资源类型与数据拉取方式的对应关系，根据该对应关系即可确定不同数据源中待获取的目标数据资源对应的数据拉取方式。而不同数据源可根据资源数据的存储路径(包括IP地址等表征不同数据源的地址信息)或数据源的名称等标识信息进行区分。不同类型的数据资源可根据具体的应用需求，按照不同数据资源的数据存储结构、数据格式或数据对应的功能用途等进行区分。
步骤S30：以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示；
在确定不同数据源中待获取的目标数据资源及不同目标数据资源对应的数据拉取方式之后，可按照所确定的数据拉取方式从不同数据源中获取相应的目标数据资源，如，在确定的数据拉取方式为按时间粒度拉取数据时，可以按照不同数据对应的结算时间去拉取数据；在确定的数据拉取方式为按照数据类型拉取数据时，可按照不同的数据类型采用批量导入或手动输入等方式去拉取数据等，当然也可以是结合时间粒度和数据类型等多种因素综合考虑。
于是，在拉取到目标数据资源之后，将拉取到的目标数据资源以相应的数据格式和存储结构同步存储至数据展示平台的中心数据库，如此，在接收到数据展示指令时，可从中心数据库中读取相应的目标数据资源进行数据统计，以根据统计结果对企业的经营情况进行多维度展示。其中，所述多维度可包括设备的数量和区域等多个维度；所述企业经营情况可包括企业的月收入和支出，季收入和支出、年收入和支出、不同区域不同设备对应的盈利与亏损情况等经营情况；多维度展示的方式可以是预先制定与业务需求对应的展示模板，按照展示模型以相应的图文和表格等方式进行展示。
本实施例通过参数配置操作生成数据同步指令，并确定与数据同步指令对应的目标数据资源及该目标数据资源对应的数据拉取方式，从而能够根据所确定的数据拉取方式从不同的数据源中获取相应的目标数据资源，再将获取的目标数据资源同步至数据展示平台的中心数据库，便可以通过中心数据库中的数据资源进行分析统计，从而对企业经营情况进行多维度展示，避免因受到平台、系统及数据源等诸多方面的限制，使得难以将不同数据源的数据同步至本地，导致数据传输效果不佳，提高了数据传输效果。
参照图3，图3为本发明数据同步方法的第二实施例流程图，本实施例中，所述数据同步方法包括以下步骤：
步骤S11：接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
步骤S12：确定与所述数据同步指令对应的目标数据资源，并确定所述目标数据资源的来源信息和资源类型；
步骤S13：根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式；
步骤S14：以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。
在接收到数据同步对应的参数配置操作，且根据该参数配置操作生成数据同步指令之后，为了有效确定与目标数据资源对应的数据拉取方式，以提高数据拉取的可靠性，本实施例中，在根据数据同步指令确定不同数据源中待获取的目标数据资源之后，还会确定目标数据资源的来源信息和资源类型，并根据来源信息和资源类型确定目标数据资源对应的数据拉取方式。其中，目标数据资源的来源信息可以是来源于数据库，也可以是来源于数据库以外的外部文件，如excel等电子文档；目标数据资源的资源类型可以是线上资源(如扫码支付数据)，也可以是线下资源(如现金支付数据)等。根据目标数据资源的来源信息和资源类型确定所述目标数据资源对应的数据拉取方式可以是：对于数据库中的数据资源采用自动录入或手动录入等方式拉取数据，对于除数据库之外的数据资源采用批量导入或手动录入等其他方式拉取数据；若目标数据资源为线上资源，可采用自动录入的方式拉取数据，或选择手动录入的方式拉取数据；若目标数据资源为线下资源，可采用手动录入的方式拉取数据等。
一实施例中，为了提高数据传输的可靠性且提高数据传输效率，可根据目标数据资源的来源信息和资源类型确定以下三种数据拉取方式：其一，若根据来源信息确定目标数据资源来源于数据库，且根据资源类型确定目标数据资源为线上资源，可确定目标数据资源对应的同步方式为自动录入；若根据来源信息确定目标数据资源来源于数据库，且根据资源类型确定目标数据资源为线下资源，则因信息安全等原因无法直接读取数据库，可确定目标数据资源对应的数据拉取方式为手动录入；若根据来源信息确定目标数据资源来源于外部文件，可确定目标数据资源对应的数据拉取方式为批量导入。然后，以所确定的数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，便可以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示，保证所展示的数据的有效性。
另一实施例中，为减轻系统负荷，保障系统运行效率，可根据数据量及复杂度不同，分成多个时段同步数据，也即，每天可按照不同的时段定时从多个数据源中拉取数据并汇总至数据展示平台的中心数据库。具体地，可先将目标数据资源划分为多个类型的目标数据(如，目标数据资源为食堂的交易数据，则在公司包括多个食堂时，不同食堂对应不同的交易数据)，然后确定不同类型的目标数据所对应的获取时间周期(如，A食堂可能是按月结算的，B食堂可能是按天结算的)，再按照所确定的获取时间周期，在不同的时间段以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。所述获取时间周期可以是以天、月或年为颗粒度去汇聚数据，而不局限于天。如在目标数据资源A的获取时间周期为以天为颗粒度的间隔周期，则可以按天(如每天晚上10)从相应的数据源中定时获取目标数据资源A，在目标数据资源B的获取时间周期为以月为颗粒度的间隔周期，则可以按月(如每月的15号)从相应的数据源中定时获取目标数据资源B等。
并且，由于每个数据源又分成多个资料(目标数据)，一实施例中，为了便于监控目标数据资源中各目标数据同步至数据展示平台的中心数据库时的同步情况，以保证同步传输的成功率，各目标数据间都设置有一个记录是否同步成功的标识数据，用于记录各目标数据每次同步情况。当目标数据因为格式错误或传输中断等原因导致同步不成功时，标识数据会记录并标记相应的错误信息，方便监控及后续同步。如此，可以最大程度上保障资料传输成功。也即，可以先获取各目标数据间的flag记录的目标数据资源的同步信息，然后对该同步信息进行标记(传输是否成功，传输未成功的原因等)，并生成标识信息存储到中心数据库中。该标识信息在中心数据库的数据库表中的保存周期可根据实际需求进行设定，如可设定为1个月。
另一实施例，为保证数据传输的可靠性，避免因断网等原因造成数据丢失，影响数据的完整性，在每次拉取数据同步至数据展示平台的中心数据库之前，会先从中心数据库中获取该标识信息；若根据该标识信息确定目标数据资源未完成数据同步，则在下次对该目标数据资源进行同步时，对未完成数据同步的目标数据资源进行断点续传，以提高数据传输的可靠性。
另外，为了保证数据传输的有效性，避免数据展示平台与不同数据源之间无法有效沟通，导致无法完成目标数据资源的获取，需要以不同数据源对应的数据沟通协议实现数据展示平台与不同数据源之间的数据沟通。也即，要从不同的数据源中获取相应的目标数据资源，首先需要确定与不同数据源对应的沟通协议，然后按照所确定的沟通协议连接至存在待获取的目标数据资源的数据源，如此，在连接至存在待获取的目标数据资源的数据源之后，便可以以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
本实施例在接收数据同步对应的参数配置操作生成数据同步指令之后，根据数据同步指令确定不同数据源中待获取的目标数据资源及目标数据资源的来源信息和资源类型，根据来源信息和资源类型确定目标数据资源对应的数据拉取方式，以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以便根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。也即，通过确定数据同步指令对应的目标数据资源的来源信息和资源类型，可以根据来源信息和资源类型有效确定目标数据资源对应的数据拉取方式，避免不同来源的数据与不同类型的数据采用相同的数据拉取方式，导致数据拉取不成功或数据拉取效率较低，提高了数据拉取的效率与可靠性。
参照图4，图4为本发明数据同步方法的第三实施例流程图，本实施例中，所述数据同步方法包括以下步骤：
步骤S21：接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
步骤S22：确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；
步骤S23：以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库；
步骤S24：接收对中心数据库中的数据资源进行展示的设置操作；
步骤S25：确定与所述设置操作对应的目标统计数据，及所述目标统计数据对应的统计方式和展示方式；
步骤S26：按照所述统计方式对所述目标统计数据进行统计分析，得到分析数据；
步骤S27：按照所述展示方式对所述分析数据进行多维度展示，以展示企业当前的运营情况和企业运营的发展情况。
本实施例中，为了更加直观有效的展示企业的运营情况，可以根据用户的设置操作，更加有针对性的设置企业运营情况的展示方式。具体地，在数据展示平台接收到对中心数据库中的数据资源进行展示的设置操作时，可以先根据接收到的设置操作确定中心数据库中与该设置操作对应的目标统计数据(如，企业各个支付平台每月的消费数据)，然后确定与目标统计数据对应的数据统计方式(如，按月统计，按重要等级统计等)与数据展示方式(如，以树状图展示、以图文结合的方式展示等)，接着，按照所确定的统计方式对目标统计数据进行统计分析，得到分析数据，再按照所确定的展示方式对统计分析得到的分析数据进行多维度展示，从而可以基于所展示的分析数据反映企业当前的运营状况以及未来一段时间内可能的发展情况。例如，用户可以在数据展示平台的显示界面上触发设置操作，自主选择展示时间、需要展示的数据资源和展示维度等，如，可以设置按照月度展示获得反映企业经营情况的月报，对应地，按季度和年度展示可以获得反映企业经营情况的季报和年报；还可以自定义报表的展示模板并选择需要展示的数据源字段。
另外，该数据展示平台可支持多种格式输入，如可支持图片、pdf、excel、和邮件等多种输入方式。并且，也可以在数据展示平台上定义自己的审批流程，在发布前进行审批相关操作。此外，审批前可以自定义审批人和通知审批的方式；审批时可以填写时间和审批原因；审批结束后，自动发送审批后的内容给选择的同事，并附带水印。
也即，该数据展示平台是一个简单、高效、智能的报表系统。通过整合多源数据(一站式支付数据，财务结算数据，科技赋能商业服务数据等)，形成全局的数据视野。运用数据驱动的方式可视化并多维度的展示数据，加之以数据预测公式结合历史数据样本能直观展示当前企业运营情况以及预测未来一段时间的运营发展情况，实现企业数据化智慧运营。
本实施例通过接收对中心数据库中的数据资源进行展示的设置操作，来确定与该设置操作对应的目标统计数据及其统计方式和展示方式，然后按照所述统计方式对所述目标统计数据进行统计分析，得到分析数据，并按照所述展示方式在显示界面上对所述分析数据进行多维度展示，以展示企业当前的运营情况及未来一段时间内的企业运营发展情况。也即，该数据展示平台支持用户自定义设置统计方式和展示方式，通过所设置的统计方式和展示方式进行数据分析与展示，使得所展示的数据能够直观且有针对性的反映企业当前的运营情况及未来一段时间内企业运营的发展情况，便于企业及时调整发展策略。
此外，本发明实施例还提供一种数据展示平台，所述数据展示平台包括存储器、处理器及存储在所述处理器上并可在处理器上运行的数据同步程序，所述处理器执行所述数据同步程序时实现如上所述数据同步方法的步骤。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如上所述的数据同步方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据同步方法，其特征在于，应用于数据展示平台，所述数据同步方法包括以下步骤：
接收数据同步对应的参数配置操作，根据所述参数配置操作生成数据同步指令；
确定与所述数据同步指令对应的目标数据资源，及所述目标数据资源对应的数据拉取方式；
以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库，以根据所述中心数据库中的数据资源对企业经营情况进行多维度展示。
2.如权利要求1所述的数据同步方法，其特征在于，所述确定所述目标数据资源对应的数据拉取方式的步骤包括：
确定所述目标数据资源的来源信息和资源类型；
根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式。
3.如权利要求2所述的数据同步方法，其特征在于，所述根据所述来源信息和所述资源类型确定所述目标数据资源对应的数据拉取方式的步骤包括：
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线上资源，则确定所述目标数据资源对应的数据拉取方式为自动录入；
若根据所述来源信息确定所述目标数据资源来源于数据库，且根据所述资源类型确定所述目标数据资源为线下资源，则确定所述目标数据资源对应的数据拉取方式为手动录入；
若根据所述来源信息确定所述目标数据资源来源于外部文件，则确定所述目标数据资源对应的数据拉取方式为批量导入。
4.如权利要求1所述的数据同步方法，其特征在于，所述以所述数据拉取方式从不同的数据源中获取相应的目标数据资源，并同步至所述数据展示平台的中心数据库的步骤包括：
将所述目标数据资源划分为多个类型的目标数据；
确定不同类型的目标数据所对应的获取时间周期；
按照所述获取时间周期，在不同的时间段以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
5.如权利要求1所述的数据同步方法，其特征在于，所述将所获取的目标数据资源同步至所述数据展示平台的中心数据库的步骤之后，包括：
获取所述目标数据资源的同步信息；
对所述同步信息进行标记，生成标识信息存储至所述中心数据库。
6.如权利要求5所述的数据同步方法，其特征在于，所述对所述同步信息进行标记，生成标识信息存储至所述中心数据库的步骤之后，包括：
从所述中心数据库中获取所述标识信息；
若根据所述标识信息确定所述目标数据资源未完成数据同步，则在下次进行数据同步时，对未完成数据同步的目标数据资源进行断点续传。
7.如权利要求1所述的数据同步方法，其特征在于，所述以所述数据拉取方式从不同的数据源中获取相应的目标数据资源的步骤包括：
确定与不同数据源对应的沟通协议；
按照所述沟通协议连接至存在所述目标数据资源的数据源；
在连接至存在所述目标数据资源的数据源后，以相应的数据拉取方式从不同的数据源中获取相应的目标数据资源。
8.如权利要求1-7任一项所述的数据同步方法，其特征在于，所述将所获取的目标数据资源同步至所述数据展示平台的中心数据库的步骤之后，还包括：
接收对中心数据库中的数据资源进行展示的设置操作；
确定与所述设置操作对应的目标统计数据，及所述目标统计数据对应的统计方式和展示方式；
按照所述统计方式对所述目标统计数据进行统计分析，得到分析数据；
按照所述展示方式对所述分析数据进行多维度展示，以展示企业当前的运营情况和企业运营的发展情况。
9.一种数据展示平台，其特征在于，所述数据展示平台包括存储器、处理器及存储在存储器上并可在处理器上运行的数据同步程序，所述处理器执行所述数据同步程序时实现权利要求1-8中任一项所述的数据同步方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如权利要求1-8中任一项所述的数据同步方法的步骤。
CN202011384115.7A 2020-11-30 2020-11-30 数据同步方法、数据展示平台及计算机可读存储介质 Pending CN112487090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011384115.7A CN112487090A (zh) 2020-11-30 2020-11-30 数据同步方法、数据展示平台及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011384115.7A CN112487090A (zh) 2020-11-30 2020-11-30 数据同步方法、数据展示平台及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112487090A true CN112487090A (zh) 2021-03-12

Family

ID=74938407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011384115.7A Pending CN112487090A (zh) 2020-11-30 2020-11-30 数据同步方法、数据展示平台及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112487090A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694665A (zh) * 2009-10-27 2010-04-14 中兴通讯股份有限公司 一种异构数据源数据查询方法及装置
CN105630986A (zh) * 2015-12-25 2016-06-01 中国航天系统工程有限公司 一种从数据库中获取多维度数据网格化展示的方法
CN105677858A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据采集方法及装置
CN107247721A (zh) * 2017-04-24 2017-10-13 江苏曙光信息技术有限公司 可视化数据采集方法
CN107766132A (zh) * 2017-06-25 2018-03-06 平安科技（深圳）有限公司 多任务调度方法、应用服务器及计算机可读存储介质
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110716966A (zh) * 2019-10-16 2020-01-21 京东方科技集团股份有限公司 数据可视化处理方法及系统、电子设备及存储介质
CN110851667A (zh) * 2019-09-25 2020-02-28 中国移动通信集团河南有限公司 一种多源头大量数据的整合分析方法及工具

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694665A (zh) * 2009-10-27 2010-04-14 中兴通讯股份有限公司 一种异构数据源数据查询方法及装置
CN105630986A (zh) * 2015-12-25 2016-06-01 中国航天系统工程有限公司 一种从数据库中获取多维度数据网格化展示的方法
CN105677858A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据采集方法及装置
CN107247721A (zh) * 2017-04-24 2017-10-13 江苏曙光信息技术有限公司 可视化数据采集方法
CN107766132A (zh) * 2017-06-25 2018-03-06 平安科技（深圳）有限公司 多任务调度方法、应用服务器及计算机可读存储介质
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110851667A (zh) * 2019-09-25 2020-02-28 中国移动通信集团河南有限公司 一种多源头大量数据的整合分析方法及工具
CN110716966A (zh) * 2019-10-16 2020-01-21 京东方科技集团股份有限公司 数据可视化处理方法及系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020155760A1 (zh) 一种多数据库的数据处理的方法、装置、计算机设备及存储介质
CN107453960B (zh) 一种在服务测试中处理测试数据的方法、装置和系统
CN108153551B (zh) 一种业务流程页面的展现方法和装置
WO2020088326A1 (zh) 接口运维的方法及装置
US9507946B2 (en) Program vulnerability identification
US20160103748A1 (en) Test Case Execution
CN102571403A (zh) 通用数据质量管控适配器的实现方法和装置
CN110798445B (zh) 公共网关接口测试方法、装置、计算机设备及存储介质
WO2023185310A1 (zh) 数据同步方法和系统、计算机可读存储介质
CN110336791B (zh) 一种断点数据传输方法、装置、设备及计算机存储介质
CN107317788A (zh) 实时数据推送方法和装置
US11556899B2 (en) Replication of planned working time information
CN112487090A (zh) 数据同步方法、数据展示平台及计算机可读存储介质
US11720476B2 (en) Automated end-to-end testing platform with dynamic container configuration
CN113837870B (zh) 金融风险数据审批方法及装置
CN116594887A (zh) 一种基于cfd软件的自动化测试方法及系统
CN115033634A (zh) 数据采集方法、装置、电子设备和介质
CN112631571B (zh) 一种web编辑器内组件的联动方法及装置
US20130163028A1 (en) Accessing current data by using code images
CN111950248A (zh) 基于xml的产品报告生成方法及系统
CN112799794A (zh) 一种大数据调度方法、装置、系统和存储装置
CN112100187A (zh) 一种基于VueJS的学生学习数据存储方法及装置
US20240202023A1 (en) Report reexecution framework
CN115470017A (zh) 消息推送方法、装置、电子设备和存储介质
CN116414571A (zh) 基于域的分布式任务状态告警方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination