CN111680104B - 数据同步方法、装置、计算机设备及可读存储介质 - Google Patents

数据同步方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN111680104B
CN111680104B CN202010479475.9A CN202010479475A CN111680104B CN 111680104 B CN111680104 B CN 111680104B CN 202010479475 A CN202010479475 A CN 202010479475A CN 111680104 B CN111680104 B CN 111680104B
Authority
CN
China
Prior art keywords
data
script
preset
synchronization
synchronous task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010479475.9A
Other languages
English (en)
Other versions
CN111680104A (zh
Inventor
王志远
古立夫
周承亮
黄克海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Securities Co Ltd
Original Assignee
Ping An Securities Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Securities Co Ltd filed Critical Ping An Securities Co Ltd
Priority to CN202010479475.9A priority Critical patent/CN111680104B/zh
Publication of CN111680104A publication Critical patent/CN111680104A/zh
Application granted granted Critical
Publication of CN111680104B publication Critical patent/CN111680104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及人工智能中的数据处理技术领域，揭露了一种数据同步方法，该方法包括：当判断有待执行同步任务时，获取待执行同步任务中的数据提供方标识和数据接收方标识，计算数据提供方标识对应的多个预设指标的指标值，当指标值小于预设阈值时，根据预设检测脚本检测数据接收方是否运作正常，当检测到数据接收方运作正常时，生成同步任务脚本，并对同步任务脚本执行安全性校验；当安全性校验通过时，执行同步任务脚本，完成数据同步。本发明还提出一种数据同步装置、计算机设备以及一种计算机可读存储介质。本发明实现了可灵活配置数据同步方向、数据同步类型并保证数据同步的可靠性的数据同步方式。

Description

数据同步方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及人工智能中的数据处理技术领域，尤其涉及一种数据同步方法、装置、计算机设备及可读存储介质。
背景技术
当前，为了保证数据的安全性、业务的连续性并降低单个服务器的负荷，通常会采用多套系统(主路系统、从路系统)来做运算，例如，银行端在白天采用主路系统来做运算，夜间采用从路系统做运算，然而，主路切换到从路之前，需要将主路的全量数据同步到从路，从路运算完后需要将从路的增量数据合并到主路。
目前通常采用基于数据库的Binlog或基于RPC远程调用的方式来实现数据同步。然而，基于数据库的Binlog的数据同步方式，通过分析监控Binlog日志建立同步脚本来实现数据同步，只能实现主路到从路的单向数据同步，且只能同步增量数据；基于RPC远程调用的数据同步方式，通过在主路执行运算的同时远程调用从路做同样的运算来实现数据同步，浪费了计算资源的同时也只能实现主路到从路的单向数据同步，且只能同步增量数据，同时，以上两种同步方式不能保证数据同步的可靠性。因此，亟需一种数据同步方法，以实现灵活配置数据同步方向、数据同步类型，并保证数据同步的可靠性。
发明内容
鉴于以上内容，有必要提供一种数据同步方法，旨在实现灵活配置数据同步方向、数据同步类型，并保证数据同步的可靠性。
本发明尤其可应用在智慧城市建设中的互联网金融场景中，提供的数据同步方法，包括：
实时或定时判断服务器集群当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
可选的，所述确定所述数据提供方标识对应的多个预设指标包括：
读取所述数据提供方在预设时间段内的历史数据同步日志，抓取所述历史数据同步日志中的报错日志摘录；
将所述报错日志摘录发送给预设客户端进行报错分析，并接收所述预设客户端反馈的报错原因；
基于所述报错原因确定所述数据提供方标识对应的多个预设指标。
可选的，所述当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常之后还包括：
若检测到所述数据接收方运作异常，获取所述数据接收方对应的目标服务器集群，根据第一预设规则从所述目标服务器集群中筛选一个服务器作为新的数据接收方。
可选的，所述根据所述待执行任务生成同步任务脚本包括：
获取所述待执行同步任务中的源数据表名称、目标数据表名称、待同步数据和数据同步类型；
提取所述数据同步类型对应的数据同步脚本模板；
根据所述数据同步脚本模板、数据提供方标识、数据接收方标识、源数据表名称、目标数据表名称和待同步数据生成同步任务脚本。
可选的，所述对所述同步任务脚本执行安全性校验包括：
校验所述同步任务脚本中是否包括预设关键字；
校验所述同步任务脚本中是否包括预设语法；
校验所述同步任务脚本是否仅对所述数据接收方的表数据进行更新。
可选的，所述根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验之后还包括：
若所述同步任务脚本安全性校验失败，则将所述同步任务脚本发送给所述预设客户端，并发出警示信息；
接收所述预设客户端反馈的更新的同步任务脚本，对所述更新的同步任务脚本执行安全性校验。
可选的，所述数据同步方法还包括：
根据第二预设规则校验数据同步结果的正确性，并反馈正确性校验结果。
此外，为实现上述目的，本发明还提供一种数据同步装置，包括:
获取模块，用于实时或定时判断服务器集群当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
判断模块，用于确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
检测模块，用于当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
生成模块，用于当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
同步模块，用于当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
此外，为实现上述目的，本发明还提供一种计算机设备，包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行上述数据同步方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序可被一个或者多个处理器执行，以实现上述数据同步方法的步骤。
相较现有技术，本发明当判断有待执行同步任务时，获取待执行同步任务中的数据提供方标识和数据接收方标识，计算数据提供方标识对应的多个预设指标的指标值，当指标值小于预设阈值时，认为数据提供方达到了数据同步的条件，可降低数据同步失败的可能性；然后，根据预设检测脚本检测数据接收方是否运作正常，此举的目的是为了保证数据同步的可靠性；接着，根据数据同步任务生成同步任务脚本，并对同步任务脚本执行安全性校验，此举的目的是为了防止误操作而将本不应修改的表数据误修改、删除；最后，执行同步任务脚本，完成数据同步。本发明可在数据同步任务中配置数据同步方向、数据同步类型，根据数据同步任务生成同步任务脚本，进而完成数据同步，同时，本发明中当检测到数据接收方运作异常时，可获取数据接收方对应的目标服务器集群，从目标服务器集群中筛选一个服务器作为新的数据接收方，使得数据同步更加灵活。因此，本发明实现了灵活配置数据同步方向、数据同步类型，并保证了数据同步的可靠性。
附图说明
图1为本发明计算机设备一实施例的应用环境示意图；
图2为本发明计算机设备一实施例的结构示意图；
图3为本发明数据同步装置一实施例的模块示意图；
图4为本发明数据同步方法一实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，为本发明计算机设备1一实施例的应用环境示意图。计算机设备1与服务器集群2、客户端4通信连接，所述服务器集群2中包括多个服务器3。
计算机设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述计算机设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
服务器3可以是机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等计算设备，可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
客户端4可以为桌上型计算机、笔记本、平板电脑、手机，或其它可以与计算机设备1进行通信的终端装置。
在本发明的一实施例中，计算机设备1用于：
实时或定时判断服务器集群2当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
如图2所示，为本发明计算机设备1一实施例的结构示意图。在本实施例中，计算机设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有数据同步程序10，所述数据同步程序10可被所述处理器12执行。图1仅示出了具有组件11-13以及数据同步程序10的计算机设备1，本领域技术人员可以理解的是，图1示出的结构并不构成对计算机设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为计算机设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是计算机设备1的内部存储单元，例如该计算机设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是计算机设备1的外部存储设备，例如计算机设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于计算机设备1的操作系统和各类应用软件，例如存储本发明一实施例中的数据同步程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述计算机设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行数据同步程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述计算机设备1与服务器3、客户端4之间建立通信连接。
可选的，所述计算机设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机设备1中处理的信息以及用于显示可视化的用户界面。
在本发明的一实施例中，所述数据同步程序10被所述处理器12执行时实现如下步骤W1-W5。
W1、实时或定时判断服务器集群2当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识。
本发明适用于多套系统联合部署的场景，例如，银行端采用多主多从的多系统方式来支持转账服务，则服务器集群2包括多个主服务器组成的主服务器集群及多个从服务器组成的从服务器集群。本发明预先为服务器集群2中的各服务器3配置了数据同步任务。
例如，银行端在每天的9:00～16:00期间，由主服务器集群中的服务器3执行转账服务的相关操作，其余时间段由从服务器集群中的服务器3执行相关操作(即每天的9:00由从服务器切换到主服务器，16:00由主服务器切换到从服务器)，本实施例根据时间规则来判断当前是否有待执行同步任务，例如，预先设置了数据同步时间为每天的16:01～16：10及8:51～9:00，故而，当监测到当前时间处于数据同步时间段内时，可确定当前有待执行同步任务。所述数据同步任务可以为单个任务，也可以为多个任务，所述待执行同步任务包括数据提供方标识、数据接收方标识，本实施例中的数据提供方、数据接收方皆为服务器集群2中的某一台服务器3。
W2、确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值。
本实施例中，所述确定所述数据提供方标识对应的多个预设指标包括：
A1、读取所述数据提供方在预设时间段内的历史数据同步日志，抓取所述历史数据同步日志中的报错日志摘录；
A2、将所述报错日志摘录发送给预设客户端4进行报错分析，并接收所述预设客户端4反馈的报错原因；
A3、基于所述报错原因确定所述数据提供方标识对应的多个预设指标。
例如，收集到的报错原因包括：网速过慢、内存不够、CPU占有率过高等多种原因，可按照收集到的每种报错原因的次数排序，筛选出TOP10的报错原因，然后确定10个预设指标(例如，网速、CPU占有率等)。
本实施例判断数据提供方对应的预设指标值是否小于预设阈值，是为了保证数据同步的可靠性，降低数据同步失败的可能性。
W3、当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常。
本实施例中，通过预设检测脚本向数据接收方发送多个数据包，并接收数据接收方反馈的数据，根据反馈的数据判断数据接收方的各项性能是否正常(例如，通过数据丢包率来判断数据接收方的网络传输是否正常)。
本步骤的目的是为了提高数据同步的成功率，保证数据同步的可靠性。
本实施例中，所述当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常之后还实现如下步骤：
若检测到所述数据接收方运作异常，获取所述数据接收方对应的目标服务器集群，根据第一预设规则从所述目标服务器集群中筛选一个服务器3作为新的数据接收方。
例如，若数据接收方为从服务器集群中的一个服务器3，则在从服务器集群中筛选一个新的服务器3作为数据接收方。
本实施例中，所述根据第一预设规则从所述目标服务器集群中筛选一个服务器3作为新的数据接收方，包括：
获取所述目标服务器集群中各个服务器3对应的多个预设指标，计算各个预设指标的个数，将个数最多的预设数量的预设指标作为标准指标；
计算所述目标服务器集群中各个服务器3的标准指标的指标值；
从所述指标值达标的服务器3中筛选出一个服务器3作为新的数据接收方。
W4、当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验。
本实施例中，所述根据所述待执行任务生成同步任务脚本包括：
B1、获取所述待执行同步任务中的源数据表名称、目标数据表名称、待同步数据和数据同步类型；
B2、提取所述数据同步类型对应的数据同步脚本模板；
B3、根据所述数据同步脚本模板、数据提供方标识、数据接收方标识、源数据表名称、目标数据表名称和待同步数据生成同步任务脚本。
所述待执行同步任务还包括：数据同步类型、数据同步方向、源数据表名称、目标数据表名称、待同步数据。
所述数据同步类型包括全量同步、增量同步、导出增量、合并增量。
所述数据同步方向包括由主服务器同步到从服务器、由从服务器同步到主服务器。
本实施例中，每种数据同步类型对应一个数据同步脚本模板，确定了源数据表名称、目标数据表名称、待同步数据后，即可生成对应的同步任务脚本。
所述同步任务脚本包括前置处理脚本、数据同步脚本、后置处理脚本。
当数据同步类型为全量同步时，所述前置处理脚本包括配置检查及目标数据表全部清空操作对应的脚本。
所述配置检查包括检查目标数据表(本实施例中，目标数据表为数据接收方的表)与源数据表(数据提供方的表)是否存在、检查数据提供方的标识与数据同步方向中的提供数据的服务器3的标识是否一致、检查数据接收方的标识与数据同步方向中的接收数据的服务器3的标识是否一致。
清空目标数据表时通常采用delete字段来删除目标数据表中的数据。
当数据同步类型为增量同步时，所述前置处理脚本包括配置检查及目标数据表部分清空操作对应的脚本。例如，设置删除目标数据表中T+N日的数据，T为日期，N为天数，T、N皆可自定义配置。
当数据同步类型为导出增量(本实施例中，导出增量用于导出从服务器发生的增量数据)时，所述前置处理脚本包括配置检查及增量表全部清空操作对应的脚本。
当数据同步类型为合并增量(本实施例中，合并增量用于将从服务器的增量数据合并到主服务器)时，所述前置处理脚本包括配置检查及合并校验(用于校验是否已经合并，可防止重复合并，若已合并，则结束数据同步操作)操作对应的脚本。本实施例中，可将目标数据表的结构设置为与源数据表的结构一致(例如，按照每条数据的序号来同步数据)，也可根据需要将目标数据表结构自定义为其他类型的结构(例如，在目标数据表中配置了时间列，根据所述时间列来同步数据)，根据已确定的目标数据表的结构可自动生成同步任务脚本中的数据同步脚本。
所述后置处理脚本包括后期操作(例如，由主服务器向从服务器同步数据后，在从服务器中增加一个备份的操作，用于记录从服务器的原始数据，需要将从服务器的当前数据与原始数据进行比对，以得出从服务器的增量数据，用于从服务器的增量同步操作)对应的脚本。
本实施例中，所述对所述同步任务脚本执行安全性校验包括：
C1、校验所述同步任务脚本中是否包括预设关键字；
所述预设关键字包括ddl关键字(create、alter、drop)及dml关键字(insert、update、delete)。
对于前置处理脚本，需校验是否包括dml关键字中的delete(delete用于清空目标数据表中的数据)；
对于数据同步脚本及后置处理脚本，需校验是否脚本中未出现ddl关键字及dml关键字中的delete(若出现ddl关键字及delete，会导致待同步的数据变化，使得同步结果不准确)。
C2、校验所述同步任务脚本中是否包括预设语法；
例如，前置处理脚本、数据同步脚本、后置处理脚本中皆只能在结尾处有一个“；”(“；”表示结束)。
C3、校验所述同步任务脚本是否仅对所述数据接收方的表数据进行更新。
本实施例中，执行安全性校验时仅能执行查询语句，所述查询语句中不能出现ddl关键字及dml关键字。
W5、当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
本实施例中，若数据同步任务有多个，可根据数据提供方的当前资源利用率、资源利用率与线程数量之间的映射关系生成多个线程，采用多线程并行的方式执行同步任务脚本，以提高同步效率。
本实施例中，所述根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验之后还包括：
D1、若所述同步任务脚本安全性校验失败，则将所述同步任务脚本发送给所述预设客户端4，并发出警示信息；
D2、接收所述预设客户端4反馈的更新的同步任务脚本，对所述更新的同步任务脚本执行安全性校验。
本实施例中，所述数据同步程序10被所述处理器12执行时还实现如下步骤：
根据第二预设规则校验数据同步结果的正确性，并反馈正确性校验结果。
本实施例中，所述第二预设规则为：比对数据提供方与数据接收方中对应表格的条数或预设字段对应的数值是否一致。
本实施例中，所述数据同步程序10被所述处理器12执行时还实现如下步骤：
若所述指标值大于预设阈值，则向所述预设客户端4发送预警信息。
由上述实施例可知，本发明提出的计算机设备1，首先，当判断有待执行同步任务时，获取待执行同步任务中的数据提供方标识和数据接收方标识，计算数据提供方标识对应的多个预设指标的指标值，当指标值小于预设阈值时，认为数据提供方达到了数据同步的条件，可降低数据同步失败的可能性；然后，根据预设检测脚本检测数据接收方是否运作正常，此举的目的是为了保证数据同步的可靠性；接着，根据数据同步任务生成同步任务脚本，并对同步任务脚本执行安全性校验，此举的目的是为了防止误操作而将本不应修改的表数据误修改、删除；最后，执行同步任务脚本，完成数据同步。本发明可在数据同步任务中配置数据同步方向、数据同步类型，根据数据同步任务生成同步任务脚本，进而完成数据同步，同时，本发明中当检测到数据接收方运作异常时，可获取数据接收方对应的目标服务器集群，从目标服务器集群中筛选一个服务器3作为新的数据接收方，使得数据同步更加灵活。因此，本发明实现了灵活配置数据同步方向、数据同步类型，并保证了数据同步的可靠性。
如图3所示，为本发明数据同步装置20一实施例的模块示意图。
在本发明的一个实施例中，数据同步装置20包括获取模块210、判断模块220、检测模块230、生成模块240及同步模块250，示例性地：
所述获取模块210，用于实时或定时判断服务器集群2当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
所述判断模块220，用于确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
所述检测模块230，用于当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
所述生成模块240，用于当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
所述同步模块250，用于当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
上述获取模块210、判断模块220、检测模块230、生成模块240及同步模块250等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
如图4所示，为本发明数据同步方法一实施例的流程图，该数据同步方法包括步骤S1-S5。
S1、实时或定时判断服务器集群2当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识。
本发明适用于多套系统联合部署的场景，例如，银行端采用多主多从的多系统方式来支持转账服务，则服务器集群2包括多个主服务器组成的主服务器集群及多个从服务器组成的从服务器集群。本发明预先为服务器集群2中的各服务器3配置了数据同步任务。
例如，银行端在每天的9:00～16:00期间，由主服务器集群中的服务器3执行转账服务的相关操作，其余时间段由从服务器集群中的服务器3执行相关操作(即每天的9:00由从服务器切换到主服务器，16:00由主服务器切换到从服务器)，本实施例根据时间规则来判断当前是否有待执行同步任务，例如，预先设置了数据同步时间为每天的16:01～16：10及8:51～9:00，故而，当监测到当前时间处于数据同步时间段内时，可确定当前有待执行同步任务。所述数据同步任务可以为单个任务，也可以为多个任务，所述待执行同步任务包括数据提供方标识、数据接收方标识，本实施例中的数据提供方、数据接收方皆为服务器集群2中的某一台服务器3。
S2、确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值。
本实施例中，所述确定所述数据提供方标识对应的多个预设指标包括：
A1、读取所述数据提供方在预设时间段内的历史数据同步日志，抓取所述历史数据同步日志中的报错日志摘录；
A2、将所述报错日志摘录发送给预设客户端4进行报错分析，并接收所述预设客户端4反馈的报错原因；
A3、基于所述报错原因确定所述数据提供方标识对应的多个预设指标。
例如，收集到的报错原因包括：网速过慢、内存不够、CPU占有率过高等多种原因，可按照收集到的每种报错原因的次数排序，筛选出TOP10的报错原因，然后确定10个预设指标(例如，网速、CPU占有率等)。
本实施例判断数据提供方对应的预设指标值是否小于预设阈值，是为了保证数据同步的可靠性，降低数据同步失败的可能性。
S3、当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常。
本实施例中，通过预设检测脚本向数据接收方发送多个数据包，并接收数据接收方反馈的数据，根据反馈的数据判断数据接收方的各项性能是否正常(例如，通过数据丢包率来判断数据接收方的网络传输是否正常)。
本步骤的目的是为了提高数据同步的成功率，保证数据同步的可靠性。
本实施例中，所述当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常之后还包括：
若检测到所述数据接收方运作异常，获取所述数据接收方对应的目标服务器集群，根据第一预设规则从所述目标服务器集群中筛选一个服务器3作为新的数据接收方。
例如，若数据接收方为从服务器集群中的一个服务器3，则在从服务器集群中筛选一个新的服务器3作为数据接收方。
本实施例中，所述根据第一预设规则从所述目标服务器集群中筛选一个服务器3作为新的数据接收方，包括：
获取所述目标服务器集群中各个服务器3对应的多个预设指标，计算各个预设指标的个数，将个数最多的预设数量的预设指标作为标准指标；
计算所述目标服务器集群中各个服务器3的标准指标的指标值；
从所述指标值达标的服务器3中筛选出一个服务器3作为新的数据接收方。
S4、当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验。
本实施例中，所述根据所述待执行任务生成同步任务脚本包括：
B1、获取所述待执行同步任务中的源数据表名称、目标数据表名称、待同步数据和数据同步类型；
B2、提取所述数据同步类型对应的数据同步脚本模板；
B3、根据所述数据同步脚本模板、数据提供方标识、数据接收方标识、源数据表名称、目标数据表名称和待同步数据生成同步任务脚本。
所述待执行同步任务还包括：数据同步类型、数据同步方向、源数据表名称、目标数据表名称、待同步数据。
所述数据同步类型包括全量同步、增量同步、导出增量、合并增量。
所述数据同步方向包括由主服务器同步到从服务器、由从服务器同步到主服务器。
本实施例中，每种数据同步类型对应一个数据同步脚本模板，确定了源数据表名称、目标数据表名称、待同步数据后，即可生成对应的同步任务脚本。
所述同步任务脚本包括前置处理脚本、数据同步脚本、后置处理脚本。
当数据同步类型为全量同步时，所述前置处理脚本包括配置检查及目标数据表全部清空操作对应的脚本。
所述配置检查包括检查目标数据表(本实施例中，目标数据表为数据接收方的表)与源数据表(数据提供方的表)是否存在、检查数据提供方的标识与数据同步方向中的提供数据的服务器3的标识是否一致、检查数据接收方的标识与数据同步方向中的接收数据的服务器3的标识是否一致。
清空目标数据表时通常采用delete字段来删除目标数据表中的数据。
当数据同步类型为增量同步时，所述前置处理脚本包括配置检查及目标数据表部分清空操作对应的脚本。例如，设置删除目标数据表中T+N日的数据，T为日期，N为天数，T、N皆可自定义配置。
当数据同步类型为导出增量(本实施例中，导出增量用于导出从服务器发生的增量数据)时，所述前置处理脚本包括配置检查及增量表全部清空操作对应的脚本。
当数据同步类型为合并增量(本实施例中，合并增量用于将从服务器的增量数据合并到主服务器)时，所述前置处理脚本包括配置检查及合并校验(用于校验是否已经合并，可防止重复合并，若已合并，则结束数据同步操作)操作对应的脚本。本实施例中，可将目标数据表的结构设置为与源数据表的结构一致(例如，按照每条数据的序号来同步数据)，也可根据需要将目标数据表结构自定义为其他类型的结构(例如，在目标数据表中配置了时间列，根据所述时间列来同步数据)，根据已确定的目标数据表的结构可自动生成同步任务脚本中的数据同步脚本。
所述后置处理脚本包括后期操作(例如，由主服务器向从服务器同步数据后，在从服务器中增加一个备份的操作，用于记录从服务器的原始数据，需要将从服务器的当前数据与原始数据进行比对，以得出从服务器的增量数据，用于从服务器的增量同步操作)对应的脚本。
本实施例中，所述对所述同步任务脚本执行安全性校验包括：
C1、校验所述同步任务脚本中是否包括预设关键字；
所述预设关键字包括ddl关键字(create、alter、drop)及dml关键字(insert、update、delete)。
对于前置处理脚本，需校验是否包括dml关键字中的delete(delete用于清空目标数据表中的数据)；
对于数据同步脚本及后置处理脚本，需校验是否脚本中未出现ddl关键字及dml关键字中的delete(若出现ddl关键字及delete，会导致待同步的数据变化，使得同步结果不准确)。
C2、校验所述同步任务脚本中是否包括预设语法；
例如，前置处理脚本、数据同步脚本、后置处理脚本中皆只能在结尾处有一个“；”(“；”表示结束)。
C3、校验所述同步任务脚本是否仅对所述数据接收方的表数据进行更新。
本实施例中，执行安全性校验时仅能执行查询语句，所述查询语句中不能出现ddl关键字及dml关键字。
S5、当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
本实施例中，若数据同步任务有多个，可根据数据提供方的当前资源利用率、资源利用率与线程数量之间的映射关系生成多个线程，采用多线程并行的方式执行同步任务脚本，以提高同步效率。
本实施例中，所述根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验之后还包括：
D1、若所述同步任务脚本安全性校验失败，则将所述同步任务脚本发送给所述预设客户端4，并发出警示信息；
D2、接收所述预设客户端4反馈的更新的同步任务脚本，对所述更新的同步任务脚本执行安全性校验。
本实施例中，所述数据同步方法还包括：
根据第二预设规则校验数据同步结果的正确性，并反馈正确性校验结果。
本实施例中，所述第二预设规则为：比对数据提供方与数据接收方中对应表格的条数或预设字段对应的数值是否一致。
本实施例中，所述数据同步方法还包括：
若所述指标值大于预设阈值，则向所述预设客户端4发送预警信息。
由上述实施例可知，本发明提出的数据同步方法，首先，当判断有待执行同步任务时，获取待执行同步任务中的数据提供方标识和数据接收方标识，计算数据提供方标识对应的多个预设指标的指标值，当指标值小于预设阈值时，认为数据提供方达到了数据同步的条件，可降低数据同步失败的可能性；然后，根据预设检测脚本检测数据接收方是否运作正常，此举的目的是为了保证数据同步的可靠性；接着，根据数据同步任务生成同步任务脚本，并对同步任务脚本执行安全性校验，此举的目的是为了防止误操作而将本不应修改的表数据误修改、删除；最后，执行同步任务脚本，完成数据同步。本发明可在数据同步任务中配置数据同步方向、数据同步类型，根据数据同步任务生成同步任务脚本，进而完成数据同步，同时，本发明中当检测到数据接收方运作异常时，可获取数据接收方对应的目标服务器集群，从目标服务器集群中筛选一个服务器3作为新的数据接收方，使得数据同步更加灵活。因此，本发明实现了灵活配置数据同步方向、数据同步类型，并保证了数据同步的可靠性。
需要说明的是，为进一步保证上述预设指标、历史数据同步日志以及相关涉及到数据安全性和进行校验的相关信息的私密和安全性，上述预设指标、历史数据同步日志以及相关涉及到数据安全性和进行校验的相关信息还可以存储于一区块链的节点中，本申请的技术方案还可适用于其他存储于区块链上的数据，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括数据同步程序10，所述数据同步程序10被处理器执行时实现如下操作：
实时或定时判断服务器集群2当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
当检测到所述数据接收方运作正常时，根据所述待执行任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
本发明之计算机可读存储介质的具体实施方式与上述数据同步方法以及计算机设备1的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种数据同步方法，应用于计算机设备，所述计算机设备与服务器集群通信连接，其特征在于，所述方法包括：
实时或定时判断所述服务器集群当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
当检测到所述数据接收方运作正常时，根据所述待执行同步任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步；
其中，所述确定所述数据提供方标识对应的多个预设指标包括：读取所述数据提供方在预设时间段内的历史数据同步日志，抓取所述历史数据同步日志中的报错日志摘录；将所述报错日志摘录发送给预设客户端进行报错分析，并接收所述预设客户端反馈的报错原因；基于所述报错原因确定所述数据提供方标识对应的多个预设指标；
所述当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常之后还包括：若检测到所述数据接收方运作异常，获取所述数据接收方对应的目标服务器集群，根据第一预设规则从所述目标服务器集群中筛选一个服务器作为新的数据接收方；
所述根据所述待执行同步任务生成同步任务脚本包括：获取所述待执行同步任务中的源数据表名称、目标数据表名称、待同步数据和数据同步类型；提取所述数据同步类型对应的数据同步脚本模板；根据所述数据同步脚本模板、数据提供方标识、数据接收方标识、源数据表名称、目标数据表名称和待同步数据生成同步任务脚本。
2.如权利要求1所述的数据同步方法，其特征在于，所述对所述同步任务脚本执行安全性校验包括：
校验所述同步任务脚本中是否包括预设关键字；
校验所述同步任务脚本中是否包括预设语法；
校验所述同步任务脚本是否仅对所述数据接收方的表数据进行更新。
3.如权利要求2所述的数据同步方法，其特征在于，所述根据所述待执行同步任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验之后还包括：
若所述同步任务脚本安全性校验失败，则将所述同步任务脚本发送给预设客户端，并发出警示信息；
接收所述预设客户端反馈的更新的同步任务脚本，对所述更新的同步任务脚本执行安全性校验。
4.如权利要求3所述的数据同步方法，其特征在于，所述数据同步方法还包括：
根据第二预设规则校验数据同步结果的正确性，并反馈正确性校验结果。
5.一种数据同步装置，用于实现如权利要求1至4任一项所述的数据同步方法，该装置包括：
获取模块，用于实时或定时判断服务器集群当前是否有待执行同步任务，当判断有待执行同步任务时，获取所述待执行同步任务中的数据提供方标识和数据接收方标识；
判断模块，用于确定所述数据提供方标识对应的多个预设指标，计算各个预设指标的指标值，判断所述指标值是否小于预设阈值；
检测模块，用于当所述指标值小于预设阈值时，根据预设检测脚本检测所述数据接收方是否运作正常；
生成模块，用于当检测到所述数据接收方运作正常时，根据所述待执行同步任务生成同步任务脚本，并对所述同步任务脚本执行安全性校验；
同步模块，用于当所述同步任务脚本安全性校验通过时，执行所述同步任务脚本，完成数据同步。
6.一种计算机设备，包括：
一个或多个处理器；
存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行如权利要求1至4任一项所述的数据同步方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序可被一个或者多个处理器执行，以实现如权利要求1至4任一项所述的数据同步方法的步骤。
CN202010479475.9A 2020-05-29 2020-05-29 数据同步方法、装置、计算机设备及可读存储介质 Active CN111680104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479475.9A CN111680104B (zh) 2020-05-29 2020-05-29 数据同步方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479475.9A CN111680104B (zh) 2020-05-29 2020-05-29 数据同步方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111680104A CN111680104A (zh) 2020-09-18
CN111680104B true CN111680104B (zh) 2023-11-03

Family

ID=72453161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479475.9A Active CN111680104B (zh) 2020-05-29 2020-05-29 数据同步方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111680104B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506900A (zh) * 2020-11-27 2021-03-16 中广核工程有限公司 核电厂通风管三维数据检查方法、装置、设备及存储介质
CN113326247B (zh) * 2021-04-28 2023-02-21 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN114328302B (zh) * 2021-12-28 2023-10-10 威创集团股份有限公司 一种多主机输入控制方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007087746A1 (fr) * 2006-01-26 2007-08-09 Huawei Technologies Co., Ltd. Procédé, système et dispositif de synchronisation de données
CN103916482A (zh) * 2014-04-21 2014-07-09 合肥盈云信息科技有限公司 一种基于sqlite的数据同步传输方法
WO2017016423A1 (zh) * 2015-07-29 2017-02-02 阿里巴巴集团控股有限公司 一种实时新增数据更新方法和装置
CN109299116A (zh) * 2018-12-05 2019-02-01 浪潮电子信息产业股份有限公司 一种数据同步方法、装置、设备及可读存储介质
CN109376026A (zh) * 2018-09-14 2019-02-22 上海新炬网络信息技术股份有限公司 一种基于脚本的数据同步校验实现方法
CN109634979A (zh) * 2019-01-04 2019-04-16 北京互金新融科技有限公司 数据更新方法及装置
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007087746A1 (fr) * 2006-01-26 2007-08-09 Huawei Technologies Co., Ltd. Procédé, système et dispositif de synchronisation de données
CN103916482A (zh) * 2014-04-21 2014-07-09 合肥盈云信息科技有限公司 一种基于sqlite的数据同步传输方法
WO2017016423A1 (zh) * 2015-07-29 2017-02-02 阿里巴巴集团控股有限公司 一种实时新增数据更新方法和装置
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技（深圳）有限公司 报表数据查询方法、装置、存储介质和服务器
CN109376026A (zh) * 2018-09-14 2019-02-22 上海新炬网络信息技术股份有限公司 一种基于脚本的数据同步校验实现方法
CN109299116A (zh) * 2018-12-05 2019-02-01 浪潮电子信息产业股份有限公司 一种数据同步方法、装置、设备及可读存储介质
CN109634979A (zh) * 2019-01-04 2019-04-16 北京互金新融科技有限公司 数据更新方法及装置

Also Published As

Publication number Publication date
CN111680104A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680104B (zh) 数据同步方法、装置、计算机设备及可读存储介质
CN108427705B (zh) 电子装置、分布式系统日志查询方法及存储介质
CN107220142B (zh) 执行数据恢复操作的方法及装置
WO2021073144A1 (zh) 分布式文件系统的监控方法、装置、终端及存储介质
CN111414334A (zh) 基于云技术的文件分片上传方法、装置、设备及存储介质
CN103019879B (zh) 浏览器崩溃信息的处理方法及系统
CN108647357B (zh) 数据查询的方法及装置
CN103078945B (zh) 对浏览器崩溃数据进行处理的方法与系统
CN110737719B (zh) 数据同步方法、装置、设备及计算机可读存储介质
EP2933726B1 (en) Apparatus, system and method for application log data processing
CN112860662B (zh) 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质
CN110222028A (zh) 一种数据管理方法、装置、设备及存储介质
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN112631924A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN111400170A (zh) 一种数据权限测试方法及装置
CN112261114A (zh) 一种数据备份系统及方法
CN110688305A (zh) 测试环境同步方法、装置、介质、电子设备
CN111475468A (zh) 新增系统的日志接入方法、装置、设备及存储介质
CN111416857A (zh) 客户端崩溃处理方法、装置、系统、设备和存储介质
CN116450176A (zh) 版本更新方法、装置、电子设备及存储介质
CN108763053B (zh) 埋点名称的生成方法及终端设备
CN115757107A (zh) 埋点检测方法、装置、服务器及存储介质
CN112818204B (zh) 一种业务的处理方法、装置、设备及存储介质
CN113094241B (zh) 一种实时程序准确性的确定方法、装置、设备及存储介质
CN114239296A (zh) 一种数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant