CN113220778A - 一种数据同步方法、装置及可读存储介质 - Google Patents

一种数据同步方法、装置及可读存储介质 Download PDF

Info

Publication number
CN113220778A
CN113220778A CN202110373137.1A CN202110373137A CN113220778A CN 113220778 A CN113220778 A CN 113220778A CN 202110373137 A CN202110373137 A CN 202110373137A CN 113220778 A CN113220778 A CN 113220778A
Authority
CN
China
Prior art keywords
request
target
data
parameters
request parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110373137.1A
Other languages
English (en)
Inventor
陈艳
李生珍
袁泉
沈尚博
洪岩
宁阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202110373137.1A priority Critical patent/CN113220778A/zh
Publication of CN113220778A publication Critical patent/CN113220778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法、装置及可读存储介质，其中方法包括：检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；利用所述目标请求参数向所述目标设备发起数据请求；接收所述目标设备根据所述数据请求发送的关联数据。本发明方法可以剔除在先重复同步过的数据，从而仅获取未同步过的数据，提高了数据同步的效率。

Description

一种数据同步方法、装置及可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据同步方法、装置及可读存储介质。
背景技术
在多系统之间数据交互的场景中，会有根据时间区间获取数据的需求。比如系统A需要获取系统B中多个指定设备(抓拍机/探针等)在时间T1到时间T2内的数据，此时系统A会向系统B发起请求，请求参数包含指定的设备和时间范围，系统B收到请求后返回相应的数据。
现有的数据同步方法中，会同步已经完成同步的数据，造成带宽资源浪费。
发明内容
本发明实施例提供一种数据同步方法、装置及可读存储介质，用以解决现有技术中存在的数据重复同步的问题。
本发明实施例提供一种数据同步方法，包括：
检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
利用所述目标请求参数向所述目标设备发起数据请求；
接收所述目标设备根据所述数据请求发送的关联数据。
在一示例中，检测当前请求参数之前，所述数据同步方法还包括：
将各个设备的历史请求记录按照预定格式存储在数据库表中。
在一示例中，所述剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数包括：
从所述数据库表中获取与所述目标设备对应的请求记录集合；
截取所述当前请求参数中与所述请求记录集合具有不同请求时间区间的请求参数，获得中间请求参数，其中所述中间请求参数包含目标设备和目标请求时间区间；
对所述中间请求参数按照预定格式进行组合，获得目标请求参数。
在一示例中，所述对所述中间请求参数按照预定格式进行组合，获得目标请求参数包括：
将具有相同目标请求时间区间的不同目标设备的中间请求参数进行合并，获得目标请求参数。
在一示例中，所述利用所述目标请求参数向所述目标设备发起数据请求包括：
将所述目标请求参数进行封装，获得封装数据；
通过所述封装数据向所述目标设备发起数据请求。
在一示例中，所述检测当前请求参数包括：检测所述当前请求参数的有效性。
本发明实施例还提供一种数据同步装置，包括：
检测模块，用于检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
数据处理模块，用于剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
发送模块，用于利用所述目标请求参数向所述目标设备发起数据请求；
接收模块，用于接收所述目标设备根据所述数据请求发送的关联数据。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的数据同步方法的步骤。
本发明实施例通过剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；利用所述目标请求参数向所述目标设备发起数据请求；接收所述目标设备根据所述数据请求发送的关联数据，由此可以剔除在先重复同步过的数据，从而仅获取未同步过的数据，提高了数据同步的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明第一实施例基本流程图；
图2为本发明第一实施例获取目标参数子流程图；
图3为本发明第二实施例基本流程图；
图4为本发明第二实施例数据剔除示意图；
图5为本发明第二实施例获取中间请求参数示意图；
图6为本发明第二实施例获取目标请求参数示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种数据同步方法，如图1所示，包括：
S101、检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
S102、剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
S103、利用所述目标请求参数向所述目标设备发起数据请求；
S104、接收所述目标设备根据所述数据请求发送的关联数据。
本实施例适用于请求设备的系统，本实施例的方案为，在系统发起当前参数请求前，先对当前请求参数进行判断。将当前请求参数与在先存储的历史请求参数进行对比，确定是否存在与历史请求参数重复的请求参数。若存在，则将重复的请求参数剔除，由此获得目标请求参数，然后利用所述目标请求参数向所述目标设备发起数据请求，接收所述目标设备根据所述数据请求发送的关联数据。本实施例中所述的请求参数包括目标设备以及对应的目标设备的请求时间区间。例如目标设备：设备a，请求时间为X年X月X日的10：00-X年X月X日的11:00，设备b，请求时间为X年X月X日的11：00-X年X月X日的12:00等，当前请求参数中可以包含多个目标设备，每个目标设备可以有不同的请求时间区间。最终若比较得出，历史请求记录中包含设备a，请求时间为X年X月X日的10：30-X年X月X日的11:00的记录，则将该段时间剔除。获得目标请求参数，设备a，请求时间为X年X月X日的10：00-X年X月X日的10:30，设备b，请求时间为X年X月X日的11：00-X年X月X日的12:00。由此通过目标请求参数向设备a和设备b发起数据请求。当然在确定不存在与历史请求参数重复的请求参数的情况下，当前请求参数即为目标请求参数。
本实施例中通过剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；利用所述目标请求参数向所述目标设备发起数据请求；接收所述目标设备根据所述数据请求发送的关联数据，由此可以剔除在先重复同步过的数据，从而仅获取未同步过的数据，提高了数据同步的效率。
在一示例中，所述检测当前请求参数包括：检测所述当前请求参数的有效性。
本示例中检测有效性可以是检测当前请求参数的合法性，例如若请求参数中仅包含目标设备，但没有请求时间，则可以认为是不合法数据，不予处理。同理只有请求时间或者请求时间范围模糊不清，也可以认为是不合法数据，不予处理。
在一示例中，检测当前请求参数之前，所述数据同步方法还包括：
将各个设备的历史请求记录按照预定格式存储在数据库表中。
本示例中，可以将已经请求同步过得数据，以预定的格式保存在数据库表中，例如{设备i，时间区间}，也即历史请求记录可以按照数据库表table的格式进行保存。由此可以在剔除所述当前请求参数中与历史请求记录重复的请求参数的步骤中，通过数据查询的方式确定，当前请求参数与历史请求参数重复的部分。例如设备a，请求时间为X年X月X日的10：00-X年X月X日的11:00。则可以在数据表中查询设备a，由此获得设备a的历史请求参数记录与当前请求参数的重叠时间范围。
在一示例中，如图2所示，所述剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数包括：
S201、从所述数据库表中获取与所述目标设备对应的请求记录集合；
S202、截取所述当前请求参数中与所述请求记录集合具有不同请求时间区间的请求参数，获得中间请求参数，其中所述中间请求参数包含目标设备和目标请求时间区间；
S203、对所述中间请求参数按照预定格式进行组合，获得目标请求参数。
本示例中可以从历史请求记录对应的数据库表中查询table中的历史记录，筛选出和所选设备及时间区间有重叠的记录，然后截取所述当前请求参数中与所述请求记录集合具有不同请求时间区间的请求参数，由此获得的中间请求参数即为所需的请求参数。如果没有查到则认为没有重复获取，可以直接利用当前请求参数发起请求。上述过程在数据库表中的操作可以是如下过程：将设备将历史记录里的时间区间进行map&reduce的操作，并和当前参数的时间区间继续比较merge，得到每个目标设备真正需要请求的时间区间集合。这个过程中，需要截取参数中的时间区间，得到不和历史记录重叠的时间区间，也即获得的中间请求参数包含目标设备和目标请求时间区间。
在一示例中，所述对所述中间请求参数按照预定格式进行组合，获得目标请求参数包括：
将具有相同目标请求时间区间的不同目标设备的中间请求参数进行合并，获得目标请求参数。
在本示例中，对中间请求参数进行组合，也即对所需的请求参数进行组合。为了降低请求参数的字节占用，本示例中，可以将具有相同目标请求时间区间的不同目标设备的中间请求参数进行合并，获得目标请求参数。由此最终得到的目标请求参数集合中，分别是需要实际请求的设备和时间区间，遍历目标请求参数集合并根据参数发起获取数据的请求。
在一示例中，所述利用所述目标请求参数向所述目标设备发起数据请求包括：
将所述目标请求参数进行封装，获得封装数据；
通过所述封装数据向所述目标设备发起数据请求。
本示例中，发起数据请求之前，可以对目标请求参数进行封装，获得封装数据，具体的封装方法可以采用现有技术，例如封装成公共方法或者计算服务接口，然后向设备输出目标请求参数。
综上，本发明方法通过对比历史参数请求记录，可以有效避免数据的重复同步，有效节约磁盘统建，同时用户不用关心操作是否会造成冗余数据，提升用户体验。
实施例二
本发明第二实施例提出一种数据同步方法的实施案例，如图3所示，包括：
S301、检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；本示例中，如图4所示，系统A的请求参数格式是{[设备a，设备b，设备c，设备d…]，[T1，T2]}。系统A每次发起请求前，会先判断参数的有效性并进行处理，并在请求前会将参数以{设备i，时间区间}的格式保存在数据库表table中。
S302、剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
S303、利用所述目标请求参数向所述目标设备发起数据请求；
S304、接收所述目标设备根据所述数据请求发送的关联数据。
其中，所述剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数包括：
从所述数据库表中获取与所述目标设备对应的请求记录集合；
截取所述当前请求参数中与所述请求记录集合具有不同请求时间区间的请求参数，获得中间请求参数，其中所述中间请求参数包含目标设备和目标请求时间区间；
对所述中间请求参数按照预定格式进行组合，获得目标请求参数。
本示例中判断的过程为：查询table中的历史记录，筛选出和所选设备及时间区间有重叠的记录，如果没有查到则认为没有重复获取，可以发起请求。具体的可以将设备将历史记录里的时间区间进行map&reduce的操作，并和当前参数的时间区间继续比较merge，得到每个设备真正需要请求的时间区间集合。这个过程中，需要截取参数中的时间区间，得到不和历史记录重叠的时间区间。得到中间请求参数的时间范围如图5所示。在得到的参数集合中：如果时间区间有相同的，则根据时间区间group，合并后生成新的设备-时间区间列表，也即目标请求参数，如图6所示，如果一个设备有多个时间区间，需要拆分成多个参数组合。
最后将所述目标请求参数进行封装，获得封装数据，通过所述封装数据向所述目标设备发起数据请求。
本示例中，发起数据请求之前，可以对目标请求参数进行封装，获得封装数据，具体的封装方法可以采用现有技术，例如封装成公共方法或者计算服务接口，然后向设备输出目标请求参数。
综上，本发明方法通过对比历史参数请求记录，可以有效避免数据的重复同步，有效节约磁盘统建，同时用户不用关心操作是否会造成冗余数据，提升用户体验。
本发明实施例还提供一种数据同步装置，包括：
检测模块，用于检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
数据处理模块，用于剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
发送模块，用于利用所述目标请求参数向所述目标设备发起数据请求；
接收模块，用于接收所述目标设备根据所述数据请求发送的关联数据。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的数据同步方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种数据同步方法，其特征在于，包括：
检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
利用所述目标请求参数向所述目标设备发起数据请求；
接收所述目标设备根据所述数据请求发送的关联数据。
2.如权利要求1所述的数据同步方法，其特征在于，检测当前请求参数之前，所述数据同步方法还包括：
将各个设备的历史请求记录按照预定格式存储在数据库表中。
3.如权利要求2所述的数据同步方法，其特征在于，所述剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数包括：
从所述数据库表中获取与所述目标设备对应的请求记录集合；
截取所述当前请求参数中与所述请求记录集合具有不同请求时间区间的请求参数，获得中间请求参数，其中所述中间请求参数包含目标设备和目标请求时间区间；
对所述中间请求参数按照预定格式进行组合，获得目标请求参数。
4.如权利要求3所述的数据同步方法，其特征在于，所述对所述中间请求参数按照预定格式进行组合，获得目标请求参数包括：
将具有相同目标请求时间区间的不同目标设备的中间请求参数进行合并，获得目标请求参数。
5.如权利要求1-4任一项所述的数据同步方法，其特征在于，所述利用所述目标请求参数向所述目标设备发起数据请求包括：
将所述目标请求参数进行封装，获得封装数据；
通过所述封装数据向所述目标设备发起数据请求。
6.如权利要求1-4任一项所述的数据同步方法，其特征在于，所述检测当前请求参数包括：检测所述当前请求参数的有效性。
7.一种数据同步装置，其特征在于，包括：
检测模块，用于检测当前请求参数，其中所述请求参数中包括目标设备和请求时间区间；
数据处理模块，用于剔除所述当前请求参数中与历史请求记录重复的请求参数，获得目标请求参数；
发送模块，用于利用所述目标请求参数向所述目标设备发起数据请求；
接收模块，用于接收所述目标设备根据所述数据请求发送的关联数据。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据同步方法的步骤。
CN202110373137.1A 2021-04-07 2021-04-07 一种数据同步方法、装置及可读存储介质 Pending CN113220778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110373137.1A CN113220778A (zh) 2021-04-07 2021-04-07 一种数据同步方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373137.1A CN113220778A (zh) 2021-04-07 2021-04-07 一种数据同步方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN113220778A true CN113220778A (zh) 2021-08-06

Family

ID=77086600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373137.1A Pending CN113220778A (zh) 2021-04-07 2021-04-07 一种数据同步方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN113220778A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114636226A (zh) * 2022-03-18 2022-06-17 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130159645A1 (en) * 2011-12-15 2013-06-20 International Business Machines Corporation Data selection for movement from a source to a target
CN109710743A (zh) * 2018-12-28 2019-05-03 郑州云海信息技术有限公司 一种存储池的访问方法、装置及电子设备
CN110221925A (zh) * 2019-05-13 2019-09-10 平安科技（深圳）有限公司 数据提交请求的处理方法、装置和计算机设备
US20200004758A1 (en) * 2018-06-28 2020-01-02 Teradata Us, Inc. Methods and system for optimal multi-environment data synchronization/replication
CN112328419A (zh) * 2020-11-27 2021-02-05 北京字节跳动网络技术有限公司 远程过程调用接口的测试用例生成方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130159645A1 (en) * 2011-12-15 2013-06-20 International Business Machines Corporation Data selection for movement from a source to a target
US20200004758A1 (en) * 2018-06-28 2020-01-02 Teradata Us, Inc. Methods and system for optimal multi-environment data synchronization/replication
CN109710743A (zh) * 2018-12-28 2019-05-03 郑州云海信息技术有限公司 一种存储池的访问方法、装置及电子设备
CN110221925A (zh) * 2019-05-13 2019-09-10 平安科技（深圳）有限公司 数据提交请求的处理方法、装置和计算机设备
CN112328419A (zh) * 2020-11-27 2021-02-05 北京字节跳动网络技术有限公司 远程过程调用接口的测试用例生成方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王存卫等: "一种有效的灵巧干扰剔除技术", 空军雷达学院学报, vol. 24, no. 4, 15 August 2010 (2010-08-15), pages 244 - 250 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114636226A (zh) * 2022-03-18 2022-06-17 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、存储介质
CN114636226B (zh) * 2022-03-18 2024-05-24 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、存储介质

Similar Documents

Publication Publication Date Title
CN111291000B (zh) 基于区块链的文件获取方法、设备及存储介质
CN108762949B (zh) 集中调度方法、系统、计算机设备和存储介质
CN113220778A (zh) 一种数据同步方法、装置及可读存储介质
CN114328029B (zh) 一种应用资源的备份方法、装置、电子设备及存储介质
CN110659863A (zh) 对象监听方法、装置、电子设备及计算机可读存储介质
CN113542418A (zh) 文件管理方法、装置、电子设备及存储介质
CN111124650A (zh) 一种流式数据处理方法及装置
CN111061616A (zh) 告警管理方法、装置、通信设备和存储介质
CN110955460A (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN106649678B (zh) 一种数据处理方法及系统
EP4092961A1 (en) Group updating method, message sending method, and apparatuses
US10223716B2 (en) Systems and methods for monitoring and valuating transactions for document processes
CN114896337A (zh) 一种数据上链方法、系统、设备和计算机可读存储介质
CN114676205A (zh) 事件信息的处理方法及装置
CN115914358A (zh) 消息推送方法、装置、电子设备及计算机存储介质
CN110069539B (zh) 一种数据关联方法及系统
CN114900531B (zh) 数据同步方法、装置和系统
CN110753070A (zh) 数据通信方法、客户端、服务端以及数据通信系统
CN113590426B (zh) 一种基于区块链的跨信任域服务监控方法及系统
CN112118140B (zh) Cdn配置方法、装置、计算机设备及存储介质
CN116436836B (zh) 域名数据同步检测方法、装置及设备
CN115473860B (zh) 基于线上流量多接口联合数据分配方法、装置和电子设备
CN114172918B (zh) 数据同步方法、装置、计算机设备及存储介质
CN115080950B (zh) 身份信息的处理方法、装置、计算机设备、存储介质
CN115391293B (zh) 文件获取方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination