CN109688177A - 一种数据同步方法及装置、设备、存储介质 - Google Patents
一种数据同步方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN109688177A CN109688177A CN201710972620.5A CN201710972620A CN109688177A CN 109688177 A CN109688177 A CN 109688177A CN 201710972620 A CN201710972620 A CN 201710972620A CN 109688177 A CN109688177 A CN 109688177A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- queue
- edge calculations
- ranking results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6255—Queue scheduling characterised by scheduling criteria for service slots or service orders queue load conditions, e.g. longest queue first
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据同步方法及装置、设备、存储介质,其中,所述方法包括:在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
Description
技术领域
本发明涉及物联网技术,尤其涉及一种数据同步方法及装置、设备、存储介质。
背景技术
在物联网(Internet Of Things,IOT)场景中,实时性的要求往往差别很大,例如车联网场景中大部分需要非常高的实时性,农业物联网中往往队实时性要求不高,单纯依靠集中式的云计算往往并不是最佳策略。边缘计算设备(边缘侧的计算设备,边缘侧是相对于云服务器侧而言)的计算能力,对物联网应用来说显得尤为重要。很多行业对实时性、可靠性与安全性等有严格要求,比如,餐馆连锁店要知道食品从哪里来,什么时候到期,什么时候送达。零售商店要知道客户昨天买了什么,他们花了多少钱,下次会买什么。在金融领域,高频交易算法都是以毫秒为单位。而在医疗保健方面,实时病人信息可能是生死攸关的。这些情况都对延迟很敏感,需要有相应的速度和规模。传统的云端计算可以点一个按钮,后台运算完响应给你。而在边缘计算中,很多应用需要在毫秒之间实时响应。而如果要实现实时,就不能把所有的东西都送到云端,因为云可能在几千公里之外,延时抖动和距离并不可控。概括来说就是:边缘计算可以满足敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的需求,而这些需求正是物联网行业需要解决的问题。然而,边缘计算也并不是完全和云计算对立的一种计算架构,部分专家认为,在一些应用场景中,可以利用边缘计算设备进行数据运算和分析(即云计算),同时也在云端做深入分析(即边缘计算),使两者各展所长。毕竟,云的计算能力是边缘计算设备无法比拟的。
“云计算+边缘计算”成了IOT平台重头戏,边缘计算和云计算可以很好地结合在一起,但是边缘计算是专门为有特殊需要的特殊系统设计的。云计算则是一个更加通用的平台,它也可以在传统的“客户端-服务器”模型中使用专用的系统。而对于边缘计算中的一些数据经过计算处理后仍然需要同步到云平台,因此,如何高效、可靠的解决边缘计算的边缘侧到云平台的数据同步问题成为亟需要解决的问题。
发明内容
有鉴于此,本发明实施例为解决现有技术中存在的至少一个问题而提供一种数据同步方法及装置、设备、存储介质,能够高效、可靠地完成边缘计算的边缘侧到云平台的数据同步。
本发明实施例的技术方案是这样实现的:
一方面,本发明实施例提供一种数据同步方法,所述方法包括:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
另一方面,本发明实施例提供一种数据同步装置,所述装置包括监控单元和同步单元,其中:
所述第一监控单元,用于在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
所述同步单元,用于如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
又一方面,本发明实施例提供一种边缘计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
再以方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
本发明实施例提供一种数据同步方法及装置、设备、存储介质,其中,在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台;如此,能够高效、可靠地完成边缘计算的边缘侧到云平台的数据同步。
附图说明
图1为本发明实施例数据同步架构的组成结构示意图
图2为本发明实施例数据同步方法的实现流程示意图;
图3为本发明实施例数据同步装置的组成结构示意图;
图4为本发明实施例数据同步装置的组成结构示意图;
图5为本发明实施例数据同步方法的实现流程示意图;
图6为本发明实施例数据同步装置的组成结构示意图;
图7为本发明实施例中边缘计算设备的一种硬件实体示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本实施例先提供一种数据同步架构,图1为本发明实施例数据同步架构的组成结构示意图,如图1所示,该数据同步架构包括两个或多个边缘计算设备11至1N和云计算服务器31,其中边缘计算设备11至1N与云计算服务器31之间通过网络21进行交互。边缘计算设备在实现与IOT所在的领域的有关,一般来说,边缘计算设备在实施的过程中可以为各种类型的具有信息处理能力的设备,例如所述边缘计算设备可以包括手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等。
本实施例提出一种边缘计算的数据与云平台的数据同步方法,可以高效、可靠的解决边缘计算的边缘侧到云平台的数据同步问题,该方法应用于边缘计算设备,该方法所实现的功能可以通过边缘计算设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该边缘计算设备至少包括处理器和存储介质。
图2为本发明实施例数据同步方法的实现流程示意图,如图2所示,该方法包括:
步骤S201,在边缘计算设备与云平台数据同步过程中,边缘计算设备监控待同步数据的队列;
这里,边缘计算设备维护一个队列,该队列中的待同步数据具有一定的排序,在其他的实施例中可以按照待同步数据的优先级进行排序,还可以按照待同步数据到达队列的时间戳进行排序。
在实施的过程中,优先级高的更靠近队列的头部,优先级低的更靠近队列的尾部,对于优先级相同的数据,到大队列时间早的更靠近队列的头部,到达队列时间晚的更靠近队列尾部,对于相同优先级且相同到达时间的数据,随机排序。
步骤S202,如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
这里,所述阈值可以根据边缘计算设备的资源使用情况、预测出的下一个任务所需的计算资源动态等进行调整。
在其他的实施例中,所述方法还包括确定或调整阈值的过程,该过程包括:
步骤S11,边缘计算设备监控所述边缘计算设备中的当前使用的资源信息;
步骤S12,边缘计算设备获取待处理的任务,根据所述待处理任务确定待使用的资源信息;
步骤S13,边缘计算设备根据所述当前使用的资源信息和所述待使用的资源信息确定所述阈值。
这里,所述待处理任务至少包括所述边缘计算设备的数据计算任务和同步所述待同步数据的任务。对应地,所述根据所述当前使用的资源信息和所述待使用的资源信息确定所述阈值,包括:确定所述边缘计算设备的总资源信息,根据所述总资源信息、所述当前使用的资源信息和所述待使用的资源信息确定所述阈值,即从总资源信息减去当前使用的资源信息和所述待使用的资源信息,得到剩余可使用的资源信息,根据剩余可使用的资源信息确定所述阈值,一般来说阈值只要小于所述剩余可使用的资源信息;为了保证同步速度和边缘计算设备的处理能力,阈值一般为剩余可使用的资源信息的二分之一以下。以内存为例进行说明,假如边缘计算设备的总内存容量(总资源信息)为1000M(兆),待使用的资源信息中数据计算任务消耗150M(兆),同步所述待同步数据的任务需要消耗250M,当前使用的资源为300M,那么剩余的课使用的资源为300M,那么阈值可以设置为小于300M。
本实施例充分考虑了边缘计算设备的计算能力、存储能力,在不影响主业务的前提下,充分利用边缘计算设备的计算能力,高效可靠的将边缘侧数据同步到云平台。
本发明实施例提供一种数据同步方法,该方法包括:
步骤S211,在边缘计算设备与云平台数据同步过程中,边缘计算设备确定所述队列中新增的待同步数据;
步骤S212,边缘计算设备对所述队列中的待同步数据进行优先级排序,得到排序结果;
步骤S213,边缘计算设备判断所述队列中待同步数据的数据量达到预设的阈值;
步骤S214,如果所述队列中待同步数据的数据量达到预设的阈值时,按照所述排序结果将所述队列中的待同步数据同步到云平台。
步骤S215,如果所述队列中待同步数据的数据量未达到预设的阈值,回到步骤S211。
在其他的实施例中,所述待同步数据中包括优先级编码,边缘计算设备对所述待同步数据进行优先级排序,得到排序结果,包括:
步骤S21,边缘计算设备获取所述待同步数据中的优先级编码和所述待同步数据的到达时间;
这里,边缘计算设备维持一个队列,边缘计算设备将待同步数据添加到队列中时,需要先对待同步数据进行一些预处理,预处理至少包括:给待同步数据进行优先级编码,例如对一些实时性要求比较高的数据,将需要这些同步数据的优先级给予的编码级别高一些,因此,在进行优先级编码的时候,可以先获取待同步数据的属性,所述属性至少包括待同步数据的数据量、所属类别等,如果待同步数据的所属类别为预设类别,则给予高的优先级编码,例如快餐行业和医疗保健;如果带同步数据的数据量很大,则可以给予低的优先级编码。在其他的实施例中,还可以根据数据量和所述类别共同确定待同步数据的优先级。
步骤S22,边缘计算设备按照所述优先级编码对所述待同步数据进行排序,得到第一排序结果;
例如,队列中原来有4组待同步数据A、B、C、D,新来了两组待同步数据E和F,其中,前面4组的优先级为A最高,其次依次为BCD;新增的E的级别高于F,但是小于A大于B,其中F小于D的优先级,因此,第一排序结果为:A、E、B、C、D、F。
步骤S23,如果所述第一排序结果中具有优先级编码相同的待同步数据,边缘计算设备按照到达时间对所述第一排序结果中具有优先级编码相同的待同步数据进行排序,得到第二排序结果;
再如,队列中原来有4组待同步数据A、B、C、D,新来了两组待同步数据E和F,其中,前面4组的优先级为A最高,其次依次为BCD;新增的E的级别高于F,但是小于A大于B,其中F和D的优先级一致,其中第一排序结果为:A、E、B、C、D/F,但是F的到达时间晚于D的达到时间,因此,第二排序结果为A、E、B、C、D、F。
步骤S24,边缘计算设备将所述第二排序结果确定为所述排序结果。
本发明实施例提供一种数据同步装置,图3为本发明实施例数据同步装置的组成结构示意图,如图3所示,该数据同步装置30包括监控模块31和同步模块32,其中:
监控模块31,用于负责监控一个队列,队列中是待同步的数据,当队列中数据量达到一定阈值时,则同步模块32,用于负责将队列中的数据依次取出同步到云平台;
监控模块31,用于同时负责监控边缘侧设备的资源使用情况,例如内存、cpu、网络等。监控模块31,用于通过时间序列算法预测将要进行计算的任务所需的资源,然后根据边缘计算设备的使用资源情况以及预测出的下一个任务所需计算资源,利用回归模型动态改变上述阈值。
本实施例再提供一种数据同步装置,图4为本发明实施例数据同步装置的组成结构示意图,如图4所示,该数据同步装置40包括一个监控模块41、一个同步模块42、一个阈值更新模块44以及一个广泛意义的队列43。下面结合图4,本发明实施例提供一种数据同步方法,该数据同步方法的流程包括:
步骤S401,移动边缘侧的计算设备需要将待上传的数据,增加一个优先级别的编码,然后添加到队列43中;
步骤S402,队列43会根据优先级编码以及到达队列的时间,对数据进行排序;
在实施的过程中,优先级高的更靠近队列的头部,优先级低的更靠近队列的尾部,对于优先级相同的数据,到大队列时间早的更靠近队列的头部,到达队列时间晚的更靠近队列尾部,对于相同优先级且相同到达时间的数据,随机排序;
步骤S403,监控模块41负责监控上述队列,当队列中数据量达到一定阈值时,则通知同步模块;
步骤S404,同步模块42负责将队列中的数据从头部到尾部依次取出同步到云平台;
步骤S405,阈值更新模块44更新队列设置的阈值。
结合上述的数据同步装置,本发明实施例再提供一种数据同步方法,图5为本发明实施例数据同步方法的实现流程示意图,如图5所示,该数据同步方法包括:
步骤S501,边缘计算设备对将要同步的数据进行处理,即增加优先级编码,并送到队列;
步骤S502,队列根据一定的规则对数据进行排序;
步骤S503,监控模块发现队列已经达到设置的阈值;
步骤S504,通知同步模块;
步骤S505,同步模块从队列头部依次取出数据,进行同步。
其中,队列的数据排序规则如下:1)队列会根据优先级编码以及到达队列的时间,对数据进行排序,优先级高的更靠近队列的头部,优先级低的更靠近队列的尾部;2)对于优先级相同的数据,到大队列时间早的更靠近队列的头部,到达队列时间晚的更靠近队列尾部;3)对于相同优先级且相同到达时间的数据,随机排序;
在其他的实施例中,队列的阈值是一个动态变化的,此阈值的计算是通过以下方法得到:1)监控模块同时负责监控边缘侧设备的资源使用情况,例如内存、中央处理器(CPU)、网络等;2)阈值更新模块通过时间序列算法预测将要进行计算的任务所需的资源;3)监控模块根据边缘计算设备的使用资源情况(上述1))以及预测出的下一个任务所需的计算资源(上述2)),利用回归模型计算得到上述阈值;
本实施例充分考虑了边缘计算设备的计算能力、存储能力,在不影响主业务的前提下,充分利用边缘计算设备的计算能力,高效可靠的将边缘侧数据同步到云平台。
本发明实施例提出一种边缘计算设备到云平台的数据同步方法,其中:1)边缘计算设备与云平台数据同步过程中,监控待同步数据队列,当队列中数据量达到一定阈值时,将队列中的数据依次取出同步到云平台;2)上述阈值可以根据边缘侧设备的资源使用情况以及预测出的下一个任务所需的计算资源动态调整;3)队列中的数据包含优先级编码,并根据优先级代码以及到达时间进行排序。
与现有技术相比,本实施例具有以下技术优点:1)本实施例应用于边缘计算设备与云平台之间的数据同步;2)本实施例提出的方法充分利用边缘计算设备的空闲资源,使边缘计算设备在不影响主业务的前提下,充分利用已有的空闲资源,完成数据的同步;3)本实施例提供了一种高效、可靠的边缘计算设备到云平台数据同步的策略。
基于前述的实施例,本发明实施例提供一种数据同步装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过边缘计算设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本发明实施例数据同步装置的组成结构示意图,如图6所示,所述装置600包括第一监控单元601和同步单元602,其中:
所述第一监控单元601,用于在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
所述同步单元602,用于如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
在其他的实施例中,所述装置还包括第二监控单元、计算单元和确定单元,其中:
所述第二监控单元,用于监控所述边缘计算设备中的当前使用的资源信息;
所述第一确定单元,用于获取待处理的任务,根据所述待处理任务确定待使用的资源信息;
所述第二确定单元,用于根据所述当前使用的资源信息和所述待使用的资源信息确定所述阈值。
这里,所述待处理任务至少包括所述边缘计算设备的数据计算任务和同步所述待同步数据的任务。
在其他的实施例中,所述装置还包括第三确定单元和排序单元,其中:
所述第三确定单元,用于确定所述队列中新增的待同步数据;
所述排序单元,用于对所述队列中的待同步数据进行优先级排序,得到排序结果;
所述同步单元,用于如果所述队列中待同步数据的数据量达到预设的阈值时,按照所述排序结果将所述队列中的待同步数据同步到云平台。
在其他的实施例中,所述排序单元包括获取模块、第一排序模块、第二排序模块和确定模块,其中:
所述获取模块,用于获取所述待同步数据中的优先级编码和所述待同步数据的到达时间;
所述第一排序模块,用于按照所述优先级编码对所述待同步数据进行排序,得到第一排序结果;
所述第二排序模块,用于如果所述第一排序结果中具有优先级编码相同的待同步数据,按照到达时间对所述第一排序结果中具有优先级编码相同的待同步数据进行排序,得到第二排序结果;
所述确定模块,用于将所述第二排序结果确定为所述排序结果。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
需要说明的是,本发明实施例中,如果以软件功能模块的形式实现上述的数据同步方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
对应地,本发明实施例提供一种边缘计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
对应地,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明存储介质和设备实施例的描述而理解。
需要说明的是,图7为本发明实施例中边缘计算设备的一种硬件实体示意图,该计算设备700的硬件实体包括:处理器701、通信接口702和存储器703,其中
处理器701通常控制计算设备700的总体操作。
通信接口702可以使计算设备通过网络与其他终端或服务器通信。
存储器703配置为存储由处理器701可执行的指令和应用,还可以缓存待处理器701以及计算设备700中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据同步方法,其特征在于,所述方法包括:
在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
监控所述边缘计算设备中的当前使用的资源信息;
获取待处理的任务,根据所述待处理任务确定待使用的资源信息;
根据所述当前使用的资源信息和所述待使用的资源信息确定所述阈值。
3.根据权利要求2所述的方法,其特征在于,所述待处理任务至少包括所述边缘计算设备的数据计算任务和同步所述待同步数据的任务。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述队列中新增的待同步数据;
对所述队列中的待同步数据进行优先级排序,得到排序结果;
如果所述队列中待同步数据的数据量达到预设的阈值时,按照所述排序结果将所述队列中的待同步数据同步到云平台。
5.根据权利要求4所述的方法,其特征在于,所述待同步数据中包括优先级编码,所述对所述待同步数据进行优先级排序,得到排序结果,包括:
获取所述待同步数据中的优先级编码和所述待同步数据的到达时间;
按照所述优先级编码对所述待同步数据进行排序,得到第一排序结果;
如果所述第一排序结果中具有优先级编码相同的待同步数据,按照到达时间对所述第一排序结果中具有优先级编码相同的待同步数据进行排序,得到第二排序结果;
将所述第二排序结果确定为所述排序结果。
6.一种数据同步装置,其特征在于,所述装置包括第一监控单元和同步单元,其中:
所述第一监控单元,用于在边缘计算设备与云平台数据同步过程中,监控待同步数据的队列;
所述同步单元,用于如果所述队列中待同步数据的数据量达到预设的阈值时,将所述队列中的待同步数据同步到云平台。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括第二监控单元、计算单元和确定单元,其中:
所述第二监控单元,用于监控所述边缘计算设备中的当前使用的资源信息;
所述第一确定单元,用于获取待处理的任务,根据所述待处理任务确定待使用的资源信息;
所述第二确定单元,用于根据所述当前使用的资源信息和所述待使用的资源信息确定所述阈值。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括第三确定单元和排序单元,其中:
所述第三确定单元,用于确定所述队列中新增的待同步数据;
所述排序单元,用于对所述队列中的待同步数据进行优先级排序,得到排序结果;
所述同步单元,用于如果所述队列中待同步数据的数据量达到预设的阈值时,按照所述排序结果将所述队列中的待同步数据同步到云平台。
9.一种边缘计算设备,包括存储器、处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5任一项所述方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972620.5A CN109688177B (zh) | 2017-10-18 | 2017-10-18 | 一种数据同步方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972620.5A CN109688177B (zh) | 2017-10-18 | 2017-10-18 | 一种数据同步方法及装置、设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109688177A true CN109688177A (zh) | 2019-04-26 |
CN109688177B CN109688177B (zh) | 2022-02-25 |
Family
ID=66182898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710972620.5A Active CN109688177B (zh) | 2017-10-18 | 2017-10-18 | 一种数据同步方法及装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109688177B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905320A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 一种物联网任务的执行系统、方法及装置 |
CN114020837B (zh) * | 2021-10-28 | 2024-07-09 | 济南浪潮数据技术有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104821947A (zh) * | 2015-05-08 | 2015-08-05 | 四川天上友嘉网络科技有限公司 | 网络游戏数据的传输方法 |
CN105427184A (zh) * | 2015-11-06 | 2016-03-23 | 南京信息工程大学 | 一种基于Hadoop的用电反馈实现方法 |
CN105791439A (zh) * | 2016-04-29 | 2016-07-20 | 中国农业银行股份有限公司 | 一种数据处理方法、数据接收设备及数据处理系统 |
CN106161637A (zh) * | 2016-07-21 | 2016-11-23 | 广州杰赛科技股份有限公司 | 一种云备份方法及装置 |
CN106844051A (zh) * | 2017-01-19 | 2017-06-13 | 河海大学 | 一种边缘计算环境中功耗优化的负载任务迁移算法 |
-
2017
- 2017-10-18 CN CN201710972620.5A patent/CN109688177B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104821947A (zh) * | 2015-05-08 | 2015-08-05 | 四川天上友嘉网络科技有限公司 | 网络游戏数据的传输方法 |
CN105427184A (zh) * | 2015-11-06 | 2016-03-23 | 南京信息工程大学 | 一种基于Hadoop的用电反馈实现方法 |
CN105791439A (zh) * | 2016-04-29 | 2016-07-20 | 中国农业银行股份有限公司 | 一种数据处理方法、数据接收设备及数据处理系统 |
CN106161637A (zh) * | 2016-07-21 | 2016-11-23 | 广州杰赛科技股份有限公司 | 一种云备份方法及装置 |
CN106844051A (zh) * | 2017-01-19 | 2017-06-13 | 河海大学 | 一种边缘计算环境中功耗优化的负载任务迁移算法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905320A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 一种物联网任务的执行系统、方法及装置 |
CN114020837B (zh) * | 2021-10-28 | 2024-07-09 | 济南浪潮数据技术有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109688177B (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180365577A1 (en) | Data recommendation method and device, and storage medium | |
Chan et al. | When to use speedup: An examination of service systems with returns | |
US8793154B2 (en) | Customer relevance scores and methods of use | |
US20130231975A1 (en) | Product cycle analysis using social media data | |
De Cauwer et al. | The temporal bin packing problem: an application to workload management in data centres | |
WO2014018690A2 (en) | Systems and methods for determining customer brand commitment using social media data | |
CN112084366A (zh) | 用于检索图像的方法、装置、设备以及存储介质 | |
CN106815254A (zh) | 一种数据处理方法和装置 | |
CN114065864B (zh) | 联邦学习方法、联邦学习装置、电子设备以及存储介质 | |
CN114201278A (zh) | 任务处理方法、任务处理装置、电子设备以及存储介质 | |
Duan et al. | Minimizing training time of distributed machine learning by reducing data communication | |
CN111246257A (zh) | 视频推荐方法、装置、设备及存储介质 | |
CN107169821B (zh) | 大数据查询推荐方法及其系统 | |
CN109688177A (zh) | 一种数据同步方法及装置、设备、存储介质 | |
US10915704B2 (en) | Intelligent reporting platform | |
US9692667B2 (en) | Stream processing method, apparatus, and system | |
CN112364005B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
US20080208893A1 (en) | System and method for adaptive content processing and classification in a high-availability environment | |
CN115081413A (zh) | 一种报表生成方法、装置、系统、设备及介质 | |
CN114035906A (zh) | 虚拟机迁移方法、装置、电子设备及存储介质 | |
Bolodurina et al. | A model of cloud application assignments in software-defined storages | |
CN109885414A (zh) | 基于ZooKeeper的分布式事件通知方法及装置 | |
WO2020049334A1 (en) | A decentralized load-balancing method for resource/traffic distribution | |
CN113536088B (zh) | 流式系统数据处理方法、装置、电子设备及存储介质 | |
CN113313196B (zh) | 标注数据处理方法、相关装置及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |