CN114500403A - 一种数据处理方法、装置及计算机可读存储介质 - Google Patents
一种数据处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114500403A CN114500403A CN202210082233.5A CN202210082233A CN114500403A CN 114500403 A CN114500403 A CN 114500403A CN 202210082233 A CN202210082233 A CN 202210082233A CN 114500403 A CN114500403 A CN 114500403A
- Authority
- CN
- China
- Prior art keywords
- data
- queue
- sent
- processed
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/622—Queue service order
- H04L47/6225—Fixed service order, e.g. Round Robin
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6215—Individual queue per QOS, rate or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6245—Modifications to standard FIFO or LIFO
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种数据处理方法、装置及计算机可读存储介质,涉及通信技术领域,用于在保证边缘节点通信成功率的基础上减少资源消耗。该方法包括:获取待发送数据;若第一环形队列已满,则丢弃第一数据,将待发送数据存储至第一环形队列中;其中,第一数据为优先级低于待发送数据的一个数据,或者,第一数据为第一环形队列中入列时间最早的数据,或者,第一数据为第一环形队列中优先级最低的数据。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据处理方法、装置及计算机可读存储介质。
背景技术
边缘计算是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务,其应用程序在边缘侧发起,产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
在边缘计算的场景中,部署着大量边缘节点,而边缘节点往往因为计算、存储、网络资源受限和安全限制等原因,不能实时的与核心节点或其他边缘节点通信。
目前的解决方案有两种,其一为重试机制,当通信异常时,边缘节点立即与其他节点尝试通信或等待一段时间后尝试通信,直到通信成功或放弃通信,但重试机制往往伴随大量通信失败,而通信失败的同时也耗费边缘节点本就不多的计算资源,对于通信本身也并未得到保证。其二为延迟通信方式,将消息暂存,等待网络恢复后再进行通信,但当消息积累过多,会造成边缘节点负担,甚至消息丢失、边缘节点失效。
发明内容
本申请提供一种数据处理方法、装置及计算机可读存储介质,能够在保证边缘节点通信成功率的基础上减少资源消耗。
第一方面,提供一种数据处理方法,应用于边缘节点,包括:获取待发送数据;若第一环形队列已满,则丢弃第一数据,将待发送数据存储至第一环形队列中。其中,第一数据为优先级低于待发送数据的一个数据,或者,第一数据为第一环形队列中入列时间最早的数据,或者,第一数据为第一环形队列中优先级最低的数据。
本申请提供的技术方案至少带来以下有益效果:一方面,将待发送的数据存入环形队列中,从环形队列中读取数据发送,在通信异常时,只需等待通信恢复正常后,继续从环形队列中读取数据发送,无需对数据进行多次重试发送,在保证了边缘节点的通信成功率的基础上,减少了边缘节点的计算资源和网络资源消耗。另一方面,环形队列是元素数量固定的闭环,在环形队列已满时,通过丢弃低优先级的数据或入列时间最早的数据,避免边缘节点缓存的数据无限增长占用存储资源;同时保证高优先级的数据和新的数据优先被处理,提高了数据处理可靠性、及时性。
可选的,当第一数据为优先级低于待发送数据的一个数据时,第一数据可以包括:第一环形队列中优先级低于待发送数据的数据中,优先级最低的数据,通过丢弃低优先级的数据,保证高优先级的数据优先被处理。
可选的,当第一数据为优先级低于待发送数据的一个数据时,第一数据可以包括:第一环形队列中优先级低于待发送数据的数据中,入列时间最早的数据,通过丢弃入列时间最早的数据,保证数据的时效性。
可选的,若第一环形队列未满,可以直接将待发送数据存储至第一环形队列中。
可选的,本申请提供的数据处理方法还可以包括:获取第一环形队列中最先出队的待发送数据,并向其目标节点发送。以实现通过第一环形队列存储并发送待发送数据。
可选的,第一环形队列或第二环形队列可以采用先进先出的方式,使环形队列中最先入队(也可称为入列)的数据最先出队,保证了数据的时效性。
可选的,获取待发送数据,包括:从第二环形队列中获取待处理数据;对获取的待处理数据进行处理,得到待发送数据。通过设置第二环形队列暂存待处理数据,可以避免待处理数据过多,边缘节点无法全部处理而影响边缘节点的性能和稳定性。
第二方面,提供一种数据处理装置,包括:获取模块及处理模块,其中:
获取模块,用于获取待发送数据。
处理模块,用于获取待发送数据;若第一环形队列已满,则丢弃第一数据,将待发送数据存储至第一环形队列中。其中,第一数据为优先级低于待发送数据的一个数据,或者,第一数据为第一环形队列中入列时间最早的数据,或者,第一数据为第一环形队列中优先级最低的数据。
可选的,第一数据可以包括:第一环形队列中优先级低于待发送数据的数据中,优先级最低的数据。
可选的,第一数据可以包括:第一环形队列中优先级低于待发送数据的数据中,入列时间最早的数据。
可选的,处理模块,还用于若第一环形队列未满,将待发送数据存储至第一环形队列中。
可选的,该装置还包括发送模块;发送模块,用于获取第一环形队列中最先出队的待发送数据,并向其目标节点发送。
可选的,获取模块,具体用于从第二环形队列中获取待处理数据;对获取的待处理数据进行处理,得到待发送数据。
需要说明的是,本申请第二方面提供的装置,用于执行上述第一方面或任一种可能的实现提供的方法,具体实现可以参考上述第一方面或任一种可能的实现提供的方法,此处不再赘述。
第三方面,提供一种数据处理装置,包括:一个或多个处理器;一个或多个存储器;其中,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,数据处理装置执行上述第一方面及其可选的数据处理方法。
第四方面,提供一种计算机可读存储介质,包括计算机指令,当计算机指令在计算机上运行时,使得计算机执行上述第一方面及其可选的数据处理方法。
本申请中第二方面至第四方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。
附图说明
图1A为本申请实施例提供的一种边缘计算场景的示意图;
图1B为本申请实施例提供的一种数据处理系统的示意图;
图2为本申请实施例提供的一种数据处理方法的流程示意图;
图3为本申请实施例提供的一种环形队列的结构示意图;
图4为本申请实施例提供的另一种数据处理方法的流程示意图;
图5为本申请实施例提供的另一种数据处理方法的流程示意图;
图6为本申请实施例提供的另一种数据处理方法的流程示意图;
图7为本申请实施例提供的另一种数据处理方法的流程示意图;
图8为本申请实施例提供的一种数据处理装置的组成示意图;
图9为本申请实施例提供的一种数据处理装置的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”是指一个或多个,“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
如背景技术所述,边缘计算中存在着大量边缘节点,而边缘节点往往因为计算、存储、网络资源受限和安全限制等原因,不能实时的与核心节点或其他边缘节点通信。
基于上述问题,本申请实施例提供了一种数据处理方法,一方面,将待发送的数据存入环形队列中,从环形队列中读取数据发送,在通信异常时,只需等待通信恢复正常后,继续从环形队列中读取数据发送,无需对数据进行多次重试发送,在保证了边缘节点的通信成功率的基础上,进一步减少了边缘节点的计算资源和网络资源消耗。另一方面,环形队列是元素数量固定的闭环,在环形队列已满时,通过丢弃低优先级的数据或入列时间最早的数据,避免边缘节点缓存的数据无限增长占用存储资源;同时保证高优先级的数据和新的数据优先被处理,提高了数据处理可靠性、及时性。
图1A示出了一种边缘计算场景,该场景中包括多个边缘节点100和多个核心节点200。边缘节点100与核心节点200通过有线或无线的方式连接。
核心节点200可以是一台服务器,或者是多台服务器组成的服务器集群,又或者是一个云计算服务中心,对此不作限定。核心节点200还可以是手机、电脑、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等终端设备。在本申请实施例中,核心节点200主要用于向边缘节点100发送数据,并接收边缘节点100处理后的数据,从而数据无需通过网络到达远程数据中心或云端进行处理,减少了带宽和延迟。
边缘节点100位于网络边缘侧,可以是分布式部署在边缘计算系统中的网络设备,如可以是手机、电脑、电视等各种物联网设备,也可以是为这些设备提供服务的节点服务器。在本申请实施例中,边缘节点100接收核心节点200发送的数据并进行处理,并将处理后的数据返回至核心节点200。从而数据无需通过网络到达远程数据中心或云端进行处理,减少了带宽和延迟。
其中,本申请所描述的边缘节点,可以指边缘计算场景中部署于边缘位置(非核心位置)的节点设备,也可以称之为边缘设备或边缘节点设备或其他,本申请实施例对此不予限定。
在边缘计算系统中,边缘节点100可以接收处理核心节点发送的数据,并将处理后的数据返回至核心节点,数据无需通过网络到达远程数据中心或云端进行处理,减少了带宽和延迟。
基于图1A所示的边缘计算系统,图1B示出了本申请实施例所适用的数据处理系统,该系统包括边缘节点100、环形队列110以及目标节点210。其中,环形队列110设置于边缘节点100侧,用于按照本申请提供的方案存储数据。
环形队列110主要用于存储数据。其是一个元素数量固定的一个闭环,可以在环形队列110初始化的时候分配好确定的内存空间,当进队或出队时需要返回指定元素内存空间的地址即可,这些内存空间可以重复利用,避免频繁内存分配和释放的开销。在本申请实施例中,环形队列110至少包括第一环形队列111。在另一种可能的实现方式中,环形队列110包括第一环形队列111和第二环形队列112。
目标节点210可以为核心节点200中的节点,或者是边缘计算中的核心节点或其他边缘节点。目标节点210主要用于向边缘节点100发送边缘节点100待处理的数据,并接收边缘节点处理后的数据。
在本申请实施例中,作为一种可能的实现方式,目标节点210向边缘节点100发送待处理数据,边缘节点100对待处理数据进行处理,得到待发送数据,将待发送数据存储到第一环形队列111中,按照先入先出的规则,使第一环形队列111中最先入队的数据出队,并将其发送至目标节点210。
作为另一种可能的实现方式,目标节点210向边缘节点100发送待处理数据,边缘节点100将待处理数据存储至第二环形队列112中,等待边缘节点100按照业务逻辑处理第二环形队列112中的数据。边缘节点100从第二环形队列112中获取待处理数据,对待处理数据进行处理,得到待发送数据,将待发送数据存储到第一环形队列111中,按照先入先出的规则,使第一环形队列111中最先入队的数据出队,并将其发送至目标节点210。
下面结合说明书附图,对本申请的实施例进行具体说明。
如图2所示,本申请实施例提供一种数据处理方法,应用于边缘节点,该方法可以包括以下步骤:
S101、边缘节点获取待发送数据。
其中,待发送数据为边缘节点对其接收到的待处理数据按照业务逻辑处理后的数据。
作为一种可能的实现方式,边缘计算场景中的核心节点或边缘计算中的其他边缘节点向边缘节点发送数据处理请求,数据处理请求中携带有待处理数据,边缘节点接收到数据处理请求按照业务逻辑对待处理数据进行处理,获取待发送数据。
示例性的,若数据处理请求为对图片进行锐化处理,边缘节点执行的业务逻辑可以为:提取数据处理请求携带的待处理图片,对待处理图片进行锐化处理后,获取锐化后的图片,也即待发送数据。当然,本申请实施例对于业务逻辑的具体内容不进行具体限定。
具体的,边缘节点中配置了第一环形队列,用于存储待发送数据。
图3示出了一个环形队列,环形队列中具有N个存储空间,每个存储空间都用于存储数据,边缘节点可以通过入队的方式将数据存入环形队列中,通过出队的方式将数据从环形队列中取出。
作为一种可能的实现方式,环形队列可以有两个指针,一个为读指针,另一个为写指针,读指针用来指示环形队列中下一个出队数据的位置,以实现从环形队列中读取数据使数据出队,写指针用来指示环形队列中下一个数据入队的位置,以实现向环形队列中存储数据使数据入队。环形队列初始工作时可以将读指针设为环形队列能存储的数据的最大值,同时将写指针设置为0。当数据需要存储至环形队列中时,控制该数据存储至环形队列的写指针所指示的位置,同时写指针的数值加1。
当然,环形队列还可以通过设置标志位的方式使数据入队或出队,本申请实施例不再一一说明。
在S101之后,边缘节点可以根据第一环形队列是否已满,将待发送数据存储至第一环形队列。若判断第一环形队列已满,则执行S102。
可选的,边缘节点可以根据第一环形队列中的入队位置和出队位置是否相同来确定第一环形队列是否已满。
示例性的,边缘节点可以判断第一环形队列中的写指针所指示的数值是否等于读指针所表示的数据,如果相等,则表示第一环形队列已满。
可选的,第一环形队列可以配置标志位或计数器,用于记录其存储的数据的数量,边缘节点可以根据该标志位或计数器,判断第一环形队列是否已满。
需要说明的是,对于判断队列是否已满的具体实现,可以根据实际需求配置,本申请实施例对此不予限定,上述示例仅为举例说明,并不构成具体限定。
可选的,当第一环形队列中已满后,执行S102。
S102、若第一环形队列已满,则丢弃第一数据,将待发送数据存储至第一环形队列中。
其中,第一数据可以为第一环形队列中的一个数据,可以根据实际需求配置第一数据的内容,本申请实施例对此不予限定。
示例性的,第一数据可以为但不限于下述三种情况中任一种情况:
情况1、第一数据可以为优先级低于待发送数据的一个数据。
在情况1中,第一数据可以为第一环形队列中优先级低于待发送数据的数据中,优先级最低的数据。或者,第一数据可以为第一环形队列中优先级低于待发送数据的数据中,入列时间最早的数据。
情况2、第一数据可以为第一环形队列中入列时间最早的数据。
情况3、第一数据可以为第一环形队列中优先级最低的数据。
一种可能的实现方式中,S102中确定第一数据时,可以先判断第一环形队列中是否存在情况1的第一数据,若第一环形队列中存在情况1的第一数据,则将情况1的第一数据作为S102中丢弃的第一数据。若第一环形队列中不存在情况1的第一数据,可以将情况2或者情况3的第一数据,作为S102中丢弃的第一数据。
作为一种可能的实现方式,第一数据为第一环形队列中优先级低于待发送数据的数据中,优先级最低的数据时,边缘节点可以按照轮询的方式从环形队列的头部依次读取数据的优先级,当读取完环形队列中存储的全部数据的优先级时,确定优先级最低的数据作为第一数据。
作为另一种可能的实现方式,第一数据为第一环形队列中优先级低于待发送数据的数据中,入列时间最早的数据时,边缘节点可以按照轮询的方式从环形队列的头部依次读取数据的优先级,当读取到第一个优先级低于待发送数据的数据时,将其作为第一数据。
作为一种可能的实现方式,当第一数据为第一环形队列中入列时间最早的数据时,第一环形队列的读指针所指示的位置即为第一数据的位置。
作为另一种可能的实现方式,当第一数据为第一环形队列中优先级最低的数据时,若第一环形队列中仅存在一个优先级最低的数据,该优先级最低的数据即为第一数据。通过丢弃第一环形队列中优先级最低的数据,使高优先级的数据优先被发送,保证数据处理的重要性。
若第一环形队列中存在多个优先级相同的数据,且其优先级最低,这些优先级最低的数据中入列时间最早的数据即为第一数据。通过丢弃第一环形队列中优先级最低的数据中入列时间最早的数据,保证数据处理的及时性和重要性。
具体的,S102中边缘节点将第一数据丢弃后,可以将S101中获取的待发送数据,存储至第一环形队列中最新的写入位置。
例如,第一环形队列中最新的写入位置可以为写指针所指示的位置或者代表数据写入的标志位所指示的位置。
例如,第一环形队列中最新的写入位置可以为队尾的下一个存储位置。
本申请实施例提供了一种数据处理方法,一方面,将待发送的数据存入环形队列中,从环形队列中读取数据发送,在通信异常时,只需等待通信恢复正常后,继续从环形队列中读取数据发送,无需对数据进行多次重试发送,在保证了边缘节点的通信成功率的基础上,进一步减少了边缘节点的计算资源和网络资源消耗。另一方面,环形队列是元素数量固定的闭环,在环形队列已满时,通过丢弃低优先级的数据或入列时间最早的数据,避免边缘节点缓存的数据无限增长占用存储资源;同时保证高优先级的数据和新的数据优先被处理,提高了数据处理可靠性、及时性。
可选的,如图4所示,在步骤S101之后,若第一环形队列未满,该方法还可以包括:
S103、若第一环形队列未满,边缘节点将待发送数据存储至第一环形队列中。
其中,S103中边缘节点可以将待发送数据存储至第一环形队列中最新的写入位置。
示例性的,第一环形队列中最新的写入位置可以为写指针所指示的位置或者代表数据写入的标志位所指示的位置。
可选的,如图5所示,在步骤S102或S103之后,该方法还包括:
S104、边缘节点获取第一环形队列中最先出队的待发送数据,并向其目标节点发送。
示例性的,第一环形队列可以采用先进先出的方式,第一环形队列中最先出队的待发送数据可以为第一环形队列中最先入队的待发送数据。
在本申请实施例中,通过使环形队列中最先入队的数据最先出队,保证了数据的时效性。
可选的,如图6所示,在步骤S101之前,该方法还可以包括:
S201、边缘节点接收待处理数据,将待处理数据存储至第二环形队列中。
其中,第二环形队列配置在边缘节点侧,用于存储边缘计算场景中的核心节点或边缘计算中的其他边缘节点发送给边缘节点的待处理数据。
具体的,第二环形队列的示意图可以参考图3所示。
可选的,在接收到待处理数据后,边缘节点可以根据第二环形队列是否已满,将待处理数据存储至第二环形队列。
其中,边缘节点判断第二环形队列是否已满的过程,以及在第二环形队列已满的情况下,边缘节点如何将数据存储至第二环形队列中,可以参考上述步骤S101中边缘节点判断第一环形队列是否已满的具体实现过程,以及S102中在第一环形队列已满的情况下,边缘节点如何将数据存储至第一环形队列中的具体实现过程,此处不再进行赘述。
进一步的,基于图6所示的实施例,如图7所示,步骤S101可具体实现为步骤S1011-S1012:
S1011、边缘节点从第二环形队列中获取待处理数据。
可选的,获取第二环形队列中最先出队的待处理数据。
其中,最先出队的待处理数据为最先入队的待处理数据。
当然,当第二环形队列已满时,最先入队的待处理数据可能会被丢弃,此时,最先出队的待处理数据为第二环形队列中入队时间最早的数据。
S1012、边缘节点对获取的待处理数据进行处理,得到待发送数据。
可选的,对待处理数据进行解析,获取待处理数据中携带的处理请求。
示例性的,处理请求可以是对图片的锐化处理、模糊处理或变换处理等请求;或者,处理请求还可以是一些查询请求,例如查询天气、查询地点等请求。本申请实施例在此不做限定。
进一步的,根据待处理数据的处理请求,对所述待处理数据进行处理。
示例性的,若处理请求为对图片进行锐化处理,边缘节点根据处理请求,对待处理图片进行锐化处理后,获取锐化后的图片,也即待发送数据。
在本申请实施例中,通过设置第二环形队列,将待处理数据进行暂存,可以避免待处理数据过多,边缘节点无法全部处理,从而影响边缘节点的性能和稳定性。
可以看出,上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本申请实施例可以根据上述方法示例对控制装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。可选的,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图8所示,本申请实施例提供一种数据处理装置的结构示意图,应用于边缘节点。该数据处理装置800包括:获取模块801、处理模块802、发送模块803。
获取模块801,用于获取待发送数据。
处理模块802,用于若第一环形队列已满,则丢弃第一数据后,将待发送数据存储至第一环形队列中;其中,第一数据为优先级低于待发送数据的一个数据,或者,第一数据为第一环形队列中入列时间最早的数据,或者,第一数据为第一环形队列中优先级最低的数据。
可选的,当第一数据为优先级低于待发送数据的一个数据时,第一数据可以包括:第一环形队列中优先级低于待发送数据的数据中优先级最低的数据;或者,第一环形队列中优先级低于待发送数据的数据中入列时间最早的数据。
可选的,处理模块802,还用于若第一环形队列未满,将待发送数据存储至第一环形队列中。
可选的,发送模块803,用于获取第一环形队列中最先出队的待发送数据,并向其目标节点发送。
可选的,获取模块801,具体用于:从第二环形队列中获取待处理数据;对获取的待处理数据进行处理,得到待发送数据。
如图9所示,本申请还提供一种数据处理装置90的硬件结构示意图,包括处理器901和存储器902。可选的,处理器901和存储器902之间通过总线904相连。
处理器901可以是中央处理器(central processing unit,CPU),通用处理器网络处理器(network processor,NP)、数字信号处理器(digital signal processing,DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device,PLD)或它们的任意组合。处理器还可以是其它任意具有处理功能的装置,例如电路、器件或软件模块。处理器501也可以包括多个CPU,并且处理器901可以是一个单核(single-CPU)处理器,也可以是多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。
存储器902可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,本申请实施例对此不作任何限制。存储器902可以是独立存在,也可以和处理器901集成在一起。其中,存储器902中可以包含计算机程序代码。处理器901用于执行存储器902中存储的计算机程序代码,从而实现本申请实施例提供的方法。
通信接口903可以用于与其他设备或通信网络通信(如以太网,无线接入网(radioaccess network,RAN),无线局域网(wireless local area networks,WLAN)等)。
总线904可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线904可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质包括计算机执行指令,当计算机执行指令在计算机上运行时,使得计算机执行如上述实施例提供的处理方法。
本发明实施例还提供一种计算机程序产品,该计算机程序产品可直接加载到存储器中,并含有软件代码,该计算机程序产品经由计算机载入并执行后能够实现上述实施例提供的处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机执行指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机执行指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机执行指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (14)
1.一种数据处理方法,其特征在于,应用于边缘节点,所述方法包括:
获取待发送数据;
若第一环形队列已满,则丢弃第一数据,将所述待发送数据存储至所述第一环形队列中;其中,所述第一数据为优先级低于所述待发送数据的一个数据,或者,所述第一数据为所述第一环形队列中入列时间最早的数据,或者,所述第一数据为所述第一环形队列中优先级最低的数据。
2.根据权利要求1所述的方法,其特征在于,所述第一数据为优先级低于所述待发送数据的一个数据,包括:
所述第一数据为所述第一环形队列中优先级低于所述待发送数据的数据中,优先级最低的数据;
或者,
所述第一数据为所述第一环形队列中优先级低于所述待发送数据的数据中,入列时间最早的数据。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
若所述第一环形队列未满,将所述待发送数据存储至所述第一环形队列中。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取所述第一环形队列中最先出队的待发送数据,并向其目标节点发送。
5.根据权利要求1或2所述的方法,其特征在于,
所述获取待发送数据,包括:
从第二环形队列中获取待处理数据;
对获取的待处理数据进行处理,得到所述待发送数据。
6.根据权利要求5所述的方法,其特征在于,对获取的待处理数据进行处理,得到所述待发送数据,包括:
对所述待处理数据进行解析,获取所述待处理数据中携带的处理请求;
根据所述待处理数据的处理请求,对所述待处理数据进行处理。
7.一种数据处理装置,其特征在于,应用于边缘节点,所述装置包括:
获取模块,用于获取待发送数据;
处理模块,用于若第一环形队列已满,则丢弃第一数据后,将所述待发送数据存储至所述第一环形队列中;其中,所述第一数据为优先级低于所述待发送数据的一个数据,或者,所述第一数据为所述第一环形队列中入列时间最早的数据,或者,所述第一数据为所述第一环形队列中优先级最低的数据。
8.根据权利要求7所述的装置,其特征在于,所述第一数据为优先级低于所述待发送数据的一个数据,包括:
所述第一数据为所述第一环形队列中优先级低于所述待发送数据的数据中,优先级最低的数据;
或者,
所述第一数据为所述第一环形队列中优先级低于所述待发送数据的数据中,入列时间最早的数据。
9.根据权利要求7或8所述的装置,其特征在于,
所述处理模块还用于,若所述第一环形队列未满,将所述待发送数据存储至所述第一环形队列中。
10.根据权利要求7或8所述的装置,其特征在于,所述装置还包括发送模块;
所述发送模块,用于获取所述第一环形队列中最先出队的待发送数据,并向其目标节点发送。
11.根据权利要求7或8所述的装置,其特征在于,所述获取模块具体用于:
从第二环形队列中获取待处理数据;
对获取的待处理数据进行处理,得到所述待发送数据。
12.根据权利要求11所述的装置,其特征在于,所述获取模块还用于:
对所述待处理数据进行解析,获取所述待处理数据中携带的处理请求;
根据所述待处理数据的处理请求,对所述待处理数据进行处理。
13.一种数据处理装置,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
其中,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述数据处理装置执行权利要求1-6任一项所述的数据处理方法。
14.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时实现如权利要求1-6中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210082233.5A CN114500403A (zh) | 2022-01-24 | 2022-01-24 | 一种数据处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210082233.5A CN114500403A (zh) | 2022-01-24 | 2022-01-24 | 一种数据处理方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114500403A true CN114500403A (zh) | 2022-05-13 |
Family
ID=81475383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210082233.5A Pending CN114500403A (zh) | 2022-01-24 | 2022-01-24 | 一种数据处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114500403A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116301644A (zh) * | 2023-03-24 | 2023-06-23 | 四川水利职业技术学院 | 基于多硬盘协调的数据存储方法、系统、终端及介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103095607A (zh) * | 2013-02-21 | 2013-05-08 | 南京磐能电力科技股份有限公司 | 一种实时优先级以太网控制器实现方法 |
CN104199790A (zh) * | 2014-08-21 | 2014-12-10 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
CN104735077A (zh) * | 2015-04-01 | 2015-06-24 | 积成电子股份有限公司 | 一种使用环形缓存和环形队列实现udp高效并发的方法 |
CN108183893A (zh) * | 2017-12-25 | 2018-06-19 | 东软集团股份有限公司 | 一种分片包检测方法、检测装置、存储介质和电子设备 |
CN109308217A (zh) * | 2018-07-17 | 2019-02-05 | 威富通科技有限公司 | 一种时效任务的数据存储方法及装置 |
CN109729024A (zh) * | 2018-12-29 | 2019-05-07 | 中盈优创资讯科技有限公司 | 数据包处理系统及方法 |
CN110121114A (zh) * | 2018-02-07 | 2019-08-13 | 华为技术有限公司 | 发送流数据的方法及数据发送设备 |
CN110943796A (zh) * | 2019-11-19 | 2020-03-31 | 深圳市道通智能航空技术有限公司 | 时间戳对齐方法、装置、存储介质及设备 |
CN111488135A (zh) * | 2019-01-28 | 2020-08-04 | 珠海格力电器股份有限公司 | 高并发系统的限流方法、装置、存储介质及设备 |
CN111708495A (zh) * | 2020-06-19 | 2020-09-25 | 深圳前海微众银行股份有限公司 | 环形队列存储方法、装置及计算设备、存储介质 |
CN111880750A (zh) * | 2020-08-13 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 磁盘读写资源的分配方法、装置、设备及存储介质 |
CN112306827A (zh) * | 2020-03-25 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 日志采集装置、方法和计算机可读存储介质 |
CN113672406A (zh) * | 2021-08-24 | 2021-11-19 | 北京天融信网络安全技术有限公司 | 数据传输处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-01-24 CN CN202210082233.5A patent/CN114500403A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103095607A (zh) * | 2013-02-21 | 2013-05-08 | 南京磐能电力科技股份有限公司 | 一种实时优先级以太网控制器实现方法 |
CN104199790A (zh) * | 2014-08-21 | 2014-12-10 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
CN104735077A (zh) * | 2015-04-01 | 2015-06-24 | 积成电子股份有限公司 | 一种使用环形缓存和环形队列实现udp高效并发的方法 |
CN108183893A (zh) * | 2017-12-25 | 2018-06-19 | 东软集团股份有限公司 | 一种分片包检测方法、检测装置、存储介质和电子设备 |
CN110121114A (zh) * | 2018-02-07 | 2019-08-13 | 华为技术有限公司 | 发送流数据的方法及数据发送设备 |
CN109308217A (zh) * | 2018-07-17 | 2019-02-05 | 威富通科技有限公司 | 一种时效任务的数据存储方法及装置 |
CN109729024A (zh) * | 2018-12-29 | 2019-05-07 | 中盈优创资讯科技有限公司 | 数据包处理系统及方法 |
CN111488135A (zh) * | 2019-01-28 | 2020-08-04 | 珠海格力电器股份有限公司 | 高并发系统的限流方法、装置、存储介质及设备 |
CN110943796A (zh) * | 2019-11-19 | 2020-03-31 | 深圳市道通智能航空技术有限公司 | 时间戳对齐方法、装置、存储介质及设备 |
CN112306827A (zh) * | 2020-03-25 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 日志采集装置、方法和计算机可读存储介质 |
CN111708495A (zh) * | 2020-06-19 | 2020-09-25 | 深圳前海微众银行股份有限公司 | 环形队列存储方法、装置及计算设备、存储介质 |
CN111880750A (zh) * | 2020-08-13 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 磁盘读写资源的分配方法、装置、设备及存储介质 |
CN113672406A (zh) * | 2021-08-24 | 2021-11-19 | 北京天融信网络安全技术有限公司 | 数据传输处理方法、装置、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116301644A (zh) * | 2023-03-24 | 2023-06-23 | 四川水利职业技术学院 | 基于多硬盘协调的数据存储方法、系统、终端及介质 |
CN116301644B (zh) * | 2023-03-24 | 2023-10-13 | 四川水利职业技术学院 | 基于多硬盘协调的数据存储方法、系统、终端及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659410B2 (en) | Smart message delivery based on transaction processing status | |
WO2021254330A1 (zh) | 内存管理方法、系统、客户端、服务器及存储介质 | |
US9462077B2 (en) | System, method, and circuit for servicing a client data service request | |
US20150288624A1 (en) | Low-latency processing in a network node | |
US10936516B2 (en) | Accelerated data handling in cloud data storage system | |
CN111221638B (zh) | 并发任务的调度处理方法、装置、设备和介质 | |
WO2020034819A1 (zh) | 分布式存储系统中服务质量保障方法、控制节点及系统 | |
US11159443B2 (en) | Queue management in a forwarder | |
CN108092908A (zh) | 控制流量的方法和发送端设备 | |
US20230283578A1 (en) | Method for forwarding data packet, electronic device, and storage medium for the same | |
CN110851276A (zh) | 一种业务请求处理方法、装置、服务器和存储介质 | |
WO2017032152A1 (zh) | 将数据写入存储设备的方法及存储设备 | |
CN114595043A (zh) | 一种io调度方法和装置 | |
EP2171934B1 (en) | Method and apparatus for data processing using queuing | |
US7209489B1 (en) | Arrangement in a channel adapter for servicing work notifications based on link layer virtual lane processing | |
CN115643318A (zh) | 命令执行方法、装置、设备及计算机可读存储介质 | |
CN114500403A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
US9509641B1 (en) | Message transmission for distributed computing systems | |
CN116868553A (zh) | 用于管理端点资源和拥塞缓解的数据中心网络上的动态网络接收器驱动的数据调度 | |
US9990240B2 (en) | Event handling in a cloud data center | |
US9338219B2 (en) | Direct push operations and gather operations | |
CN114884823A (zh) | 流量拥塞控制方法、装置、计算机可读介质及电子设备 | |
CN114401235A (zh) | 一种队列管理中重载处理方法、系统、介质、设备及应用 | |
US11188394B2 (en) | Technologies for synchronizing triggered operations | |
CN114374657A (zh) | 一种数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220513 |
|
RJ01 | Rejection of invention patent application after publication |