CN114827276B - 基于边缘计算的数据处理方法、设备及可读存储介质 - Google Patents
基于边缘计算的数据处理方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114827276B CN114827276B CN202210431023.2A CN202210431023A CN114827276B CN 114827276 B CN114827276 B CN 114827276B CN 202210431023 A CN202210431023 A CN 202210431023A CN 114827276 B CN114827276 B CN 114827276B
- Authority
- CN
- China
- Prior art keywords
- component
- function
- service
- target function
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 title claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 257
- 238000012545 processing Methods 0.000 claims abstract description 195
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000013515 script Methods 0.000 claims description 85
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000011161 development Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于边缘计算的数据处理方法、设备及可读存储介质,CDN节点包括处理组件和均衡组件,CDN节点利用均衡组件接收业务请求,从处理组件支持的多种数据处理功能中确定出目标功能并指示给处理组件。之后,均衡组件获取业务数据,处理组件执行目标功能以对该些业务数据进行处理。最后,由均衡组件将处理后的业务数据发送给终端设备。采用该种方案,CDN节点实时、动态的根据业务请求确定目标功能,即使一种业务的目标功能变更时,均衡组件针对该业务确定出的目标功能变化,处理组件执行变更后的目标功能即可,无需加载全局配置,不受目标功能变更的影响,风险低、成本低。
Description
技术领域
本申请涉及互联网技术领域,特别涉及一种基于边缘计算的数据处理方法、设备及可读存储介质。
背景技术
内容分发网络(Content Delivery Network,CDN)是建立并覆盖在承载网之上、由分布在不同区域的CDN节点组成的分布式网络。CDN节点也可用作边缘节点、缓存服务器、缓存节点等。
边缘计算是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台就近提供最近端服务。这使得CDN节点既有缓存功能,又有数据处理功能,数据处理功能也称之为边缘计算能力等。
通常情况下,厂商开发功能脚本,并将各个功能脚本部署在CDN节点上。于此同时,按照域名粒度设置全局配置并将全局配置下发给CDN节点。全局配置中指示每个域名需要开启哪些功能。不同域名对应不同的客户。CDN节点加载全局配置从而完成交付。交付完毕后,CDN节点能够根据各域名对应的功能对业务进行边缘处理。当一个域名需要开启的功能发生变化时,修改全局配置并下发,各CDN节点重新加载全局配置并生效。
网络中的客户数量庞大,当多个客户需求开启的数据处理功能变更时,需要频繁更新全局配置并下发,各CDN节点重载更新后的全局配置。然而,全局配置指示所有客户各自的数据处理功能,修改全局配置风险大、成本高,。
发明内容
本申请提供一种基于边缘计算的数据处理方法、设备及可读存储介质,通过将元数据存储在本地数据库中,减少网关和云端的交互,提高响应速度的同时,降低资源消耗。
第一方面,本申请实施例提供一种基于边缘计算的数据处理方法,应用于CDN节点,所述CDN节点包括均衡组件和处理组件,所述处理组件具备多种数据处理功能,所述方法包括:
利用所述均衡组件接收来自终端设备的业务请求;
针对所述业务请求,利用所述均衡组件从所述多种数据处理功能中确定出需要开启的目标功能并指示给所述处理组件;
利用所述均衡组件获取所述业务请求所请求的业务数据;
利用所述处理组件执行所述目标功能以处理所述业务数据;
利用所述均衡组件向所述终端设备发送处理后的业务数据。
第二方面,本申请实施例提供一种基于边缘计算的数据处理装置,所述装置集成在CDN节点上,所述装置包括:
接收模块,用于利用所述均衡组件接收来自终端设备的业务请求;
处理模块,用于针对所述业务请求,利用所述均衡组件从所述多种数据处理功能中确定出需要开启的目标功能并指示给所述处理组件;利用所述均衡组件获取所述业务请求所请求的业务数据;利用所述处理组件执行所述目标功能以处理所述业务数据;
发送模块,用于利用所述均衡组件向所述终端设备发送处理后的业务数据。
第三方面,本申请实施例提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方式所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,所述计算机指令在被处理器执行时用于实现如上第一方面或第一方面各种可能的实现方式所述的方法。
第五方面,本申请实施例提供一种包含计算程序的计算机程序产品,所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。
本申请实施例提供的基于边缘计算的数据处理方法、设备及可读存储介质,CDN节点包括处理组件和均衡组件,CDN节点利用均衡组件接收业务请求,从处理组件支持的多种数据处理功能中确定出目标功能并指示给处理组件。之后,均衡组件获取业务数据,处理组件执行目标功能以对该些业务数据进行处理。最后,由均衡组件将处理后的业务数据发送给终端设备。采用该种方案,CDN节点实时、动态的根据业务请求确定目标功能,当一种业务的目标功能变更时,均衡组件针对该业务确定出的目标功能变化,处理组件执行变更后的目标功能即可,无需加载全局配置,不受目标功能变更的影响,风险低、成本低。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是传统的边缘计算程序的交付流程图;
图2是本申请实施例提供的基于边缘计算的数据处理方法所适用的网络架构示意图;
图3是本申请实施例提供的基于边缘计算的数据处理方法的流程图;
图4是图3中步骤302的详细流程图;
图5是本申请实施例提供的基于边缘计算的数据处理方法的过程示意图;
图6是本申请实施例提供的基于边缘计算的数据处理方法中功能脚本的交付过程示意图。
图7为本申请实施例提供的一种基于边缘计算的数据处理装置的示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
随着CDN技术和边缘计算技术的发展,CDN节点既有缓存功能,又有数据处理功能。基于缓存功能,当CDN节点已缓存用户请求的业务数据时,直接响应用户而无需从源站拉取业务数据。基于数据处理功能,CDN节点在响应用户之前,能够对业务数据进行处理。
为实现CDN节点数据处理功能,各大厂商开发边缘计算程序,向CDN节点下发边缘计算程序的全局配置,在全局配置中指示各个域名对应的需要开启的数据处理功能,不同数据处理功能对应不同的功能脚本。CDN节点加载全局配置从而能够根据各域名对应的功能对业务进行边缘处理。
图1是传统的边缘计算程序的交付流程图。图1包括:
101、CDN厂商确定客户需求。
每个客户的都会有自己的需求。不同客户的需求部分或全部重叠。例如,一个客户的域名为域名A,该客户的需求包括外链改写。另一个客户的域名为域名B,该客户的需求包括外链改写和敏感信息过滤。
102、根据需求开发功能脚本。
示例性的,CDN厂商的研发根据所有客户的需求开发出功能脚本。
103、在CDN节点上部署功能脚本。
示例性的,CDN厂商将所有的功能脚本部署到每个CDN节点上。假设有10个功能脚本,则CDN厂商在每个CDN节点上均部署这10个功能脚本。
104、边缘计算程序加载全局配置。
示例性的,CDN厂商按照域名粒度设置全局配置并将全局配置下发给CDN节点。全局配置中指示每个域名需要开启哪些功能。不同域名对应不同的客户。
当一个客户,即一个域名需要开启的功能变更时,CDN厂商修改全局配置,并向各个CDN节点下发修改后的全局配置,各CDN节点重载修改后的全局配置使之生效。
经研究发现:现有的交付方案存在如下弊端:
第一、风险大、成本高。
边缘计算程序的各个功能脚本开发完毕后,在全局按照域名粒度开启功能。也就是说,按照域名粒度设置全局配置并将全局配置下发给CDN节点,各边缘节点加载全局配置使之生效。例如,一共有10个功能脚本,分别为功能1-功能10,全局配置中指示域名A支持功能1~功能5,域名B支持功能6~功能10,域名C支持功能3-功能7,各CDN节点加载全局配置后,对于携带域名A的业务请求的业务数据,根据功能1~功能5进行处理,对于携带域名B的业务请求的业务数据,根据功能6-功能10进行处理,对于携带域名C的业务请求的业务数据,根据功能3-功能7进行处理。
倘若一个域名对应的功能变更,则需要变更全局配置。例如,变更前,域名A支持功能1~功能5,变更后,域名A支持功能1~功能7,则对全局配置进行修改。修改之后,各CDN节点重新加载全局配置使之生效。
然而,全局配置中配置了所有客户需求的数据处理功能等,不能开放给客户,通常由特定团队维护,使得全局变更风险大、成本高。
第二、无法高效交付。
基于全局配置的交付中,从功能脚本的开发到交付、功能脚本的部署等,需要多名CDN厂商的运营介入,通过人工部署到CDN节点中,导致交付速度慢,有违边缘计算高效交付的初衷。
第三、影响整体CDN节点的可用性。
基于全局配置的交付中,每变更一次全局配置,CDN节点需要重载(reload)一次全局配置,重载时CDN节点无法提供数据处理功能,从而影响整体边缘计算的可用性。
基于此,本申请实施例提供一种基于边缘计算的数据处理方法、设备及可读存储介质,CDN节点包括处理组件和均衡降组件,针对每个业务请求,处理组件确定待执行的目标功能,处理组件执行该些目标功能以处理业务数据,无需加载全局配置,不受域名的配置变更的影响,风险低、成本低。
图2是本申请实施例提供的基于边缘计算的数据处理方法所适用的网络架构示意图。请参照图2,该网络架构包括:CDN节点21、终端设备22和源站23。CDN节点21与终端设备22之间建立网络连接,CDN节点21与源站23之间建立网络连接。
源站23也称之为源站服务器、源节点等,用于存储并向CDN节点21分发资源。源站23上存储资源提供方提供的资源,并根据资源提供方的操作对资源进行更新、删除等操作,资源可以是图片、视频、音频、网页等。资源也称之为资源数据、业务数据等。
CDN节点21也可用作边缘节点、缓存节点等,其上缓存业务数据,使用户可以就近获取所需业务数据,提高访问速度和成功率的同时,降低源站23压力。CDN节点21同时具备数据处理功能,其上部署边缘计算程序,一个边缘计算程序具有多个功能脚本,不同的功能脚本实现不同的数据处理功能,数据处理功能包括外链改写、敏感信息过滤等,本申请实施例并不限制。
本申请实施例中,CDN节点21包括均衡组件211和处理组件212,均衡组件211用于接收来自终端设备22的业务请求,根据业务请求确定目标功能,并将目标功能指示给处理组件212。之后,均衡组件211获取业务数据,处理组件212执行目标功能以处理业务数据。
终端设备22可以是硬件也可以是软件。当终端设备22为硬件时,终端设备22例如为安装有安卓操作系统、微软操作系统、塞班操作系统、Linux操作系统或苹果iOS操作系统的手机、平板电脑、个人电脑、电子书阅读器、膝上型便携电脑、台式计算机等。当终端设备22为软件时,其可以安装在上述列举的硬件设备中,此时,终端设备22例如为多个软件模块或单个软件模块等,本申请实施例并不限制。
应当理解的是,图2中的CDN节点21、终端设备22和源站23的数量仅仅是示意性的。实际实现中,根据实际需求部署任意数量的CDN节点21、终端设备22和源站23。
下面,基于图2所示网络架构,对本申请实施例所述的基于边缘计算的数据处理方法进行详细说明。示例性的,请参照图3,图3是本申请实施例提供的基于边缘计算的数据处理方法的流程图。本实施例是从CDN节点的角度进行说明。本实施例包括:
301、利用所述均衡组件接收来自终端设备的业务请求。
本申请实施例中,CDN节点同时具备缓存功能和数据处理功能。为了实现数据处理功能,CDN节点包括两个组件:均衡组件和处理组件。均衡组件也称之为shark组件,处理组件也称之为sharklet组件。
均衡组件是上层服务,在本申请实施例中的主要角色是负载均衡。处理组件上部署边缘计算程序以及边缘计算程序的各个功能脚本。处理组件具有多种数据处理功能,不同数据处理功能对应不同的功能脚本。
CDN厂商可以将功能脚本的开发开放给客户。CDN厂商提供一个接口,供客户将功能脚本上传至CDN节点的某个目录下。从而实现:即开发即测试上线,中间无需CDN厂商的运营介入,极大程度上缩短了功能脚本的开发周期。
另外,由于不同客户的需求不同,每个客户定制的数据处理功能有多种,因此,每个客户开发的功能脚本也有多个。处理组件上部署各个客户的功能脚本。
302、针对所述业务请求,利用所述均衡组件从所述多种数据处理功能中确定出需要开启的目标功能并指示给所述处理组件。
示例性的,均衡组件根据预设规则或业务请求等,从多种数据处理功能中确定出目标功能并指示给处理组件。例如,预设规则指示目标功能为功能1、功能2和功能3,多种数据处理功能包括功能1~功能10,则均衡组件从功能1~功能10中确定出功能1、功能2和功能3,将这3个功能作为目标功能并指示给处理组件。
303、利用所述均衡组件获取所述业务请求所请求的业务数据。
示例性的,CDN节点检测本地是否缓存业务数据。当本地缓存业务数据时,从已分发至本地的数据中获取业务数据。当本地未缓存业务数据时,从源站拉取业务数据并缓存。
304、利用所述处理组件执行所述目标功能以处理所述业务数据。
示例性的,每次对业务数据进行处理时,处理组件并非执行所有的功能脚本,而是选择性地执行目标功能,目标功能是均衡组件根据业务请求等从多种数据处理功能中确定出的。当然,当所有的数据处理功能都是目标功能时,处理组件执行所有功能脚本。
另外,均衡组件可并行接收多个客终端设备的多个业务请求,针对每个业务请求,分别确定该业务请求的目标功能。不同业务请求的目标功能可以不同。例如,对于携带域名A的业务请求,目标功能包括功能1~功能5;对于携带域名B的业务请求,均衡组件确定出的目标功能包括功能6-功能10。再如,当域名A的目标功能未变更时,均衡组件确定出的目标功能包括功能1~功能5;变更后,均衡组件确定出的目标功能包括功能1-功能7。
本申请实施例中,处理组件支持多种数据处理功能,如敏感数据过滤、外链改写等。目标功能是多种数据处理功能中的部分或全部。
305、利用所述均衡组件向所述终端设备发送处理后的业务数据。
示例性的,均衡组件向终端设备发送处理后的业务数据。
本申请实施例提供的基于边缘计算的数据处理方法,CDN节点包括处理组件和均衡组件,CDN节点利用均衡组件接收业务请求,从处理组件支持的多种数据处理功能中确定出目标功能并指示给处理组件。之后,均衡组件获取业务数据,处理组件执行目标功能以对该些业务数据进行处理。最后,由均衡组件将处理后的业务数据发送给终端设备。采用该种方案,CDN节点实时、动态的根据业务请求确定目标功能,当一种业务的目标功能变更时,均衡组件针对该业务确定出的目标功能,处理组件执行变更后的目标功能即可,无需加载全局配置,不受目标功能变更的影响,风险低、成本低。
可选的,上述实施例中,均衡组件根据业务请求携带的域名从多种数据处理功能中确定目标功能并指示给处理组件。示例性的,请参照图4。图4是图3中步骤302的详细流程图。图3包括:
401、通过所述均衡组件确定所述业务请求对应的域名。
示例性的,一个业务请求都对应一条统一资源定位符(Uniform ResourceLocation,URL),URL包含域名。例如,一个业务请求体现为:http://example.com/bookingHTTP/1.1,则域名为example.com。
402、根据所述域名查询映射表以确定出所述域名对应的请求头,所述映射表中存储请求头和域名的对应关系。
本申请实施例中,CDN节点上存储一个映射表,该映射表中存储域名和请求头的对应关系。不同请求头对应不同的数据处理功能。例如,example.com对应的请求头包括请求头a、请求头b和请求头c,则表示目标功能是请求头a、请求头b和请求头c各自对应的数据处理功能,处理组件需要执行请求头a、请求头b和请求头c各自对应的数据处理功能以完成对业务数据的处理。
本申请实施例中,不同客户具有不同的域名,每个域名对应的目标功能可以相同或不同。针对每个域名,均衡组件确定目标功能,处理组件根据目标功能对携带该域名的业务进行处理。
403、控制所述均衡组件向所述处理组件发送携带所述域名对应的请求头的指示信息,以使得所述处理组件根据所述域名对应的请求头从所述多种数据处理功能中确定目标功能。
均衡组件确定出域名对应的请求头后,向处理组件发送携带该些请求头的指示信息,以使得处理组件根据请求头从多种数据处理功能中确定出目标功能。处理组件确定出目标功能后,边缘计算程序内部逻辑可实现无感动态加载,无需重载(reload)。
采用该种方案,通过均衡组件向处理组件发送携带目标功能的请求头的指示信息,以使得处理组件上的边缘计算程序无感动态加载目标功能的功能脚本,加载的同时不中断无需重载,而是继续提供边缘计算能力,保证边缘计算能力的可用性。
可选的,上述实施例中,请求头用于指示所述目标功能的脚本路径。CDN节点利用所述处理组件根据所述脚本路径确定出所述目标功能的功能脚本。之后,CDN节点利用所述处理组件执行所述功能脚本以处理所述业务数据。
示例性的,处理组件接收到指示信息后,从指示信息中解析出请求头,进而解析请求头从而确定出脚本路径。然后,根据脚本路径找到目标功能对应的功能脚本,动态加载该些功能脚本,执行功能脚本以处理业务数据。
采用该种方案,请求头中携带各功能脚本的脚本路径,便于处理组件快速查找到功能脚本并执行,提高便于计算的处理速度。
可选的,上述实施例中,当所述域名对应的目标功能变化时,CDN节点利用所述均衡组件接收变更信息,所述变更信息用于指示所述域名对应的目标功能变化。之后,CDN节点利用所述均衡组件根据变更后的目标功能更新所述映射表。
示例性的,一个域名对应的数据处理功能可能会发生变化。继续沿用上述的例子,域名example.com对应的请求头包括请求头a、请求头b和请求头c,即该域名对应3种数据处理功能。当域名的数据处理功能发生变化时,比如新增请求头d对应的数据处理功能,则客户的运维通过CDN厂商提供的接口向CDN节点发送变更信息,该变更信息用于指示该域名变更后的目标功能,CDN节点根据变更信息更新映射表,更新后的映射表中域名example.com对应的请求头包括请求头a、请求头b、请求头c和请求头d。
映射表更新后,均衡组件接收到来自终端设备的业务请求,当业务请求的域名为example.com时,均衡组件查询映射表确定出请求头a、请求头b、请求头c和请求头d。之后,均衡组件向处理组件发送携带请求头a、请求头b、请求头c和请求头d的指示信息,处理组件根据指示信息动态加载这4个请求头对应的功能脚本,无需重载,不会中断边缘计算能力,即不影响整体边缘计算的可用性。
倘若采用传统的基于全局配置的方案,则需要修改全局配置,各CDN节点均需重载修改后的全局配置,触发重载(reload),重载时无法提供边缘计算能力,影响整体边缘计算的可用性。
采用该种方案,当域名对应的数据处理功能增加时,均衡组件通过请求头指示变更后的数据处理功能,无需更改该域名的全局配置并重载,使得处理组件上的边缘计算程序更加简单,业务更加有针对性,方便运营。
可选的,上述实施例中,处理组件上部署各个功能脚本,不同功能脚本对应不同的数据处理功能。CDN节点每次接收到业务请求后,处理组件根据均衡组件的指示从多种数据处理功能中选择出目标功能并执行。例如,边缘计算程序支持10种数据处理功能,均衡组件根据业务请求对应的域名确定出4个请求头并指示给处理组件,处理组件根据这4个请求头各自携带的脚本路径,从10种数据处理功能中确定出其中的4个数据处理功能的功能脚本并执行,从而实现对业务数据的处理。
当CDN节点支持的数据处理功能更新时,根据更新的数据处理功能更新所述处理组件上的边缘计算程序。例如,CDN节点支持的数据处理功能从10个增加至13个,则对处理组件进行更新,使CDN节点支持13种数据处理功能。之后,均衡组件根据业务请求对应的域名,从13种数据处理功能中确定出目标功能并指示给处理组件。
采用该种方案,通过更新CDN节点支持的数据处理功能,以适应客户的需求,实现提高边缘计算质量的目的。
图5是本申请实施例提供的基于边缘计算的数据处理方法的过程示意图。请参照图5,本实施例中,CDN节点包括均衡组件、处理组件和缓存组件,缓存组件例如采用squid缓存技术。本实施例包括:
501、终端设备向均衡组件发送业务请求。
502、均衡组件向处理组件发送携带请求头的指示信息。
示例性的,均衡组件根据业务请求的域名确定出请求头,并携带在指示信息中发送给处理组件。请求头中携带目标功能的脚本路径。
503、处理组件向所述均衡组件发送返回请求,以触发所述均衡组件获取所述业务数据。
CDN节点在处理组件确定出目标功能的功能脚本之后,控制处理组件向均衡组件发送返回请求,以触发均衡组件获取业务数据。例如,处理组件根据指示信息确定出请求头进而获取脚本路径,之后,处理组件向均衡组件发送一个携带特殊头部的返回请求,从而触发均衡组件获取业务数据。其中,特殊头部便于均衡组件区分出一个请求是来自处理组件的返回请求还是来自终端设备的业务请求。
采用该种方案,均衡组件在接收到处理组件的返回请求后获取业务数据,确保后续处理组件能够准确的对业务数据进行边缘计算,实现提高边缘计算质量的目的。
504、均衡组件向缓存组件发送获取请求。
示例性的均衡组件按照正常逻辑去缓存组件获取业务数据。倘若缓存组件已缓存业务数据,则直接返回给均衡组件。若缓存组件未缓存业务数据,则执行步骤505。
505、缓存组件向源站发送获取请求。
506、源站向缓存组件发送业务数据。
507、缓存组件向均衡组件发送业务数据。
示例性的,缓存组件从源站拉取业务数据、缓存业务数据,并将业务数据返回给均衡组件。
508、均衡组件向处理组件发送业务数据。
509、处理组件执行目标功能对应的功能脚本以处理业务数据,从而实现边缘计算。
510、处理组件向均衡组件返回处理后的业务数据。
511、均衡组件向终端设备返回处理后的业务数据。
请参照图5,处理组件形成一个旁路,业务数据经过处理组件的边缘处理后返回给均衡组件,进而响应给终端设备。
图6是本申请实施例提供的基于边缘计算的数据处理方法中功能脚本的交付过程示意图。本实施例中,由客户自行开发功能脚本并通过CDN厂商提供的接口部署到CDN节点。本实施例包括:
601、客户确定需求。
示例性的,一个客户根据自身的状况确定当前需求。
602、开发功能脚本。
示例性的,功能脚本可以不再由CDN厂商开发,而是开放给客户,由客户自助开发。开发过程中,只要遵循相应的语法规则即可。
603、客户自助将功能脚本部署在CDN节点上。
客户开发好功能脚本后,自助部署上线,无需CDN厂商介入,从而开发即上线,实现真正的高效交付。例如,CDN厂商提供一个接口,客户通过该接口将功能脚本部署到CDN节点的相应目录下。
由于客户只能部署自己开发的功能脚本等,该功能脚本仅适用于自身业务。即只有一个业务请求携带的域名时客户自己域名、且该功能脚本对应的功能是目标功能时,处理组件才执行该功能脚本。倘若该功能脚本对应的数据处理功能有问题,也只影响这一个域名的数据处理,而不影响其他域名的数据处理。
而上述的图1中,CDN厂商开发功能脚本,按照域名粒度设置全局配置。功能脚本的开发、功能脚本的部署、全局配置的设置等都需要CDN厂商介入,严重影响边缘计算程序及功能脚本的交付速度。而且,倘若开发的功能脚本有问题,则影响所有客户的业务,影响面大。
显然,本申请实施例中,通过将功能脚本的开发、是否开启功能脚本的配置开放给客户,即开发即上线,极大程度上提高了功能脚本的交付速度。而且,即使客户开发的功能脚本有问题,也只影响客户自身的业务,不影响其他客户,影响面小。
604、边缘计算程序的功能脚本交付完成。
交付完成后,均衡组件每次接收到业务请求,就可以从处理组件支持的多种数据处理功能中确定出目标功能,并指示给处理组件,由处理组件执行目标功能从而实现对业务数据的处理。。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图7为本申请实施例提供的一种基于边缘计算的数据处理装置的示意图。该基于边缘计算的数据处理装置700集成在CDN节点上,该装置包括:接收模块71、处理模块72和发送模块73。
接收模块71,用于利用所述均衡组件接收来自终端设备的业务请求;
处理模块72,用于针对所述业务请求,利用所述均衡组件从所述多种数据处理功能中确定出需要开启的目标功能并指示给所述处理组件;利用所述均衡组件获取所述业务请求所请求的业务数据;利用所述处理组件执行所述目标功能以处理所述业务数据;
发送模块73,用于利用所述均衡组件向所述终端设备发送处理后的业务数据。
一种可行的实现方式中,所述处理模块72利用所述均衡组件向所述处理组件指示所述多种数据处理功能中需要开启的目标功能时,用于通过所述均衡组件确定所述业务请求对应的域名;根据所述域名查询映射表以确定出所述域名对应的请求头,所述映射表中存储请求头和域名的对应关系;控制所述均衡组件向所述处理组件发送携带所述域名对应的请求头的指示信息,以使得所述处理组件根据所述域名对应的请求头从所述多种数据处理功能中确定目标功能。
一种可行的实现方式中,所述处理模块72利用所述处理组件执行所述目标功能以处理所述业务数据时,用于当所述请求头用于指示所述目标功能的脚本路径时,利用所述处理组件根据所述脚本路径确定出所述目标功能的功能脚本;利用所述处理组件执行所述功能脚本以处理所述业务数据。
一种可行的实现方式中,所述接收模块71,还用于利用所述均衡组件接收变更信息,所述变更信息用于指示所述域名对应的目标功能变化;
所述处理模块72,还用于利用所述均衡组件根据变更后的目标功能更新所述映射表。
一种可行的实现方式中,所述处理模块72利用所述均衡组件获取所述业务请求所请求的业务数据时,用于在所述处理组件确定出所述目标功能的功能脚本之后,控制所述处理组件向所述均衡组件发送返回请求,以触发所述均衡组件获取所述业务数据。
一种可行的实现方式中,所述接收模块71,还用于利用所述处理组件通过预设的接口接收客户上传的功能脚本;所述处理模块72,还用于将所述客户上传的功能脚本部署到所述CDN节点的目录下,以更新所述CDN节点提供的数据处理功能。
一种可行的实现方式中,所述处理模块72利用所述均衡组件获取所述业务请求所请求的业务数据时,用于利用所述均衡组件确定所述CDN节点是否已缓存所述业务数据;当所述CDN节点已缓存所述业务数据时,从所述CDN已缓存的数据中确定出所述业务数据;当所述CDN节点未缓存所述业务数据时,从源站获取所述业务数据。
本申请实施例提供的基于边缘计算的数据处理装置,可以执行上述实施例中CDN节点的动作,其实现原理和技术效果类似,在此不再赘述。
图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示,该电子设备800例如为上述的CDN节点,该电子设备800包括:
处理器81和存储器82;
所述存储器82存储计算机指令;
所述处理器81执行所述存储器82存储的计算机指令,使得所述处理器81执行如上CDN节点实施的基于边缘计算的数据处理方法。
处理器81的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
可选地,该电子设备800还包括通信部件83。其中,处理器81、存储器82以及通信部件83可以通过总线84连接。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机指令,所述计算机指令被处理器执行时用于实现如上CDN节点实施的基于边缘计算的数据处理方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包含计算机程序,计算机程序被处理器执行时实现CDN节点实施的基于边缘计算的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种基于边缘计算的数据处理方法,其特征在于,应用于CDN节点,所述CDN节点包括均衡组件和处理组件,所述处理组件具备多种数据处理功能,所述方法包括:
利用所述均衡组件接收来自终端设备的业务请求;
针对所述业务请求,通过所述均衡组件确定所述业务请求对应的域名;根据所述域名查询映射表以确定出所述域名对应的请求头,所述映射表中存储请求头和域名的对应关系;通过所述域名对应的请求头从所述多种数据处理功能中确定目标功能;
利用所述均衡组件从所述多种数据处理功能中确定出需要开启的目标功能并指示给所述处理组件;
利用所述均衡组件获取所述业务请求所请求的业务数据;
利用所述处理组件执行所述目标功能以处理所述业务数据;
利用所述均衡组件向所述终端设备发送处理后的业务数据。
2.根据权利要求1所述的方法,其特征在于,所述通过所述域名对应的请求头从所述多种数据处理功能中确定目标功能包括:
控制所述均衡组件向所述处理组件发送携带所述域名对应的请求头的指示信息,以使得所述处理组件根据所述域名对应的请求头从所述多种数据处理功能中确定目标功能。
3.根据权利要求2所述的方法,其特征在于,所述利用所述处理组件执行所述目标功能以处理所述业务数据,包括:
当所述请求头用于指示所述目标功能的脚本路径时,利用所述处理组件根据所述脚本路径确定出所述目标功能的功能脚本;
利用所述处理组件执行所述功能脚本以处理所述业务数据。
4.根据权利要求2所述的方法,其特征在于,还包括:
利用所述均衡组件接收变更信息,所述变更信息用于指示所述域名对应的目标功能变化;
利用所述均衡组件根据变更后的目标功能更新所述映射表。
5.根据权利要求2所述的方法,其特征在于,所述利用所述均衡组件获取所述业务请求所请求的业务数据,包括:
在所述处理组件确定出所述目标功能的功能脚本之后,控制所述处理组件向所述均衡组件发送返回请求,以触发所述均衡组件获取所述业务数据。
6.根据权利要求1-5任一项所述的方法,其特征在于,还包括:
利用所述处理组件通过预设的接口接收客户上传的功能脚本;
将所述客户上传的功能脚本部署到所述CDN节点的目录下,以更新所述CDN节点提供的数据处理功能。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述利用所述均衡组件获取所述业务请求所请求的业务数据,包括:
利用所述均衡组件确定所述CDN节点是否已缓存所述业务数据;
当所述CDN节点已缓存所述业务数据时,从所述CDN节点已缓存的数据中确定出所述业务数据;
当所述CDN节点未缓存所述业务数据时,从源站获取所述业务数据。
8.根据权利要求1-5任一项所述的方法,其特征在于,
当所述业务请求包括所述均衡组件并行接收到的多个业务请求时,所述多个业务请求中携带不同域名的业务请求需要开启的目标功能不同。
9.一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时使得所述电子设备实现如权利要求1至8任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210431023.2A CN114827276B (zh) | 2022-04-22 | 2022-04-22 | 基于边缘计算的数据处理方法、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210431023.2A CN114827276B (zh) | 2022-04-22 | 2022-04-22 | 基于边缘计算的数据处理方法、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114827276A CN114827276A (zh) | 2022-07-29 |
CN114827276B true CN114827276B (zh) | 2023-10-24 |
Family
ID=82504816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210431023.2A Active CN114827276B (zh) | 2022-04-22 | 2022-04-22 | 基于边缘计算的数据处理方法、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114827276B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115604345B (zh) * | 2022-09-29 | 2023-08-18 | 北京亚控科技发展有限公司 | 应用程序的开发方法及计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881448A (zh) * | 2018-06-27 | 2018-11-23 | 杭州贝购科技有限公司 | Api请求的处理方法及装置 |
CN109561141A (zh) * | 2018-11-21 | 2019-04-02 | 中国联合网络通信集团有限公司 | 一种cdn节点的选择方法及设备 |
WO2019157955A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 设备接入方法、相关平台及计算机存储介质 |
CN110769039A (zh) * | 2019-10-09 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 资源调度方法及装置、电子设备和计算机可读存储介质 |
CN111787069A (zh) * | 2020-06-09 | 2020-10-16 | 中移雄安信息通信科技有限公司 | 业务接入请求的处理方法、装置、设备及计算机存储介质 |
CN111970194A (zh) * | 2020-07-28 | 2020-11-20 | 浙江九州云信息科技有限公司 | 一种api网关的配置及请求处理方法 |
WO2021023018A1 (zh) * | 2019-08-05 | 2021-02-11 | 南京中兴新软件有限责任公司 | 业务调度的方法及装置 |
CN112988378A (zh) * | 2021-01-28 | 2021-06-18 | 网宿科技股份有限公司 | 业务处理方法及装置 |
CN113489772A (zh) * | 2019-08-08 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 网络请求处理方法及装置、电子设备 |
EP3968610A1 (en) * | 2019-05-10 | 2022-03-16 | Tencent Technology (Shenzhen) Company Limited | Method, device, and system for selecting mobile edge computing node |
CN114301682A (zh) * | 2021-12-28 | 2022-04-08 | 建信金融科技有限责任公司 | 数据处理方法、装置和终端设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2456026A (en) * | 2007-12-26 | 2009-07-01 | Contendo Inc | CDN balancing and sharing platform |
CN109218355B (zh) * | 2017-06-30 | 2021-06-15 | 华为技术有限公司 | 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法 |
CN110198307B (zh) * | 2019-05-10 | 2021-05-18 | 深圳市腾讯计算机系统有限公司 | 一种移动边缘计算节点的选择方法、装置及系统 |
-
2022
- 2022-04-22 CN CN202210431023.2A patent/CN114827276B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019157955A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 设备接入方法、相关平台及计算机存储介质 |
CN108881448A (zh) * | 2018-06-27 | 2018-11-23 | 杭州贝购科技有限公司 | Api请求的处理方法及装置 |
CN109561141A (zh) * | 2018-11-21 | 2019-04-02 | 中国联合网络通信集团有限公司 | 一种cdn节点的选择方法及设备 |
EP3968610A1 (en) * | 2019-05-10 | 2022-03-16 | Tencent Technology (Shenzhen) Company Limited | Method, device, and system for selecting mobile edge computing node |
WO2021023018A1 (zh) * | 2019-08-05 | 2021-02-11 | 南京中兴新软件有限责任公司 | 业务调度的方法及装置 |
CN113489772A (zh) * | 2019-08-08 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 网络请求处理方法及装置、电子设备 |
CN110769039A (zh) * | 2019-10-09 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 资源调度方法及装置、电子设备和计算机可读存储介质 |
CN111787069A (zh) * | 2020-06-09 | 2020-10-16 | 中移雄安信息通信科技有限公司 | 业务接入请求的处理方法、装置、设备及计算机存储介质 |
CN111970194A (zh) * | 2020-07-28 | 2020-11-20 | 浙江九州云信息科技有限公司 | 一种api网关的配置及请求处理方法 |
CN112988378A (zh) * | 2021-01-28 | 2021-06-18 | 网宿科技股份有限公司 | 业务处理方法及装置 |
CN114301682A (zh) * | 2021-12-28 | 2022-04-08 | 建信金融科技有限责任公司 | 数据处理方法、装置和终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114827276A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365502B (zh) | 一种服务升级管理的方法、装置及存储介质 | |
CN112000348A (zh) | 服务灰度发布的控制方法、装置、计算机设备 | |
RU2673403C2 (ru) | Способ доступа к веб-узлам, устройство и система веб-узла | |
US20190045018A1 (en) | Integrated user interface for consuming services across different distributed networks | |
CN106775924B (zh) | 虚拟机启动方法和装置 | |
CN108848092A (zh) | 基于调用链的微服务灰度发布的处理方法及装置 | |
CN105262608B (zh) | 用于网络服务的监控方法和装置 | |
CN107465722B (zh) | Web访问的实现方法和装置 | |
CN110417842A (zh) | 用于网关服务器的故障处理方法和装置 | |
CN111984289A (zh) | 一种服务更新方法、装置、设备及存储介质 | |
US20150188999A1 (en) | System and method to extend the capabilities of a web browser to improve the web application performance | |
CN112559927A (zh) | 一种网页加载方法及装置 | |
CN107181779A (zh) | 访问请求的处理方法、装置和系统 | |
CN110247951A (zh) | 一种文件传输控制方法、装置、设备及存储介质 | |
CN114827276B (zh) | 基于边缘计算的数据处理方法、设备及可读存储介质 | |
CN113204368B (zh) | 应用程序处理方法、服务器及存储介质 | |
CN113641581B (zh) | 混合模式移动应用调试方法及系统 | |
US11637914B2 (en) | Multiple geography service routing | |
CN113641582A (zh) | 混合模式移动应用调试方法及系统 | |
CN115268949A (zh) | 一种镜像预热方法、装置、设备及存储介质 | |
US10193737B2 (en) | Method for performing communication between browser and mobile terminal, and browser apparatus | |
CN105763545B (zh) | 一种byod方法及装置 | |
EP3101539A1 (en) | Selection of compatible resources after updating web application servers | |
CN112491940B (zh) | 代理服务器的请求转发方法及装置、存储介质及电子设备 | |
CN115811481A (zh) | 一种交互服务测试方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |