CN111212107A - 用于cdn平台的业务处理方法及cdn系统 - Google Patents

Abstract

本发明实施方式涉及通信技术领域，公开了一种用于CDN平台的业务处理方法，该方法包括：获取终端设备发起的业务请求，其中，所述业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据，若根据所述CDN计算标识确定为需要计算，则采用所述请求的机器学习模型对所述待处理数据进行计算，并将计算的结果返回至所述终端设备；若根据所述CDN计算标识确定为不需要计算，则将所述请求的机器学习模型返回至所述终端设备。本发明实施方式还提供了一种CDN系统。本发明实施方式提供的用于CDN平台的业务处理方法及CDN系统，可以提高低算力的终端设备的人工智能水平和高算力的终端设备的模型应用的灵活性。

Description

用于CDN平台的业务处理方法及CDN系统

技术领域

本发明涉及通信技术领域，特别涉及一种用于CDN平台的业务处理方法及CDN系统。

背景技术

随着科技的不断发展和5G时代的到来，基于机器学习的人工智能应用越来越广泛。

然而，对于一些低算力的终端设备(例如摄像头、音响等)而言，由于本身的计算能力有限，难以应用人工智能应用来进行终端设备数据的分析、计算及进一步的控制，人工智能水平较低；而对于一些高算力的终端设备而言，由于其使用的机器学习模型均为厂商定制的模型，无法应用厂商定制外的机器学习模型，模型应用的灵活性较低。

发明内容

本发明实施方式的目的在于提供一种用于CDN平台的业务处理方法及CDN系统，可以提高低算力的终端设备的人工智能水平和高算力的终端设备的模型应用的灵活性。

为解决上述技术问题，本发明的实施方式提供了一种用于CDN平台的业务处理方法，包含以下步骤：获取终端设备发起的业务请求，其中，业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据，请求的机器学习模型是指请求使用或请求返回的机器学习模型；若根据CDN计算标识确定为需要计算，则采用请求的机器学习模型对待处理数据进行计算，并将计算的结果返回至终端设备；若根据CDN计算标识确定为不需要计算，则将请求的机器学习模型返回至终端设备。

本发明的实施方式还提供了一种CDN系统，包括CDN服务器，CDN服务器包括负载均衡模块、反向代理服务器和缓存服务器；负载均衡模块，用于获取终端设备发起的业务请求，并将业务请求分配至反向代理服务器，其中，业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据；反向代理服务器，用于对业务请求重定向至缓存服务器；缓存服务器，用于当根据CDN计算标识确定为需要计算时，采用请求的机器学习模型对待处理数据进行计算，并将计算的结果返回至终端设备；当根据CDN计算标识确定为不需要计算时，将请求的机器学习模型返回至终端设备。

本发明实施方式相对于现有技术而言，根据CDN计算标识来确定是否需计算，当需要计算时，采用请求的机器学习模型对待处理数据计算后返回计算结果；当不需要计算时，将请求的机器学习模型返回至终端设备。由于低算力的终端设备可以利用CDN平台的强大计算能力对待处理数据进行计算，获取计算的结果用以进一步的控制，因此可以提高低算力的终端设备的人工智能的水平；而高算力的终端设备可以向CDN平台获取厂商定制的机器学习模型，也可以获取厂商定制外的机器学习模型，因此可以提高高算力的终端设备的模型应用的灵活性；另外，高算力的终端设备还可以直接应用CDN平台提供的机器学习模型进行计算并获取计算的结果，进一步加强高算力的终端设备在机器学习应用的能力。

另外，若根据CDN计算标识确定为需要计算，则采用请求的机器学习模型对待处理数据进行计算，包括：若根据CDN计算标识确定为需要计算，则判断请求的机器学习模型是否已在加载队列中；若请求的机器学习模型已在加载队列中，则采用加载队列中的请求的机器学习模型对待处理数据进行计算。通过采用加载队列中的请求的机器学习模型对待处理数据进行计算，可以避免机器学习模型的重复加载，也可以避免反复加载机器学习模型带来的时间和资源损耗，提高CDN平台资源的利用率。

另外，在判断请求的机器学习模型是否已在加载队列中之后，还包括：若请求的机器学习模型不在加载队列中，则判断请求的机器学习模型是否命中缓存；若请求的机器学习模型命中缓存，则获取缓存中的请求的机器学习模型；若请求的机器学习模型未命中缓存，则从机器学习模型提供方获取请求的机器学习模型；加载请求的机器学习模型对待处理数据进行计算。通过对命中缓存的请求的机器学习模型，加载缓存中的机器学习模型进行运算，可以加快对终端设备的响应；而对未命中缓存的请求的机器学习模型，先从机器学习模型提供方获取请求的机器学习模型后再进行计算，可以拓展CDN平台可以使用的机器学习模型，保证根据终端设备的请求进行相应的机器学习模型的计算并返回计算结果。

另外，加载请求的机器学习模型对待处理数据进行计算，包括：判断业务请求中是否存在GPU计算标识；若业务请求中存在GPU计算标识，则采用GPU加载请求的机器学习模型对待处理数据进行计算。通过采用GPU加载请求的机器学习模型对待处理数据进行计算，可以加快机器学习模型的运算速度，更快反馈计算结果，提高CDN平台的计算能力；由于部分机器学习模型对计算能力要求较高，需要GPU计算能力的支持，因此采用GPU加载机器学习模型，可以使CDN平台支持更多的机器学习模型。

另外，若根据CDN计算标识确定为不需要计算，则将请求的机器学习模型返回至终端设备，包括：若根据CDN计算标识确定为不需要计算，则判断请求的机器学习模型是否命中缓存；若请求的机器学习模型命中缓存，则将命中的缓存文件返回至终端设备；若请求的机器学习模型未命中缓存，则从机器学习模型提供方获取请求的机器学习模型对应的模型文件，将模型文件返回至终端设备。通过对请求的机器学习模型是否命中缓存的判断，当命中缓存时，将命中缓存的请求的机器学习模型的缓存文件直接返回至终端设备，可以加快对终端设备的业务请求的响应；而当未命中缓存时，从机器学习模型提供方获取请求的机器学习模型的模型文件并返回至终端设备，可以保证对终端设备的业务请求的响应，拓宽终端设备可以使用的机器学习模型的范围。

另外，缓存服务器还用于：当根据CDN计算标识确定为需要计算时，判断请求的机器学习模型是否已在加载队列中；当请求的机器学习模型已在加载队列中时，采用加载队列中的请求的机器学习模型对待处理数据进行计算。

另外，缓存服务器还用于：当请求的机器学习模型不在加载队列中时，判断请求的机器学习模型是否命中缓存；当请求的机器学习模型命中缓存时，则获取缓存中的请求的机器学习模型；当请求的机器学习模型未命中缓存时，从机器学习模型提供方获取请求的机器学习模型；加载请求的机器学习模型对待处理数据进行计算。

另外，CDN服务器还包括GPU，缓存服务器还用于：判断业务请求中是否存在GPU计算标识；当业务请求中存在GPU计算标识时，采用GPU加载请求的机器学习模型对待处理数据进行计算。

另外，缓存服务器还用于：当根据CDN计算标识确定为不需要计算时，判断请求的机器学习模型是否命中缓存；当请求的机器学习模型命中缓存时，将命中的缓存文件返回至终端设备；当请求的机器学习模型未命中缓存时，从机器学习模型提供方获取请求的机器学习模型对应的模型文件，将模型文件返回至终端设备。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本发明第一实施方式提供的用于CDN平台的业务处理方法的流程示意图；

图2是本发明第一实施方式提供的用于CDN平台的业务处理方法中S102细化步骤的流程示意图；

图3是本发明第一实施方式提供的用于CDN平台的业务处理方法中S1021之后步骤的流程示意图；

图4是本发明第一实施方式提供的用于CDN平台的业务处理方法中S1026细化步骤的流程示意图；

图5是本发明第一实施方式提供的用于CDN平台的业务处理方法中S103细化步骤的流程示意图；

图6是本发明第二实施方式提供的CDN系统的模块结构示意图；

图7是本发明第二实施方式提供的CDN系统及CDN系统连接的终端设备和模型提供方的一具体示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种用于CDN平台的业务处理方法，通过获取终端设备发起的业务请求，其中，业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据；若根据CDN计算标识确定为需要计算，则采用请求的机器学习模型对待处理数据进行计算，并将计算的结果返回至终端设备；若根据CDN计算标识确定为不需要计算，则将请求的机器学习模型返回至终端设备。由于低算力的终端设备可以通过CDN采用机器学习模型进行计算，因此能提高低算力的终端设备的人工智能水平；而高算力设备则可以获取厂商定制外的机器学习模型，提高模型应用的灵活性，还可以直接应用CDN平台的机器学习模型进行计算，而不需要安装加载机器学习模型就可以获取计算结果，进一步加强了高算力设备在机器学习的应用能力。

应当说明的是，本发明实施方式的执行主体为CDN(内容分发网络)平台，其中，CDN平台是指CDN服务器集群组成的平台。

本发明实施方式提供的用于CDN平台的业务处理方法的具体流程如图1所示，包括以下步骤：

S101：获取终端设备发起的业务请求，其中，业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据。

其中，终端设备可以为低算力的终端设备，如摄像头、音响或微控制系统等，其RAM(随机存取存储器)和ROM(只读存储器)空间有限，处理器或控制器性能较弱，难以存储和加载机器学习模型进行分析和计算；也可以为高算力的终端设备，其RAM和ROM空间较大，处理器或控制器性能较强，可以存储和加载机器学习模型进行分析和计算，如电脑、手机或平板电脑等。

机器学习模型是指采用机器学习算法训练得到机器学习模型，其中，机器学习算法可以包括监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习等算法。优选地，机器学习模型为采用深度学习算法训练得到的深度学习模型，其中，深度学习算法是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的演算法；深度学习算法的好处是用非监督式或半监督式的特征学习和分层特征提取高效演算法来替代手工取得特征，目前已有几种深度学习框架，例如深度神经网络、卷积神经网络和深度置信网络和递回神经网络，已被应用在电脑视觉、语音辨识、自然语言处理、音讯辨识和生物资讯学等领域并取得了极好的效果。

应当理解的是，请求的机器学习模型是指请求使用或请求返回的机器学习模型，需要根据CDN计算标识综合来确定是请求使用的还是请求返回的机器学习模型，即当CDN计算标识指示需要计算时，请求的机器学习模型是指请求返回的机器学习模型；当CDN计算标识指标不需要计算时，请求的机器学习模型是指请求使用的机器学习模型。另外，当CDN计算标识指示需要计算时，业务请求中包括待处理数据；当CDN计算标识指示不需要计算时，业务请求中不包括待处理数据。其中，待处理数据例如是终端设备采集的图像或语音等数据。

可选地，CDN计算标识可以包括在url(统一资源定位符)中，具体标识可以根据实际需要进行设置，例如设置“0”代表不需要计算，设置“1”代表需要计算。

S102：若根据CDN计算标识确定为需要计算，则采用请求的机器学习模型对待处理数据进行计算，并将计算的结果返回至终端设备。

具体地，CDN平台对获取的CDN计算标识进行判断，若CDN计算标识指示需要计算，则采用终端设备请求的机器学习模型对待处理数据进行计算，并返回计算的结果至终端设备，以便终端设备根据计算的结果作进一步的控制。

例如，终端设备为摄像头，其将拍摄的室内光线环境的照片发送至CDN平台，CDN平台采用请求的机器学习模型对拍摄的照片进行识别，若识别的结果为明亮，并将明亮的识别结果返回到摄像头，而摄像头与室内的照明系统相连接，则照明系统可根据摄像头的明亮的识别结果调低照明的亮度，从而可以实现智能调整室内照明的效果。

应当说明的是，当终端设备为高算力的终端设备且终端设备自带机器学习模型时，请求的机器学习模型可以为与终端设备自带的机器学习模型对应的模型，也可以为其它的机器学习模型。

S103：若根据CDN计算标识确定为不需要计算，则将请求的机器学习模型返回至终端设备。

可以理解的是，当CDN计算标识指示为不需要计算时，则对应的业务请求为高算力的终端设备发起的业务请求。当CDN平台将请求的机器学习模型返回至终端设备时，是指将请求的机器学习模型对应的模型文件返回至终端设备，以便终端设备可以安装和加载请求的机器学习模型。

与现有技术相比，本发明实施方式提供的用于CDN平台的业务处理方法，根据CDN计算标识来确定是否需计算，当需要计算时，采用请求的机器学习模型对待处理数据计算后返回计算结果；当不需要计算时，将请求的机器学习模型返回至终端设备。由于低算力的终端设备可以利用CDN平台的强大计算能力对待处理数据进行计算，获取计算的结果用以进一步的控制，因此可以提高低算力的终端设备的人工智能的水平；而高算力的终端设备可以向CDN平台获取厂商定制的机器学习模型，也可以获取厂商定制外的机器学习模型，因此可以提高高算力的终端设备的模型应用的灵活性；另外，高算力的终端设备还可以直接应用CDN平台提供的机器学习模型进行计算并获取计算的结果，进一步加强高算力的终端设备在机器学习应用的能力。

在一个具体的例子中，在S102中，即若根据CDN计算标识确定为需要计算，则采用请求的机器学习模型对待处理数据进行计算，如图2所示，包括以下步骤：

S1021：若根据CDN计算标识确定为需要计算，则判断请求的机器学习模型是否已在加载队列中。

S1022：若请求的机器学习模型已在加载队列中，则采用加载队列中的请求的机器学习模型对待处理数据进行计算。

具体地，CDN平台对CDN计算标识进行判断，若CDN计算标识代表需要计算，则判断请求的机器学习模型是否已在CDN平台的加载队列中，若请求的机器学习模型已在加载队列中，则CDN平台直接采用加载队列中的请求的机器学习模型对待处理数据进行计算。

例如，若在终端设备发起业务请求之前，已有其它的终端设备发起相同的机器学习模型的请求，并在加载机器学习模型计算的过程中，则CDN平台可以采用加载队列中的请求的机器学习模型对待处理数据进行计算，例如在计算完其它终端设备的待处理数据后进行计算。

可选地，CDN平台可以设置加载队列中加载的机器学习模型的老化时间，将达到老化时间的机器学习模型从加载队列中释放。

通过采用加载队列中的请求的机器学习模型对待处理数据进行计算，可以避免机器学习模型的重复加载，也可以避免反复加载机器学习模型带来的时间和资源损耗，提高CDN平台资源的利用率。

在一个具体的例子中，在1021之后，即在判断请求的机器学习模型是否已在加载队列中之后，如图3所示，还包括以下步骤：

S1023：当请求的模型不在请求队列时，判断请求的机器学习模型是否命中缓存。

S1024：若请求的机器学习模型命中缓存，则获取缓存中的请求的机器学习模型。

S1025：若请求的机器学习模型未命中缓存，则从机器学习模型提供方获取请求的机器学习模型。

S1026：加载请求的机器学习模型对待处理数据进行计算。

具体地，若CDN平台判断的结果为请求的机器学习模型不在加载队列中，则判断请求的机器学习模型是否命中CDN平台的缓存；若命中CDN平台的缓存，则可以直接从CDN平台的缓存中获取请求的机器学习模型，再加载请求的机器学习模型对待处理数据进行计算；若未命中CDN平台的缓存，则先向机器学习模型提供方获取请求的机器学习模型，再加载请求的机器学习模型对待处理数据进行计算。其中，机器学习模型提供方例如可以是互联网企业、云计算中心、科研机构和/或其它提供方，这里不做具体限定。

可选地，当CDN平台从机器学习模型提供方获取到请求的机器学习模型后，可以将请求的机器学习模型放在CDN平台中，以丰富CDN平台的机器学习模型的种类，以便后续直接从CDN平台的缓存中加载相应的机器学习模型进行计算。

可选地，在不侵范用户的隐私权益的情况下，CDN平台可以将终端设备的待处理数据提供给机器学习模型提供方，供其训练新的机器学习模型，以进一步拓宽终端设备可以获取的机器学习模型的种类。

通过对命中缓存的请求的机器学习模型，加载缓存中的机器学习模型进行运算，可以加快对终端设备的响应；而对未命中缓存的请求的机器学习模型，先从机器学习模型提供方获取请求的机器学习模型后再进行计算，可以拓展CDN平台可以使用的机器学习模型，保证根据终端设备的请求进行相应的机器学习模型的计算并返回计算结果。

在一个具体的例子中，在S1026中，即加载请求的机器学习模型对待处理数据进行计算，如图4所示，包括以下步骤：

S10261：判断业务请求中是否存在GPU计算标识。

S10262：若业务请求中存在GPU计算标识，则采用GPU加载请求的机器学习模型对待处理数据进行计算。

可选地，GPU(图形处理器)计算标识可包括在业务请求中的URL中。应当理解的是，当存在GPU计算标识时，表示请求进行GPU计算；当不存在GPU计算标识时，表示没有请求进行GPU计算。GPU计算标识可以根据实际需要进行设置，这里不做具体限制。可选地，可以通过两种GPU计算标识，其中一种GPU计算标识代表需要进行GPU计算，另一种代表不需要进行GPU计算，例如设置“0”代表不需要进行GPU计算，设置“1”代表需要进行GPU计算。

具体地，CDN平台对业务请求进行判断，若业务请求中带有GPU计算标识，则采用GPU(图形处理器)加载请求的机器学习模型对待处理数据进行计算；若业务请求中不带有GPU计算标识，则采用CPU(中央处理器)加载请求的机器学习模型对待处理数据进行计算。

应当说明的是，为了实现CDN平台的GPU计算能力，则CDN平台应具备相应的GPU硬件。可选地，CDN平台还应具备相应的软件方面的组件，例如CUDA(Compute Unified DeviceArchitecture)和cuDNN组件，以便可以使用GPU加载机器学习模型，其中，CUDA组件为统一计算架构，cuDNN组件为GPU加速的用于深度神经网络的原语库。

通过采用GPU加载请求的机器学习模型对待处理数据进行计算，可以加快机器学习模型的运算速度，更快反馈计算结果，提高CDN平台的计算能力；由于部分机器学习模型对计算能力要求较高，需要GPU计算能力的支持，因此采用GPU加载机器学习模型，可以使CDN平台支持更多的机器学习模型。

在一个具体的例子中，在S103中，即若根据CDN计算标识确定为不需要计算，则将请求的机器学习模型返回至终端设备，如图5所示，包括以下步骤：

S1031：当根据CDN计算标识确定为不需要计算时，判断请求的机器学习模型是否命中缓存。

S1032：当请求的机器学习模型命中缓存时，将命中的缓存文件返回至终端设备。

S1033：当请求的机器学习模型未命中缓存时，从机器学习模型提供方获取请求的机器学习模型对应的模型文件，将模型文件返回至终端设备。

具体地，若根据CDN计算标识确定为不需要计算，则CDN平台再判断请求的机器学习模型是否命中缓存；若请求的机器学习模型命中缓存，则将命中的缓存文件(即请求的机器学习模型对应的文件)返回至终端设备；若请求的机器漟习模型未命中缓存，则从机器学习模型提供方获取请求的机器学习模型对应的模型文件，将该模型文件返回至终端设备。其中，机器学习模型提供方可以为互联网企业、云计算中心或科研机构等。可选地，CDN平台从机器学习模型提供方获取到请求的机器学习模型的模型文件后，除了将模型文件返回至终端设备外，还可以将模型文件保存在CDN平台中，以便后续直接从缓存中返回相应的模型文件。

通过对请求的机器学习模型是否命中缓存的判断，当命中缓存时，将命中缓存的请求的机器学习模型的缓存文件直接返回至终端设备，可以加快对终端设备的业务请求的响应；而当未命中缓存时，从机器学习模型提供方获取请求的机器学习模型的模型文件并返回至终端设备，可以保证对终端设备的业务请求的响应，拓宽终端设备可以使用的机器学习模型的范围。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种CDN系统，如图6所示，包括CDN服务器20，其中，CDN服务器包括负载均衡模块201、反向代理服务器202和缓存服务器203。

负载均衡模块201，用于获取终端设备发起的业务请求，并将业务请求分配至反向代理服务器，其中，业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据；

反向代理服务器202，用于对业务请求重定向至缓存服务器；

缓存服务器203，用于当根据CDN计算标识确定为需要计算时，采用请求的机器学习模型对待处理数据进行计算，并将计算的结果返回至终端设备；当根据CDN计算标识确定为不需要计算时，将请求的机器学习模型返回至终端设备。

其中，反向代理服务器202可以为Nginx。应当理解的是，Nginx也具有负载均衡的功能，但在本发明实施方式中，Nginx作为局部的负载均衡，应用于某个CDN节点；而负载均衡模块201作为全局的负载均衡，负载均衡模块201例如可以为DNS等。例如当负载均衡模块201接收到终端设备发起的业务请求，根据Nginx的负载情况，将业务请求分配至负载合适的Nginx上。缓存服务器203例如是Apache Traffic Server(ATS)，也可以为其它的缓存服务器。

反向代理服务器202将业务请求重定向至缓存服务器203时，是指通过URL改写的方式将业务请求发送至缓存服务器203，由缓存服务器203负责对业务请求进行响应。可选地，反向代理服务器202还可以设置访问控制，对终端设备的合法与否进行验证，只响应合法的终端设备发起的业务请求，而拒绝响应非法的终端设备发起的业务请求，这里不做具体限定。

进一步地，缓存服务器203还用于：

当根据CDN计算标识确定为需要计算时，判断请求的机器学习模型是否已在加载队列中；

当请求的机器学习模型已在加载队列中时，采用加载队列中的请求的机器学习模型对待处理数据进行计算。

进一步地，缓存服务器203还用于：

当请求的机器学习模型不在加载队列中时，判断请求的机器学习模型是否命中缓存；

当请求的机器学习模型命中缓存时，则获取缓存中的请求的机器学习模型；

当请求的机器学习模型未命中缓存时，从机器学习模型提供方获取请求的机器学习模型；

加载请求的机器学习模型对待处理数据进行计算。

进一步地，缓存服务器203还用于：

判断业务请求中是否存在GPU计算标识；

当业务请求中存在GPU计算标识时，采用GPU加载请求的机器学习模型对待处理数据进行计算。

进一步地，缓存服务器203还用于：

当根据CDN计算标识确定为不需要计算时，判断请求的机器学习模型是否命中缓存；

当请求的机器学习模型命中缓存时，将命中的缓存文件返回至终端设备；

当请求的机器学习模型未命中缓存时，从机器学习模型提供方获取请求的机器学习模型对应的模型文件，将模型文件返回至终端设备。

可选地，CDN系统可以支持TensorFlow、Keras和PyTorch等深度学习框架，也可以为其它机器学习模型。

请参考图7，其为本发明实施方式提供的CDN系统及CDN系统连接的终端设备和模型提供方的一具体示例图。其中，反向代理服务器202为Nginx，缓存服务器203为ATS。具体地，负载均衡模块201接收高算力或低算力的终端设备发起的业务请求，然后负载均衡模块201将业务请求分配给负载合适的Nginx，Nginx将业务请求通过URL改写重定向至ATS，ATS根据业务请求中的CDN计算标识加载缓存中的机器学习模型进行计算，并将计算的结果通过Nginx返回经过负载均衡模块201后返回至终端设备；或者从机器学习模型提供方(图中以深度学习模型提供方为例)获取到请求的机器学习模型后计算返回计算结果；或者从缓存中获取模型文件返回至高算力的终端设备，或者从机器学习模型提供方获取到模型文件后返回至高算力的终端设备。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种用于CDN平台的业务处理方法，其特征在于，包括：

获取终端设备发起的业务请求，其中，所述业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据，所述请求的机器学习模型为所述终端设备请求使用或请求返回的机器学习模型；

若根据所述CDN计算标识确定为需要计算，则采用所述请求的机器学习模型对所述待处理数据进行计算，并将计算的结果返回至所述终端设备；

若根据所述CDN计算标识确定为不需要计算，则将所述请求的机器学习模型返回至所述终端设备。

2.根据权利要求1所述的用于CDN平台的业务处理方法，其特征在于，所述若根据所述CDN计算标识确定为需要计算，则采用所述请求的机器学习模型对所述待处理数据进行计算，包括：

若根据所述CDN计算标识确定为需要计算，则判断所述请求的机器学习模型是否已在加载队列中；

若所述请求的机器学习模型已在所述加载队列中，则采用加载队列中的所述请求的机器学习模型对所述待处理数据进行计算。

3.根据权利要求2所述的用于CDN平台的业务处理方法，其特征在于，在所述判断所述请求的机器学习模型是否已在加载队列中之后，还包括：

若所述请求的机器学习模型不在所述加载队列中，则判断所述请求的机器学习模型是否命中缓存；

若所述请求的机器学习模型命中缓存，则获取缓存中的所述请求的机器学习模型；

若所述请求的机器学习模型未命中缓存，则从机器学习模型提供方获取所述请求的机器学习模型；

加载所述请求的机器学习模型对所述待处理数据进行计算。

4.根据权利要求3所述的用于CDN平台的业务处理方法，其特征在于，加载所述请求的机器学习模型对所述待处理数据进行计算，包括：

判断所述业务请求中是否存在GPU计算标识；

若所述业务请求中存在所述GPU计算标识，则采用GPU加载所述请求的机器学习模型对所述待处理数据进行计算。

5.根据权利要求1所述的用于CDN平台的业务处理方法，其特征在于，所述若根据所述CDN计算标识确定为不需要计算，则将所述请求的机器学习模型返回至所述终端设备，包括：

若根据所述CDN计算标识确定为不需要计算，则判断所述请求的机器学习模型是否命中缓存；

若所述请求的机器学习模型命中缓存，则将命中的缓存文件返回至所述终端设备；

若所述请求的机器学习模型未命中缓存，则从机器学习模型提供方获取所述请求的机器学习模型对应的模型文件，将所述模型文件返回至所述终端设备。

6.一种CDN系统，其特征在于，包括CDN服务器，所述CDN服务器包括负载均衡模块、反向代理服务器和缓存服务器；

所述负载均衡模块，用于获取终端设备发起的业务请求，并将所述业务请求分配至所述反向代理服务器，其中，所述业务请求包括请求的机器学习模型、CDN计算标识和/或待处理数据，所述请求的机器学习模型是指请求使用或请求返回的机器学习模型；

所述反向代理服务器，用于对所述业务请求重定向至所述缓存服务器；

所述缓存服务器，用于当根据所述CDN计算标识确定为需要计算时，采用所述请求的机器学习模型对所述待处理数据进行计算，并将计算的结果返回至所述终端设备；当根据所述CDN计算标识确定为不需要计算时，将所述请求的机器学习模型返回至所述终端设备。

7.根据权利要求6所述的CDN系统，其特征在于，所述缓存服务器还用于：

当根据所述CDN计算标识确定为需要计算时，判断所述请求的机器学习模型是否已在加载队列中；

当所述请求的机器学习模型已在所述加载队列中时，采用加载队列中的所述请求的机器学习模型对所述待处理数据进行计算。

8.根据权利要求7所述的CDN系统，其特征在于，所述缓存服务器还用于：

当所述请求的机器学习模型不在所述加载队列中时，判断所述请求的机器学习模型是否命中缓存；

当所述请求的机器学习模型命中缓存时，则获取缓存中的所述请求的机器学习模型；

当所述请求的机器学习模型未命中缓存时，从机器学习模型提供方获取所述请求的机器学习模型；

加载所述请求的机器学习模型对所述待处理数据进行计算。

9.根据权利要求6所述的CDN系统，其特征在于，所述CDN服务器还包括GPU，所述缓存服务器还用于：

判断所述业务请求中是否存在GPU计算标识；

当所述业务请求中存在所述GPU计算标识时，采用所述GPU加载所述请求的机器学习模型对所述待处理数据进行计算。

10.根据权利要求6所述的CDN系统，其特征在于，所述缓存服务器还用于：

当根据所述CDN计算标识确定为不需要计算时，判断所述请求的机器学习模型是否命中缓存；

当所述请求的机器学习模型命中缓存时，将命中的缓存文件返回至所述终端设备；

当所述请求的机器学习模型未命中缓存时，从机器学习模型提供方获取所述请求的机器学习模型对应的模型文件，将所述模型文件返回至所述终端设备。

Images