CN114546258B - 一种人工智能模型传输方法、系统、终端以及存储介质 - Google Patents

一种人工智能模型传输方法、系统、终端以及存储介质 Download PDF

Info

Publication number
CN114546258B
CN114546258B CN202111439591.9A CN202111439591A CN114546258B CN 114546258 B CN114546258 B CN 114546258B CN 202111439591 A CN202111439591 A CN 202111439591A CN 114546258 B CN114546258 B CN 114546258B
Authority
CN
China
Prior art keywords
model
request
artificial intelligence
target
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111439591.9A
Other languages
English (en)
Other versions
CN114546258A (zh
Inventor
吴嘉澍
王洋
古亮
代浩
叶可江
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Sangfor Technologies Co Ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, Sangfor Technologies Co Ltd filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111439591.9A priority Critical patent/CN114546258B/zh
Publication of CN114546258A publication Critical patent/CN114546258A/zh
Application granted granted Critical
Publication of CN114546258B publication Critical patent/CN114546258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种人工智能模型传输方法、系统、终端以及存储介质。所述方法包括：接收人工智能模型请求，判断当前人工智能模型请求是否属于多模型请求，所述多模型请求为所请求的目标模型至少为两个的人工智能模型请求；如果属于多模型请求，利用Jaccard相似性算法和频繁模式树算法共同判断所述至少两个目标模型是否具有打包价值，如果具有打包价值，采用打包传输机制将所述至少两个目标模型打包传输至模型请求方。本申请可以有效降低满足人工智能模型请求所产生的缓存与传输代价，从而增加人工智能应用的效能。

Description

一种人工智能模型传输方法、系统、终端以及存储介质
技术领域
本申请属于人工智能技术领域，特别涉及一种人工智能模型传输方法、系统、终端以及存储介质。
背景技术
随着人工智能与机器学习技术的快速发展，人工智能的应用在生产生活中变得十分普遍。随着人们对高效率与低代价的需求，人工智能技术也需要向高效率、低代价的方向演变发展。
当前，随着人工智能所需要数据量的激增，越来越多的人工智能应用被部署到分布式云计算服务器上进行执行与应用。由于人工智能所需的数据规模远大于人工智能模型本身的规模，因此，将训练好的人工智能模型迁移至数据所在的服务器成为了一种高效的做法，并得以广泛使用。
由于人工智能的任务变得越来越复杂，在部分人工智能任务请求中可能涉及到多个训练好的人工智能模型。例如人脸识别，需要一个活体检测模型以及一个进行身份识别模型，再如自然语言处理的文本预处理，需要一个分词模型以及一个词形还原模型等。在分布式云服务器之间将两个经常同时调用的人工智能模型进行打包传输并提供服务的代价小于对两个模型单独进行传输并提供服务的代价之和。因此，如果能将打包传输经常共用的人工智能模型的服务模式应用在分布式云计算服务器上，就可以降低满足复杂人工智能模型请求的代价，从而使得人工智能任务变得更有效，成本更低。
Podlipnig等人在文献[Podlipnig,S.,L.,2003.A survey of webcache replacement strategies.ACM Computing Surveys(CSUR)35,374–398.]中探索了分布式缓存替换技术。Wijesundara等人在文献[Wijesundara,M.,Tay,T.,2003.An objectreplacement strategy for global performance in distributed web caching,in:Communication Technology Proceedings,pp.1687–1690.]中证明了缓存替换问题的NP难解性，并将其转换为背包问题进行求解。Nuggehalli等人在文献[Nuggehalli,P.,Srinivasan,V.,Chiasserini,C.F.,2003.Energy-efficient caching strategies in adhoc wireless networks,in:Proceedings of the 4th ACM international symposiumon Mobile ad hoc networking&computing,pp.25–34.]与Tang等人在[Tang,B.,Gupta,H.,Das,S.R.,2008.Benefit-based data caching in ad hoc networks.IEEEtransactions on Mobile Computing 7,289–304.]中证明了最优缓存放置问题的NP完全性，并提出了对应的近似算法进行求解。然而上述方案都是将优化存储空间、优化缓存命中率等作为优化目标，而没有将缓存和传输代价作为优化目标。此外，上述方案都没有应用到打包传输机制。
此后，Veeravalli等人在文献[Veeravalli,B.,2003.Network cachingstrategies for a shared data distribution for a predefined service demandsequence.IEEE Transactions on Knowledge and Data Engineering 15,1487–1497.]中探索了在全连接网络环境下的离线单个请求的缓存优化方法。Wang等人在文献[Wang,Y.,He,S.,Fan,X.,Xu,C.,Culberson,J.,Horton,J.,2017.Data caching in nextgeneration mobile cloud services,online vs.off-line,in:Parallel Processing(ICPP),2017 46th International Conference on,pp.412–421.]中提出将数据缓存问题延展至云服务器环境，并提出了对应的最优离线算法。Huang等人在文献[Huang,D.,Fan,X.,Wang,Y.,He,S.,Xu,C.,2019.Dp_greedy:A two-phase caching algorithm formobile cloud services,in:2019 IEEE International Conference on ClusterComputing(CLUSTER),IEEE.pp.1–10.]利用了动态规划与贪心策略对多数据请求进行了离线优化，并在满足请求时根据请求的特征采用了打包传输的机制。然而上述方法都只能在离线状态下工作，且这些算法仅仅探索了包含一个模型的人工智能请求的缓存与传输问题，对于单个模型请求的缓存与传输方法具有较大的局限性。
发明内容
本申请提供了一种人工智能模型传输方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种人工智能模型传输方法，包括：
接收人工智能模型请求，并判断当前人工智能模型请求是否属于多模型请求，所述多模型请求为所请求的目标模型至少为两个的人工智能模型请求；如果属于多模型请求，
利用Jaccard相似性算法和频繁模式树算法判断所述至少两个目标模型是否具有打包价值，如果具有打包价值，
采用打包传输机制将所述至少两个目标模型打包传输至模型请求方。
本申请实施例采取的技术方案还包括：所述判断当前人工智能模型请求是否属于多模型请求还包括：
如果属于多模型请求，将所述当前人工智能模型请求添加到历史请求记录中；所述历史请求记录用于存储所有属于多模型请求的历史人工智能模型请求事件。
本申请实施例采取的技术方案还包括：所述利用Jaccard相似性算法和频繁模式树算法判断所述至少两个目标模型是否具有打包价值具体为：
分别调用Jaccard相似性算法和频繁模式树算法对当前人工智能模型请求进行分析，并基于所述历史请求记录判断所述至少两个目标模型的Jaccard相似度是否大于Jaccard相似性算法的频繁性阈值，以及所述至少两个目标模型的FP频繁度是否大于FP-Tree算法的频繁性阈值；
如果所述至少两个目标模型的Jaccard相似度大于Jaccard相似性算法的频繁性阈值，且FP频繁度大于FP-Tree算法的频繁性阈值，则认为所述至少两个目标模型具有打包价值。
本申请实施例采取的技术方案还包括：所述获取所述至少两个目标模型，并采用打包传输机制将所述至少两个目标模型打包传输至模型请求方包括：
判断所述至少两个目标模型在分布式云存储器本地是否存在可用的模型缓存副本，如果分布式云存储器本地存在所有目标模型的模型缓存副本，则利用所述分布式云存储器本地的模型缓存副本响应当前人工智能模型请求，并延长所述模型缓存副本的过期时间；
如果所述分布式云存储器本地有至少一个目标模型不存在模型缓存副本，针对不存在模型缓存副本的目标模型，在拥有该目标模型的任一分布式云服务器上将所述目标模型单独传输至模型请求方；
如果所述分布式云存储器本地不存在任意一个目标模型的模型缓存副本，判断是否存在同时拥有所有目标模型的另一个云服务器，如果存在，则通过所述另一个云服务器将所有目标模型打包传输至模型请求方；如果不存在，从拥有每个目标模型的任一分布式云服务器上将每个目标模型单独传输至模型请求方。
本申请实施例采取的技术方案还包括：所述采用打包传输机制将所述至少两个目标模型打包传输至模型请求方之后还包括：
对于每一个新复制并传输的人工智能模型，更新所述模型的全局缓存计数器，并在所述分布式云计算服务器本地延长所述模型的缓存副本过期时间；所述全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个人工智能模型在所述分布式云计算服务器上存在的缓存副本的数量。
本申请实施例采取的技术方案还包括：所述采用打包传输机制将所述至少两个目标模型打包传输至模型请求方之后还包括：
判断所述分布式云存储器本地是否存在过期的模型缓存副本，并对过期的模型缓存副本进行删除，更新所述模型的全局缓存计数器，并将所述模型的副本过期信息设置为0。
本申请实施例采取的技术方案还包括：所述判断模型缓存副本是否过期的方式具体为：假设将一个人工智能模型的传输代价记为λ，将一个人工智能模型的存储代价记为μ，将人工智能模型的过期时间设定为当前时间加上Δt，Δt＝λ/μ；
如果模型缓存副本在本地的缓存时间大于Δt，表示该模型的存储代价大于传输代价，则判定该模型的本地缓存副本过期。
本申请实施例采取的另一技术方案为：一种人工智能模型传输系统，包括：
请求分析模块：用于判断当前人工智能模型请求是否属于多模型请求，所述多模型请求为所请求的目标模型至少为两个的人工智能模型请求；
打包价值计算模块：用于在所述当前人工智能模型请求属于多模型请求时，利用Jaccard相似性算法和频繁模式树算法判断所述至少两个目标模型是否具有打包价值；
打包传输模块：用于在所述至少两个目标模型具有打包价值时，采用打包传输机制将所述至少两个目标模型打包传输至模型请求方。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述人工智能模型传输方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制人工智能模型传输。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述人工智能模型传输方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的人工智能模型传输方法、系统、终端以及存储介质以满足人工智能模型请求所产生的代价为优化目标，对于经常被共同请求的人工智能模型进行打包式传输并服务，所产生的代价小于对两个模型进行分别传输并服务的代价，可以有效降低满足人工智能模型请求所产生的缓存与传输代价，从而增加人工智能应用的效能。本申请属于在线算法，可以在线处理动态到来的人工智能模型请求，无需对模型请求信息进行额外假设，具有一般性和普遍性，适用性也更强。本申请考虑到了当前人工智能应用的复杂性，将请求从单模型请求扩展至多模型请求，充分利用人工智能模型打包机制，有效减少代价。
附图说明
图1是本申请实施例的人工智能模型传输方法的流程图；
图2为本申请实施例的人工智能模型打包传输过程示意图；
图3为本申请实施例的模型缓存副本维护算法流程图；
图4为本申请实施例的人工智能模型传输系统结构示意图；
图5为本申请实施例的终端结构示意图；
图6为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的人工智能模型传输方法的流程图。本申请实施例的人工智能模型传输方法包括以下步骤：
S10：接收人工智能模型请求，并对当前人工智能模型请求进行在线分析，获取当前人工智能模型请求的目标模型；
S20：判断当前人工智能模型请求属于单模型请求还是双模型请求，如果是多模型请求，执行S30：如果是单模型请求，执行S60；
本步骤中，单模型请求是指所请求的目标模型仅包括一个，多模型请求是指所请求的目标模型包括至少两个。
S30：将当前人工智能模型请求添加到历史请求记录中，删除历史请求记录中较为久远的历史人工智能模型请求事件；
本步骤中，历史请求记录用于存储所有属于多模型请求的历史人工智能模型请求事件。由于单模型请求不会涉及到打包机制，因此，只需要将多模型请求的人工智能模型请求添加至历史请求记录中。由于对于人工智能模型的请求特征会随时间而改变，而过于久远的历史记录对于打包策略的指导意义会随时间的进行变得越来越弱，尤其是在模型请求模式随时间进行而有所改变的情况下。因此，需要对过于久远的历史记录进行删除。
S40：利用双算法动态判断当前人工智能模型请求所请求的至少两个目标模型是否具有打包价值，如果具有打包价值，执行S50；否则，执行S60；
本步骤中，利用双算法动态判断当前人工智能模型请求所请求的至少两个目标是否具有打包价值具体为：分别调用Jaccard Similarity(Jaccard相似性)算法和FP-Tree(频繁模式树)算法对当前人工智能模型请求进行分析，并基于历史请求记录判断至少两个目标模型的Jaccard相似度是否大于Jaccard Similarity算法的频繁性阈值，以及至少两个目标模型的FP频繁度是否大于FP-Tree算法的频繁性阈值；如果至少两个目标模型的Jaccard相似度大于Jaccard相似性算法的频繁性阈值，且FP频繁度大于FP-Tree算法的频繁性阈值，则认为至少两个目标模型具有打包价值；反之，则认为至少两个目标模型不具有打包价值。
基于上述，本申请实施例采用Jaccard Similarity算法和FP-Tree算法的相结合的方式判断多个目标模型的打包价值，并仅对具有打包价值的多个目标模型进行打包传输，避免了不必要的打包传输造成的代价浪费。
S50：获取当前人工智能模型请求所请求的至少两个目标模型，采用打包传输机制将至少两个目标模型打包传输至模型请求方，并执行S70；
本步骤中，如图2所示，为本申请实施例的人工智能模型打包传输过程示意图，其具体包括以下步骤：
S51：判断至少两个目标模型在分布式云存储器本地是否存在可用的模型缓存副本，如果分布式云存储器本地存在所有目标模型的模型缓存副本，则执行S52；如果分布式云存储器本地有至少一个目标模型不存在模型缓存副本，执行S53；如果分布式云存储器本地不存在任意一个目标模型的模型缓存副本，执行S54；
S52：利用分布式云存储器本地的模型缓存副本响应当前人工智能模型请求，并延长该模型缓存副本的过期时间；
S53：针对不存在模型缓存副本的目标模型，在拥有该目标模型的任一分布式云服务器上将该目标模型单独传输至模型请求方；
S54：判断是否存在同时拥有所有目标模型的另一个云服务器，如果存在，执行S55；否则，针对每一个目标模型分别执行一次S53；
S55：通过另一个云服务器将所有目标模型打包传输至模型请求方。
基于上述，由于将频繁被同时调用的多个人工智能模型进行打包传输并提供服务，相比于单个模型传输并提供服务而言可以有效降低传输代价，因此本申请实施例引入节约系数α，其定义为：
如果有两个人工智能模型经常被同时请求，则发出请求的应用往往拥有对这两个模型所打的包进行解压的对应机制，因此解压代价不会计入传输代价中，将频繁被同时请求的多个人工智能模型进行打包传输可以将传输代价变为单个模型传输的α倍。反之，如果对两个不经常被同时请求的人工智能模型进行打包传输，后续对这两个模型的请求往往会以单独请求的形式出现，而每次单独请求时，都需要对两个模型所打的包进行解压缩，反而会产生更多的代价。
S60：从拥有目标模型的任一分布式云服务器上将目标模型单独传输至模型请求方；
本步骤中，如图2所示，模型单独传输过程与模型打包传输过程类似，具体为：如果分布式云存储器本地存在所有目标模型的模型缓存副本，利用分布式云存储器本地的模型缓存副本响应当前人工智能模型请求，并延长该模型缓存副本的过期时间；如果分布式云存储器本地有至少一个目标模型不存在模型缓存副本，针对不存在模型缓存副本的目标模型，在拥有该目标模型的任一分布式云服务器上将该目标模型传输至模型请求方；如果分布式云存储器本地不存在所有目标模型的模型缓存副本，则针对每个目标模型，从拥有该目标模型的任一分布式云服务器上进行单独传输，无需使用打包传输机制。
S70：对于每一个新复制并传输的人工智能模型，更新该模型的全局缓存计数器，并在分布式云存储器本地延长该模型的缓存副本过期时间；
本步骤中，本发明在每一个分布式云计算服务器本地对每一个人工智能模型的副本过期信息进行记录，副本过期信息用于记录每个模型的缓存副本过期时间。如果模型的副本过期信息为0，表示在分布式云存储器本地不存在该模型的缓存副本。同时，本发明通过为每一个人工智能模型维护一个全局记录，即全局缓存计数器，全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个模型在分布式云存储器本地拥有的缓存副本数量。
S80：判断分布式云存储器本地是否存在过期的模型缓存副本，并对过期的模型缓存副本进行删除或维护；
本步骤中，模型缓存副本是否过期的判定方式具体为：假设将一个人工智能模型的传输代价记为λ，将一个人工智能模型的存储代价记为μ，将人工智能模型的过期时间设定为当前时间加上Δt，Δt＝λ/μ，即传输代价与存储代价之比。Δt的具体含义为：当模型缓存副本在本地的缓存时间小于Δt时，表示该模型的存储代价小于将本地模型缓存副本删除之后进行传输的代价，即存储代价小于传输代价，则判定该模型的本地缓存副本没有过期。当模型缓存副本在本地的缓存时间等于Δt时，表示该模型的存储代价等于将本地模型缓存副本删除之后进行传输的代价，即存储代价等于传输代价，判定该模型的本地缓存副本没有过期。而当模型缓存副本在本地的缓存时间大于Δt时，表示该模型的存储代价大于将本地模型缓存副本删除之后进行传输的代价，即存储代价大于传输代价，则判定该模型的本地缓存副本过期。
进一步地，如图3所示，为本申请实施例的模型缓存副本维护算法流程图，其具体包括以下步骤：
S81：判断过期模型缓存副本是否为全局唯一缓存副本，如果是，执行S82；否则，执行83；
S82：延长该过期模型缓存副本的过期时间，延长时间为Δt；
其中，如果过期模型缓存副本为全局唯一缓存副本，则自动延长该副本的过期时间，以防止模型丢失；否则，将删除该过期模型缓存副本，以优化代价。
S83：删除该过期模型缓存副本，避免存储多余信息；
S84：更新该模型的全局缓存计数器，并将该模型的副本过期信息设置为0。
S90：计算处理当前人工智能模型请求造成的代价；
本步骤中，在处理完每个请求事件之后，计算处理该事件造成的代价，其中，代价计算是对传输成本和存储成本的代数求和。在计算具有打包价值的人工智能模型组合的代价时，其传输代价需乘以节约系数α。
基于上述，本申请实施例的人工智能模型传输方法以满足人工智能模型请求所产生的代价为优化目标，对于经常被共同请求的人工智能模型进行打包式传输并服务，所产生的代价小于对每个模型进行单独传输并服务的代价，可以有效降低满足人工智能模型请求所产生的缓存与传输代价，从而增加人工智能应用的效能。本申请属于在线算法，可以在线处理动态到来的人工智能模型请求，无需对模型请求信息进行额外假设，具有一般性和普遍性，适用性也更强。本申请考虑到了当前人工智能应用的复杂性，将请求从单模型请求扩展至多模型请求，充分利用人工智能模型打包机制，有效减少代价。
请参阅图4，为本申请实施例的人工智能模型传输系统结构示意图。本申请实施例的人工智能模型传输系统40包括：
请求分析模块41：用于判断当前人工智能模型请求是否属于多模型请求，多模型请求为所请求的目标模型至少为两个的人工智能模型请求；
打包价值计算模块42：用于在当前人工智能模型请求属于多模型请求时，利用Jaccard相似性算法和频繁模式树算法判断至少两个目标模型是否具有打包价值；
打包传输模块43：用于在至少两个目标模型具有打包价值时，采用打包传输机制将至少两个目标模型打包传输至模型请求方。
请参阅图5，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述人工智能模型传输方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制人工智能模型传输。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图6，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种人工智能模型传输方法，其特征在于，包括：
接收人工智能模型请求，并判断当前人工智能模型请求是否属于多模型请求，所述多模型请求为所请求的目标模型至少为两个的人工智能模型请求；如果属于多模型请求，
利用Jaccard相似性算法和频繁模式树算法判断至少两个目标模型是否具有打包价值，如果具有打包价值，
采用打包传输机制将所述至少两个目标模型打包传输至模型请求方；
所述采用打包传输机制将所述至少两个目标模型打包传输至模型请求方包括：
判断所述至少两个目标模型在分布式云存储器本地是否存在可用的模型缓存副本，如果分布式云存储器本地存在所有目标模型的模型缓存副本，则利用所述分布式云存储器本地的模型缓存副本响应当前人工智能模型请求，并延长所述模型缓存副本的过期时间；
如果所述分布式云存储器本地有至少一个目标模型不存在模型缓存副本，针对不存在模型缓存副本的目标模型，在拥有该目标模型的任一分布式云服务器上将所述目标模型单独传输至模型请求方；
如果所述分布式云存储器本地不存在任意一个目标模型的模型缓存副本，判断是否存在同时拥有所有目标模型的另一个云服务器，如果存在，则通过所述另一个云服务器将所有目标模型打包传输至模型请求方；如果不存在，从拥有每个目标模型的任一分布式云服务器上将每个目标模型单独传输至模型请求方。
2.根据权利要求1所述的人工智能模型传输方法，其特征在于，所述判断当前人工智能模型请求是否属于多模型请求还包括：
如果属于多模型请求，将所述当前人工智能模型请求添加到历史请求记录中；所述历史请求记录用于存储所有属于多模型请求的历史人工智能模型请求事件。
3.根据权利要求2所述的人工智能模型传输方法，其特征在于，所述利用Jaccard相似性算法和频繁模式树算法判断所述至少两个目标模型是否具有打包价值具体为：
分别调用Jaccard相似性算法和频繁模式树算法对当前人工智能模型请求进行分析，并基于所述历史请求记录判断所述至少两个目标模型的Jaccard相似度是否大于Jaccard相似性算法的频繁性阈值，以及所述至少两个目标模型的FP频繁度是否大于FP-Tree算法的频繁性阈值；
如果所述至少两个目标模型的Jaccard相似度大于Jaccard相似性算法的频繁性阈值，且FP频繁度大于FP-Tree算法的频繁性阈值，则认为所述至少两个目标模型具有打包价值。
4.根据权利要求3所述的人工智能模型传输方法，其特征在于，所述采用打包传输机制将所述至少两个目标模型打包传输至模型请求方之后还包括：
对于每一个新复制并传输的人工智能模型，更新所述模型的全局缓存计数器，并在所述分布式云服务器本地延长所述模型的缓存副本过期时间；所述全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个人工智能模型在所述分布式云服务器上存在的缓存副本的数量。
5.根据权利要求4所述的人工智能模型传输方法，其特征在于，所述采用打包传输机制将所述至少两个目标模型打包传输至模型请求方之后还包括：
判断所述分布式云存储器本地是否存在过期的模型缓存副本，并对过期的模型缓存副本进行删除，更新所述模型的全局缓存计数器，并将所述模型的副本过期信息设置为0。
6.根据权利要求5所述的人工智能模型传输方法，其特征在于，判断所述分布式云存储器本地是否存在过期的模型缓存副本具体为：假设将一个人工智能模型的传输代价记为λ，将一个人工智能模型的存储代价记为μ，将人工智能模型的过期时间设定为当前时间加上Δt，Δt＝λ/μ；
如果模型缓存副本在本地的缓存时间大于Δt，表示该模型的存储代价大于传输代价，则判定该模型的本地缓存副本过期。
7.一种利用权利要求1所述人工智能模型传输方法的人工智能模型传输系统，其特征在于，包括：
请求分析模块：用于判断当前人工智能模型请求是否属于多模型请求，所述多模型请求为所请求的目标模型至少为两个的人工智能模型请求；
打包价值计算模块：用于在所述当前人工智能模型请求属于多模型请求时，利用Jaccard相似性算法和频繁模式树算法判断至少两个目标模型是否具有打包价值；
打包传输模块：用于在所述至少两个目标模型具有打包价值时，采用打包传输机制将所述至少两个目标模型打包传输至模型请求方。
8.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-6任一项所述的人工智能模型传输方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制人工智能模型传输。
9.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至6任一项所述人工智能模型传输方法。
CN202111439591.9A 2021-11-30 2021-11-30 一种人工智能模型传输方法、系统、终端以及存储介质 Active CN114546258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111439591.9A CN114546258B (zh) 2021-11-30 2021-11-30 一种人工智能模型传输方法、系统、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111439591.9A CN114546258B (zh) 2021-11-30 2021-11-30 一种人工智能模型传输方法、系统、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN114546258A CN114546258A (zh) 2022-05-27
CN114546258B true CN114546258B (zh) 2023-08-15

Family

ID=81669603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111439591.9A Active CN114546258B (zh) 2021-11-30 2021-11-30 一种人工智能模型传输方法、系统、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN114546258B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188080A (zh) * 2019-05-17 2019-08-30 北京航空航天大学 基于客户端高效缓存的远程文件数据访问性能优化方法
CN110232126A (zh) * 2019-06-14 2019-09-13 腾讯科技（深圳）有限公司 热点挖掘方法及服务器和计算机可读存储介质
CN111083722A (zh) * 2019-04-15 2020-04-28 中兴通讯股份有限公司 模型的推送、模型的请求方法及装置、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083722A (zh) * 2019-04-15 2020-04-28 中兴通讯股份有限公司 模型的推送、模型的请求方法及装置、存储介质
CN110188080A (zh) * 2019-05-17 2019-08-30 北京航空航天大学 基于客户端高效缓存的远程文件数据访问性能优化方法
CN110232126A (zh) * 2019-06-14 2019-09-13 腾讯科技（深圳）有限公司 热点挖掘方法及服务器和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cost-Driven Data Caching in Edge-Based Content Delivery Networks;Yang Wang 等;《IEEE TRANSACTIONS ON MOBILE COMPUTING》;第1384-1399页 *

Also Published As

Publication number Publication date
CN114546258A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111464611B (zh) 动态复杂场景下固定云和边缘节点之间高效服务访问的方法
EP2002343B1 (en) Multi-cache cooperation for response output caching
CN113315669B (zh) 基于云边协同的吞吐量优化的机器学习推断任务部署方法
TWI716822B (zh) 事務因果序的校正方法及裝置、電子設備
Yan et al. EASE: Energy‐efficient task scheduling for edge computing under uncertain runtime and unstable communication conditions
CN113672624A (zh) 一种数据处理方法、系统及存储介质
EP3555767B1 (en) Partial storage of large files in distinct storage systems
CN113761321A (zh) 数据访问控制、数据缓存控制方法及其装置、设备与介质
EP2208317B1 (en) Compressing null columns in rows of the tabular data stream protocol
CN114546258B (zh) 一种人工智能模型传输方法、系统、终端以及存储介质
CN114327837A (zh) 一种基于消息队列的分布式任务调度运行系统及方法
CN117407159A (zh) 内存空间的管理方法及装置、设备、存储介质
Kamali et al. Dynamic data allocation with replication in distributed systems
CN114064589B (zh) 人工智能模型请求响应机制优化方法、系统、终端及介质
US20230297436A1 (en) Key-based aggregation service
US20230297592A1 (en) Custom stream partitioning services
US10067678B1 (en) Probabilistic eviction of partial aggregation results from constrained results storage
US11728825B2 (en) Cluster-based data compression for AI training on the cloud for an edge network
CN115729924A (zh) 一种基于插件化异构数据源的数仓海量数据的传输方法
Bustos-Jimenez et al. Balancing active objects on a peer to peer infrastructure
CN114546607A (zh) 云计算缓存人工智能模型迁移方法、系统、终端以及介质
CN114116052A (zh) 一种边缘计算方法及装置
CN109508433B (zh) 基于匹配算法性能调整的负载波动应对方法和系统
Park et al. Qaad (query-as-a-data): Scalable execution of massive number of small queries in spark
CN113986121B (zh) 一种数据安全存储与同步更新的自适应阈值调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant