CN114064589A - 人工智能模型请求响应机制优化方法、系统、终端及介质 - Google Patents
人工智能模型请求响应机制优化方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN114064589A CN114064589A CN202111364613.XA CN202111364613A CN114064589A CN 114064589 A CN114064589 A CN 114064589A CN 202111364613 A CN202111364613 A CN 202111364613A CN 114064589 A CN114064589 A CN 114064589A
- Authority
- CN
- China
- Prior art keywords
- model
- artificial intelligence
- target
- request
- frequent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 173
- 230000007246 mechanism Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004044 response Effects 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 title claims description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 74
- 238000004806 packaging method and process Methods 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000012856 packing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000008531 maintenance mechanism Effects 0.000 claims description 10
- 230000002035 prolonged effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims 6
- 230000001427 coherent effect Effects 0.000 claims 3
- 238000001914 filtration Methods 0.000 claims 1
- 239000002699 waste material Substances 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及一种人工智能模型请求响应机制优化方法、系统、终端以及存储介质。所述方法包括：获取当前人工智能模型请求的目标模型；采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。本申请在传输模型请求所需要的目标模型的同时，连带传输所有能够与该目标模型构成频繁模型组的其他模型，以避免在下一次响应模型请求时由于单个模型传输不可打包而造成的传输代价浪费，有效的降低了响应人工智能模型请求的代价成本。
Description
技术领域
本申请属于人工智能技术领域，特别涉及一种人工智能模型请求响应机制优化方法、系统、终端以及存储介质。
背景技术
随着信息时代的高速发展，越来越多的人工智能应用场景应运而生。从智慧交通到智慧医疗，都离不开人工智能应用的支持。随着人工智能应用的迅猛增多，越来越多的人工智能应用被部署至计算能力更强，存储能力更好的分布式云服务器上运行。由于人工智能应用所用到的模型的大小往往小于数据本身。因此，当一个拥有所需数据的分布式云服务器接到一个人工智能任务时，将模型传输至数据所在之处可以优化对于任务请求的响应，同时减少通讯的成本与压力。随着人工智能应用变得日益复杂，一个人工智能任务可能需要多个模型才能完成。由于将经常使用的模型进行打包传输可有效的降低传输代价，因此，将经常被同时请求的人工智能模型打包传输至接收到模型请求的云服务器成为了一种有效降低开销的手段。由于人工智能任务的复杂性，一个人工智能模型可能与多个其他人工智能模型频繁被两两同时使用。因此，如果能在传输一个人工智能模型的时候连带打包传输经常与之同时使用的其他人工智能模型，就可以更加充分的挖掘打包传输所带来的优势，避免因未使用连带式打包传输而造成的后续单独模型传输，从而优化传输的成本代价。而如何进行恰当的模型缓存与传输对于人工智能模型请求的响应时间和成本都具有较大影响。
现有的模型缓存技术包括：
Podlipnig等人在文献[Podlipnig,S.,
L.,2003.A survey of webcache replacement strategies.ACM Computing Surveys(CSUR)35,374–398.]中探索了分布式缓存替换技术。Wijesundara等人在文献[Wijesundara,M.,Tay,T.,2003.An objectreplacement strategy for global performance in distributed web caching,in:Communication Technology Proceedings,pp.1687–1690.]中证明了缓存替换问题的NP难解性，并将其转换为背包问题进行求解。Nuggehalli等人在文献[Nuggehalli,P.,Srinivasan,V.,Chiasserini,C.F.,2003.Energy-efficient caching strategies in adhoc wireless networks,in:Proceedings of the 4th ACM international symposiumon Mobile ad hoc networking&computing,pp.25–34.]与Tang等人在[Tang,B.,Gupta,H.,Das,S.R.,2008.Benefit-based data caching in ad hoc networks.IEEEtransactions on Mobile Computing 7,289–304.]中证明了最优缓存放置问题的NP完全性，并提出了对应的近似算法进行求解。然而上述方案都是将优化存储空间、优化缓存命中率等作为优化目标，而没有将缓存和传输代价作为优化目标。此外，上述方案都没有应用到连带式的打包传输机制。
此后，Veeravalli等人在文献[Veeravalli,B.,2003.Network cachingstrategies for a shared data distribution for a predefined service demandsequence.IEEE Transactions on Knowledge and Data Engineering 15,1487–1497.]中探索了在全连接网络环境下的离线单个请求的缓存优化方法。Wang等人在文献[Wang,Y.,He,S.,Fan,X.,Xu,C.,Culberson,J.,Horton,J.,2017.Data caching in nextgeneration mobile cloud services,online vs.off-line,in:Parallel Processing(ICPP),2017 46th International Conference on,pp.412–421.]中提出将数据缓存问题延展至云服务器环境，并提出了对应的最优离线算法。然而上述方法都只能在离线状态下工作，且这些算法仅仅探索了包含一个模型的人工智能请求的缓存与传输问题，对于单个模型请求的缓存与传输方法具有较大的局限性。
发明内容
本申请提供了一种人工智能模型请求响应机制优化方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种人工智能模型请求响应机制优化方法，包括：
获取当前人工智能模型请求的目标模型；
采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。
本申请实施例采取的技术方案还包括：所述采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型包括：
将当前人工智能模型请求加入历史请求记录中；所述历史请求记录用于存储所有历史人工智能模型请求事件；
从所述历史请求记录中筛选出所有的多模型请求事件，其中，所述多模型请求事件是指所请求的目标模型至少为两个的人工智能模型请求；
构建频繁模式树，通过所述频繁模式树对筛选的多模型请求事件进行分析，并筛选出与所述目标模型同时使用次数大于频繁程度阈值的所有其他人工智能模型，将所述目标模型分别与至少一个其他人工智能模型进行组合，生成至少一个频繁模型组；
返回所述目标模型的频繁模型组信息。
本申请实施例采取的技术方案还包括：所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方具体为：
判断所述频繁模型组信息对应的人工智能模型在云服务器本地是否存在可用的模型缓存副本，如果存在，利用所述本地的模型缓存副本响应当前人工智能模型请求；如果不存在，
判断当前人工智能模型请求属于单模型请求还是多模型请求，如果是单模型请求，执行以下单模型请求处理过程：在拥有所述目标模型的任一分布式云服务器上计算所述目标模型的F集合，并复制所述目标模型以及F集合中的模型后，利用连带打包传输机制将所述目标模型以及F集合中的模型一起打包传输至模型请求方；其中，所述单模型请求是指所请求的目标模型仅包括一个，所述多模型请求是指所请求的目标模型包括至少两个；所述F集合是指在拥有目标模型的云服务器上存在的能与该目标模型构成频繁模型组且在当前云服务器本地没有缓存副本的人工智能模型的集合；如果是多模型请求，
判断当前人工智能模型请求的至少两个目标模型中是否至少有一个目标模型不存在本地缓存副本，如果是，对所述不存在本地缓存副本的目标模型执行单模型请求处理过程；否则，判断当前人工智能模型请求的至少两个目标模型是否能够构成频繁模型组，如果不能，针对每一个目标模型分别执行一次单模型请求处理过程；如果可以，
判断是否存在同时拥有所述至少两个目标模型的另一个云服务器，如果不存在，针对每一个目标模型分别执行一次单模型请求处理过程；如果存在，
从所述同时拥有至少两个目标模型的另一个云服务器中获取至少两个目标模型以及对应的两个F集合，并获取两个F集合的并集，将所述两个目标模型以及F集合的并集中的全部模型进行复制并连带打包传输至模型请求方。
本申请实施例采取的技术方案还包括：所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
对于每一个新复制并传输的人工智能模型，在当前云服务器中更新所述模型的全局缓存计数器；所述全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个人工智能模型在当前云服务器上存在的缓存副本的数量。
本申请实施例采取的技术方案还包括：所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
根据人工智能模型的过期时间判断当前云服务器中是否存在过期模型缓存副本，如果存在过期模型缓存副本，采用连带维护机制对当前云服务器中的过期模型缓存副本进行删除；
所述过期时间为当前时间加上Δt，Δt＝λ/μ，λ表示传输一个人工智能模型的代价，μ表示存储一个人工智能模型的代价；
当所述人工智能模型的缓存副本在本地的缓存时间大于Δt时，表示模型缓存代价大于模型传输代价，则判定所述人工智能模型的本地缓存副本过期。
本申请实施例采取的技术方案还包括：所述采用连带维护机制对当前云服务器中的过期模型缓存副本进行删除具体为：
判断本地是否存在能够与所述过期模型缓存副本构成频繁模型组的其他模型缓存副本，如果不存在，判断所述过期模型缓存副本是否为全局唯一缓存副本，如果是，延长该过期模型缓存副本的过期时间，延长时间为Δt；如果不是，删除所述过期模型缓存副本；如果存在，
判断所述其他模型缓存副本中是否存在与当前过期模型缓存副本同时过期的模型缓存副本，如果不存在，将所述当前过期模型缓存副本的过期时间延长至能与其构成频繁模型组的其他模型中最接近过期时间的模型的过期时间；如果存在，
判断所述过期模型缓存副本以及与之同时过期的其他模型缓存副本是否都为全局唯一副本，如果是，延长所述过期模型缓存副本以及与之同时过期的其他模型缓存副本的过期时间，延长时长为Δt；否则，
删除所述过期模型缓存副本以及与之同时过期的其他模型缓存副本。
本申请实施例采取的技术方案还包括：所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
更新所述被删除模型的全局缓存计数器，并将所述被删除模型在当前云服务器上的本地过期信息更新为0。
本申请实施例采取的另一技术方案为：一种人工智能模型请求响应机制优化系统，包括：
目标模型获取模块：用于获取当前人工智能模型请求的目标模型；
频繁模型筛选模块：用于采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
连带打包传输模块：用于采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述人工智能模型请求响应机制优化方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制人工智能模型请求响应机制优化。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述人工智能模型请求响应机制优化方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的人工智能模型请求响应机制优化方法、系统、终端以及存储介质采用连带式打包传输机制，在传输模型请求所需要的目标模型的同时，连带传输所有能够与该目标模型构成频繁模型组的其他模型，以避免在下一次响应模型请求时由于单个模型传输不可打包而造成的传输代价浪费，有效的降低了响应人工智能模型请求的代价成本。本申请实施例的连带打包传输机制适用于所有在线到来的人工智能模型请求，不需要对模型请求做任何预先假设，具有较高的普遍性和实用性。同时，本发明采取连带式缓存副本维护机制对本地的过期模型缓存副本进行连带式删除维护，避免了由于非连带式维护机制所造成的额外传输的发生，从而进一步优化了传输代价。
附图说明
图1是本申请实施例的人工智能模型请求响应机制优化方法的流程图；
图2为本申请实施例的频繁模型组生成过程示意图；
图3为本申请实施例的人工智能模型连带打包传输过程示意图；
图4为本申请实施例的过期模型缓存副本维护过程示意图；
图5为本申请实施例的人工智能模型请求响应机制优化系统结构示意图；
图6为本申请实施例的终端结构示意图；
图7为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术的不足，本申请实施例的人工智能模型请求响应机制优化方法以响应人工智能模型请求的传输通讯代价为优化目标，以打包传输降低传输代价为原则，采用连带式打包传输机制，在首次响应一个人工智能模型请求时，将所请求的模型以及所有能够与该模型组成频繁智能模型组的其他模型一起进行打包传输，从而更好地挖掘连带式打包传输所带来的通讯代价优化优势，避免因使用非连带式传输而造成的单个模型传输的代价浪费，以此更好的对分布式云服务器所接收到的人工智能模型请求进行响应。
具体地，请参阅图1，是本申请实施例的人工智能模型请求响应机制优化方法的流程图。本申请实施例的人工智能模型请求响应机制优化方法包括以下步骤：
S10：接收人工智能模型请求；
S20：对当前人工智能模型请求进行在线分析，获取当前人工智能模型请求的目标模型，并获取所有与目标模型频繁一同使用的至少一个其他人工智能模型，通过目标模型与至少一个其他人工智能模型生成至少一个频繁模型组；
本步骤中，人工智能模型包括图像识别神经网络、图像去噪神经网络以及文本分词模型等多种类型的神经网络，不同类型的神经网络应用于不同的识别任务。对于每一个人工智能模型请求，可以根据任务类型请求一个模型或同时请求至少两个模型，例如对于一个图片分类任务，只需要请求一个预训练好的图像识别神经网络；而对于一个物体识别任务，需要同时请求一个用于增强图片清晰度的图像去噪神经网络，以及一个用于物体识别分类的图像识别神经网络。因此，对于每一个人工智能模型而言，都可以与多个经常被同时使用的其他人工智能模型构成频繁模型组以执行不同的任务，频繁模型组即为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合。例如图像识别神经网络与图像去噪神经网络可以构成一个频繁模型组用以执行图像分类任务，而图像识别神经网络与活体检测网络可以构成一个频繁模型组用以执行人脸识别任务。而很少被同一个任务同时使用的图像识别神经网络与文本分词模型则不会构成频繁模型组，这是因为如果两个模型并不经常被同时请求，则意味对这两个模型的请求往往会以单独模型请求的形式出现，而在每次单独请求时，都需要对两个模型组成的频繁模型组进行解压缩，从而产生更多的代价，不利于代价优化。
具体的，如图2所示，为本申请实施例的频繁模型组生成过程示意图，其具体包括以下步骤：
S21：将当前人工智能模型请求加入历史请求记录中，并删除历史请求记录中较为久远的历史人工智能模型请求事件；其中，历史请求记录用于存储所有历史人工智能模型请求事件；
S22：从历史请求记录中筛选出所有的多模型请求事件，其中，多模型请求事件是指所请求的目标模型至少为两个的人工智能模型请求；
S23：构建FP-Tree(频繁模式树)，通过FP-Tree对筛选的多模型请求事件进行分析，并根据频繁程度阈值筛选所有与目标模型频繁一同使用的其他人工智能模型，将目标模型分别与至少一个其他人工智能模型进行组合，生成目标模型的频繁模型组信息；
其中，如果在加入到当前人工智能模型请求并删除历史人工智能模型请求事件之后，历史请求记录中的多模型请求事件数量没有发生变动，则无需耗时重新构建FP-Tree。生成的频繁模型组信息中至少包括模型名称。
S24：返回频繁模型组信息。
S30：根据频繁模型组信息获取对应的人工智能模型，并采用连带打包传输机制将获取的所有人工智能模型打包传输至模型请求方；
本步骤中，通过将目标模型以及与目标模型频繁被一同使用的其他人工智能模型以连带打包的形式传输至模型请求方，相比于单独传输多个人工智能模型可以有效的降低传输代价。如图3所示，为本申请实施例的人工智能模型连带打包传输过程示意图，其具体包括以下步骤：
S31：接收频繁模型组信息，并判断频繁模型组信息对应的人工智能模型在云服务器本地是否存在可用的模型缓存副本，如果存在模型缓存副本，执行S32；否则，执行S33；
S32：利用本地的模型缓存副本响应当前人工智能模型请求，无需进行任何额外模型传输，并执行S39；
S33：判断当前人工智能模型请求属于单模型请求还是多模型请求，如果是单模型请求，执行S34；如果是多模型请求，执行S35；
其中，单模型请求是指所请求的目标模型仅包括一个，多模型请求是指所请求的目标模型包括至少两个。
S34：在拥有目标模型的任一分布式云服务器上计算目标模型的F集合，并复制目标模型以及F集合中的模型后，利用连带打包传输机制将目标模型以及F集合中的模型副本一起打包传输至模型请求方；
其中，F集合即在拥有目标模型的云服务器上存在的能与该目标模型构成频繁模型组且在当前云服务器本地没有缓存副本的人工智能模型的集合。基于连带打包传输机制将目标模型及其F集合中的其他模型进行复制并进行连带打包传输，以此充分发掘打包传输带来的传输代价优化优势。
S35：判断当前人工智能模型请求的目标模型中是否至少有一个目标模型不存在本地缓存副本，如果是，对该不存在本地缓存副本的目标模型执行S34；否则，执行36；
其中，假设多模型请求需要请求的目标模型包括两个，其中一个目标模型在本地存在缓存副本，而另一个不存在缓存副本，则只需要传输不存在缓存副本的模型，该模型的传输方式与单模型请求的模型传输方式相同，此处不再赘述。
S36：判断当前人工智能模型请求的至少两个目标模型是否能够构成频繁模型组，如果可以，执行S37；否则针对每一个目标模型分别执行一次S34；
其中，假设多模型请求需要请求两个目标模型且这两个目标模型不能构成频繁模型组，则分别获取每一个目标模型以及对比目标模型的F集合并进行连带打包传输，即针对每一个目标模型分别执行一次单模型请求的处理过程。
S37：判断是否存在同时拥有至少两个目标模型的另一个云服务器，如果存在，执行S38；否则，针对每一个目标模型分别执行一次S34；
其中，假设多模型请求需要请求两个目标模型，如果两个目标模型不存在于同一个云服务器上，则需要从两个云服务器上分别获取每一个目标模型以及对应目标模型的F集合并进行连带打包传输，即需要进行两次单模型请求的处理。
S38：从同时拥有至少两个目标模型的另一个云服务器中获取至少两个目标模型以及对应的两个F集合，并获取两个F集合的并集，将两个目标模型以及F集合的并集中的全部模型进行复制并连带打包传输至模型请求方。
S39：对于每一个新复制并传输的人工智能模型，在当前云服务器中更新该模型的全局缓存计数器；其中，全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个模型在分布式云服务器上共拥有几个缓存副本。
基于上述，假设当前云服务器接收到的人工智能模型请求为执行物体识别任务所发出的多模型请求，该多模型请求的目标模型包括图像分类网络与图片去噪网络。而在实际应用过程中，由于图像分类网络与图片去噪网络经常会被同时使用，因此，将图像分类网络与图片去噪网络组成频繁模型组并进行连带式打包传输，减小了进行两次单个模型传输的传输代价。而被连带打包传输的频繁模型组在其他模型请求中被调用的概率是很大的，造成的浪费较小。假设在此之后，假设云服务器接收到的人工智能模型请求为执行人脸识别任务所发出的多模型请求，该人工智能模型请求的目标模型包括图像分类网络与活体检测网络。此时由于在云服务器本地已经存在图像分类网络的缓存副本，因此该请求只需要对活体检测网络进行传输，连带打包机制也就无法使用，造成了通讯成本的增加。为避免此种通讯代价的增加，本发明在响应第一个模型请求时，连带传输所有能够与当前目标模型构成频繁模型组的其他人工智能模型，以避免后续由于单个模型传输而造成的代价浪费。由于连带传输的其他人工智能模型都是可以与请求模型构成频繁模型组的模型，因此，这种连带打包传输机制可以在传输过程中大大减小传输代价。
S40：根据人工智能模型的过期时间判断当前云服务器中是否存在过期模型缓存副本，并在存在过期模型缓存副本时发出模型缓存副本过期事件；
本步骤中，假设将传输一个人工智能模型的代价记为λ，将存储一个人工智能模型的代价记为μ，将人工智能模型的过期时间设定为当前时间加上Δt，Δt＝λ/μ。Δt的具体含义为：当模型缓存副本在本地的缓存时间小于Δt时，表示模型缓存在本地的代价小于将本地模型缓存副本删除之后进行传输的代价，即模型缓存代价小于模型传输代价，则判定该模型的本地缓存副本没有过期。当模型缓存在本地的时间等于Δt时，表示模型缓存在本地的代价等于将本地模型缓存副本删除之后进行传输的代价，判定该模型的本地缓存副本没有过期。而当模型缓存在本地的时间大于Δt时，表示模型缓存在本地的代价大于将本地模型缓存副本删除之后进行传输的代价。即模型缓存代价大于模型传输代价，则判定该模型的本地缓存副本过期。
S50：采用连带维护机制对当前云服务器中的过期模型缓存副本进行删除；
本步骤中，如图4所示，为本申请实施例的过期模型缓存副本维护过程示意图，其具体包括以下步骤：
S51：判断本地是否存在能够与过期模型缓存副本构成频繁模型组的其他模型缓存副本，如果不存在，执行S52；如果存在，执行S55；
S52：判断过期模型缓存副本是否为全局唯一缓存副本，如果是，执行S53；否则，执行S54；
S53：延长该过期模型缓存副本的过期时间，延长时间为Δt；
其中，如果过期模型缓存副本为全局唯一缓存副本，则自动延长该副本的过期时间，以防止模型丢失；否则，将删除该过期模型缓存副本，以优化代价。
S54：删除该过期模型缓存副本，并执行S59；
S55：判断其他模型缓存副本中是否存在与当前过期模型缓存副本同时过期的模型缓存副本，如果不存在，执行S56；如果存在，执行S57；
S56：将当前过期模型缓存副本的过期时间延长至能与其构成频繁模型组的其他模型中最接近过期时间的模型的过期时间；
S57：判断过期模型缓存副本以及与之同时过期的其他模型缓存副本是否都为全局唯一副本，如果是，执行S58；否则，执行S59；
S58：延长过期模型缓存副本以及与之同时过期的其他模型缓存副本的过期时间，延长时长为Δt；
S59：删除该过期模型缓存副本以及与之同时过期的其他模型缓存副本。
基于上述，本申请实施例以连带式维护机制对过期的人工智能模型进行统一维护，有效避免只删除一部分过期模型缓存副本造成的在响应后续模型请求时需要重新对个别模型进行单个传输而造成的传输代价的浪费。
S60：更新被删除模型的全局缓存计数器，并将被删除模型在当前云服务器上的本地过期信息更新为0，表示本地不存在该模型的缓存副本。
基于上述，本申请实施例的人工智能模型请求响应机制优化方法采用连带式打包传输机制，在传输模型请求所需要的目标模型的同时，连带传输所有能够与该目标模型构成频繁模型组的其他模型，以避免在下一次响应模型请求时由于单个模型传输不可打包而造成的传输代价浪费，有效的降低了响应人工智能模型请求的代价成本。本申请实施例的连带打包传输机制适用于所有在线到来的人工智能模型请求，不需要对模型请求做任何预先假设，具有较高的普遍性和实用性。同时，本发明采取连带式缓存副本维护机制对本地的过期模型缓存副本进行连带式删除维护，避免了由于非连带式维护机制所造成的额外传输的发生，从而进一步优化了传输代价。
请参阅图5，为本申请实施例的人工智能模型请求响应机制优化系统结构示意图。本申请实施例的人工智能模型请求响应机制优化系统40包括：
目标模型获取模块41：用于获取当前人工智能模型请求的目标模型；
频繁模型筛选模块42：用于采用频繁模式树筛选出能够与目标模型构成频繁模型组的至少一个其他人工智能模型；频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
连带打包传输模块43：用于采用连带打包传输机制将目标模型以及至少一个其他人工智能模型打包传输至模型请求方。
请参阅图6，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述人工智能模型请求响应机制优化方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制人工智能模型请求响应机制优化。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图7，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种人工智能模型请求响应机制优化方法，其特征在于，包括：
获取当前人工智能模型请求的目标模型；
采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。
2.根据权利要求1所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型包括：
将当前人工智能模型请求加入历史请求记录中；所述历史请求记录用于存储所有历史人工智能模型请求事件；
从所述历史请求记录中筛选出所有的多模型请求事件，其中，所述多模型请求事件是指所请求的目标模型至少为两个的人工智能模型请求；
构建频繁模式树，通过所述频繁模式树对筛选的多模型请求事件进行分析，并筛选出与所述目标模型同时使用次数大于频繁程度阈值的所有其他人工智能模型，将所述目标模型分别与至少一个其他人工智能模型进行组合，生成至少一个频繁模型组；
返回所述目标模型的频繁模型组信息。
3.根据权利要求2所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方具体为：
判断所述频繁模型组信息对应的人工智能模型在云服务器本地是否存在可用的模型缓存副本，如果存在，利用所述本地的模型缓存副本响应当前人工智能模型请求；如果不存在，
判断当前人工智能模型请求属于单模型请求还是多模型请求，如果是单模型请求，执行以下单模型请求处理过程：在拥有所述目标模型的任一分布式云服务器上计算所述目标模型的F集合，并复制所述目标模型以及F集合中的模型后，利用连带打包传输机制将所述目标模型以及F集合中的模型一起打包传输至模型请求方；其中，所述单模型请求是指所请求的目标模型仅包括一个，所述多模型请求是指所请求的目标模型包括至少两个；所述F集合是指在拥有目标模型的云服务器上存在的能与该目标模型构成频繁模型组且在当前云服务器本地没有缓存副本的人工智能模型的集合；如果是多模型请求，
判断当前人工智能模型请求的至少两个目标模型中是否至少有一个目标模型不存在本地缓存副本，如果是，对所述不存在本地缓存副本的目标模型执行单模型请求处理过程；否则，判断当前人工智能模型请求的至少两个目标模型是否能够构成频繁模型组，如果不能，针对每一个目标模型分别执行一次单模型请求处理过程；如果可以，
判断是否存在同时拥有所述至少两个目标模型的另一个云服务器，如果不存在，针对每一个目标模型分别执行一次单模型请求处理过程；如果存在，
从所述同时拥有至少两个目标模型的另一个云服务器中获取至少两个目标模型以及对应的两个F集合，并获取两个F集合的并集，将所述两个目标模型以及F集合的并集中的全部模型进行复制并连带打包传输至模型请求方。
4.根据权利要求3所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
对于每一个新复制并传输的人工智能模型，在当前云服务器中更新所述模型的全局缓存计数器；所述全局缓存计数器是为每一个人工智能模型维护的一个副本数量计数器，用于记录每个人工智能模型在当前云服务器上存在的缓存副本的数量。
5.根据权利要求1至4任一项所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
根据人工智能模型的过期时间判断当前云服务器中是否存在过期模型缓存副本，如果存在过期模型缓存副本，采用连带维护机制对当前云服务器中的过期模型缓存副本进行删除；
所述过期时间为当前时间加上Δt，Δt＝λ/μ，λ表示传输一个人工智能模型的代价，μ表示存储一个人工智能模型的代价；
当所述人工智能模型的缓存副本在本地的缓存时间大于Δt时，表示模型缓存代价大于模型传输代价，则判定所述人工智能模型的本地缓存副本过期。
6.根据权利要求5所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用连带维护机制对当前云服务器中的过期模型缓存副本进行删除具体为：
判断本地是否存在能够与所述过期模型缓存副本构成频繁模型组的其他模型缓存副本，如果不存在，判断所述过期模型缓存副本是否为全局唯一缓存副本，如果是，延长该过期模型缓存副本的过期时间，延长时间为Δt；如果不是，删除所述过期模型缓存副本；如果存在，
判断所述其他模型缓存副本中是否存在与当前过期模型缓存副本同时过期的模型缓存副本，如果不存在，将所述当前过期模型缓存副本的过期时间延长至能与其构成频繁模型组的其他模型中最接近过期时间的模型的过期时间；如果存在，
判断所述过期模型缓存副本以及与之同时过期的其他模型缓存副本是否都为全局唯一副本，如果是，延长所述过期模型缓存副本以及与之同时过期的其他模型缓存副本的过期时间，延长时长为Δt；否则，
删除所述过期模型缓存副本以及与之同时过期的其他模型缓存副本。
7.根据权利要求6所述的人工智能模型请求响应机制优化方法，其特征在于，所述采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方之后还包括：
更新所述被删除模型的全局缓存计数器，并将所述被删除模型在当前云服务器上的本地过期信息更新为0。
8.一种人工智能模型请求响应机制优化系统，其特征在于，包括：
目标模型获取模块：用于获取当前人工智能模型请求的目标模型；
频繁模型筛选模块：用于采用频繁模式树筛选出能够与所述目标模型构成频繁模型组的至少一个其他人工智能模型；所述频繁模型组为同时使用次数大于设定频繁程度阈值的至少两个人工智能模型的组合；
连带打包传输模块：用于采用连带打包传输机制将所述目标模型以及所述至少一个其他人工智能模型打包传输至模型请求方。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的人工智能模型请求响应机制优化方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制人工智能模型请求响应机制优化。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述人工智能模型请求响应机制优化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364613.XA CN114064589B (zh) | 2021-11-17 | 2021-11-17 | 人工智能模型请求响应机制优化方法、系统、终端及介质 |
| PCT/CN2021/138017 WO2023087452A1 (zh) | 2021-11-17 | 2021-12-14 | 人工智能模型请求响应机制优化方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364613.XA CN114064589B (zh) | 2021-11-17 | 2021-11-17 | 人工智能模型请求响应机制优化方法、系统、终端及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114064589A true CN114064589A (zh) | 2022-02-18 |
| CN114064589B CN114064589B (zh) | 2024-06-18 |
Family
ID=80277578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364613.XA Active CN114064589B (zh) | 2021-11-17 | 2021-11-17 | 人工智能模型请求响应机制优化方法、系统、终端及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114064589B (zh) |
| WO (1) | WO2023087452A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109561152A (zh) * | 2018-12-13 | 2019-04-02 | 深圳先进技术研究院 | 数据访问请求响应方法、装置、终端和存储介质 |
| CN109753243A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市网心科技有限公司 | 副本部署方法、云服务器及存储介质 |
| CN110515944A (zh) * | 2019-08-16 | 2019-11-29 | 出门问问(苏州)信息科技有限公司 | 基于分布式数据库的数据存储方法、存储介质和电子设备 |
| CN111401388A (zh) * | 2018-12-13 | 2020-07-10 | 北京嘀嘀无限科技发展有限公司 | 数据挖掘方法、装置、服务器及可读存储介质 |
| CN113114756A (zh) * | 2021-04-08 | 2021-07-13 | 广西师范大学 | 一种移动边缘计算中自适应码率选择的视频缓存更新方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200046188A (ko) * | 2018-10-19 | 2020-05-07 | 삼성전자주식회사 | 인공 지능 모델을 재구성하기 위한 전자 장치 및 그의 제어 방법 |
| CN111934914B (zh) * | 2020-07-15 | 2022-01-18 | 北京思特奇信息技术股份有限公司 | 一种传输网络同路由分析的方法和系统 |
| CN112394950B (zh) * | 2021-01-19 | 2021-04-27 | 共达地创新技术(深圳)有限公司 | Ai模型部署方法、设备和存储介质 |
-
2021
- 2021-11-17 CN CN202111364613.XA patent/CN114064589B/zh active Active
- 2021-12-14 WO PCT/CN2021/138017 patent/WO2023087452A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109561152A (zh) * | 2018-12-13 | 2019-04-02 | 深圳先进技术研究院 | 数据访问请求响应方法、装置、终端和存储介质 |
| CN111401388A (zh) * | 2018-12-13 | 2020-07-10 | 北京嘀嘀无限科技发展有限公司 | 数据挖掘方法、装置、服务器及可读存储介质 |
| CN109753243A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市网心科技有限公司 | 副本部署方法、云服务器及存储介质 |
| WO2020133995A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳市网心科技有限公司 | 副本部署方法、云服务器及存储介质 |
| CN110515944A (zh) * | 2019-08-16 | 2019-11-29 | 出门问问(苏州)信息科技有限公司 | 基于分布式数据库的数据存储方法、存储介质和电子设备 |
| CN113114756A (zh) * | 2021-04-08 | 2021-07-13 | 广西师范大学 | 一种移动边缘计算中自适应码率选择的视频缓存更新方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023087452A1 (zh) | 2023-05-25 |
| CN114064589B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11228386B2 (en) | Blockchain node synchronization method and device using trust mechanism | |
| US11520770B2 (en) | System and method for providing high availability data | |
| US8176256B2 (en) | Cache regions | |
| US8108623B2 (en) | Poll based cache event notifications in a distributed cache | |
| JP4856541B2 (ja) | データベースの自動的および動的な提供 | |
| US20170257452A1 (en) | Systems and methods for data caching in a communications network | |
| CN110392094A (zh) | 一种获取业务数据的方法及融合cdn系统 | |
| CN111464611A (zh) | 动态复杂场景下固定云和边缘节点之间高效服务访问的方法 | |
| JP2009529183A (ja) | 応答出力キャッシュに対するマルチキャッシュ協調 | |
| US7162472B2 (en) | System and method for database change notification | |
| US20100241615A1 (en) | Mitigation of obsolescence for archival services | |
| US11922059B2 (en) | Method and device for distributed data storage | |
| CN113315669B (zh) | 基于云边协同的吞吐量优化的机器学习推断任务部署方法 | |
| US9083725B2 (en) | System and method providing hierarchical cache for big data applications | |
| CN105243001A (zh) | 业务对象的异常告警方法和装置 | |
| CN110515555A (zh) | 基于多路对象存储服务的高可靠性企业级存储系统及读写方法 | |
| US20210250417A1 (en) | Software Application Updating in a Local Network | |
| CN111770152B (zh) | 一种边缘数据管理方法、介质、边缘服务器和系统 | |
| Danish et al. | BlockAM: An adaptive middleware for intelligent data storage selection for Internet of Things | |
| CN114064589A (zh) | 人工智能模型请求响应机制优化方法、系统、终端及介质 | |
| Kamali et al. | Dynamic data allocation with replication in distributed systems | |
| Djellabi et al. | Effective peer-to-peer design for supporting range query in Internet of Things applications | |
| US20230297436A1 (en) | Key-based aggregation service | |
| US20230297592A1 (en) | Custom stream partitioning services | |
| WO2023061329A1 (zh) | 应用于计算机集群的通信方法及通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |