CN114826935B - 模型生成方法、系统、服务器及存储介质 - Google Patents
模型生成方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN114826935B CN114826935B CN202210259792.9A CN202210259792A CN114826935B CN 114826935 B CN114826935 B CN 114826935B CN 202210259792 A CN202210259792 A CN 202210259792A CN 114826935 B CN114826935 B CN 114826935B
- Authority
- CN
- China
- Prior art keywords
- access
- access data
- time
- data
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例涉及数据处理领域,公开一种模型生成方法、系统、服务器及存储介质。模型生成方法包括:获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间;对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系;根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系;根据存储量与访问时间的关系和命中率与访问时间的关系生成存储模型。在保证存储模型精度的前提下使存储模型的成本更优。
Description
技术领域
本申请实施例涉及数据处理领域,特别涉及一种模型生成方法、系统、服务器及存储介质。
背景技术
缓存服务器中的存储模型是内容分发网络(Content Delivery Network,简称CDN)中的一个重要功能实体,通过缓存用户访问过的内容,实现相同内容访问无需占用主干的出口带宽,同时可以缩短用户访问时延,提升用户体验。
然而,缓存服务器中的存储模型的存储规划,对缓存命中率起到至关重要的影响。存储越大,缓存命中率越高,回源带宽越低,但也意味着更高的设备成本投入,如何取舍成本最优是一个难题;而对于缓存服务器中的存储模型的存储规划方案没有明确的标准,可以根据运营人员的经验进行规划,也可以根据一些简单数学模型进行规划;但上述方法对于运营人员的专业要求较高且规划过程中存在较大不确定性,导致规划的存储模型的合理性也难以保障。
发明内容
本申请实施例的目的在于提供一种模型生成方法、系统、服务器及存储介质,使得将存储模型量化为存储量与访问时间的关系和命中率与访问时间的关系,根据存储量与访问时间的关系和命中率与访问时间的关系可以找到存储模型在存储成本和回源成本之间的平衡点,在保证存储模型精度的前提下使生成存储模型的成本更优。
为解决上述技术问题,本申请的实施例提供了一种模型生成方法,包括:获取目标业务的各第一访问数据和各第二访问数据;所述第一访问数据包含第一访问时间,所述第二访问数据包含第二访问时间;对各所述第二访问数据中的所述第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各所述第三访问数据进行汇聚获取存储量与访问时间的关系;根据各所述第一访问数据和各所述第三访问数据的匹配结果对各所述第一访问数据进行标记,根据各所述第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系;根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型。
本申请的实施例还提供了一种模型生成系统,包括:第一获取模块,用于获取目标业务的各第一访问数据和各第二访问数据;所述第一访问数据包含第一访问时间,所述第二访问数据包含第二访问时间;第二获取模块,用于对各所述第二访问数据中的所述第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各所述第三访问数据进行汇聚获取存储量与访问时间的关系;第三获取模块,用于根据各所述第一访问数据和各所述第三访问数据的匹配结果对各所述第一访问数据进行标记,根据各所述第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系;模型生成模块,用于根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型。
本申请的实施例还提供了一种服务器,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述模型生成方法。
本申请的实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述模型生成方法。
本申请实施例中,在模型生成的过程中,获取目标业务的各第一访问数据和各第二访问数据;所述第一访问数据包含第一访问时间,所述第二访问数据包含第二访问时间;对各所述第二访问数据中的所述第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各所述第三访问数据进行汇聚获取存储量与访问时间的关系;根据各所述第一访问数据和各所述第三访问数据的匹配结果对各所述第一访问数据进行标记,根据各所述第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系;根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型。将存储模型量化为存储量与访问时间的关系和命中率与访问时间的关系,根据存储量与访问时间的关系和命中率与访问时间的关系可以找到存储模型在存储成本和回源成本之间的平衡点,在保证存储模型精度的前提下使生成存储模型的成本更优。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是本申请实施例提供的模型生成方法方法的流程图;
图2是本申请实施例提供的存储模型的存储与成本关系示意图;
图3是本申请实施例提供的模型生成方法方法的流程图;
图4是本申请实施例提供的模型生成方法方法的流程图;
图5是本申请实施例提供的模型生成方法方法的流程图;
图6是本申请实施例提供的模型生成系统的结构示意图;
图7是本申请实施例提供的服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的实施例涉及一种方法,应用在任意一种能够进行数据处理的终端、电子设备、服务器或系统上,如图1所示,具体包括以下步骤。
步骤101,获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间。
在一示例实施中,目标业务是管理人员通过人机交互界输入的,输入的目标业务包括:目标业务的业务域名、起始时间和终止时间等,还有可能包含目标业务的业务量,如:业务域名为www.test.com,起始时间为2021.01.01.00:00:00,终止时间为2021.01.31.21:00:00,业务量为20M。
在一示例实施中,通过人机交互界面获取到管理人员指定的目标业务之后,可以从预设的业务数据库中根据目标业务的相关信息筛选出目标业务的各第一访问数据和各第二访问数据,各第一访问数据包含第一访问时间,各第二访问数据包含第二访问时间,各第一访问数据可以组成用户历史访问input列表,各第二访问数据可以组成用户历史访问access列表;其中,第一访问数据和第二访问数据的样式一致,样式如:(URL range访问频次访问时间)。
在一示例实施中,再获取到目标业务的各第一访问数据和各第二访问数据之后,可以采用统一资源定位器(Uniform Resource Locator,简称URL)一致性哈希算法对各第一访问数据和各第二访问数据进行数据抽样处理,如抽样5%,只选取选中的URL对应的数据,以此来大幅度降低计算难度且不降低业务热度。
步骤102,对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系。
在一示例实施中,对各第二访问数据中的第二访问时间进行更新具体为:将各第二访问数据中同一URL range对应的第二访问时间更新为指定的第二访问时间,更新第二访问时间后的各第二访问数据可以组成各第三访问数据,各第三访问数据获取到之后,根据更新后的第二访问时间对各第三访问数据进行汇聚,获取统一更新后的第二访问时间对应的各第三访问数据,根据统一更新后的第二访问时间对应的各第三访问数据在各第三访问数据中所占据的长度或数据量大小以及预设的平均数据量得到存储量与访问时间的关系。
步骤103,根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系。
在一示例实施中,将每一条第一访问数据都与各第三访问数据进行匹配,若在各第三访问数据中能够找到与该第一访问数据匹配的第三访问数据,则将该条第一访问数据标记为命中访问数据,否则标记为未命中访问数据。
在一示例实施中,在所有的第一访问数据完成标记后,针对每一个第一访问时间,根据各第一访问数据的标记从各第一访问数据中筛选出第一访问时间对应的命中访问数据和未命中访问数据,之后根据命中访问数据的数据个数和未命中访问数据的数据个数生成命中率与访问时间的关系。
步骤104,根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。
在一示例实施中,在获取到存储量与访问时间的关系和命中率与访问时间的关系之后,将访问时间作为中间变化量根据存储量与访问时间的关系和命中率与访问时间的关系到获取存储量与命中率的关系;之后根据存储量与命中率的关系生成存储模型。
在一示例实施中,高存储模型可应用于CDN网络中缓存服务器的存储规划;而存储越大,存储成本越大,存储越大,回源带宽成本越小;将存储模型可以对上述关系进行量化(即:存储量与访问时间的关系和命中率与访问时间的关系),因此将存储成本与命中率成本(即:回源带宽成本)相加,就可以得到总成本。如图2所示,通过存储与总成本关系曲线,可以找到总成本最优时的存储数据。
本实施例中,在模型生成的过程中,获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间;对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系;根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系;根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。将存储模型量化为存储量与访问时间的关系和命中率与访问时间的关系,根据存储量与访问时间的关系和命中率与访问时间的关系可以找到存储模型在存储成本和回源成本之间的平衡点,在保证存储模型精度的前提下使生成存储模型的成本更优。
本申请的实施例涉及一种方法,应用在任意一种能够进行数据处理的终端、电子设备、服务器或系统上,如图3所示,具体包括以下步骤。
步骤201,获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间。
在一示例实施中,本步骤与本申请实施例提及的步骤101大致相同,此处不一一赘述。
步骤202,基于预设的缓存删除算法对各第二访问数据中的第二访问时间进行更新,生成各第三访问数据。
在一示例实施中,预设的缓存删除算法可以是先进先出算法(First In FirstOut,简称FIFO)、最近最少使用页面置换算法(Least Recently Use,简称LRU)或最不常用删除算法(Least Frequently Used,简称LFU)。
在一示例实施中,以预设的缓存删除算法为LRU为例,对于各第二访问数据,根据各第二访问数据中的URL range对各第二访问数据进行分类,对于相同URL range的各第二访问数据的第二访问时间进行降序排序,根据排序结果将相同URL range的各第二访问数据中的第二访问时间更新为最近一次的第二访问时间,如:相同URL range的各第二访问数据中的第二访问时间分别为:2021.01.30.09:00:00、2021.01.30.23:00:00和2021.01.31.09:00:00,降序排序结果为:2021.01.31.09:00:00、2021.01.30.23:00:00和2021.01.30.09:00:00,则将相同URL range的各第二访问数据中的第二访问时间更新为2021.01.31.09:00:00;更新第二访问时间后的各第二访问数据可以记为各第三访问数据,各第三访问数据与各第二访问数据的区别仅在于第二访问时间不同。
步骤203,对于各更新后的第二访问时间,从各第三访问数据中筛选出与更新后的第二访问时间相同的第三访问数据。
在一示例实施中,对于每一个更新后的第二访问时间,如2021.01.31.09:00:00;从各第三访问数据中筛选出更新后的第二访问时间为2021.01.31.09:00:00的第三访问数据。
步骤204,根据筛选的各第三访问数据和预设的平均数据量生成存储量与访问时间的关系。
在一示例实施中,在实际使用中,各第三访问数据实际上是以cache缓存列表的形式存在的,在筛选出更新后的第二访问时间为2021.01.31.09:00:00的第三访问数据后,确定筛选出的各第三访问数据占据总第三访问数据的数据量大小(即:筛选出的各第三访问数据在cache缓存列表中所占据的列表长度),之后根据确定的数据量大小和预设的平均数据量(可以对两个数据量进行任意一种运算处理)来生成存储量与访问时间的关系。
步骤205,根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系。
在一示例实施中,本步骤与本申请实施例提及的步骤103大致相同,此处不一一赘述。
步骤206,根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。
在一示例实施中,本步骤与本申请实施例提及的步骤104大致相同,此处不一一赘述。
本实施例,在其他实施例的基础之上还可以适用多种常见缓存服务器的缓存删除算法,如FIFO、LRU、LFU,使得可以结合不同缓存删除算法的优缺点来生成更优的存储模型。
本申请的实施例涉及一种方法,应用在任意一种能够进行数据处理的终端、电子设备、服务器或系统上,如图4所示,具体包括以下步骤。
步骤301,获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间。
在一示例实施中,本步骤与本申请实施例提及的步骤101大致相同,此处不一一赘述。
步骤302,对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系。
在一示例实施中,本步骤与本申请实施例提及的步骤102大致相同,此处不一一赘述。
步骤303,根据各第一访问数据和各第三访问数据的匹配结果根将各第一访问数据标记为命中访问数据或未命中访问数据。
在一示例实施中,将各第一访问数据与各第三访问数据进行匹配,若能够在各第三访问数据中找到与第一访问数据匹配的第三访问数据,则将该条第一访问数据标记为命中访问数据(格式如:URL range第一访问频次第一访问时间HIT),否则将该条第一访问数据标记为未命中访问数据(格式如:URL range第一访问频次第一访问时间MISS)。
步骤304,对于每一个第一访问时间,从标记后的各第一访问数据中筛选出与第一访问时间相同的命中访问数据和未命中访问数据。
在一示例实施中,对于每一个第一访问时间(如:2021.01.31.08:00:00),从标记后的各第一访问数据中筛选出第一访问时间为2021.01.31.09:00:00的命中访问数据和未命中访问数据。
步骤305,根据筛选的各命中访问数据的第一访问频次和筛选的各未命中访问数据的第一访问频次生成命中率与访问时间的关系。
在一示例实施中,由于第一访问数据还包含第一访问频次,因此,所筛选出的未命中访问数据和命中访问数据都携带有第一访问频次,将各命中访问数据的第一访问频次进行累加得到在第一访问时间为2021.01.31.09:00:00时的命中总次数,将各未命中访问数据的第一访问频次进行累加得到在第一访问时间为2021.01.31.09:00:00时的未命中总次数,根据公式;命中率=命中总次数/(命中总次数+未命中总次数)便可以得到命中率与访问时间的关系。
步骤306,根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。
在一示例实施中,本步骤与本申请实施例提及的步骤104大致相同,此处不一一赘述。
本实施例,在其他实施例的基础之上还可以对目标业务的命中率进行量化,生成命中率与访问时间的关系,以此来保证本申请能够在保证总成本的情况下提高数据的命中率。
本申请的实施例涉及一种方法,应用在任意一种能够进行数据处理的终端、电子设备、服务器或系统上,如图5所示,具体包括以下步骤。
步骤401,根据目标业务的业务域名、起始时间和终止时间从预设的业务数据库中获取目标业务的目标信息,目标信息包含至少两条访问数据。
在一示例实施中,在通过人机交互界面接收到目标业务的业务域名、起始时间和终止时间后,可以根据业务域名、起始时间和终止时间从预设的业务数据库中筛选出该目标业务的目标信息,目标信息是该目标业务在运行时产生的各类数据,包含了各条访问数据。
在一示例实施中,通过人机交互界面还可以获取到目标业务的业务量,之后可以根据业务域名、业务量、起始时间和终止时间从预设的业务数据库中筛选出该目标业务的目标信息,此时的目标信息为在指定业务量下目标业务在运行时产生的各类数据,包含了各条访问数据;使得能够根据目标业务在不同业务量下的访问数据生成同一目标业务在不同业务量下的存储模型。
步骤402,将目标信息中符合预设的第一条件的访问数据汇聚为各第一访问数据。
在一示例实施中,预设的第一条件为访问数据是否在终止时间的预设时间范围内生成;如:以终止时间为2021.01.31 21:00:00、预设时间范围为5分钟为例,第一条件为:访问数据是否2021.01.31 21:00:00-2021.01.31 21:05:00内生成;具体的预设时间范围可根据用户需求进行调整,在第一条件确定好之后,便可以从目标信息中将满足第一条件的各访问数据筛选出来,记为各第一访问数据,也可以称为某一时刻用户访问列表。
步骤403,将目标信息中符合预设的第二条件的访问数据汇聚为各第二访问数据。
在一示例实施中,预设的第二条件为访问数据是否在起始时间至终止时间内生成;如:以起始时间为2021.01.01 00:00:00,终止时间为2021.01.31 21:00:00为例,第二条件为:访问数据是在2021.01.01 00:00:00-2021.01.31 21:00:00内生成,在第二条件确定好之后,便可以从目标信息中将满足第二条件的各访问数据筛选出来,记为各第二访问数据,也可以称为用户历史访问列表。
步骤404,对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系。
在一示例实施中,本步骤与本申请实施例提及的步骤102大致相同,此处不一一赘述。
步骤405,根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系。
在一示例实施中,本步骤与本申请实施例提及的步骤103大致相同,此处不一一赘述。
步骤406,根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。
在一示例实施中,本步骤与本申请实施例提及的步骤104大致相同,此处不一一赘述。
本实施例,在其他实施例的基础之上还可以根据不同的目标业务需求来生成不同的存储模型,同时能够生成同一目标业务在不同业务量下的存储模型;使得本申请所生成的存储模型的精度高,且存储模型的生成过程计算量少、落地难度小,同时数据精度高以及可采信度高,使得本申请更适用于工程实践。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施例涉及一种模型生成系统,其特征在于,下面对本实施例的模型生成系统的细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本例的必须,图6是本实施例的模型生成系统的示意图,包括:第一获取模块501、第二获取模块502、第三获取模块503和模型生成模块504。
其中,第一获取模块501,用于获取目标业务的各第一访问数据和各第二访问数据;第一访问数据包含第一访问时间,第二访问数据包含第二访问时间。
第二获取模块502,用于对各第二访问数据中的第二访问时间进行更新生成各第三访问数据,根据更新后的第二访问时间对各第三访问数据进行汇聚获取存储量与访问时间的关系。
第三获取模块503,用于根据各第一访问数据和各第三访问数据的匹配结果对各第一访问数据进行标记,根据各第一访问时间对标记后的各第一访问数据进行汇聚获取命中率与访问时间的关系。
模型生成模块504,用于根据存储量与访问时间的关系和命中率与访问时间的关系生成目标业务的存储模型。
不难发现,本实施例为与上述方法实施例对应的系统实施例,本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效,为了减少重复,这里不再赘述。相应地,本实施例中提到的相关技术细节也可应用在上述实施例中。
本申请实施例涉及一种服务器,如图7所示,包括:至少一个处理器601;以及,与至少一个处理器601通信连接的存储器602;其中,存储器602存储有可被至少一个处理器601执行的指令,指令被至少一个处理器601执行,以使至少一个处理器601能够执行上述各实施例中的模型生成方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (9)
1.一种模型生成方法,其特征在于,所述方法包括:
获取目标业务的各第一访问数据和各第二访问数据;所述第一访问数据包含第一访问时间和第一访问频次,所述第二访问数据包含第二访问时间;
基于预设的缓存删除算法对各所述第二访问数据中的所述第二访问时间进行更新,生成各第三访问数据;
对于各所述更新后的第二访问时间,从各所述第三访问数据中筛选出与所述更新后的第二访问时间相同的所述第三访问数据,并根据筛选的各所述第三访问数据和预设的平均数据量生成存储量与访问时间的关系;
根据各所述第一访问数据和各所述第三访问数据的匹配结果将各所述第一访问数据标记为命中访问数据或未命中访问数据;
对于每一个所述第一访问时间,从所述标记后的各第一访问数据中筛选出与所述第一访问时间相同的所述命中访问数据和所述未命中访问数据,并根据筛选的各所述命中访问数据的所述第一访问频次和筛选的各所述未命中访问数据的所述第一访问频次生成命中率与访问时间的关系;
根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型。
2.根据权利要求1所述的模型生成方法,其特征在于,所述根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型,包括:
根据所述存储量与访问时间的关系和所述命中率与访问时间的关系获取存储量与命中率的关系;
根据所述存储量与命中率的关系生成所述存储模型。
3.根据权利要求1至权利要求2中任一项所述的模型生成方法,其特征在于,所述目标业务包含业务域名、起始时间和终止时间;
所述获取目标业务的各第一访问数据和各第二访问数据,包括:
根据所述业务域名、所述起始时间和所述终止时间从预设的业务数据库中获取所述目标业务的目标信息,所述目标信息包含至少两条访问数据;
将所述目标信息中符合预设的第一条件的所述访问数据汇聚为各所述第一访问数据;
将所述目标信息中符合预设的第二条件的所述访问数据汇聚为各所述第二访问数据。
4.根据权利要求3所述的模型生成方法,其特征在于,所述第一条件为所述访问数据是否在所述终止时间的预设时间范围内生成;所述第二条件为所述访问数据是否在所述起始时间至所述终止时间内生成。
5.根据权利要求3所述的模型生成方法,其特征在于,所述目标业务还包含业务量;
所述根据所述业务域名、所述起始时间和所述终止时间从预设的业务数据库中获取所述目标业务的目标信息,包括:
根据所述业务域名、所述起始时间、所述终止时间和所述业务量从所述业务数据库中获取所述目标信息。
6.根据权利要求1至权利要求2中任一项所述的模型生成方法,其特征在于,所述对各所述第二访问数据中的所述第二访问时间进行更新生成各第三访问数据,之前包括:对各所述第一访问数据和各所述第二访问数据进行数据抽样处理。
7.一种模型生成系统,其特征在于,所述系统包括:
第一获取模块,用于获取目标业务的各第一访问数据和各第二访问数据;所述第一访问数据包含第一访问时间和第一访问频次,所述第二访问数据包含第二访问时间;
第二获取模块,用于基于预设的缓存删除算法对各所述第二访问数据中的所述第二访问时间进行更新,生成各第三访问数据;对于各所述更新后的第二访问时间,从各所述第三访问数据中筛选出与所述更新后的第二访问时间相同的所述第三访问数据,并根据筛选的各所述第三访问数据和预设的平均数据量生成存储量与访问时间的关系;
第三获取模块,用于根据各所述第一访问数据和各所述第三访问数据的匹配结果将各所述第一访问数据标记为命中访问数据或未命中访问数据;对于每一个所述第一访问时间,从所述标记后的各第一访问数据中筛选出与所述第一访问时间相同的所述命中访问数据和所述未命中访问数据,并根据筛选的各所述命中访问数据的所述第一访问频次和筛选的各所述未命中访问数据的所述第一访问频次生成命中率与访问时间的关系;
模型生成模块,用于根据所述存储量与访问时间的关系和所述命中率与访问时间的关系生成所述目标业务的存储模型。
8.一种服务器,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的模型生成方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的模型生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210259792.9A CN114826935B (zh) | 2022-03-16 | 2022-03-16 | 模型生成方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210259792.9A CN114826935B (zh) | 2022-03-16 | 2022-03-16 | 模型生成方法、系统、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114826935A CN114826935A (zh) | 2022-07-29 |
CN114826935B true CN114826935B (zh) | 2024-06-07 |
Family
ID=82529541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210259792.9A Active CN114826935B (zh) | 2022-03-16 | 2022-03-16 | 模型生成方法、系统、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114826935B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205014A (zh) * | 2015-09-28 | 2015-12-30 | 北京百度网讯科技有限公司 | 一种数据存储方法和装置 |
CN106301905A (zh) * | 2016-08-10 | 2017-01-04 | 中国联合网络通信集团有限公司 | 一种评估cdn部署合理性的方法及装置 |
CN109190070A (zh) * | 2018-08-01 | 2019-01-11 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、系统及应用服务器 |
CN112733060A (zh) * | 2021-01-13 | 2021-04-30 | 中南大学 | 基于会话聚类预测的缓存替换方法、装置及计算机设备 |
WO2021087639A1 (en) * | 2019-11-04 | 2021-05-14 | Microsoft Technology Licensing, Llc | Cdn optimization platform |
CN114124893A (zh) * | 2021-11-24 | 2022-03-01 | 广州方硅信息技术有限公司 | 域名缓存方法、装置、系统、存储介质以及计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2514171A1 (en) * | 2009-12-14 | 2012-10-24 | Telefonaktiebolaget L M Ericsson (PUBL) | Dynamic cache selection method and system |
-
2022
- 2022-03-16 CN CN202210259792.9A patent/CN114826935B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205014A (zh) * | 2015-09-28 | 2015-12-30 | 北京百度网讯科技有限公司 | 一种数据存储方法和装置 |
CN106301905A (zh) * | 2016-08-10 | 2017-01-04 | 中国联合网络通信集团有限公司 | 一种评估cdn部署合理性的方法及装置 |
CN109190070A (zh) * | 2018-08-01 | 2019-01-11 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、系统及应用服务器 |
WO2021087639A1 (en) * | 2019-11-04 | 2021-05-14 | Microsoft Technology Licensing, Llc | Cdn optimization platform |
CN112733060A (zh) * | 2021-01-13 | 2021-04-30 | 中南大学 | 基于会话聚类预测的缓存替换方法、装置及计算机设备 |
CN114124893A (zh) * | 2021-11-24 | 2022-03-01 | 广州方硅信息技术有限公司 | 域名缓存方法、装置、系统、存储介质以及计算机设备 |
Non-Patent Citations (2)
Title |
---|
DOA下分布式DRC的元数据分级存储模型研究;袁进俊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415(第4期);I137-23 * |
Modeling and evaluation of client access in CDN cloud;Long Zhan;Rui Wang;《 2017 First International Conference on Electronics Instrumentation & Information Systems (EIIS)》;20180222;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114826935A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110109953A (zh) | 一种数据查询方法、装置及设备 | |
WO2015172533A1 (zh) | 数据库查询方法和服务器 | |
CN108509501B (zh) | 一种查询处理方法、服务器及计算机可读存储介质 | |
CN109299144B (zh) | 一种数据处理方法、装置、系统及应用服务器 | |
CN105472045A (zh) | 数据库迁移的方法和装置 | |
CN104572979A (zh) | 一种处理结构化查询语言sql的方法及装置 | |
CN111221469B (zh) | 同步缓存数据的方法、装置和系统 | |
CN110471939A (zh) | 数据访问方法、装置、计算机设备及存储介质 | |
CN109614262A (zh) | 业务校验方法、装置及计算机可读存储介质 | |
CN108647357A (zh) | 数据查询的方法及装置 | |
CN104885064A (zh) | 管理计算机系统的数据高速缓存 | |
CN115599821A (zh) | 缓存控制方法、装置、设备及介质 | |
CN109063142B (zh) | 网页资源推送方法、服务器及存储介质 | |
CN109413694B (zh) | 一种基于内容流行度预测的小小区缓存方法及装置 | |
CN110134738A (zh) | 分布式存储系统资源预估方法、装置 | |
CN111767297B (zh) | 大数据处理方法、装置、设备及介质 | |
CN111597259B (zh) | 数据存储系统、方法、装置、电子设备及存储介质 | |
CN114817651B (zh) | 数据存储方法、数据查询方法、装置和设备 | |
CN111737204A (zh) | 文件目录遍历方法、装置、设备和介质 | |
CN113157198A (zh) | 管理缓存的方法、设备和计算机程序产品 | |
CN114826935B (zh) | 模型生成方法、系统、服务器及存储介质 | |
CN110543509B (zh) | 用户访问数据的监控系统、方法、装置及电子设备 | |
CN115237903A (zh) | 宽表的生成方法、装置、设备及存储介质 | |
CN113709582A (zh) | 一种带宽测量方法和装置 | |
CN111767311A (zh) | 变量请求方法、系统、计算机设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |