CN113207012A - 一种资源获取方法、装置、电子设备及可读存储介质 - Google Patents
一种资源获取方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113207012A CN113207012A CN202110485603.5A CN202110485603A CN113207012A CN 113207012 A CN113207012 A CN 113207012A CN 202110485603 A CN202110485603 A CN 202110485603A CN 113207012 A CN113207012 A CN 113207012A
- Authority
- CN
- China
- Prior art keywords
- resource
- list
- client
- target
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种资源获取方法、装置、电子设备及可读存储介质,涉及数据处理技术领域,该资源获取方法中,服务器响应于客户端发送的资源获取请求,获取待消费区中N个资源标识列表;然后将N个资源标识列表进行合并,得到目标资源标识列表,目标资源标识列表为N个资源标识列表的并集;按照目标资源标识列表将获取到的资源数据存储至共享结果区;并在接收到目标客户端发送的资源读取请求的情况下,将共享结果区中与资源读取请求携带的第一资源标识列表对应的资源数据发送至客户端。可以解决现有的资源获取方法在获取资源时存在共享性差的问题。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种资源获取方法、装置、电子设备及可读存储介质。
背景技术
随着互联网技术的高速发展,用户可以在终端中,通过互联网获取各种各样的网络资源。包括视频资源以及与该视频资源相关的辅助资源,例如,辅助资源包括视频热度信息、视频点赞信息以及视频评论信息等,目前,用户在获取视频资源相关的辅助资源时,不同请求之间的相同辅助资源请求彼此隔离,对于有些请求内容是部分重复或者完全重复的辅助资源请求,无法实现网络资源的共用和结果数据的共享。可见,现有的资源获取方法在获取资源时存在共享性差的问题。
发明内容
本发明实施例的目的在于提供一种资源获取方法、装置、电子设备及可读存储介质,在一定程度上解决现有的资源获取方法在获取资源时存在共享性差的问题。具体技术方案如下:
第一方面,本申请实施例提供了一种资源获取方法,包括:
客户端向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
响应于所述资源获取请求,服务器获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
服务器将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
服务器按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
客户端向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
响应于所述资源读取请求,服务器将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应;
客户端接收服务器发送的与所述第一资源标识列表对应的资源数据。
第二方面,本申请实施例提供了一种资源获取方法,应用于服务器,所述服务器包括待消费区和共享结果区,包括:
响应于客户端发送的资源获取请求,获取所述待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
第三方面,本申请实施例提供了一种资源获取方法,应用于客户端,包括:
向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收服务器发送的与所述第一资源标识列表对应的资源数据。
第四方面,本申请实施例提供了一种资源获取系统,所述系统包括服务器和客户端,包括:
客户端,用于向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
服务器,用于响应于所述资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
客户端,还用于向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
服务器,还用于响应于所述资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应;
客户端,还用于接收服务器发送的与所述第一资源标识列表对应的资源数据。
第五方面,本申请实施例提供了一种资源获取装置,应用于服务器,所述服务器包括待消费区和共享结果区,包括:
获取模块,用于响应于客户端发送的资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
合并模块,用于将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
存储模块,用于按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
第一发送模块,用于响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
第六方面,本申请实施例提供了一种资源获取装置,应用于客户端,包括:
第二发送模块,用于向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
第三发送模块,用于向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收模块,用于接收服务器发送的与所述第一资源标识列表对应的资源数据。
第七方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面所述的方法步骤,或者,实现第二方面所述的方法步骤,或者,实现第三方面所述的方法步骤。
第八方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法,或者,实现第二方面所述的方法步骤,或者,实现第三方面所述的方法步骤。
本发明实施例提供的资源获取方法,服务器响应于客户端发送的资源获取请求,获取待消费区中N个资源标识列表,N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且资源标识列表与资源获取请求一一对应;然后将N个资源标识列表进行合并,得到目标资源标识列表,目标资源标识列表为N个资源标识列表的并集;按照目标资源标识列表将获取到的资源数据存储至共享结果区;并在接收到目标客户端发送的资源读取请求的情况下,将共享结果区中与资源读取请求携带的第一资源标识列表对应的资源数据发送至客户端。这样,通过合并资源标识列表得到目标资源标识列表,并基于目标资源标识列表将获取到的资源数据存储至共享结果区,可以实现共用网络资源,提升资源获取时的共享性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中的一种资源获取方法的流程图;
图2为本发明实施例中的又一种资源获取方法的流程图;
图3为本发明实施例中的又一种资源获取方法的流程图;
图4为本发明实施例中的又一种资源获取方法的流程图;
图5为本发明实施例中的一种资源获取装置的结构示意图;
图6为本发明实施例中的又一种资源获取装置的结构示意图;
图7为本发明实施例中的又一种资源获取装置的结构块示意图;
图8为本发明实施例中的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
用户在获取视频资源相关的辅助资源时,不同请求之间的相同辅助资源请求彼此隔离,对于有些请求内容是部分重复或者完全重复的辅助资源请求,无法实现网络资源的共用和结果数据的共享,基于此,本申请实施例提供了一种资源获取方法。
应理解,本申请实施例提供的资源获取方法,可以应用但不限于视频资源的辅助资源的获取场景。示例性地,视频资源的辅助资源包括视频热度信息、视频点赞信息以及视频评论信息等。
请参见图1,图1是本申请实施例提供的一种资源获取方法的流程图,包括:
步骤101、客户端向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
步骤102、响应于所述资源获取请求,服务器获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
步骤103、服务器将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
步骤104、服务器按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
步骤105、客户端向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
步骤106、响应于所述资源读取请求,服务器将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应;
步骤107、客户端接收服务器发送的与所述第一资源标识列表对应的资源数据。
上述的资源获取方法,通过合并资源标识列表得到目标资源标识列表,并基于目标资源标识列表将获取到的资源数据存储至共享结果区,可以实现共用网络资源,提升资源获取时的共享性。
下面,分别以客户端和服务器为执行主体对上述的资源获取方法进行详细说明。
请参见图2,图2是本申请实施例提供的一种资源获取方法的流程图,该资源获取方法应用于服务器,服务器包括待消费区和共享结果区,如图2所示,该方法包括:
步骤201、服务器响应于所述资源获取请求,获取待消费区中N个资源标识列表,N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且资源标识列表与资源获取请求一一对应。
在该实施方式中,服务器可以包括高速共享缓存区(Remote Dictionary Server,redis),以下简称redis,通过redis实现主要的资源共享,进一步地,可以将redis划分为待消费区和共享结果区,其中,待消费区用于存储资源获取请求,共享结果区用于存储基于资源获取请求获取的资源数据。
可理解地,资源获取请求在待消费区中以String结构进行存储,在接收到资源获取请求后,获取资源请求携带的资源标识列表,示例性地,资源标识列表可以包括产生资源获取请求的客户端的设备号,基于资源标识列表生成与资源标识列表唯一对应的索引key,进一步根据各索引key生成请求内容value。需要说明的是,请求内容value是经过处理的资源标识列表,具体地,请求内容value可以是由分隔符隔开的资源标识列表,例如,资源标识列表包括222和333,则请求内容可以是“222,333”。此处仅做示例,不做限定,其中,生成索引key的方法包括但不限于,根据资源获取请求对应的客户端的设备号和资源获取请求的时间戳确定字符串,对该字符串进行hash计算确定索引key值。然后,根据各索引key生成请求内容value,其中,请求内容value可以是用分隔符隔开的数据形式,例如,2222222,3333333,4444444。可变换的,此处仅做示例不做限定,在其他可行的实施方式中,还可以采用其他类型的分隔符。
在该实施方式中,2222222,3333333,4444444可以是一个客户端的一个请求中的请求内容,也可以是一个客户端的多个请求中的请求内容,还可以是多个客户端的多个请求中的内容,即,来自于客户端的所有请求,都存储至待消费区中。
步骤202、服务器将N个资源标识列表进行合并,得到目标资源标识列表,目标资源标识列表为N个资源标识列表的并集。
例如,其中一个资源标识列表的请求内容为1111,2222,3333,另一个资源标识列表的请求内容为2222,3333,4444,则,进行合并之后,得到的目标资源标识列表的请求内容为1111,2222,3333,4444。这样,可以过滤资源标识列表中相同的请求内容,避免资源浪费。
步骤203、服务器按照目标资源标识列表将获取到的资源数据存储至共享结果区。
在该实施方式中,不区分具体的目标资源标识列表的请求来源,将基于合并得到的目标资源标识列表获取的资源数据存储至共享结果区。
步骤204、服务器响应于目标客户端发送的资源读取请求,将共享结果区中与资源读取请求携带的第一资源标识列表对应的资源数据发送至目标客户端,目标客户端为所述至少一个客户端中的任意一个客户端;第一资源标识列表与至少一个客户端发送的资源获取请求携带的资源标识列表对应。
上述的资源获取方法,通过合并资源标识列表得到目标资源标识列表,并将基于目标资源标识列表将获取到的资源数据存储至共享结果区,可以实现共用网络资源,提升资源获取时的共享性。
可选地,获取待消费区中N个资源标识列表,包括:
基于预设的M个线程获取待消费区中的资源标识列表,其中,每一线程获取至少两个资源标识列表,M个线程并行工作。
在该实施方式中,为了加快获取资源数据的速度,采用了M个线程执行资源数据获取的任务。其中,各线程执行的资源数据获取的任务一致,例如,从待消费区中批量获取资源标识列表,并获取资源标识列表对应的资源数据,然后将获取的资源数据存储至共享结果区。其中,各线程并行工作。这样,可以加快获取资源数据的速度。
可选地,基于预设的M个线程获取待消费区中的资源标识列表,包括:
生成M个线程;
根据预设的时间窗口调用M个线程中的每一线程,获取待消费区中的资源标识列表,时间窗口用于指示获取待消费区中的资源标识列表的时间间隔。
在该实施方式中,时间窗口可以是10毫秒,例如,预设有三个线程,分别为第一线程、第二线程和第三线程,在从待消费区获取资源标识列表时,则,在第一个10毫秒的时间内,第一线程从待消费区获取资源标识列表,在第二个10毫秒的时间内,第二线程从待消费区获取资源标识列表,此时,第一线程同步执行基于获取到的资源标识列表获取资源数据,并将资源数据存储至共享结果区的工作,进一步地,在第三个10毫秒的时间内,第三线程从待消费区获取资源标识列表,此时,第一线程和第二线程同步执行基于获取到的资源标识列表获取资源数据,并将资源数据存储至共享结果区的工作,以此类推。此处,仅作示例不做限定,可变换地,在其他可行的实施方式中,还可以适当调整时间窗口,或者,可以设置其他数量的线程,但不论其作何变换,都在本申请实施方式保护的范围之内。
此外,在同一个时间窗口内获取的资源标识列表,可以进行合并,这样,可以充分利用被启动的线程资源,过滤了重复的请求,可以加快资源数据的获取速度。
可选地,上述的资源获取方法还包括:
在目标线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将目标线程拆分为若干个子线程,目标线程为M个线程中的任意一个线程;
基于若干个子线程获取资源标识列表对应的资源数据。
在该实施方式中,当M个线程中的其中某一个线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将目标线程拆分为若干个子线程。具体地,这种模式可以视为fork-join并发模式,通过fork-join框架将线程拆分为多个子线程,基于各子线程获取资源数据,并最终对各子线程获取的资源数据进行整合。
例如,当第一线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将第一线程拆分为第一子线程1、第一子线程2以及第一子线程3等,并进一步基于第一子线程1、第一子线程2以及第一子线程3并行基于第一线程获取的资源标识列表获取资源数据,然后对各子线程获取的资源数据进行整合,将整合后的资源数据存储至共享结果区。这样,可以防止当某个线程获取的资源标识列表的数量过多,导致该线程获取的资源数据的速度慢于其余线程获取的速度,保证各线程获取资源数据的时间同步。
可选地,基于若干个子线程获取资源标识列表对应的资源数据之后,上述的资源获取方法还包括:
调整时间窗口,以使目标线程在一个时间窗口内获取的资源标识列表的数量不超过预设列表数量阈值。
例如,当第一线程在时间窗口获取的资源标识列表的数量超过预设列表数量阈值的情况下,可以将时间窗口适当调小,以使得第一线程在调小后的时间窗口内获取的资源标识列表的数量不超过预设列表数量阈值。这样,可以适当控制资源数据的获取时间,避免出现资源获取时间超时的情况发生。
可选地,共享结果区还包括响应区,按照目标资源标识列表将获取到的资源数据存储至共享结果区之后,上述的资源获取方法还包括:
生成与资源获取请求的资源标识列表对应的结果标识;
将结果标识和资源标识列表关联存储至响应区,结果标识的状态值用于指示是否成功获取与资源标识列表对应的资源数据。
在该实施方式中,当待消费区中存储的资源标识列表被执行,即,已经基于该资源标识列表获取对应的资源数据之后,生成表示获取情况的结果标识,具体地,结果标识由各线程生成,该结果标识的状态值用于指示是否成功获取与资源标识列表对应的资源数据。
例如,当成功获取到资源标识列表获取对应的资源数据的情况下,结果标识的状态值可以是1,当未能成功获取到资源标识列表获取对应的资源数据的情况下,结果标识的状态值可以是0。
这样,可以通过结果标识快速确定获取资源数据的情况。此处,对于结果标识的状态值的取值仅作示例,不做限定,可变换地,在其他可行的实施方式中,还可以选取其他的数值标识不同情况下的状态值,但不论其作何变换,都在本申请实施例保护的范围之内。
可选地,在接收到目标客户端发送的资源读取请求的情况下,将共享结果区中与资源读取请求对应的资源数据发送至客户端,包括:
在接收到目标客户端发送的资源读取请求的情况下,确定资源读取请求携带的第一资源标识列表;
基于与结果标识关联存储的资源标识列表确定第一资源标识列表对应的结果标识的状态值;
在状态值指示成功获取与第一资源标识列表对应的资源数据的情况下,将第一资源标识列表对应的资源数据发送至目标客户端。
需要说明的是,由于资源标识列表与结果标识关联存储至响应区,因此,可以基于该关联关系确定第一资源标识列表对应的结果标识的状态值。
示例性地,当第一资源标识列表对应的结果标识的状态值为1时,表示该第一资源标识列表对应的资源数据已经成功获取,且存储在共享结果区,可以将共享结果区中对应的资源数据发送至目标客户端。其中,目标客户端可以是任意向服务器发送资源读取请求以获取资源数据的客户端,目标客户端的数量可以是一个,也可以是多个,此处仅作示例,不做限定。
可变换地,所将结果标识和资源标识列表关联存储至响应区之后,上述资源获取方法还包括:
在结果标识的存在时间超过预设时间阈值的情况下,清空结果标识和与结果标识关联存储的资源标识列表。
在该实施方式中,如果结果标识的存在时间超过预设时间阈值,则视为结果标识对应的资源数据未能在设定的时间内被获取,则清空该结果标识,并清空该结果标识对应的资源标识列表,换言之,在结果标识的存在时间超过预设时间阈值时,会清空结果标识对应的记录,这样,可以及时删除未被获取的资源数据,可以及时释放内存。
请参见图3,图3是本申请实施例提供的又一种资源获取方法的流程图,该资源获取方法应用于客户端,包括:
步骤301、客户端向服务器发送资源获取请求,资源获取请求携带资源标识列表。
在该实施方式中,资源获取请求可以用于获取视频资源的辅助资源,示例性地,视频资源的辅助资源包括视频热度信息、视频点赞信息以及视频评论信息等。
其中,一个资源获取请求中可以携带一个资源标识列表,也可以携带多个资源标识列表。
步骤302、客户端向服务器发送资源读取请求,资源读取请求携带的第一资源标识列表与资源获取请求携带的资源标识列表对应。
客户端在需要资源数据时,向服务器发送资源读取请求,可变换地,在其他可行的实施方式中,还可以根据时间确定是否向服务器发送资源读取请求。由于资源读取请求用于读取已经获取的资源数据,因此,需要设置资源读取请求携带的第一资源标识列表与资源获取请求携带的资源标识列表对应,根据该对应关系,获取与资源读取请求携带的第一资源标识列表对应的资源数据。
步骤303、客户端接收服务器发送的与第一资源标识列表对应的资源数据。
需要说明的是,本实施例作为与上述方法实施例对应的客户端的实施方式,因此,可以参见上述方法实施例中的相关说明。为了避免重复说明,在此不再赘述。
上述的资源获取方法,在服务器端通过合并资源标识列表得到目标资源标识列表,并将基于目标资源标识列表将获取到的资源数据存储至共享结果区,然后通过客户端向服务器端发送资源读取请求获取资源数据,可以实现共用网络资源,提升资源获取时的共享性。
请参见图4,图4是本申请实施例的一种资源获取方法的流程图,如图4所示,该资源获取方法应用于包括服务器和客户端的系统,其中,服务器包括待消费区和共享结果区,共享结果区包括响应区,在客户端需要获取资源时,客户端向服务器发送资源获取请求,资源获取请求携带资源标识列表,服务器将接收到的资源获取请求存储至待消费区,然后,服务器获取待消费区中的N个资源标识列表,N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且资源标识列表与资源获取请求一一对应。然后,将N个资源标识列表进行合并,得到目标资源标识列表,目标资源标识列表为N个资源标识列表的并集,按照目标资源标识列表将获取到的资源数据存储至共享结果区,并在接收到目标客户端发送的资源读取请求的情况下,将共享结果区中与资源读取请求携带的第一资源标识列表对应的资源数据发送至目标客户端。其中,在获取待消费区中N个资源标识列表时,基于预设的M个线程按照预设的时间窗口获取所述待消费区中的资源标识列表。在目标线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将目标线程拆分为若干个子线程,例如,拆分为子线程1和子线程2,目标线程为所述M个线程中的任意一个线程。然后根据资源标识列表请求资源,在获取到相应的资源数据后,将资源数据保存至数据库redis中的共享结果区,并生成与资源获取请求的资源标识列表对应的结果标识,将结果标识和资源标识列表关联存储至响应区,在客户端需要读取资源数据时,向服务器发送资源读取请求,服务器响应于资源读取请求读取响应区中的结果标识,在结果标识指示已经成功获取资源数据的情况下,读取共享结果区中的资源数据,此外,当结果标识的存在时间超过预设时间阈值的情况下,清空结果标识和与结果标识关联存储的所述资源标识列表,这样,实现一次完整的资源获取。
请参见图5,图5是本申请实施例提供的一种资源获取系统500,所述系统包括服务器和客户端,包括:
客户端502,用于向服务器501发送资源获取请求,所述资源获取请求携带资源标识列表;
服务器501,用于响应于所述资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端502发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
客户端502,还用于向所述服务器501发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
服务器501,还用于响应于所述资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端502发送的所述资源获取请求携带的资源标识列表对应;
客户端502,还用于接收服务器501发送的与所述第一资源标识列表对应的资源数据。
上述的资源获取系统500可以实现上述方法实施例中的相关说明,且能达到相同的有益效果。为了避免重复说明,在此不再赘述。
请参见图6,图6是本申请实施例提供的一种资源获取装置600,应用于服务器,所述服务器包括待消费区和共享结果区,包括:
获取模块601,用于响应于客户端发送的资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且资源标识列表与所述资源获取请求一一对应;
合并模块602,用于将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
存储模块603,用于按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
第一发送模块604,用于响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
可选地,所述获取模块601具体用于:
基于预设的M个线程获取所述待消费区中的资源标识列表,其中,每一线程获取至少两个资源标识列表,所述M个线程并行工作。
可选地,所述获取模块601具体用于:
生成M个线程;
根据预设的时间窗口调用所述M个线程中的每一线程,获取所述待消费区中的资源标识列表,所述时间窗口用于指示获取所述待消费区中的资源标识列表的时间间隔。
可选地,所述资源获取装置600还包括拆分模块,用于:
在目标线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将所述目标线程拆分为若干个子线程,所述目标线程为所述M个线程中的任意一个线程;
基于所述若干个子线程获取所述资源标识列表对应的资源数据。
可选地,所述资源获取装置600还包括调整模块,用于:
调整所述时间窗口,以使所述目标线程在一个所述时间窗口内获取的资源标识列表的数量不超过所述预设列表数量阈值。
可选地,所述资源获取装置600还包括结果标识生成模块,用于:
生成与所述资源获取请求的资源标识列表对应的结果标识;
将所述结果标识和所述资源标识列表关联存储至所述响应区,所述结果标识的状态值用于指示是否成功获取与所述资源标识列表对应的资源数据。
可选地,结果标识生成模块具体用于:
在接收到目标客户端发送的资源读取请求的情况下,确定所述资源读取请求携带的所述第一资源标识列表;
基于与结果标识关联存储的资源标识列表确定所述第一资源标识列表对应的所述结果标识的状态值;
在所述状态值指示成功获取与所述第一资源标识列表对应的资源数据的情况下,将所述第一资源标识列表对应的资源数据发送至所述目标客户端。
可选地,所述资源获取装置600还包括清空模块,用于
在所述结果标识的存在时间超过预设时间阈值的情况下,清空所述结果标识和与所述结果标识关联存储的所述资源标识列表。
上述的资源获取装置600,可以实现图2中的方法实施例中的相关说明,且能达到相同的有益效果。为了避免重复说明,在此不再赘述。
请参见图7,图7是本申请实施例提供的又一种资源获取装置700,应用于客户端,包括:
第二发送模块701,用于向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
第三发送模块702,用于向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收模块703,用于接收服务器发送的与所述第一资源标识列表对应的资源数据。
上述的资源获取装置700,可以实现图3中的方法实施例中的相关说明,且能达到相同的有益效果。为了避免重复说明,在此不再赘述。
本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现如下步骤:
响应于客户端发送的资源获取请求,获取所述待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
还可以实现如下步骤。
向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收服务器发送的与所述第一资源标识列表对应的资源数据。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的资源获取方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的资源获取方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (15)
1.一种资源获取方法,其特征在于,包括:
客户端向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
响应于所述资源获取请求,服务器获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
服务器将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
服务器按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
客户端向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
响应于所述资源读取请求,服务器将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应;
客户端接收服务器发送的与所述第一资源标识列表对应的资源数据。
2.一种资源获取方法,应用于服务器,所述服务器包括待消费区和共享结果区,其特征在于,包括:
响应于客户端发送的资源获取请求,获取所述待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
3.根据权利要求2所述的资源获取方法,其特征在于,所述获取待消费区中N个资源标识列表,包括:
基于预设的M个线程获取所述待消费区中的资源标识列表,其中,每一线程获取至少两个资源标识列表,所述M个线程并行工作。
4.根据权利要求3所述的资源获取方法,其特征在于,所述基于预设的M个线程获取所述待消费区中的资源标识列表,包括:
生成M个线程;
根据预设的时间窗口调用所述M个线程中的每一线程,获取所述待消费区中的资源标识列表,所述时间窗口用于指示获取所述待消费区中的资源标识列表的时间间隔。
5.根据权利要求4所述的资源获取方法,其特征在于,所述方法还包括:
在目标线程获取的资源标识列表的数量超过预设列表数量阈值的情况下,将所述目标线程拆分为若干个子线程,所述目标线程为所述M个线程中的任意一个线程;
基于所述若干个子线程获取所述资源标识列表对应的资源数据。
6.根据权利要求5所述的资源获取方法,其特征在于,所述基于所述若干个子线程获取所述资源标识列表对应的资源数据之后,所述方法还包括:
调整所述时间窗口,以使所述目标线程在一个所述时间窗口内获取的资源标识列表的数量不超过所述预设列表数量阈值。
7.根据权利要求2所述的资源获取方法,其特征在于,所述共享结果区还包括响应区,所述按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区之后,所述方法还包括:
生成与所述资源获取请求的资源标识列表对应的结果标识;
将所述结果标识和所述资源标识列表关联存储至所述响应区,所述结果标识的状态值用于指示是否成功获取与所述资源标识列表对应的资源数据。
8.根据权利要求7所述的资源获取方法,其特征在于,所述将所述共享结果区中与所述资源读取请求对应的资源数据发送至所述目标客户端,包括:
在接收到目标客户端发送的资源读取请求的情况下,确定所述资源读取请求携带的所述第一资源标识列表;
基于与结果标识关联存储的资源标识列表确定所述第一资源标识列表对应的所述结果标识的状态值;
在所述状态值指示成功获取与所述第一资源标识列表对应的资源数据的情况下,将所述第一资源标识列表对应的资源数据发送至所述目标客户端。
9.根据权利要求7所述的资源获取方法,其特征在于,将所述结果标识和所述资源标识列表关联存储至所述响应区之后,所述方法还包括:
在所述结果标识的存在时间超过预设时间阈值的情况下,清空所述结果标识和与所述结果标识关联存储的所述资源标识列表。
10.一种资源获取方法,应用于客户端,其特征在于,包括:
向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收服务器发送的与所述第一资源标识列表对应的资源数据。
11.一种资源获取系统,所述系统包括服务器和客户端,其特征在于,包括:
客户端,用于向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
服务器,用于响应于所述资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列表为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;按照所述目标资源标识列表将获取到的资源数据存储至共享结果区;
客户端,还用于向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
服务器,还用于响应于所述资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应;
客户端,还用于接收服务器发送的与所述第一资源标识列表对应的资源数据。
12.一种资源获取装置,应用于服务器,所述服务器包括待消费区和共享结果区,其特征在于,包括:
获取模块,用于响应于客户端发送的资源获取请求,获取待消费区中N个资源标识列表,所述N个资源标识列为至少一个客户端发送的N个资源获取请求携带的资源标识列表,且所述资源标识列表与所述资源获取请求一一对应;
合并模块,用于将所述N个资源标识列表进行合并,得到目标资源标识列表,所述目标资源标识列表为所述N个资源标识列表的并集;
存储模块,用于按照所述目标资源标识列表将获取到的资源数据存储至所述共享结果区;
第一发送模块,用于响应于目标客户端发送的资源读取请求,将所述共享结果区中与所述资源读取请求携带的第一资源标识列表对应的资源数据发送至所述目标客户端,所述目标客户端为所述至少一个客户端中的任意一个客户端;所述第一资源标识列表与所述至少一个客户端发送的所述资源获取请求携带的资源标识列表对应。
13.一种资源获取装置,应用于客户端,其特征在于,包括:
第二发送模块,用于向服务器发送资源获取请求,所述资源获取请求携带资源标识列表;
第三发送模块,用于向所述服务器发送资源读取请求,所述资源读取请求携带的第一资源标识列表与所述资源获取请求携带的资源标识列表对应;
接收模块,用于接收服务器发送的与所述第一资源标识列表对应的资源数据。
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1所述的方法步骤,或者,实现权利要求2-9中任一所述的方法步骤,或者,实现权利要求10所述的方法步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1所述的方法步骤,或者,实现如权利要求2-9中任一所述的方法,或者,实现权利要求10所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485603.5A CN113207012A (zh) | 2021-04-30 | 2021-04-30 | 一种资源获取方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485603.5A CN113207012A (zh) | 2021-04-30 | 2021-04-30 | 一种资源获取方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113207012A true CN113207012A (zh) | 2021-08-03 |
Family
ID=77028539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110485603.5A Pending CN113207012A (zh) | 2021-04-30 | 2021-04-30 | 一种资源获取方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113207012A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101557392A (zh) * | 2008-04-11 | 2009-10-14 | 北京闻言科技有限公司 | 一种通过单一资源id在资源服务器上下载多个图片的办法 |
US20120036262A1 (en) * | 2010-08-05 | 2012-02-09 | Murphy William A | System and method of resource replication delivery to multiple local destinations |
US20130041982A1 (en) * | 2010-10-19 | 2013-02-14 | Guangyu Shi | Method and node for acquiring content and content network |
CN106293946A (zh) * | 2016-08-16 | 2017-01-04 | 东软集团股份有限公司 | 资源获取的方法及服务器 |
-
2021
- 2021-04-30 CN CN202110485603.5A patent/CN113207012A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101557392A (zh) * | 2008-04-11 | 2009-10-14 | 北京闻言科技有限公司 | 一种通过单一资源id在资源服务器上下载多个图片的办法 |
US20120036262A1 (en) * | 2010-08-05 | 2012-02-09 | Murphy William A | System and method of resource replication delivery to multiple local destinations |
US20130041982A1 (en) * | 2010-10-19 | 2013-02-14 | Guangyu Shi | Method and node for acquiring content and content network |
CN106293946A (zh) * | 2016-08-16 | 2017-01-04 | 东软集团股份有限公司 | 资源获取的方法及服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111416811A (zh) | 越权漏洞检测方法、系统、设备及存储介质 | |
CN111488594B (zh) | 一种基于云服务器的权限检查方法、装置、存储介质及终端 | |
CN106254528B (zh) | 一种资源下载方法和缓存设备 | |
CN116599917B (zh) | 网口确定方法、装置、设备及存储介质 | |
CN111159269A (zh) | 一种数据处理方法、装置及系统 | |
CN111641554A (zh) | 一种消息处理方法、装置及计算机可读存储介质 | |
JP2019519849A (ja) | サーバへの攻撃を防ぐ方法及びデバイス | |
CN110430070B (zh) | 一种服务状态分析方法、装置、服务器、数据分析设备及介质 | |
CN110336813B (zh) | 一种访问控制方法、装置、设备及存储介质 | |
CN108520401B (zh) | 用户名单管理方法、装置、平台及存储介质 | |
CN113918849A (zh) | 一种页面显示方法、装置、系统、电子设备及存储介质 | |
CN108132836B (zh) | 一种任务分发方法、装置及电子设备 | |
CN112653736B (zh) | 一种并行回源方法、装置及电子设备 | |
CN111147496B (zh) | 数据处理方法及装置 | |
CN115098889B (zh) | 一种权限管理的方法、装置、设备及存储介质 | |
CN110503504B (zh) | 网络产品的信息识别方法、装置及设备 | |
CN109145220B (zh) | 数据处理方法、装置及电子设备 | |
CN111651235A (zh) | 一种虚拟机组任务管理方法及装置 | |
CN113207012A (zh) | 一种资源获取方法、装置、电子设备及可读存储介质 | |
CN109409090B (zh) | 网站后台检测方法、装置及服务器 | |
CN112783843A (zh) | 数据读取方法、装置及电子设备 | |
CN108763291B (zh) | 一种数据管理方法、装置及电子设备 | |
CN108804195B (zh) | 一种页面显示方法、装置、服务器及客户端 | |
CN113313196A (zh) | 标注数据处理方法、相关装置及计算机程序产品 | |
CN111061543A (zh) | 一种多租户工作流引擎服务方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210803 |
|
RJ01 | Rejection of invention patent application after publication |