CN117632885B - 一种回溯系统中的资源同步方法、装置、设备及介质 - Google Patents
一种回溯系统中的资源同步方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117632885B CN117632885B CN202410101654.7A CN202410101654A CN117632885B CN 117632885 B CN117632885 B CN 117632885B CN 202410101654 A CN202410101654 A CN 202410101654A CN 117632885 B CN117632885 B CN 117632885B
- Authority
- CN
- China
- Prior art keywords
- resource
- record
- cache
- video
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000001360 synchronised effect Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种回溯系统中的资源同步方法、装置、设备及介质。该方法包括:根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。本发明实施例可以提升资源同步速度,减少服务器请求。
Description
技术领域
本发明涉及页面回溯技术领域,尤其涉及一种回溯系统中的资源同步方法、装置、设备及介质。
背景技术
网页内容是由HTML、CSS呈现的,这些资源文件需要从业务系统服务器上同步到可回溯系统服务器上。目前大多数的实现都是可回溯系统服务器全量获取静态资源文件,且没有使用缓存策略。
这样一方面同步了多余的文件,如JS脚本文件,这些文件通常比较大,耗时耗资源。另一方面,对于同一个资源文件的同步,由于无缓存策略,在业务高峰期,会导致高并发的请求,资源同步效率低下。
发明内容
本发明提供了一种回溯系统中的资源同步方法、装置、设备及介质,以提升资源同步速度,减少服务器请求。
根据本发明的一方面,提供了一种回溯系统中的资源同步方法,包括:
根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;
根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;
若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。
根据本发明的另一方面,提供了一种回溯系统中的资源同步装置,包括:
资源记录生成模块,用于根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;
文件缓存确定模块,用于根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;
已有主键填写模块,用于若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
资源记录执行模块,用于若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
其他主键填写模块,用于在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的回溯系统中的资源同步方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的回溯系统中的资源同步方法。
本发明实施例通过过滤不需要同步的资源文件,减少可回溯系统服务器访问业务系统服务器的次数,并基于视频资源缓存表和视频资源同步临时表,建立缓存策略,使得一定缓存时间内,不同视频数据请求同一个资源文件时,只获取一次,提升资源同步速度,减少服务器请求。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一实施例提供的一种回溯系统中的资源同步方法的流程图;
图2是根据本发明又一实施例提供的一种回溯系统中的资源同步方法的流程图;
图3是根据本发明又一实施例提供的一种回溯系统中的资源同步装置的结构示意图;
图4是实现本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“已有”、“更新”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明一实施例提供的一种回溯系统中的资源同步方法的流程图,该方法可以由回溯系统中的资源同步装置来执行,该装置可以采用硬件和/或软件的形式实现,该装置可配置于具备相应数据处理能力的电子设备中,例如回溯系统服务器。如图1所示,该方法包括:
S110、根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录。
其中,(静态)资源链接与资源记录一一对应,对于每一资源链接,均在视频资源表创建对应的资源记录。资源记录的内容包括:资源链接、视频帧时间戳、指向的缓存记录表主键和文件类型同步需求。资源链接是网页内部依赖的资源的链接,如JS脚本文件、css样式文件、图片文件等。视频帧时间戳是记录资源文件出现的帧时间戳,标识某一个时间使用了该资源文件,后续同步资源时使用。文件类型同步需求:资源文件的种类比较多,有些文件是不需要同步到可回溯系统的,如JS脚本、video视频等,需要同步此项为Y,不需同步此项为N。
相应的,待处理资源记录是文件类型同步需求为需要同步(Y)且指向的缓存记录表主键为空的资源记录。在未确定资源链接对应的资源文件,已被回溯服务器从业务系统服务器同步到自身缓存空间时,资源记录所指向的缓存记录表主键不赋值;在确定资源链接对应的资源文件,已被回溯服务器从业务系统服务器同步到自身缓存空间时,指向的缓存记录表主键被赋值为对应缓存记录在视频资源缓存表的表主键。
具体的,回溯系统接收到业务系统上不同网页应用上传的JSON格式的视频数据时,解析出视频数据中所有的静态资源链接,将添加至视频资源表中,作为视频资源表中新增的资源记录。每隔一段时间,定时任务会读取视频资源表,从中筛选出文件类型同步需求为需要同步且指向的缓存记录表主键为空的资源记录,作为待处理资源记录。
S120、根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内。
S130、若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。
其中,所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录。
具体的,回溯服务器中设置有缓存空间,用来缓存资源文件。对于每一待处理资源记录,通过视频资源缓存表判断其对应的资源文件是否已在缓存空间进行缓存,以及缓存是否过期。如果在视频资源缓存表中找到该资源文件对应的已有缓存记录,且缓存未过期,则无需启动同步任务。直接将已有缓存记录的第一表主键,确定为待处理资源记录所指向的缓存记录表主键。
S140、若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录。
S150、在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。
其中,资源同步任务使用视频资源同步临时表,其表结构和视频资源缓存表基本一致,不同的是同一个资源链接,只会存在一条记录,当多个视频资源需要同步同一个资源链接时,将视频资源主键以“,”号拼接写入主键。
具体的,如果在视频资源缓存表中找不到该资源文件,或相应缓存记录缓存过期,则将待处理资源记录添加视频资源同步临时表,以生成资源同步任务。回溯系统根据资源同步任务从业务服务器拉取待缓存资源文件,并判断缓存空间中是否存在待缓存资源文件。
若存在待缓存资源文件,则将对应的缓存记录进行更新,得到更新缓存记录。将更新缓存记录的第二表主键,确定为待处理资源记录指向的缓存记录表主键。
若不存在待缓存资源文件,则将待缓存文件进行缓存,并在视频资源缓存表中添加待缓存文件的缓存记录,作为新增缓存记录。将新增缓存记录的第三表主键,确定为待处理资源记录指向的缓存记录表主键。
本发明实施例通过过滤不需要同步的资源文件,减少可回溯系统服务器访问业务系统服务器的次数,并基于视频资源缓存表和视频资源同步临时表,建立缓存策略,使得一定缓存时间内,不同视频数据请求同一个资源文件时,只获取一次,提升资源同步速度,减少服务器请求。
可选的,所述方法还包括:
根据目标资源链接,从所述视频资源表中获取目标资源记录;
根据所述目标资源记录指向的缓存记录表主键,从所述视频资源缓存表中确定目标缓存记录;
根据所述目标缓存记录中的文件存储地址,获取所述目标资源链接对应的目标资源文件。
具体的,参考表1和表2,回溯系统生成回溯视频时,根据目标资源链接(https://www.XX.com/c.png),从视频资源表中获取目标资源记录(主键为a3的资源记录)。根据所述目标资源记录指向的缓存记录表主键(b1),从所述视频资源缓存表中确定目标缓存记录(主键为b3的缓存记录);根据所述目标缓存记录中的文件存储地址(xy/z/c.png),获取所述目标资源链接对应的目标资源文件(c.png)。
示例性的,资源文件b.css因未在资源缓存表有相应记录,因而建立同步任务业务服务器获取。
资源链接 | 视频帧时间戳 | 文件类型同步需求 | 指向的缓存记录表主键 | 视频ID | 表主键 |
https://www.XX.com/a.js | 123 | N | Video_id_1 | a1 | |
https://www.XX.com/b.css | 123 | Y | Video_id_1 | a2 | |
https://www.XX.com/c.png | 123 | Y | b1 | Video_id_1 | a3 |
https://www.XX.com/c.png | 123 | Y | b1 | Video_id_1 | a4 |
表1 一种视频资源表的结构和内容示例
资源链接 | 源文件MD5 | 更新时间戳 | 文件存储地址 | 处理状态 | 表主键 |
https://www.XX.com/c.png | 456 | 121 | xy/z/c.png | 200=已完成 | b1 |
https://www.XX.com/d.jpg | 567 | 122 | xy/z/d.jpg | 200=已完成 | b2 |
表2 一种视频资源缓存表的结构和内容示例
资源链接 | 源文件MD5 | 更新时间戳 | 文件存储地址 | 处理状态 | 表主键 | 视频资源表主键 |
https://www.XX.com/b.css | 345 | 123 | 100=处理中 | b3 | a2 |
表3 一种视频资源临时同步表的结构和内容示例
图2为本发明又一实施例提供的一种回溯系统中的资源同步方法的流程图,本实施例在上述实施例的基础上进行了优化改进。如图2所示,该方法包括:
S210、根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录。
S220、确定视频资源缓存表中是否存在,与所述待处理资源记录的资源链接相同且时间戳差值小于缓存时间的已有缓存记录;
S230、若不存在已有缓存记录,则确定所述待处理资源记录对应的资源文件不在缓存有效期内;若存在已有缓存记录,则确定所述待处理资源记录对应的资源文件在缓存有效期。
其中,缓存时间可以根据实际场景进行设定,例如设定为10分钟。
具体的,从视频资源缓存表中查找资源链接与待处理资源记录的资源链接相同、更新时间戳与待处理资源记录的视频帧时间戳不同、视频帧时间戳与待处理资源记录的视频帧时间戳之间差值小于缓存时间的缓存记录。如果存在这样的缓存记录,则将其确定为已有缓存记录,并判定对应的资源文件在缓存有效期;如果不存在这样的缓存记录表,则直接判定对应的资源文件不在缓存有效期。
S240、若在缓存有效期内,则将已有缓存记录在所述视频资源缓存表中的第一表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
S250、若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
S260、根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件;计算待缓存资源文件的实际md5;
S270、计算待缓存资源文件的实际md5;确定所述视频资源缓存表中是否存在,md5与所述实际md5相同的更新缓存记录;
S280、若存在更新缓存记录,则根据更新所述更新缓存记录的视频时间戳,并将所述更新缓存记录在所述视频资源缓存表中的更新表主键,确定并填写为所述所述待处理资源记录的更新缓存记录表主键;
S290、若不存在更新缓存记录,则根据所述待缓存资源文件在所述视频资源缓存表中添加新增缓存记录,并将所述新增缓存记录在所述视频资源缓存表中的第三表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
具体的,可回溯服务器执行资源同步任务向业务系统服务器发起请求,请求成功后,解析其返回的待缓存数据的实际md5。匹配视频资源缓存表中资源链接和md5均与待缓存数据相等的更新缓存记录。
如果更新缓存记录存在,则说明缓存空间中资源文件没有变化,更新该更新缓存记录的更新时间戳,填写待处理资源记录的缓存记录主键,为更新缓存记录的第二表主键。同时删除临时表中的待同步资源记录,资源同步任务结束。
如果更新缓存记录不存在,说明资源文件需要新增或已经产生变化,将文件写入可回溯系统的存储系统,并在视频资源缓存表新建待缓存资源文件对应的新增缓存记录,并将其在存储系统中的地址存进新增缓存记录的源文件存储地址,实际md5存进新增缓存记录的源文件md5,更新视频资源表中待处理资源记录的缓存记录表主键为新增缓存记录的第三主键,同时删除临时表的待同步资源记录,资源同步任务结束。
本发明实施例通过更新或新增缓存记录,提高了缓存空间的缓存能力。
图3为本发明又一实施例提供的一种回溯系统中的资源同步装置的结构示意图。如图3所示,该装置包括:
资源记录生成模块310,用于根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;
文件缓存确定模块320,用于根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;
已有主键填写模块330,用于若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
资源记录执行模块340,用于若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
其他主键填写模块350,用于在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键。
本发明实施例所提供的回溯系统中的资源同步装置可执行本发明任意实施例所提供的回溯系统中的资源同步方法,具备执行方法相应的功能模块和有益效果。
可选的,所述资源记录的记录内容包括:资源链接、视频帧时间戳、指向的缓存记录表主键和文件类型同步需求;相应的,所述待处理资源记录是文件类型同步需求为需要同步且指向的缓存记录表主键为空的资源记录。
可选的,已有主键填写模块330包括:
记录比对单元,用于确定视频资源缓存表中是否存在,与所述待处理资源记录的资源链接相同且时间戳差值小于缓存时间的已有缓存记录;
缓存无效单元,用于若不存在已有缓存记录,则确定所述待处理资源记录对应的资源文件不在缓存有效期内;
缓存有效单元,用于若存在已有缓存记录,则确定所述待处理资源记录对应的资源文件在缓存有效期。
可选的,所述已有主键填写模块330具体用于:将已有缓存记录在所述视频资源缓存表中的第一表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
可选的,所述其他主键填写模块350包括:
md5计算单元,用于计算待缓存资源文件的实际md5;
md5比对单元,用于确定所述视频资源缓存表中是否存在,md5与所述实际md5相同的更新缓存记录;
更新主键填写单元,用于若存在更新缓存记录,则根据更新所述更新缓存记录的视频时间戳,并将所述更新缓存记录在所述视频资源缓存表中的第二表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键;
新增主键填写单元,用于若不存在更新缓存记录,则根据所述待缓存资源文件在所述视频资源缓存表中添加新增缓存记录,并将所述新增缓存记录在所述视频资源缓存表中的第三表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
可选的,所述装置还包括:
资源记录确定模块,用于根据目标资源链接,从所述视频资源表中获取目标资源记录;
缓存记录确定模块,用于根据所述目标资源记录指向的缓存记录表主键,从所述视频资源缓存表中确定目标缓存记录;
缓存地址确定模块,用于根据所述目标缓存记录中的文件存储地址,获取所述目标资源链接对应的目标资源文件。
进一步说明的回溯系统中的资源同步装置也可执行本发明任意实施例所提供的回溯系统中的资源同步方法,具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在RAM 43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如回溯系统中的资源同步方法。
在一些实施例中,回溯系统中的资源同步方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时,可以执行上文描述的回溯系统中的资源同步方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行回溯系统中的资源同步方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (8)
1.一种回溯系统中的资源同步方法,其特征在于,应用于回溯系统服务器,所述方法包括:
根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;
根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;
若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
其中,所述资源记录的记录内容包括:资源链接、视频帧时间戳、指向的缓存记录表主键和文件类型同步需求;
相应的,所述待处理资源记录是文件类型同步需求为需要同步且指向的缓存记录表主键为空的资源记录;
其中,所述资源链接与所述资源记录一一对应,对于每一资源链接,所述视频资源表均创建有对应的资源记录。
2.根据权利要求1所述的方法,其特征在于,所述根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内包括:
确定视频资源缓存表中是否存在,与所述待处理资源记录的资源链接相同且时间戳差值小于缓存时间的已有缓存记录;
若不存在已有缓存记录,则确定所述待处理资源记录对应的资源文件不在缓存有效期内;
若存在已有缓存记录,则确定所述待处理资源记录对应的资源文件在缓存有效期。
3.根据权利要求2所述的方法,其特征在于,所述根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键包括:
将已有缓存记录在所述视频资源缓存表中的第一表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
4.根据权利要求1所述的方法,其特征在于,所述更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键包括:
计算待缓存资源文件的实际md5;
确定所述视频资源缓存表中是否存在,md5与所述实际md5相同的更新缓存记录;
若存在更新缓存记录,则根据更新所述更新缓存记录的视频时间戳,并将所述更新缓存记录在所述视频资源缓存表中的第二表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键;
若不存在更新缓存记录,则根据所述待缓存资源文件在所述视频资源缓存表中添加新增缓存记录,并将所述新增缓存记录在所述视频资源缓存表中的第三表主键,确定并填写为所述待处理资源记录指向的缓存记录表主键。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据目标资源链接,从所述视频资源表中获取目标资源记录;
根据所述目标资源记录指向的缓存记录表主键,从所述视频资源缓存表中确定目标缓存记录;
根据所述目标缓存记录中的文件存储地址,获取所述目标资源链接对应的目标资源文件。
6.一种回溯系统中的资源同步装置,其特征在于,部署于回溯系统服务器,所述装置包括:
资源记录生成模块,用于根据业务服务器所上传的JSON格式视频数据中的资源链接,向视频资源表中添加资源记录,并从所述资源记录中筛选出待处理资源记录;
文件缓存确定模块,用于根据视频资源缓存表确定所述待处理资源记录对应的资源文件是否在缓存有效期内;所述视频资源缓存表包括至少一条已缓存资源文件的缓存记录;
已有主键填写模块,用于若在缓存有效期内,则根据已有缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
资源记录执行模块,用于若未在缓存有效期内,则根据所述待处理资源记录向视频资源同步临时表添加待同步资源记录;
其他主键填写模块,用于在根据所述待同步资源记录执行资源同步任务从所述业务服务器获取待缓存资源文件后,更新所述视频资源缓存表,并根据更新缓存记录或新增缓存记录在所述视频资源表中填写所述待处理资源记录指向的缓存记录表主键;
其中,所述资源记录的记录内容包括:资源链接、视频帧时间戳、指向的缓存记录表主键和文件类型同步需求;
相应的,所述待处理资源记录是文件类型同步需求为需要同步且指向的缓存记录表主键为空的资源记录;
其中,所述资源链接与所述资源记录一一对应,对于每一资源链接,所述视频资源表均创建有对应的资源记录。
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的回溯系统中的资源同步方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的回溯系统中的资源同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410101654.7A CN117632885B (zh) | 2024-01-25 | 2024-01-25 | 一种回溯系统中的资源同步方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410101654.7A CN117632885B (zh) | 2024-01-25 | 2024-01-25 | 一种回溯系统中的资源同步方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117632885A CN117632885A (zh) | 2024-03-01 |
CN117632885B true CN117632885B (zh) | 2024-04-16 |
Family
ID=90027247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410101654.7A Active CN117632885B (zh) | 2024-01-25 | 2024-01-25 | 一种回溯系统中的资源同步方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117632885B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855275A (zh) * | 2012-07-18 | 2013-01-02 | 公安部第一研究所 | 一种无网络环境下基于知识库的移动数据库同步方法及系统 |
CN102985921A (zh) * | 2010-05-07 | 2013-03-20 | 谷歌公司 | 在具有电子资源数据库的客户端装置中高速缓存电子文档资源 |
CN112148571A (zh) * | 2020-07-08 | 2020-12-29 | 青岛窗外科技有限公司 | 一种网页操作过程记录与回放的方法及装置 |
CN112860791A (zh) * | 2021-01-26 | 2021-05-28 | 北京辰芯智能科技有限公司 | 一种跨网数据同步控制系统、方法及存储介质 |
CN113254320A (zh) * | 2021-06-05 | 2021-08-13 | 深圳市金斧子网络科技有限公司 | 记录用户网页操作行为的方法及装置 |
WO2023272919A1 (zh) * | 2021-07-02 | 2023-01-05 | 厦门雅基软件有限公司 | 一种资源数据读取方法、装置、电子设备和存储介质 |
CN116070049A (zh) * | 2023-04-06 | 2023-05-05 | 北京轻松筹信息技术有限公司 | 一种回溯页面数据的方法、装置、设备和可读存储介质 |
CN116226150A (zh) * | 2023-03-01 | 2023-06-06 | 中国农业银行股份有限公司 | 基于分布式数据库的数据处理方法、装置、设备和介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8438131B2 (en) * | 2009-11-06 | 2013-05-07 | Altus365, Inc. | Synchronization of media resources in a media archive |
-
2024
- 2024-01-25 CN CN202410101654.7A patent/CN117632885B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102985921A (zh) * | 2010-05-07 | 2013-03-20 | 谷歌公司 | 在具有电子资源数据库的客户端装置中高速缓存电子文档资源 |
CN102855275A (zh) * | 2012-07-18 | 2013-01-02 | 公安部第一研究所 | 一种无网络环境下基于知识库的移动数据库同步方法及系统 |
CN112148571A (zh) * | 2020-07-08 | 2020-12-29 | 青岛窗外科技有限公司 | 一种网页操作过程记录与回放的方法及装置 |
CN112860791A (zh) * | 2021-01-26 | 2021-05-28 | 北京辰芯智能科技有限公司 | 一种跨网数据同步控制系统、方法及存储介质 |
CN113254320A (zh) * | 2021-06-05 | 2021-08-13 | 深圳市金斧子网络科技有限公司 | 记录用户网页操作行为的方法及装置 |
WO2023272919A1 (zh) * | 2021-07-02 | 2023-01-05 | 厦门雅基软件有限公司 | 一种资源数据读取方法、装置、电子设备和存储介质 |
CN116226150A (zh) * | 2023-03-01 | 2023-06-06 | 中国农业银行股份有限公司 | 基于分布式数据库的数据处理方法、装置、设备和介质 |
CN116070049A (zh) * | 2023-04-06 | 2023-05-05 | 北京轻松筹信息技术有限公司 | 一种回溯页面数据的方法、装置、设备和可读存储介质 |
Non-Patent Citations (1)
Title |
---|
基于Json的小型异构数据库同步策略研究;黄志;李涛;宋瑶;苏传程;;气象研究与应用;20200315(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117632885A (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CN114780564A (zh) | 数据处理方法、数据处理装置、电子设备和存储介质 | |
CN117632885B (zh) | 一种回溯系统中的资源同步方法、装置、设备及介质 | |
US20210185109A1 (en) | Page presentation method and system, computer system, and computer readable medium | |
CN112148705A (zh) | 数据迁移的方法和装置 | |
WO2022078243A1 (zh) | 信息同步方法及装置 | |
CN114168494A (zh) | 一种缓存处理方法、装置、电子设备及存储介质 | |
CN114564149A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
CN110727694B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112883041A (zh) | 一种数据更新方法、装置、电子设备及存储介质 | |
CN112163176A (zh) | 数据存储方法、装置、电子设备和计算机可读介质 | |
CN111291011B (zh) | 文件同步方法及装置、电子设备和可读存储介质 | |
CN116431928A (zh) | 一种时序数据推送方法、装置、设备及存储介质 | |
CN115858104A (zh) | 一种事务提交序号快照获取方法、装置、设备及存储介质 | |
CN118055068A (zh) | 基于dpdk的报文处理方法、装置、设备和介质 | |
CN115686911A (zh) | 服务端自检方法、装置、电子设备和存储介质 | |
CN114924882A (zh) | 一种分布式业务处理方法、装置、设备及存储介质 | |
CN117539719A (zh) | 应用运行监测方法、装置、设备及介质 | |
CN117951400A (zh) | 页面处理方法、装置、电子设备以及存储介质 | |
CN117032712A (zh) | 流水线编译构建方法、装置、电子设备和存储介质 | |
CN117670236A (zh) | 一种基于移动端的待办流程审批方法、装置、设备及介质 | |
CN116644137A (zh) | 一种数据库数据同步方法、装置、设备及存储介质 | |
CN115599828A (zh) | 一种信息处理方法、装置、设备、存储介质 | |
CN117251285A (zh) | 配置信息的动态加载方法、装置、设备及存储介质 | |
CN116909740A (zh) | 一种资源管理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |