CN110995830A - 一种网络资源处理方法和装置 - Google Patents

Abstract

本发明实施例提供一种网络资源处理方法和装置，能方便快捷的制作教学相关内容，并上传与之对应的资源文件；服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率，用文件流读取之前保存好的临时文件，将文件大小作为range发送给服务器，此时从上次下载的位置继续数据的下载，使用文件流写入文件，每次写入的数据大小严格控制在2M以内，这样可以尽量降低unity向系统申请额外内存的几率；解决了现有技术中视频资源因跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

Description

一种网络资源处理方法和装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种网络资源处理方法和装置。

背景技术

由于视频资源可能横跨多个项目，每个项目的视频标准并不相同，故服务器需要根据需求，将源文件转码成不同规格的文件。而在处理较大文件(50M以上)转码时，由于视频转码工具的输入输出文件必须为完整的视频文件，无法进行块级的处理，耗时往往长达数分钟，而且转码一旦开始，很难暂停和重启。

文件资源多，单个资源占用存储空间大，会导致客户端在频繁进行网络请求时占用大量网络资源，以视频为主，因此存在跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

发明内容

本发明实施例提供一种网络资源处理方法和装置，用以解决现有技术中视频资源因跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

第一方面，本发明实施例提供一种网络资源处理方法，包括：

资源上传，将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载，将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

进一步，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件后，还包括：

服务器将本次资源信息写入数据库，资源信息包括资源地址、上传时间和文件大小。

进一步，服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件，具体包括：

服务器通过定时任务脚本，将待处理文件夹内的资源文件，按照预先设置好的规格，转码生成多种格式的文件以供不同级别的设备使用。

进一步，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，具体包括：

从不同的存储位置获取视频源文件，统一存储在S3 Source Statage上，并执行Chunk Function生成ts块文件；

对多个ts块进行Reduce Function，并将他们合并，最终生成对应不同需求的不同封装格式的文件。

进一步，将多个ts块文件合并后，还包括：

在Lambda function中启动一个定制的FTP服务，将FTP服务输入适配到S3 SourceStatage的文件分段上传功能中；

先从第二段数据开始上传，最后再上传包含文件头的第一段数据，以此保证第一段数据的完整正确；将处理的结果上传到的S3 Output Statage中，作为最终的资源文件。

进一步，还包括：

使用文件流写入文件，每次写入的文件数据大小控制在2M以内，以降低unity向系统申请额外内存的几率。

进一步，还包括：

在需要使用资源时，先从服务器获取最新的资源信息，按照资源地址、上传时间、资源大小的方式拼接成文件名，从本地文件中查找该文件名的文件是否存在，若存在则直接使用，若不存在则启动下载。

第二方面，本发明实施例提供一种网络资源处理装置，包括资源上传模块、资源下载模块和资源转码模块；

资源上传模块，用于将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码模块，用于从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载模块，用于将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述网络资源处理方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述网络资源处理方法的步骤。

本发明实施例提供的一种网络资源处理方法和装置，能方便快捷的制作教学相关内容，并上传与之对应的资源文件；服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率，用文件流读取之前保存好的临时文件，将文件大小作为range发送给服务器，此时从上次下载的位置继续数据的下载，使用文件流写入文件，每次写入的数据大小严格控制在2M以内，这样可以尽量降低unity向系统申请额外内存的几率；解决了现有技术中视频资源因跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的网络资源处理方法流程框图；

图2为根据本发明实施例的资源下载流程图；

图3为根据本发明实施例的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

由于视频资源可能横跨多个项目，每个项目的视频标准并不相同，故服务器需要根据需求，将源文件转码成不同规格的文件。而在处理较大文件(50M以上)转码时，由于视频转码工具的输入输出文件必须为完整的视频文件，无法进行块级的处理，耗时往往长达数分钟，而且转码一旦开始，很难暂停和重启。

文件资源多，单个资源占用存储空间大，会导致客户端在频繁进行网络请求时占用大量网络资源，以视频为主，因此存在跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

因此，本发明实施例提供了一种网络资源处理方法，包括资源上传、资源下载、资源转码和资源版本对比，能方便快捷的制作教学相关内容，并上传与之对应的资源文件；服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率，用文件流读取之前保存好的临时文件，将文件大小作为range发送给服务器，此时从上次下载的位置继续数据的下载，使用文件流写入文件，每次写入的数据大小严格控制在2M以内，这样可以尽量降低unity向系统申请额外内存的几率；解决了现有技术中视频资源因跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。以下将通过多个实施例进行展开说明和介绍。

图1为根据本发明实施例提供一种网络资源处理方法，包括：

步骤101，资源上传，将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

步骤102，视频资源转码，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

步骤103，资源下载，将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

在本实施例中，资源上传：依托强大的后台管理功能，内容编辑部门能方便快捷的制作教学相关内容，并上传与之对应的资源文件。上传成功的文件将被统一放置在待处理文件夹中等待下一步处理。服务器程序通过定时任务脚本，将待处理文件夹内的资源文件，按照预先设置好的规格，转码生成多种格式的文件供不同级别的设备使用。在完成文件的生成后，服务器将本次信息写入数据库(包括资源地址，上传时间，文件大小)。

视频资源的转码：通过相关工具分三大流程(生成ts块文件、合并视频、输出文件)完成。服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率。

资源下载，在本实施例中的前端是基于C#、lua混合开发的，其中文件操作由C#语言完成。而通过www类获取的数据文件是一次性生成的，在写入文件过大时，会造成unity引擎向系统申请额外的内存空间，用于完成写入操作。在写入完成后，这部分内存不会交还给系统，而是作为unity自身的预留内存(mono内存)而被继续占用。这样就造成了下载的文件越多，占用的系统内存越多。若需要下载大量的高质量的视频文件，而www无法支持断点续传，在网络出现异常且长时间无法恢复的情况时，下载到一半的文件无法保留，用户需要从头下载。这是无法接受的。

基于以上两点，如图2中所示，本实施例的方案摒弃www，转而基于C#API中HttpWebRequest类，封装一个支持断点续传、低内存占用的下载帮助类HttpDownloadHelper

□UploadHandler 整理数据并发送

□DownloadHandler 接收数据并缓存

□HttpDownloadHelper 负责HTTP通信

在本实施例中，断点续传的实现：在http协议(1.1版本)中，可以自定义信息头文件中的range属性，指定从资源文件的什么位置开始获取数据。用文件流将接受到的数据按顺序写入到临时文件流中，当下载中断时，保存已下载的临时数据，并释放文件流和下载请求。再次进行下载时，用文件流读取之前保存好的临时文件，将文件大小作为range发送给服务器，此时从上次下载的位置继续数据的下载。

在上述各实施例的基础上，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件后，还包括：

服务器将本次资源信息写入数据库，资源信息包括资源地址、上传时间和文件大小。

在上述各实施例的基础上，服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件，具体包括：

服务器通过定时任务脚本，将待处理文件夹内的资源文件，按照预先设置好的规格，转码生成多种格式的文件以供不同级别的设备使用。

在本实施例中，作为一种优选的实施方式，依托强大的后台管理功能，内容编辑部门能方便快捷的制作教学相关内容，并上传与之对应的资源文件。上传成功的文件将被统一放置在待处理文件夹中等待下一步处理。服务器程序通过定时任务脚本，将待处理文件夹内的资源文件，按照预先设置好的规格，转码生成多种格式的文件供不同级别的设备使用。在完成文件的生成后，服务器将本次资源信息写入数据库(包括资源地址，上传时间，文件大小)。

在上述各实施例的基础上，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，具体包括：

从不同的存储位置获取视频源文件，统一存储在S3 Source Statage上，并执行Chunk Function生成ts块文件；

对多个ts块进行Reduce Function，并将他们合并，最终生成对应不同需求的不同封装格式的文件。

在本实施例中，作为一种优选的实施方式，从不同的存储位置获取视频源文件，统一存储在S3 Source Statage上，并执行Chunk Function生成ts块文件。由于视频文件中的每组N秒数据块可以被分别获取，这些数据块的计算相互独立，每一个的处理都不依赖于其他的N秒数据块，数据块的分发和执行只取决于服务器现有的CPU总核数，以及并发的Chunk执行数量。所以，这就允许服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率。

通过对多个ts块进行Reduce Function，并将他们合并，最终生成不同封装格式的文件以应对不同的需求。对于要生成DRM文件的，则需要要更加复杂的过程，如生成DRM后的HLS文件，在合并前，需要对每个ts块进行一步加密处理后，再合并文件。

在上述各实施例的基础上，将多个ts块文件合并后，还包括：

在Lambda function中启动一个定制的FTP服务，将FTP服务输入适配到S3 SourceStatage的文件分段上传功能中；

先从第二段数据开始上传，最后再上传包含文件头的第一段数据，以此保证第一段数据的完整正确；将处理的结果上传到的S3 Output Statage中，作为最终的资源文件。

如下表中所示，为基于不同平台的视频格式；

在本实施例中，作为一种优选的实施方式，FFmpeg虽然支持FTP输出，但在输出MP4格式时，它输出大部分数据之后，会跳转到文件头插入一些信息。若按顺序上传，文件头中会丢失一部分数据，使得最终输出的文件不正确。因此，本实施例中在Lambda function中启动一个定制的FTP服务，将FTP输入适配到S3的文件分段上传功能中。由于S3的上传不需要按顺序，上传的每段大小也可以不同，因此可以先从第二段开始上传，最后再上传包含文件头的第一段，以此保证第一段数据的完整正确。此步处理的结果将被上传到的S3 OutputStatage中，作为最终的资源文件。

在上述各实施例的基础上，还包括：

使用文件流写入文件，每次写入的文件数据大小控制在2M以内，以降低unity向系统申请额外内存的几率。

在本实施例中，作为一种优选的实施方式，使用文件流写入文件，每次写入的数据大小严格控制在2M以内，这样可以尽量降低unity向系统申请额外内存的几率，实现了低内存占用。

在上述各实施例的基础上，还包括：

在需要使用资源时，先从服务器获取最新的资源信息，按照资源地址、上传时间、资源大小的方式拼接成文件名，从本地文件中查找该文件名的文件是否存在，若存在则直接使用，若不存在则启动下载。

常见的资源版本比对，需要单独创建一个本地文件，用于保存已下载好文件的版本信息。在本实施例中，作为一种优选的实施方式，将资源信息直接保存在文件名称中：

文件名＝md5(资源地址+上传日期+大小)

在需要使用资源时，先从服务器获取最新的资源信息(包括资源地址、上传日期、文件大小)，按照md5(资源地址+上传日期+大小)的方式拼接成文件名，从本地文件中查找该名称的文件是否存在，若存在则直接使用，若不存在则启动下载。

本发明实施例还提供一种网络资源处理装置，基于上述各实施例中的网络资源处理方法，包括资源上传模块、资源下载模块和资源转码模块；

资源上传模块，用于将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码模块，用于从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载模块，用于将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

图3示例了一种电子设备结构示意图，如图3所示，该服务器可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：

资源上传，将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载，将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

本实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述各实施例中所述网络资源处理方法的步骤。例如包括：

资源上传，将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载，将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

综上所述，本发明实施例提供的一种网络资源处理方法和装置，能方便快捷的制作教学相关内容，并上传与之对应的资源文件；服务器一次运行多组程序来生成ts块，减少空余资源的浪费，降低单次处理任务的内存占用，提高效率，用文件流读取之前保存好的临时文件，将文件大小作为range发送给服务器，此时从上次下载的位置继续数据的下载，使用文件流写入文件，每次写入的数据大小严格控制在2M以内，这样可以尽量降低unity向系统申请额外内存的几率；解决了现有技术中视频资源因跨项目、多标准、单个文件很大、无法中断视频转码操作、耗时、难以暂停和重启转码的难题。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络资源处理方法，其特征在于，包括：

资源上传，将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载，将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

2.根据权利要求1所述的网络资源处理方法，其特征在于，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件后，还包括：

服务器将本次资源信息写入数据库，资源信息包括资源地址、上传时间和文件大小。

3.根据权利要求1所述的网络资源处理方法，其特征在于，服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件，具体包括：

服务器通过定时任务脚本，将待处理文件夹内的资源文件，按照预先设置好的规格，转码生成多种格式的文件以供不同级别的设备使用。

4.根据权利要求1所述的网络资源处理方法，其特征在于，从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，具体包括：

从不同的存储位置获取视频源文件，统一存储在S3 Source Statage上，并执行ChunkFunction生成ts块文件；

对多个ts块进行Reduce Function，并将他们合并，最终生成对应不同需求的不同封装格式的文件。

5.根据权利要求4所述的网络资源处理方法，其特征在于，将多个ts块文件合并后，还包括：

在Lambda function中启动一个定制的FTP服务，将FTP服务输入适配到S3 SourceStatage的文件分段上传功能中；

先从第二段数据开始上传，最后再上传包含文件头的第一段数据，以此保证第一段数据的完整正确；将处理的结果上传到的S3 Output Statage中，作为最终的资源文件。

6.根据权利要求1所述的网络资源处理方法，其特征在于，还包括：

使用文件流写入文件，每次写入的文件数据大小控制在2M以内，以降低unity向系统申请额外内存的几率。

7.根据权利要求1所述的网络资源处理方法，其特征在于，还包括：

在需要使用资源时，先从服务器获取最新的资源信息，按照资源地址、上传时间、资源大小的方式拼接成文件名，从本地文件中查找该文件名的文件是否存在，若存在则直接使用，若不存在则启动下载。

8.一种网络资源处理装置，其特征在于，包括资源上传模块、资源下载模块和资源转码模块；

资源上传模块，用于将上传资源文件放置在一待处理文件夹中，以供服务器每隔设定时间，按照预设格式将所述上传资源文件转码生成可供不同级别设备使用的多种格式的文件；

视频资源转码模块，用于从不同位置获取视频源文件并生成ts块文件，将多个ts块文件合并，以生成不同封装格式的文件；

资源下载模块，用于将接受到的数据按顺序写入到临时文件流中，若下载中断，则保存已下载的临时数据文件，并释放文件流和下载请求；再次进行下载时，用文件流读取之前保存好的临时数据文件，将临时数据文件大小作为range发送给服务器，从上次保存的下载位置继续数据的下载。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述网络资源处理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述网络资源处理方法的步骤。

Images