CN112738525A - 视频处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置及计算机可读存储介质。本申请的视频处理方法包括：获取待处理视频数据；将待处理视频数据进行预转码，以获得至少一个待处理帧；获取解码器池，解码器池至少包括一个解码器；选择解码器池中的解码器处理待处理帧，获得已解码帧；将已解码帧存入解码器缓存区；将使用过的解码器回收至解码器池。视频处理方法提升了视频编辑的效率。

Description

视频处理方法、装置及计算机可读存储介质

技术领域

本申请涉及但不限于视频编辑领域，尤其是涉及一种视频处理方法、装置及计算机可读存储介质。

背景技术

非线性视频编辑技术应用于视频编辑领域中，当前的视频编辑系统在处理复杂片段时，存在占用较高计算机资源的问题。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种视频处理方法，能够解决视频编辑系统占用较高计算机资源的问题。

本申请还提出一种具有视频处理方法的装置。

本申请还提出一种具有视频处理法的计算机可读存储介质。

根据本申请第一方面实施例的视频处理方法，所述方法包括：获取待处理视频数据；将所述待处理视频数据进行预转码，以获得至少一个所述待处理帧；选择解码器池中的解码器处理所述待处理帧，获得已解码帧；所述解码器池至少包括一个所述解码器；将所述已解码帧存入解码器缓存区；将使用过的所述解码器回收至所述解码器池。

根据本申请实施例的视频处理方法，至少具有如下技术效果：视频处理方法减少了处理复杂视频片段时对计算机资源的占用，提升了视频编辑的效率。

根据本申请的一些实施例，在所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧之前，所述方法还包括：获取所述待处理视频数据的待处理帧的帧号；根据所述帧号查询所述解码器缓存区，以获得查询结果。

根据本申请的一些实施例，在所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧之前，所述方法还包括：根据所述查询结果判断所述待处理帧是否已被解码；若所述待处理帧已被解码，则从所述解码器缓存区中获得所述已解码帧。

根据本申请的一些实施例，所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧包括：根据所述帧号查询每个所述解码器缓冲区，判断是否存在相近帧；所述相近帧包括与所述待处理帧在预设范围内的已解码帧；若存在所述相近帧，则选择所述相近帧对应的解码器来处理所述待处理帧。

根据本申请的一些实施例，所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧还包括：若不存在所述相近帧，则查询所述解码器池中是否存在空闲的解码器；若存在所述空闲的解码器，则选择所述空闲的解码器中最久未使用解码器来处理待处理帧；若不存在所述空闲的解码器，则新建解码器来处理待处理帧。

根据本申请的一些实施例，在所述获取待处理视频数据之后，所述方法还包括：获取所述待处理视频数据的属性信息；根据所述属性信息得到文件标识。

根据本申请的一些实施例，所述将所述已解码帧存入解码器缓存区之后，所述方法还包括：将各个所述解码器缓存区中的所述已解码帧存入输出队列；将所述输出队列中的所述已解码帧发送给上层应用，以供所述上层应用使用。

根据本申请第二方面实施例的视频处理装置，包括：视频获取模块，用于获取待处理视频数据；预转码模块，用于将所述待处理视频数据进行预转码，以获得至少一个所述待处理帧；解码模块，用于选择解码器池中的解码器处理所述待处理帧，获得已解码帧；所述解码器池至少包括一个所述解码器；缓存模块，用于将所述已解码帧存入解码器缓存区；回收模块，用于将使用过的所述解码器回收至所述解码器池。

根据本申请第三方面实施例的视频处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：本申请上述第一方面实施例的视频处理方法。

根据本申请第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述第一方面实施例的所述的视频处理方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过申请的实践了解到。

附图说明

下面结合附图和实施例对本申请做进一步的说明，其中：

图1是本申请一个实施例提供的视频处理方法流程图；

图2是本申请另一个实施例提供的视频处理方法流程图；

图3是本申请另一个实施例提供的视频处理方法流程图；

图4是本申请另一个实施例提供的视频处理方法流程图；

图5是本申请另一个实施例提供的视频处理方法流程图；

图6是本申请另一个实施例提供的视频处理方法流程图；

图7是本申请另一个实施例提供的视频处理方法流程图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。

本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

非线性视频编辑是一项非常耗费计算机资源的工作，对计算机的要求很高。特别在面临业余用户的时候，时间线上片段排布缺乏科学性，经常面临很多相邻的重复片段，造成很大的消耗；与此同时，业余用户的计算机资源也相对有限，因此如何高效利用计算机资源成为非线性视频编辑领域的一个核心需求。

目前，依据不同的应用环境和实际需求，主要有两类缓冲方案，第一种方案为：对媒体文件进行预先解码，在对时间线进行预览前，用转码后的素材替换；第二种方案为：在预览前，对时间线最终效果进行解码。

其中，对媒体文件进行预先转码的方案，往往存在下采样降低分辨率的问题，当同一个素材在时间线上重复排列时，需要开启多份解码器进行工作，需要占用更多的系统资源；而对时间线最终效果进行解码的方案，若需要在时间线对素材进行变更，即使是很细微的变更也需要对素材重新进行解码，用户需要等待缓冲完成才能预览，使得工作效率较低；这种方法同时也存在下采样降低分辨率的问题。

针对时间线上复杂排列的片段，或数据复杂度较高的片段，现有的分配解码器的方法是，时间线上的每个片段都对应一个HAL(Hardware Abstract Layer，硬件抽象层)层解码器，解码器在完成该片段解码工作后被销毁，在下次对数据解码时，采用新建的解码器。如每秒处理30帧数据时，需要分配30个解码器同时对30帧数据进行处理，完成处理之后，30个解码器被销毁。

依靠现有的视频编辑技术，在视频处理设备的计算能力有限时，检索和处理复杂帧数据的耗时较多。当对同一个媒体文件在一个轨道上被以比较小的时间单位切割成的多个片段进行处理时，会占用较多计算资源。

基于此，本申请提出了一种视频处理方法，即一种高效的缓冲方案，针对在业余用户的有限计算机资源及缺乏相关专业知识的情况下，本方法能够合理利用计算机资源，有效提升复杂时间线预览流畅度。

根据本申请实施例的视频处理方法，方法包括：获取待处理视频数据；将待处理视频数据进行预转码，以获得至少一个待处理帧；选择解码器池中的解码器处理待处理帧，获得已解码帧；解码器池至少包括一个解码器；将已解码帧存入解码器缓存区；将使用过的解码器回收至解码器池。

如图1所示，在一些实施例中，视频处理方法包括：

S110，获取待处理视频数据；

S120，将待处理视频数据进行预转码，以获得至少一个待处理帧；

S130，选择解码器池中的解码器处理待处理帧，获得已解码帧；解码器池至少包括一个解码器；

S140，将已解码帧存入解码器缓存区；

S150，将使用过的解码器回收至解码器池。

在步骤S110中，上层模块提供媒体文件给信息服务组件，信息服务组件对媒体文件的媒体信息数据进行提取和存储。

在步骤S120中，在系统空闲时，信息服务组件对复杂度较高的媒体文件进行原分辨率转码，并输出列表给帧服务模块，用于其索引。其中，复杂度主要依据有几个方面：文件封装格式，比如ts\m2ts等不方便按帧进行检索的；解码复杂度，比如hevc、av1等复杂度高耗时大的；关键帧间隔比较长的，比如超过300帧的等；帧率高、视频分辨率大因素等。

在一些实施例中，视频处理方法自动挑选系统空闲时间进行转码操作，便于以原分辨率、选择低损耗的格式进行转码，提升时间线的预览画质。在步骤S130中，为解码工作设置一个解码器池，从解码器池中选择解码器对待处理帧进行解码处理。

在一些实施例中，对于同一素材重复排列的情况，本方案采用固定数量(如3个)的解码器进行轮换使用，以降低视频编辑工作对系统的压力。当其中一个解码器在解码时，其他解码器依次移动到后续待解码数据帧的位置，准备解码，每个解码器解码完一个数据帧时，也会移动到后续待解码数据帧的位置做准备。通过对解码器循环使用，降低了解码处理对系统资源的占用量，减小了媒体文件处理设备的卡顿率。

在步骤S140中，解码的帧数据会形成缓冲，并存储到解码器缓存区，解码器缓存区设置在内存或者磁盘上。当处理到不同轨道中的已解码帧及其相邻帧时，都可以直接使用解码器缓冲区中的已解码帧，而无需再次解码。从而提升了媒体处理设备的处理效率。

在步骤S150中，使用过的解码器不会被释放或销毁，而是回收至解码器池，以便在下次解码工作中使用，极大地提升了解码器的使用效率，在顺利处理复杂数据帧的同时，节约了计算资源。

在一些实施例中，视频处理方法利用系统闲置资源，择时自动处理媒体文件进行解码处理，减少了用户操作的等待时间。

视频处理方法避免了在时间线上同一媒体文件被连续裁剪的情况下，需要同时使用非常多的解码器，导致预览卡顿、计算机资源消耗高的问题。

视频处理方法通过对时间线上复杂排列的片段采取解码器循环使用，提高了解码器的利用效率，减少因解码器冗余而造成的计算机资源浪费，从而提升了视频编辑的效率。

根据本申请的一些实施例，在选择解码器池中的解码器处理待处理帧，获得已解码帧之前，方法还包括：获取待处理视频数据的待处理帧的帧号；根据帧号查询解码器缓存区，以获得查询结果。

如图2所示，在一些实施例中，视频处理方法包括：

S210，获取待处理视频数据的待处理帧的帧号；

S220，根据帧号查询解码器缓存区，以获得查询结果。

在步骤S210至S220中，帧服务组件根据用户提供的文件标识和所需要帧号，在解码器缓冲区中查询相应数据帧，以获得查询结果。查询的对象包括与所需要帧号相同或相近的数据帧。

根据本申请的一些实施例，在选择解码器池中的解码器处理待处理帧，获得已解码帧之前，方法还包括：根据查询结果判断待处理帧是否已被解码；若待处理帧已被解码，则从解码器缓存区中获得已解码帧。

如图3所示，在一些实施例中，视频处理方法包括：

S310，根据查询结果判断待处理帧是否已被解码；

S320，若待处理帧已被解码，则从解码器缓存区中获得已解码帧。

在步骤S310至S320中，针对时间线上复杂排列的片段，有一部分数据帧片段会重复出现，若查询到该数据帧已经被解码过，则从对应的解码器缓存区中提取出此已解码帧，无需对相同数据帧重复解码，从而节省了计算资源。

根据本申请的一些实施例，选择解码器池中的解码器处理待处理帧，获得已解码帧包括：根据帧号查询每个解码器缓冲区，判断是否存在相近帧；相近帧包括与待处理帧在预设范围内的已解码帧；若存在相近帧，则选择相近帧对应的解码器来处理待处理帧。

如图4所示，在一些实施例中，视频处理方法包括：

S410，根据帧号查询每个解码器缓冲区，判断是否存在相近帧；

S420，若存在相近帧，则选择相近帧对应的解码器来处理待处理帧。

在步骤S410至S420中，相近帧为与待处理帧在预设范围内的已解码帧。

在一些实施例中，查询各个解码器缓冲区，判断是否存在与所需数据帧在预设范围内(如相隔在10帧以内)的已解码帧；若存在相近帧，则选择该已解码帧对应的解码器来处理所需数据帧。这样会尽量使得同一解码器处理的数据帧为相邻帧或相近帧，因为相邻帧或相近帧的图像特征较为相似，便于直接提取使用，便于对已解码帧进行缓存和管理，也便于将已解码帧转入输出队列，以供上层应用使用。

根据本申请的一些实施例，选择解码器池中的解码器处理待处理帧，获得已解码帧还包括：若不存在相近帧，则查询解码器池中是否存在空闲的解码器；若存在空闲的解码器，则选择空闲的解码器中最久未使用解码器来处理待处理帧；若不存在空闲的解码器，则新建解码器来处理待处理帧。

如图5所示，在一些实施例中，视频处理方法包括：

S510，若不存在相近帧，则查询解码器池中是否存在空闲的解码器；

S520，若存在空闲的解码器，则选择空闲的解码器中最久未使用解码器来处理待处理帧；

S530，若不存在空闲的解码器，则新建解码器来处理待处理帧。

在步骤S510至S520中，解码器的选择原则为优先选择空闲的、最久未使用解码器来处理所需数据帧，从而避免存在长时间不被使用的解码器，提升解码器的工作效率。

在步骤S530中，当没有空闲的解码器可供选择时，系统会新建解码器，加入解码器池，并利用新建的解码器对数据帧进行处理。由于解码器耗费资源较多，解码器的数量有一个上限，当达到上限时，则需要进行排队处理。

根据本申请的一些实施例，在获取待处理视频数据之后，方法还包括：获取待处理视频数据的属性信息；根据属性信息得到文件标识。

如图6所示，在一些实施例中，视频处理方法包括：

S610，获取待处理视频数据的属性信息；

S620，根据属性信息得到文件标识。

在步骤S610至S620中，待处理视频数据为需处理的媒体文件，属性信息包括但不限于媒体文件的数据内容、数据大小、最后修改时间，文件标识包括但不限于MD5值。

在一些实施例中，信息服务组件对媒体文件的媒体信息数据进行提取和存储之后，根据媒体文件的需处理区段的数据内容、数据大小、最后修改时间来计算MD5值，作为文件标识返回给上层模块，用于对媒体文件的标识。

其中，文件标识是一个数字摘要，可以看作是媒体文件的别名、编号，设置文件标识以便于程序管理。上层用这个标识与帧服务组件交流，唯一标识出该媒体文件。假设同一个文件复制到不同的地方，只要内容不改变，计算出来的标识仍然是一样的。

根据本申请的一些实施例，将已解码帧存入解码器缓存区之后，方法还包括：将各个解码器缓存区中的已解码帧存入输出队列；将输出队列中的已解码帧发送给上层应用，以供上层应用使用。

如图7所示，在一些实施例中，视频处理方法包括：

S710，将各个解码器缓存区中的已解码帧存入输出队列；

S720，将输出队列中的已解码帧发送给上层应用，以供上层应用使用。

在一些实施例中，在时间线上，上层模块根据文件标识，结合时间线对媒体文件的所需帧号作为需求信息，提供给帧服务组件产生任务并加入任务队列。帧服务组件通过输出队列，将帧数据提供给上层模块使用。

在一些实施例中，解码器缓存区用于保存的自身解码过的帧数据。一个解码器对应一系列的已解码的帧数据。

在一些实施例中，输出队列缓存区，是内存中已准备好给上层使用的帧数据。解码器缓冲的帧，按上层需要输出到输出队列里面。

在一些实施例中，解码器缓存区和输出队列缓存区的队列数可动态调整。缓冲数的动态调整是多种因素的一个平衡取舍过程。队列数的设置优先依据于内存空闲大小，内存比较充足的，缓冲数量会相应增加；其次，队列数的设置还依据于与媒体文件的分辨率、帧率，若分辨率大，则内存缓冲的帧数会降低、硬盘缓冲的帧数就会增加，以实现充分利用资源的效果。

根据本申请实施例的视频处理装置，包括：视频获取模块，用于获取待处理视频数据；预转码模块，用于将待处理视频数据进行预转码，以获得至少一个待处理帧；解码模块，用于选择解码器池中的解码器处理待处理帧，获得已解码帧；解码器池至少包括一个解码器；缓存模块，用于将已解码帧存入解码器缓存区；回收模块，用于将使用过的解码器回收至解码器池。

在一些实施例中，视频处理装置包括但不限于信息服务模块和帧服务模块，其中信息服务模块包括但不限于视频获取模块、预转码模块；帧服务模块包括但不限于解码模块、缓存模块、回收模块。视频处理装置利用上述模块的功能，减少了处理复杂视频片段时对计算机资源的占用，提升了视频编辑的效率。

根据本申请实施例的视频处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现：本申请任一上述实施例的视频处理方法。

根据本申请实施例的计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行任一上述实施例的视频处理方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (10)

1.视频处理方法，其特征在于，包括：

获取待处理视频数据；

将所述待处理视频数据进行预转码，以获得至少一个所述待处理帧；

选择解码器池中的解码器处理所述待处理帧，获得已解码帧；所述解码器池至少包括一个所述解码器；

将所述已解码帧存入解码器缓存区；

将使用过的所述解码器回收至所述解码器池。

2.根据权利要求1所述的视频处理方法，其特征在于，在所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧之前，所述方法还包括：

获取所述待处理视频数据的待处理帧的帧号；

根据所述帧号查询所述解码器缓存区，以获得查询结果。

3.根据权利要求2所述的视频处理方法，其特征在于，在所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧之前，所述方法还包括：

根据所述查询结果判断所述待处理帧是否已被解码；

若所述待处理帧已被解码，则从所述解码器缓存区中获得所述已解码帧。

4.根据权利要求2所述的视频处理方法，其特征在于，所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧包括：

根据所述帧号查询每个所述解码器缓冲区，判断是否存在相近帧；所述相近帧包括与所述待处理帧在预设范围内的已解码帧；

若存在所述相近帧，则选择所述相近帧对应的解码器来处理所述待处理帧。

5.根据权利要求4所述的视频处理方法，其特征在于，所述选择解码器池中的解码器处理所述待处理帧，获得已解码帧还包括：

若不存在所述相近帧，则查询所述解码器池中是否存在空闲的解码器；

若存在所述空闲的解码器，则选择所述空闲的解码器中最久未使用解码器来处理待处理帧；

若不存在所述空闲的解码器，则新建解码器来处理待处理帧。

6.根据权利要求1所述的视频处理方法，其特征在于，在所述获取待处理视频数据之后，所述方法还包括：

获取所述待处理视频数据的属性信息；

根据所述属性信息得到文件标识。

7.根据权利要求1所述的视频处理方法，其特征在于，所述将所述已解码帧存入解码器缓存区之后，所述方法还包括：

将各个所述解码器缓存区中的所述已解码帧存入输出队列；

将所述输出队列中的所述已解码帧发送给上层应用，以供所述上层应用使用。

8.视频处理装置，其特征在于，所述视频处理装置，包括：

视频获取模块，用于获取待处理视频数据；

预转码模块，用于将所述待处理视频数据进行预转码，以获得至少一个所述待处理帧；

解码模块，用于选择解码器池中的解码器处理所述待处理帧，获得已解码帧；所述解码器池至少包括一个所述解码器；

缓存模块，用于将所述已解码帧存入解码器缓存区；

回收模块，用于将使用过的所述解码器回收至所述解码器池。

9.视频处理装置，其特征在于，所述视频处理装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

如权利要求1至7中任一项所述的视频处理方法。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于：

执行权利要求1至7中任一项所述的视频处理方法。

Images