CN108377399A - 实时视频流转码方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种实时视频流转码方法，包括：获取输入视频流的原始图像帧；根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧；根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。本发明还提供了一种实时视频流转码装置和计算机可读存储介质。通过本发明的技术方案对输入视频流降帧并利用预设帧间距与压缩编码算法对抽取的图像帧进行压缩编码，实现视频流的实时转码与传输，从而降低传输码率并减少视频传输带宽成本。

Description

实时视频流转码方法、装置及计算机可读存储介质

技术领域

本发明涉及视频技术领域，尤其涉及一种实时视频流转码方法、装置及计算机可读存储介质。

背景技术

现有视频流的实时传输，是通过对本地摄像头进行视频数据的实时采集处理，然后上传至云端服务器并且通过云端服务器下载到一个或多个后台用户端。然而随着用户对实时视频的需求逐渐增多，对图像的质量要求也日益增加，摄像头从原先的模拟摄像头发展到现在的高清数字摄像头，导致输出的视频码流在急剧增加。现如今，常用的商业摄像头通常采用帕尔制式(PAL制式)，即输出的单路视频码流每秒传输25帧画面，通常占用传输带宽约2M，甚至更多。要实现多路摄像头视频码流的同时实时传输，若只是在本局域网中传输，传输带宽勉强能承受。然而，要实现远程实时视频传输，通常通过增加带宽来加快视频的实时传输，这无疑对带宽的要求是非常高的，所用成本也是非常昂贵的。

发明内容

鉴于上述问题，本发明提供了一种实时视频流转码技术方案。

本发明的一个实施方式提供一种实时视频流转码方法，包括：

获取输入视频流的原始图像帧；

根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧；

根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

进一步，所述实时视频流转码方法还包括：选取多个逐渐递增的所述预设帧间距，分别计算并记录不同预设帧间距下对应的所述编码码流的码率；当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

进一步，所述预设抽帧规则包括：通过对所述输入视频流的输入帧率与目标帧率的比值进行取整得到间隔值，按照所述间隔值等间隔抽取所述原始图像帧。

进一步，所述“根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧”包括：将所述抽取的图像帧的首帧选取作为第一个关键帧，根据预设帧间距，从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。

进一步，所述预设压缩编码算法为H.264压缩编码算法。

本发明的另一实施方式提供一种实时视频流转码装置，包括：

图像帧获取单元，用于获取输入视频流的原始图像帧；

抽帧处理单元，用于根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧；

编码单元，用于根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

进一步，所述实时视频流转码装置还包括：帧间距调整单元，用于选取多个逐渐递增的所述预设帧间距，分别计算并记录不同预设帧间距下对应的所述编码码流的码率；当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

进一步，所述“抽帧处理单元，用于根据预设抽帧规则对所述原始图像帧进行抽取”为：所述抽帧处理单元通过对所述输入视频流的输入帧率与目标帧率的比值进行取整得到间隔值，按照所述间隔值等间隔抽取所述原始图像帧。

进一步，所述“编码单元，用于根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧”为：所述编码单元选取所述抽取的图像帧的首帧作为第一个关键帧，根据所述预设帧间距从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。

本发明的又一实施方式提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序运行时控制所述计算机可读存储介质使计算机执行进一步的实时视频流转码方法。

本发明通过获取输入视频流的原始图像帧，对原始图像帧进行抽帧处理，达到降帧目的，并利用预设帧间距与压缩编码算法对抽取的图像帧进行压缩编码，实现视频流的实时转码传输，从而降低传输码率并减少视频传输带宽成本。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1为本发明的实时视频流转码方法的第一实施例的流程示意图。

图2为本发明的实时视频流转码的应用示意图。

图3为本发明的实时视频流转码方法的第二实施例的流程示意图。

图4为本发明的实时视频流转码装置的第一实施例的结构示意图。

图5为本发明的实时视频流转码装置的第二实施例的结构示意图。

主要元件符号说明：

实时视频流转码装置-100、200；图像帧获取单元-110；抽帧处理单元-120；编码单元-130；帧间距调整单元-240。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在实时视频流转码方法的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图，对本发明的具体实施方式作详细说明。

实时视频转码系统包括获取视频流并对视频流进行相应的处理，然后传输到云端服务器以方便远程用户查看，该系统常用于直播视频的实时传输、商场的实时监控或基于人脸识别技术的商业智能等。本发明的实施例提供的方法可以应用于实时视频转码系统中以实现视频流的实时转码。

实施例1

图1为本发明的实时视频流转码方法的第一实施例的流程示意图。在实时视频流转码过程中，对已建立连接的摄像头设备所输出的单路或多路视频信号进行实时采集。其中，采集方法可以是通过物理传输介质直接从摄像头设备中采集视频流，也可以是通过RTSP协议(Real-time streaming protocol，实时流传输协议)对局域网或广域网中的摄像头设备所输出的视频流进行采集。本发明实施例提供的方法包括：

步骤S100，获取输入视频流的原始图像帧。

将采集到的视频流进行相应的处理，得到所述输入视频流的原始图像帧，原始图像帧的各帧相互独立，即各帧之间将不需要依赖其他帧来完成图像重建。输入视频流包括模拟视频流和/或数字视频流。当所述输入视频流为模拟视频流时，对其进行数字化处理后得到各图像帧数据，即为所述原始图像帧；当所述输入视频流为数字视频流时，根据所述输入视频流的编码格式及输入帧率对其进行相应的解码处理，从而得到帧间相互独立的原始图像帧。

步骤S200，根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧。

所述预设抽帧规则包括对输入帧率与目标帧率的比值取其整数部分作为间隔值，记为整数值N，再从原始图像帧中每间隔N帧抽取一帧并保留以获得抽取的图像帧。所述抽取的图像帧将用于进一步的编码处理，所述预设抽帧原则可以包括但不限于等间隔抽帧，还可以包括递进式间隔抽帧、随机式抽帧等等。

参照图2，原始图像帧为S0、S1、...、S14，若输入帧率为15fps(即每秒输入15帧)，目标帧率为3fps(即每秒需要从输入的15帧中抽取3帧)，计算得到输入帧率与目标帧率的比值取整后的数值N为5，即间隔值为5。按照本实施例的等间隔抽帧规则，从第一帧起每5帧抽取一帧，将抽取的第5帧、第10帧和第15帧进行保留，得到抽取的图像帧P0’、P1’、P2’。

由于抽取的图像帧之间仍有很多重复的信息，利用压缩编码算法对图像帧压缩编码可以降低传输码率并加快传输速率。

步骤S300，根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

所述预设帧间距是指预先设定的两个关键帧之间的帧数量。所述关键帧包含一幅完整的画面，不需要依赖其他帧来完成图像重构。抽取的图像帧来自帧间相互独立的原始图像帧，故从抽取的图像帧中选取的关键帧均包含完整的画面，下一个关键帧的位置按所述预设帧间距来确定。本实施例选取抽取的图像帧的首帧作为第一个关键帧，根据预设帧间距从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。其中，根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流，所得的编码码流又称为一个序列，通常由1个I帧和若干个P帧组成或由1个I帧、若干个P帧和B帧组成，并以I帧开始直到下一个I帧到来结束。

所述I帧又称为帧内预测编码帧，是通过对所述关键帧进行帧内空间冗余信息的压缩编码得到的，解码时仅用I帧的数据就可重构完整图像。所述P帧是以I帧为参考通过对所述普通帧进行帧间压缩编码得到的，其中，P帧又称为前向预测编码帧，是根据本帧与相邻的前一帧(I帧或P帧)的不同点来压缩本帧数据，解码时需要参考前一帧(I帧或P帧)的图像信息来重构完整画面。所述B帧又称为双向预测编码帧，是根据相邻的前一帧(I帧或P帧)、本帧以及后一帧(P帧)的不同点来压缩本帧数据，解码时需要参考前一帧(I帧或P帧)和后一帧(P帧)的图像信息来重构完整画面。

本实施例中采用H.264压缩编码算法对所述关键帧进行帧内压缩编码，得到I帧；并以I帧作为参考对所述普通帧进行帧间压缩编码得到P帧，所述I帧和P帧组成所述编码码流。本实施例中的所述普通帧除了可以编码成P帧，还可以编码成B帧，从而得到由I帧、P帧和B帧共同组成所述编码码流。所述压缩编码算法不限于H.264算法，还可以为MPEG-4算法、H.265算法或由上述所列算法结合的混合算法等。

继续参照图2，以上述步骤S200中列举的抽帧实例进行具体编码举例说明。若输入帧率为15fps，目标帧率为3fps，预设帧间距为10，如图2所示，将抽取的图像帧的首帧P0’作为第一个关键帧，余下的帧P1’和P2’则作为普通帧，利用压缩编码算法对所述关键帧和普通帧进行编码，编码的同时进行后续原始图像帧的抽帧操作。当抽取到图像帧P10’时，将帧P10’作为第二个关键帧，即两个关键帧之间的帧数量为10，而余下抽取的图像帧P1’、P2’…、P9’则作为普通帧，如此循环，得到后续的关键帧和普通帧。编码时按H.264压缩编码算法对关键帧P0’进行帧内压缩编码得到编码帧I1，并将I1帧作为参考对普通帧P1’、P2’、…、P9’进行帧间压缩编码，得到对应的编码帧P1、P2、…、P9，所述编码码流由I1、P1、P2、…、P9组成。其中，对上述普通帧P1’、P2’、…、P9’进行压缩编码时也可以按实际需求编码成B帧，得到由I帧、P帧和B帧所组成的所述编码码流，如由I1、B1、B2、P3、…、P9组成的编码码流。后续的所述编码码流按上述同样的编码方法进行处理。若需要传输到云端服务器，可按需求对该编码码流进行特定格式的封装并将其打包成适合网络传输的视频流数据包等。

本发明通过将输入视频流解码成原始图像帧，对原始图像帧进行抽帧处理，并利用预设帧间距与预设压缩编码算法对抽取的图像帧进行压缩编码，实现视频流的实时转码，从而降低传输帧率和码率且减少视频传输带宽成本。

实施例2

图3为本发明的实时视频流转码方法的第二实施例的流程示意图。与上述的第一实施例的不同之处仅在于，本发明实时视频转码方法的第二实施例还包括：

步骤S410，选取多个逐渐递增的所述预设帧间距，分别计算并记录不同所述预设帧间距对应的所述编码码流的码率。

步骤S420，当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

所述码率是指视频码率，即视频数据单位时间内传送的二进制数据量，单位通常为kbps。所述编码码流以二进制形式表示及存储，故得到编码码流后计算该编码码流在一定时间内占用的总数据流量，码率即为总数据流量/时间。

所述预设帧间距的个数视可根据实际情况而定，所述预设帧间距可参考目标帧率或输入帧率的数值来选取。本实施例按照等间隔递增规律对帧间距进行取值，取值的个数由本领域技术人员根据实际需要来选取并分别计算及记录其对应的码率情况。

随着预设帧间距在逐渐增大，两个I帧之间的距离越来越远，由于I帧的压缩率远小于P帧，P帧的压缩率又小于B帧，故同样的时间内传输相同数量的编码帧时，I帧数量减少，P帧和B帧的数量增加，所得码率也将相应变化且呈降低趋势。在保证一定的画面质量的前提下，所得码率降低到一定程度时将不再明显降低，即有连续两个或多个所述码率之间的差值不超过所述预设阈值，此时从中选取一个码率并将其对应的预设帧间距作为调整后的所述预设帧间距。所述码率之间的差值是指相邻码率之间的差值，所述预设阈值的大小可由本领域技术人员根据实际需要来选取，同时不超过预设阈值的差值的数量由本领域技术人员根据实际需要来决定。所述保证一定的画面质量可根据实际设定的画质级别和/或图像分辨率等来决定。

本实施例通过实时降帧转码并对预设帧间距进行动态调整以实现码率调整，从而达到降低码率和减少传输带宽的目的。

实施例3

图4为本发明的实时视频流转码装置的第一实施例的结构示意图。该实时视频流转码装置100包括：图像帧获取单元110，抽帧处理单元120及编码单元130。

图像帧获取单元110用于获取输入视频流的原始图像帧。

图像帧获取单元110将采集到的视频流进行相应的处理，得到所述输入视频流的原始图像帧并将该原始图像帧送入抽帧处理单元120。输入视频流包括模拟视频流和/或数字视频流。当所述输入视频流为模拟视频流时，对其进行数字化处理后得到各图像帧数据，即为所述原始图像帧；当所述输入视频流为数字视频流时，根据所述输入视频流的编码格式及输入帧率，对其进行相应的解码处理，从而得到帧间相互独立的原始图像帧。

抽帧处理单元120用于根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧。

例如，抽帧处理单元120按照所述间隔值等间隔抽取由图像帧获取单元110获取的所述原始图像帧，并将抽取的图像帧送入编码单元130。所述预设抽帧规则包括通过对所述输入视频流的输入帧率与目标帧率的比值进行取整得到间隔值，并按照所述间隔值等间隔抽取所述原始图像帧。

编码单元130用于根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

例如，编码单元130将所述抽取的图像帧的首帧选取作为第一个关键帧，根据预设帧间距从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。编码单元130采用H.264视频编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。若所述编码码流经过流封装及协议封装等处理，可以用于视频流的实时传输。

本发明所提供的实时视频流转码装置可以实现降帧，并利用预设帧间距与压缩编码算法对抽取的图像帧进行压缩编码，实现视频流的实时转码，达到减小码率及传输带宽目的。

实施例4

图5为本发明的实时视频流转码装置的第二实施例的结构示意图。与上述的实时视频流转码装置100的不同之处仅在于，本实施例的实时视频流转码装置200还包括：帧间距调整单元240。

帧间距调整单元240用于选取多个逐渐递增的所述预设帧间距，分别计算并记录不同预设帧间距下对应的所述编码码流的码率；当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

例如，帧间距调整单元240选取多个逐渐递增的预设帧间距送入编码单元130并对编码单元130所得到的编码码流进行相应的码率计算及记录，当连续多个所述码率之间的差值不超过预设阈值时，帧间距调整单元240从中选取一个所述码率并将其对应的预设帧间距选取调整后的所述预设帧间距。

本发明所提供的实时视频流转码装置可以实现降帧并对预设帧间距进行调整，将调整后的预设帧间距所得的编码码流作为最终的编码码流输出，达到动态调整码率并减少传输带宽成本目的。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序运行时控制所述计算机可读存储介质使计算机执行进一步的实时视频流转码方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种实时视频流转码方法，其特征在于，包括：

获取输入视频流的原始图像帧；

根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧；

根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

2.根据权利要求1所述的实时视频流转码方法，其特征在于，还包括：

选取多个逐渐递增的所述预设帧间距，分别计算并记录不同预设帧间距下对应的所述编码码流的码率；当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

3.根据权利要求1所述的实时视频流转码方法，其特征在于，所述预设抽帧规则包括：

通过对所述输入视频流的输入帧率与目标帧率的比值进行取整得到间隔值，按照所述间隔值等间隔抽取所述原始图像帧。

4.根据权利要求1所述的实时视频流转码方法，其特征在于，所述“根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧”包括：

选取所述抽取的图像帧的首帧作为第一个关键帧，根据所述预设帧间距，从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。

5.根据权利要求1所述的实时视频流转码方法，其特征在于，所述预设压缩编码算法为H.264压缩编码算法。

6.一种实时视频流转码装置，其特征在于，包括：

图像帧获取单元，用于获取输入视频流的原始图像帧；

抽帧处理单元，用于根据预设抽帧规则对所述原始图像帧进行抽取，获得抽取的图像帧；

编码单元，用于根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧，其他帧则作为普通帧；根据预设压缩编码算法对所述关键帧和普通帧进行压缩编码，得到编码码流。

7.根据权利要求6所述的实时视频流转码装置，其特征在于，还包括：

帧间距调整单元，用于选取多个逐渐递增的所述预设帧间距，分别计算并记录不同预设帧间距下对应的所述编码码流的码率；当连续多个所述码率之间的差值不超过预设阈值时，从中选取一个所述码率并将其对应的预设帧间距作为调整后的所述预设帧间距。

8.根据权利要求6所述的实时视频流转码装置，其特征在于，所述“抽帧处理单元，用于根据预设抽帧规则对所述原始图像帧进行抽取”为：

所述抽帧处理单元通过对所述输入视频流的输入帧率与目标帧率的比值进行取整得到间隔值，按照所述间隔值等间隔抽取所述原始图像帧。

9.根据权利要求6所述的实时视频流转码装置，其特征在于，所述“编码单元，用于根据预设帧间距从所述抽取的图像帧中选取相应的帧作为关键帧”为：

所述编码单元选取所述抽取的图像帧的首帧作为第一个关键帧，根据所述预设帧间距从所述抽取的图像帧中选取相应的其他帧作为第二个至第N个关键帧。

10.一种计算机可读存储介质，其特征在于：

所述计算机可读存储介质中存储有计算机程序，所述计算机程序运行时控制所述计算机可读存储介质使计算机执行权利要求1-5中任意一项所述的实时视频流转码方法。