CN103618911B - 一种基于视频属性信息的视频流提供方法及装置 - Google Patents

Abstract

本发明公开了一种基于视频属性信息的视频流提供方法及装置，该方法服务器在向客户端提供应用程序的视频流时，针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息，采用该视频属性信息与缓存中保存的各视频属性信息进行匹配，当匹配成功时，将缓存中对应的编码后的视频帧提供给终端，当未匹配成功时，针对该当前视频帧进行编码，并将编码后的视频帧提供给客户端的同时将其相对该视频属性信息保存在缓存中。本发明还提供了相应的装置。在本发明根据该当前视频帧的视频属性信息在缓存中匹配是否存在相同的已经编码的视频帧，将缓存中已经编码的视频帧提供给客户端，节省了服务器资源，提高了服务器的并发路数。

Description

一种基于视频属性信息的视频流提供方法及装置

技术领域

本发明涉及视频编码技术领域，尤其涉及一种基于视频属性信息的视频流提供方法及装置。

背景技术

随着技术的发展，用户的需求也越来越多样化，为了满足不同用户的需求，通过服务器向用户提供视音频服务。具体的，服务器接收用户通过终端设备发送的指令，根据指令生成相应的图像，并将图像编码后返回给终端设备，以便终端设备将图像进行显示。

一般服务器对视频图像进行编码的方式包括即时编码的方式和预先编码的方式。

即时编码的方式可以满足实时性较高的要求。在采用即时编码方式进行编码时，针对采集到的每一帧图像都进行编码。由于视频图像的采集和播放均要求较高的实时性，因此即时编码的方式要求编码速率不低于视频图像的采集速率。

虽然即时编码方式可以使服务器对生成的每个图像都进行编码，满足图像变化的要求，但其要求较高的编码速率，需要的运算量也较大，从而服务器需要消耗大量的系统资源进行运算，导致服务器压力过大，也降低了服务器同时为多个用户提供服务时的并发路数。

预先编码的方式适用于对视频图像的播放的实时性要求较低的场景。采用预先编码的方式进行编码时，需要提前预知输出的视频帧，根据预知的状态进行编码。由于对视频图像的播放要求的实时性较低，因此预先编码的方式并不要求较高的编码速率。但是由于根据提前预知的状态进行编码，因此该方法适用于重复率较高的场景，当实际采集的画面和提前预知的画面不同时，将无法向用户提供相应的视频，因此该编码方式的通用性较差。

发明内容

本发明实施例提供一种基于视频属性信息的视频流提供方法及装置，用以解决现有服务器在向客户端提供编码后的视频流时，采用的编码方式不合适，影响视频流的显示质量或限制服务器的并发路数的问题。

本发明实施例提供了一种基于视频属性信息的视频流提供方法，所述方法包括：

服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息；

将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配；

当匹配成功时，将缓存中该匹配成功的视频属性信息对应的编码后的视频帧提供给客户端，否则，对该当前视频帧进行编码并提供给客户端，并将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中。

本发明实施例提供了一种基于视频属性信息的视频流提供装置，所述装置包括：

获取模块，用于针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息；

匹配模块，用于将该当前视频帧的该视频属性信息与缓存中保存的每个视频属性信息进行匹配；

提供模块，用于在确定匹配模块匹配成功时，将缓存中该匹配成功的该视频属性信息对应的编码后的视频帧提供给客户端，在确定匹配模块匹配失败时，对该当前视频帧进行编码并提供给客户端；

缓存模块，用于将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中。

本发明实施例提供一种基于视频属性信息的视频流提供方法及装置，该方法中服务器在向客户端提供应用程序的视频流时，针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息，采用该视频属性信息与缓存中保存的各视频属性信息进行匹配，当匹配成功时，将缓存中对应的编码后的视频帧提供给终端，当未匹配成功时，针对该当前视频帧进行编码，并将编码后的视频帧提供给客户端的同时将其相对该视频属性信息保存在缓存中。由于在本发明实施例中服务器在采集到每个当前视频帧后，根据该当前视频帧的视频属性信息在缓存中匹配是否存在相同的已经编码的视频帧，当存在时，直接将缓存中已经编码的视频帧提供给客户端，从而避免了服务器针对每个视频帧都进行编码，节省了服务器资源，提高了服务器的并发路数。

附图说明

图1为本发明实施例提供的一种基于视频属性信息的视频流提供过程示意图；

图2为本发明实施例提供的一种视频帧的划分方式示意图；

图3为本发明实施例提供的一种基于视频属性信息的视频流提供的详细实施过程示意图;

图4为本发明实施例提供的一种基于视频属性信息的视频流提供的另一详细实施过程示意图；

图5为本发明实施例提供的该基于视频属性信息的视频流提供的另一具体实施过程示意图；

图6为本发明实施例提供的一个基于视频属性信息的视频流提供的具体实施方式示意图；

图7为本发明实施例提供的一种基于视频属性信息的视频流提供装置的结构示意图。

具体实施方式

本发明为了提高视频流的显示质量，并有效的提高服务器的并发路数，提供了一种基于视频属性信息的视频流提供方法及装置。

下面结合说明书附图，对本发明进行详细说明。

图1为本发明实施例提供的一种基于视频属性信息的视频流提供过程示意图，该过程包括以下步骤：

S101：服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息。

当客户端使用服务器上的应用程序时，服务器在本地启动该应用程序，并将应用程序的音视频信息进行编码后发送到客户端。在本发明实施例中服务器在向客户端提供视频流时，采用采集一帧编码一帧发送一帧的方案。服务器采集该应用程序生成的每个视频帧，将采集到的视频帧作为当前视频帧，获取该当前视频帧的视频属性信息。

其中该视频属性信息可以为视频帧的亮度信息、颜色信息、像素值信息等信息。

S102：将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配，当匹配成功时，进行步骤S103，否则，进行步骤S104。

在缓存中保存有编码后的多个视频帧，及每个视频帧的视频属性信息。因此在本发明实施例中为了减小服务器的压力，在保证视频质量的同时，提高服务器的并发路数，当获取了当前视频帧的视频属性信息后，将该视频属性信息与缓存中保存的每个视频属性信息进行匹配，以确定之前是否存在过与该当前视频帧相同或相似的视频帧，以便将缓存中已经编码的视频帧提供给客户端，从而减小服务器进行编码的工作量。

S103：将缓存中该匹配成功的视频属性信息对应的编码后的视频帧提供给客户端。

当缓存中存在与该视频属性信息匹配的视频属性信息时，说明之前出现过与该当前视频帧相同或相似的视频帧，并且缓存中保存有其对应的编码后的视频帧，为了减小服务器的压力，在本发明实施例中将缓存中匹配成功的视频属性信息对应的编码后的视频帧提供给客户端。

S104：对该当前视频帧进行编码并提供给客户端，并将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中。

当缓存中不存在与该视频属性信息匹配的视频属性信息时，说明之前未出现过与该当前视频帧相同或相似的视频帧，此时服务器对该当前视频帧进行编码并提供给客户端。为了保证后续再出现与该当前视频帧相同或相似的视频帧时，可以从缓存中向客户端提供，在本发明实施例中该服务器将该编码后的当前视频帧及该当前视频帧的视频指纹保存到缓存中。具体的在缓存中可以针对每个视频帧保存该视频帧的视频属性信息及编码后的该视频帧的对应关系。

由于在本发明实施例中服务器在采集到每个当前视频帧后，根据该当前视频帧的视频属性信息在缓存中匹配是否存在相同的已经编码的视频帧，当存在时，直接将缓存中已经编码的视频帧提供给客户端，从而避免了服务器针对每个视频帧都进行编码，节省了服务器资源，提高了服务器的并发路数。

由于视频流是由一系列的静态图像按照一定的时间顺序组成的。视频数据具有较大的时间、空间相关性，可以利用静态图像的某些特征值随时序的编码来表征视频，这些静态图像的特征值随时序的变化称为视频属性信息。在现有技术中当两个在时间轴上、分布在不同位置的视频帧中，具有许多相同的静态图像的特征值时，它们被认为两个相同或相似的视频帧的可能性很低。在本发明实施例可以将分布在时间轴不同位置的两个相同或相似的视频帧，根据视频属性信息查找出来。

通常提取视频内容本身所具有的某些特性，例如亮度、颜色、形状等特性作为视频属性信息。视频属性信息具有很多特性，例如感知性、唯一性、鲁棒性和高效性等。人眼视觉系统对于内容相同的视频帧，即使视频帧的分辨率不同、视频亮度不同，色彩不同，旋转角度不同，但只要视频帧所表达的内容是相同的，则人眼视觉系统感知到的信息就是相同的。视频属性信息能够唯一标识视频内容，相同的视频其对应的视频属性信息相同。并且视频属性信息可以抵抗噪声、剪切、缩放、帧率变化、转码等操作，因为只要视频数据携带的内容是不变的，则其视频属性信息就可以抵抗保留内容不变的攻击操作。另外，由于视频包含的数据量比较大，特别是现在的高清数字视频携带的信息量越来越大，视频属性信息可以简介、高效的标识视频内容。在视频属性信息的提取时主要包括空间域特征提取和频率域特征提取，在具体进行视频属性信息的提取时，可以根据需要灵活的选择提取方法。

在进行视频属性信息的提取时，可以基于亮度、颜色、形状等特征作为视频属性信息，该视频属性信息的提取属于现有技术。本发明实施例中为了减少图像特征提取过程中的计算复杂度，直接将视频帧划分为多个图像块，确定每个图像块的像素均值，用图像块的像素均值来标识局部区域的图像特征，从而将每个图像块像素均值取整后作为该当前视频帧的视频属性信息。具体过程如下：

本发明实施例中在具体的进行视频属性信息的提取时，针对待提取视频属性信息的视频帧，将该视频帧划分为多个图像块，在划分时可以任意划分，也可以均匀划分，只要保证每个视频帧的划分方式相同即可。图2为本发明实施例提供的一种视频帧的划分方式示意图，在本发明实施例中将该视频帧划分为4×4个图像块。上述实施例中是将视频帧划分为了4×4个图像块，将视频帧划分为8×8个图像块也是可以的，只要保证无论什么时候获得的视频帧都采用相同的划分方式进行划分即可。图像块划分的比较多，可以保证视频帧匹配的准确性，图像块划分的比较少，可以提高匹配的效率，在具体使用时，可以根据需要灵活选择。

将视频帧划分为多个图像块后，计算每个图像块的像素平均值，即每个图像块的像素均值，该像素均值可以用浮点数来表示。表1为本发明实施例提供的按照图2所示的视频帧分割方式进行分割后每个图像块的像素均值。

42.732	80.141	113.303	82.36
				73.478	188.426	181.839	75.469
160.677	188.306	161.495	134.222
				172.644	200.732	192.856	154.556

表1

为了提高匹配的效率，对每个图像块的像素均值进行取整操作，如表2所示，得到每个图像块的像素均值，采用每个图像块的像素均值表示该视频帧的视频属性信息。当然为了匹配的准确性，可以不对图像块进行取整操作，直接用每个图像块的像素均值表示该视频帧的视频属性信息也是可以的。

表2

在本发明实施例中可以将视频帧中每个图像块的像素均值直接作为其视频属性信息，例如上述视频属性信息可以为（42、80、113、……、192、154），在进行匹配时，直接判断当前视频帧的视频属性信息与缓存中保存的每个视频属性信息是否相同当缓存中存在与该当前视频帧的视频属性信息相同的视频属性信息时，确定匹配成功，否则，确定匹配不成功。

或者，在进行匹配时，也可以基于SSIM思想，针对当前视频帧的视频属性信息与缓存中的每个视频属性信息，根据该两个视频属性信息中每个图像块的像素均值μⁱ _x、μⁱ _y，判断该两个视频属性信息的相似程度S（x，y）其中，C₁和C₂为常数，N为视频帧中划分的图像块的个数。具体计算公式如下：

${\mathrm{\μ}}_x=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N\left({\mathrm{\μ}}_x^i\right);$

${\mathrm{\σ}}_x=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\left({\mathrm{\μ}}_x^i\right)}^2-\frac{1}{N^2}{\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_x^i\right)}^2;$

${\mathrm{\μ}}_y=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N\left({\mathrm{\μ}}_y^i\right);$

${\mathrm{\σ}}_y=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\left({\mathrm{\μ}}_y^i\right)}^2-\frac{1}{N^2}{\left({\mathrm{\Σ}}_{i=1}^N{\mathrm{\μ}}_y^i\right)}^2;$

${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N\left({\mathrm{\μ}}_x^i\right)\left({\mathrm{\μ}}_y^i\right)-\frac{1}{N^2}{\mathrm{\Σ}}_{i=1}^N\left({\mathrm{\μ}}_x^i\right){\mathrm{\Σ}}_{i=1}^N\left({\mathrm{\μ}}_y^i\right);$

$S(X,Y)=\left(\frac{{2\mathrm{\μ}}_x{\mathrm{\μ}}_y+C_1}{{\left({\mathrm{\μ}}_x\right)}^2{\left({\mathrm{\μ}}_y\right)}^2+C_1}\right)\left(\frac{{2\mathrm{\σ}}_{\mathrm{xy}}+C_2}{{\left({\mathrm{\σ}}_x\right)}^2+{\left({\mathrm{\σ}}_y\right)}^2+C_2}\right)$

当两个视频属性信息的相似度S（x，y）不小于设定的相似度阈值时，认为该当前视频帧的视频属性信息与缓存中的视频属性信息匹配成功，否则，认为缓存中不存在与该当前视频属性信息匹配的视频属性信息。

另外，在本发明实施例中针对每个场景，可以根据视频属性信息判断该场景对应的视频流是否保存在缓存中，当该场景对应的视频流保存在缓存中时，直接利用缓存中保存的编码后的视频流提供给客户端，当缓存中未保存该场景对应的视频流时，则对该场景对应的视频流进行编码，并将编码后的视频流及视频属性信息保存在缓存中，以便下次使用。

图3为本发明实施例提供的一种基于视频属性信息的视频流提供的详细实施过程示意图，该过程包括以下步骤：

S301：服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息。

S302：服务器将获取的当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，判断该当前视频帧是否处于静止状态，当判断结果为是时，进行步骤S303，否则，进行步骤S301。

在本发明实施例中该设定数量可以为1、2、3等不小于1的整数。

S303：判断该当前视频帧是否处于场景切换后由运动状态到静止状态中，当判断结果为是时，进行步骤S304，否则，进行步骤S301。

S304：将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配，当匹配成功时，进行步骤S305，否则，进行步骤S306。

S305：将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端。

S306：针对切换后的场景，对该当前视频帧及该当前视频帧之后的各视频帧进行编码并提供给客户端，保存该当前视频帧的视频属性信息，并针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流。

在本发明实施例中为了提高视频属性信息匹配的准确率，提高视频流输出的准确性，在缓存中保存的视频属性信息都是处于静止状态的视频帧对应的视频属性信息。因为当视频帧处于运动状态时，其对应的视频属性信息也是不稳定的，根据该视频属性信息进行匹配无法保证匹配的准确性。而当视频帧处于静止状态时，其前后几帧的视频帧基本相同，此时将该状态下的视频帧对应的视频属性信息保存到缓存中，可以保证缓存中保存的视频属性信息的稳定性，从而提高视频属性信息匹配的准确性。

针对同一场景其对应的视频流是固定的，因此在本发明实施例中当根据采集的视频帧，确定当前向用户提供的视频流更换场景时，可以判断缓存中是否保存有已经编码的该场景对应的视频流。而在进行判断时，服务器针对采集到的每个当前视频帧，根据该当前视频帧及保存的与该视频帧相邻的其之前的连续设定数量的视频帧，判断该当前视频帧是否处于静止状态。当确定该当前视频帧处于静止状态时，还需要该当前视频帧是否处于场景切换后由运动状态到静止状态中，如果该当前视频帧处于场景切换后由运动状态到静止状态中，才将该当前视频帧的视频属性信息在缓存中与保存的各视频属性信息进行匹配。

本发明实施例中在根据当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，确定该当前视频帧是否处于静止状态时，采用的方法包括：

比较该当前视频帧的像素值，与该当前视频帧之前的设定数量的每个视频帧的像素值，该设定数量为不小于1的整数；当该当前视频帧的像素值与该所述设定数量的每个视频帧的像素值的差异值不小于设定的阈值时，确定该当前视频帧处于静止状态。

具体的，为了减小像素值的差异值比较的工作量，提高判断的效率，在本发明实施例中可以将每个视频帧按照相同的方式，划分为多个图像块，例如上述在确定视频属性信息时的图像块划分方式。将当前视频帧及每个待比较的保存的该当前视频帧之前的视频帧进行比较时，可以直接根据每个对应图像块的像素值进行比较，也可以根据每个对应图像块的像素均值进行比较。

下面以比较两个视频帧中每个对应图像块的像素均值，来判断当前视频帧是否处于静止状态进行说明，判断该两个视频帧中每个对应图像块的像素均值的差异值是否都小于设定的第一阈值th1，如果每个对应图像块的像素均值的差异值都小于设定的第一阈值th1时，则认为两个视频帧之间不存在视觉差异，确定该当前视频帧处于静止状态，具体的该差异值可以为差值的绝对值。

当该两个视频帧中至少某一对应图像块的像素均值的差异值大于设定的第二阈值th2时，认为该两个视频帧之间存在视觉差异，确定该当前视频帧处于运动状态。其中，第二阈值th2大于第一阈值th1。

当该两个视频帧中对应图像块的像素均值的差异值都大于设定的第一阈值th1，但又都小于设定的第二阈值th2时，确定该两个视频帧中像素均值的差异值的最大值对应的图像块，针对该图像块确定该两个视频帧的最大像素差异值，判断该最大像素差异值是否大于设定的第三阈值th3，当该最大像素差异值大于设定的第三阈值th3时，则认为该两个视频帧之间存在明显的视觉差异，确定该当前视频帧处于运动状态，否则，确定该当前视频帧处于静止状态。

在本发明实施例中针对已经确定为处于静止状态的当前视频帧，还要判断该当前视频帧是否处于场景切换后由运动状态到静止状态中。这是因为如果当前视频帧处于静止状态，但之后突然出现运动画面，则认为某个场景切换开始，如果当前视频帧对应的静止状态是由运动状态转换过来的，则认为某个场景切换过程结束，当前视频帧处于场景切换后由运动状态到静止状态中。

在本发明实施例中，判断该当前视频帧处于场景切换后由运动状态到静止状态中包括：

判断所述当前视频帧之前的设定时间长度内是否发生过场景切换；

当该当前视频帧之前的设定时间长度内发生过场景切换，并且该当前视频帧之前存在设定数量的处于静止状态的视频帧时，确定该当前视频帧处于场景切换后由运动状态到静止状态中。

当确定该当前视频帧处于静止状态时，还需要判断该当前视频帧是要进入场景切换过程，还是处于场景切换过程结束。此时，需要判断在该当前视频帧之前的设定时间长度内是否发生过场景切换。在判断是否发生场景切换时，可以根据是否接收到用户的键盘操作来判断，或者，也可以判断在该当前视频帧之前的设定时间长度内的视频帧是否处于运动状态。

例如判断该当前视频帧之前的设定时间长度内是否接收到过用户的键盘操作，当接收到过用户的键盘操作时，确定在该当前视频帧之前的设定时间长度内发生过场景切换，并且此时该当前视频帧处于静止状态，则可以确定当前视频帧处于场景切换后由运动状态到静止状态中。或者判断该当前视频帧之前的设定时间长度内接收到的视频帧是否处于运动状态，当该之前的设定时间长度内接收到的视频帧处于运动状态时，并且此时该当前视频帧处于静止状态，则可以确定当前视频帧处于场景切换后由运动状态到静止状态中。

其中，该按键操作包括取消ESC键操作、回车键操作、向上键操作、向下键操作、向左键操作、向右键操作等。

确定该当前视频帧处于场景切换后由运动状态到静止状态中时，即可将该当前视频帧的视频属性信息与缓存中保存的各视频属性信息进行匹配了，当匹配成功时，说明之前出现过该场景的视频流，将该匹配成功的视频属性信息对应的编码后的视频流提供给客户端；当匹配不成功时，说明之前未出现过该场景的视频流，此时服务器根据采集到的每个当前视频帧，对该场景中的视频流进行编码，并将编码后的视频流提供给客户端，之后，服务器将该当前视频帧的视频属性信息及该编码后的该场景的视频流对应该当前视频帧的视频属性信息保存到缓存中。

具体的，当匹配不成功时，服务器根据采集到的每个当前视频帧，在对该场景中的视频流进行编码时，采用IPPP……的方式进行。

图4为本发明实施例提供的一种基于视频属性信息的视频流提供的另一详细实施过程示意图，该过程包括以下步骤：

S401：服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息。

S402：针对当前视频帧与保存的该当前视频帧之前的设定数量的连续视频帧，判断该两个视频帧中每个对应图像块的像素均值的差异值是否都小于设定的第一阈值th1，当判断结果为是时，进行步骤S405，否则，进行步骤S403。

S403：判断该两个视频帧中至少某一对应图像块的像素均值的差异值是否大于设定的第二阈值th2，当判断结果为是时，进行步骤S401，否则，进行步骤S404。

S404：确定该两个视频帧中像素均值的差异值的最大值对应的图像块，在该图像块确定该两个视频帧的最大像素差异值，判断该最大像素差异值是否大于设定的第三阈值th3，当判断结果为是时，进行步骤S401，否则，进行步骤S405。

S405：判断所述当前视频帧之前的设定时间长度内是否发生过场景切换，当判断结果为是时，进行步骤S406，否则，进行步骤S401。

S406：将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配，当匹配成功时，进行步骤S407，否则，进行步骤S408。

S407：将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端。

S408：针对切换后的场景，对该当前视频帧及该当前视频帧之后的各视频帧进行编码并提供给客户端，保存该当前视频帧的视频属性信息，并针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流。

另外，在本发明实施例中为了进一步提高视频流提供的准确性，在进行视频流提供的过程中，可以进一步判断缓存中保存的该编码后的视频流是否与采集到的待输出的视频流相同，具体的将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端的过程中，该方法还包括：

所述服务器在将缓存中该匹配成功的该视频属性信息对应的编码后的视频流提供给客户端时，按照设定的时间间隔采集待输出的视频帧，确定每个视频帧的视频属性信息，将每个视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配，当匹配成功时，继续向客户端提供该缓存中保存的该场景编码后的视频流，当匹配不成功时，停止向客户端提供缓存中保存的该场景编码后的视频流，并采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端，并采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。

因此对应的，针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流还包括：

针对该场景，在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定每个视频帧的视频属性信息；在缓存中与保存的该场景中该当前视频帧及该当前视频帧之后的视频帧编码后的视频流相对应的保存该当前视频帧的视频属性信息及该每个时间间隔对应的视频属性信息。

为了保证提供的视频流的准确性，在本发明实施例中当采集到当前视频帧的视频属性信息，判断该当前视频帧处于静止状态，且为场景切换后由运动状态到静止状态中，此时可以认为该当前视频帧处于切换后的场景中，并处于静止状态。针对该场景采用当前视频帧的视频属性信息与缓存中保存的各视频属性信息进行匹配，判断缓存中是否保存有该场景对应的编码后的视频流。

当匹配不成功时，确定缓存中未保存该场景对应的编码后的视频流。此时，将该当前视频帧的视频属性信息保存到缓存中，并针对该场景，将后续采集到的每个视频帧在编码输出给客户端的同时，将编码后的视频帧针对该视频属性信息保存到缓存中。并针对该场景，按照设定的时间间隔在该当前视频帧之后，采集每个视频帧，并确定每个视频帧的视频属性信息，将确定的该每个视频属性信息也针对该当前视频帧的视频属性信息保存在缓存中。此时，在缓存中针对每个场景，保存有该场景对应的编码后的视频流，及该场景中按照设定的时间间隔对应的每个视频帧的视频属性信息。

当匹配成功时，将缓存中该当前视频帧对应的该场景编码后的视频流提供给客户端。由于在缓存中保存有该场景对应的编码后的视频流，及该场景中按照设定的时间间隔对应的每个视频帧的视频属性信息，因此服务器在向客户端提供缓存中该场景对应的编码后的视频流时，还可以在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定该视频帧的视频属性信息，将该视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配。当匹配成功时，继续向客户端提供缓存中该场景编码后的视频流，当匹配不成功时，停止向客户端提供缓存中的视频流，即此时认为该场景中的视频流发生了变化，此时采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端，并采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。

由于在本发明实施例中采集每个当前视频帧，针对每个当前视频帧确定其视频属性信息，并判断该当前视频帧的状态，而当判断该当前视频帧为场景切换后由运动状态到静止状态的视频帧时，才进行视频属性信息的匹配，因此在本发明实施例中可以保证在缓存中保存的该场景编码后的视频流其起始位置与该进行匹配的当前视频帧的位置相同，而且由于在本发明实施例中针对每个场景保存的视频流都是该场景切换后静止状态下的视频流，因此可以保证提供的视频流的准确性。

图5为本发明实施例提供的该基于视频属性信息的视频流提供的另一具体实施过程示意图，该过程包括以下步骤：

S501：服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息。

S502：服务器将获取的当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，判断该当前视频帧是否处于静止状态，当判断结果为是时，进行步骤S503，否则，进行步骤S501。

S503：判断该当前视频帧是否处于场景切换后由运动状态到静止状态中，当判断结果为是时，进行步骤S504，否则，进行步骤S501。

S504：将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配，当匹配成功时，进行步骤S505，否则，进行步骤S508。

S505：服务器在将缓存中该匹配成功的该视频属性信息对应的编码后的视频流提供给客户端，并按照设定的时间间隔采集待输出的视频帧，确定每个视频帧的视频属性信息，将每个视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配，当匹配成功时，进行步骤S506，否则，进行步骤S507。

S506：继续向客户端提供该缓存中保存的该场景编码后的视频流，之后按照设定的时间间隔采集待输出的视频帧，并进行步骤S505之后的相应步骤。

S507：停止向客户端提供缓存中保存的该场景编码后的视频流，并采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端，并采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。

S508：针对该场景，对该当前视频帧及该当前视频帧之后的各视频帧进行编码并提供给客户端，并在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定每个视频帧的视频属性信息；在缓存中与保存的该场景中该当前视频帧及该当前视频帧之后的视频帧编码后的视频流相对应的保存该当前视频帧的视频属性信息及该每个时间间隔对应的视频属性信息。

下面通过一个具体的例子进行说明。

图6为本发明实施例提供的一个基于视频属性信息的视频流提供的具体实施方式示意图，对于一个应用程序其输出视频Video，该视频包括M帧，按照IPPP……结构编码时，假设Video中视频片段T_k（P_iP_i+1…P_j-1）的视频内容与缓存中视频流S_k的视频内容在视觉上效果相同时，则不必对P_iP_i+1…P_j-1视频片段进行编码，而可以将缓存中已编码的I_k1P_k2…P_kN视频流作为替换，从而达到节省编码成本的目的，已编码的I_k1P_k2…P_kN视频流其对应的视频帧的视频属性信息为Y_k为别为Y_k1Y_k2…Y_kN。在本发明实施例中针对缓存中编码后的视频流S_k，保存有该该视频流对应的每一帧的视频属性信息，当然也可以按照设定的时间间隔只包括有限几个视频帧的视频属性信息。

具体的，服务器编码的过程中采用采集一帧编码一帧发送一帧的方法，当服务器采集到当前视频帧P_i时，确定该当前视频帧P_i的视频属性信息，将该当前视频帧P_i与保存的该当前视频帧之前的P_i-1和P_i-2分别进行比较，判断当前视频帧P_i的像素值与P_i-1和P_i-2的像素值的差异值是否不小于设定的阈值，当像素值的差异值不小于设定的阈值时，确定该当前视频帧P_i处于静止状态。并且，判断在采集该当前视频帧P_i之前的设定时间内是否收到过用户的键盘操作，或者，判断在采集该当前视频帧P_i之前的设定时间长度之内采集的视频帧是否处于运动状态，当判断结果为是时，则确定该当前视频帧P_i处于场景切换后由运动状态到静止状态中。

将该当前视频帧P_i的视频属性信息与缓存中保存的视频属性信息进行匹配，此时当前视频帧P_i的视频属性信息与视频属性信息Y_k1匹配成功，则将该视频属性信息对应的该场景对应的编码后的视频流S_K提供给客户端。并且在进行视频流提供的过程中，服务器按照设定的时间间隔采集视频帧P_i+4，将采集到的该视频帧的视频属性信息，与缓存中保存的该场景中该时间间隔对应的视频帧的视频属性信息Y_K5进行匹配，当匹配成功时，继续向客户端提供该编码后的视频流S_K，当匹配不成功时，停止向客户端提供该编码后的视频流S_K。针对采集到的该视频帧P_i+4及之后的视频帧P_i+5……P_j-1进行编码并发送给客户端，并采用该编码后的P_i+5……P_j-1对应的视频流替换S_k中P_k5及之后的视频流，同时，根据按照设定的时间间隔采集到的视频帧的视频属性信息，对Y_k中的Y_K5及之后的视频属性信息进行更新。

图7为本发明实施例提供的一种基于视频属性信息的视频流提供装置的结构示意图，所述装置包括：

获取模块71，用于针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息；

匹配模块72，用于将该当前视频帧的该视频属性信息与缓存中保存的每个视频属性信息进行匹配；

提供模块73，用于在确定匹配模块匹配成功时，将缓存中该匹配成功的该视频属性信息对应的编码后的视频帧提供给客户端，在确定匹配模块匹配失败时，对该当前视频帧进行编码并提供给客户端；

缓存模块74，用于将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中。

所述匹配模块72，还用于将获取的当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，判断该当前视频帧是否处于静止状态；当判断当前视频帧处于静止状态时，判断该当前视频帧是否处于场景切换后由运动状态到静止状态中，当该当前视频帧处于场景切换后由运动状态到静止状态中时，将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配；

所述缓存模块74，还用于针对切换后的场景，保存该当前视频帧的视频属性信息，并针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流；

所述提供模块73，还用于将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端。

所述匹配模块72，具体用于比较该当前视频帧的像素值，与该当前视频帧之前的设定数量的每个视频帧的像素值，该设定数量为不小于1的整数；当该当前视频帧的像素值与该所述设定数量的每个视频帧的像素值的差异值不小于设定的阈值时，确定该当前视频帧处于静止状态。

所述匹配模块72，具体用于判断所述当前视频帧之前的设定时间长度内是否发生过场景切换；当该当前视频帧之前的设定时间长度内发生过场景切换，并且该当前视频帧之前存在设定数量的处于静止状态的视频帧时，确定该当前视频帧处于场景切换后由运动状态到静止状态中。

所述缓存模块74，还用于针对该场景，在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定每个视频帧的视频属性信息；在缓存中与保存的该场景中该当前视频帧及该当前视频帧之后的视频帧编码后的视频流相对应的保存该当前视频帧的视频属性信息及该每个时间间隔对应的视频属性信息；

所述提供模块73，还用于所述服务器在将缓存中该匹配成功的该视频属性信息对应的编码后的视频流提供给客户端时，按照设定的时间间隔采集待输出的视频帧，确定每个视频帧的视频属性信息，将每个视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配，当匹配成功时，继续向客户端提供该缓存中保存的该场景编码后的视频流，当匹配不成功时，停止向客户端提供缓存中保存的该场景编码后的视频流，并采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端；

所述缓存模块74，还用于采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。

所述获取模块71，具体用于将所述当前视频帧划分为多个图像块，确定每个图像块的像素均值，将每个图像块像素均值取整后作为该当前视频帧的视频属性信息；

匹配模块72，具体用于判断当前视频帧的视频属性信息与缓存中保存的每个视频属性信息是否相同，当缓存中存在与该当前视频帧的视频属性信息相同的视频属性信息时，确定匹配成功；或，判断该当前视频帧的视频属性信息与缓存中每个视频属性信息的相似程度；当该当前视频帧的视频属性信息与缓存中的视频属性信息的相似程度不小于设定的相似度阈值时，确定匹配成功。

具体的，该装置位于服务器中。

本发明实施例提供一种基于视频属性信息的视频流提供方法及装置，该方法中服务器在向客户端提供应用程序的视频流时，针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息，采用该视频属性信息与缓存中保存的各视频属性信息进行匹配，当匹配成功时，将缓存中对应的编码后的视频帧提供给终端，当未匹配成功时，针对该当前视频帧进行编码，并将编码后的视频帧提供给客户端的同时将其相对该视频属性信息保存在缓存中。由于在本发明实施例中服务器在采集到每个当前视频帧后，根据该当前视频帧的视频属性信息在缓存中匹配是否存在相同的已经编码的视频帧，当存在时，直接将缓存中已经编码的视频帧提供给客户端，从而避免了服务器针对每个视频帧都进行编码，节省了服务器资源，提高了服务器的并发路数。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于视频属性信息的视频流提供方法，其特征在于，所述方法包括：

服务器针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息；

将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配；

当匹配成功时，将缓存中该匹配成功的视频属性信息对应的编码后的视频帧提供给客户端，否则，对该当前视频帧进行编码并提供给客户端，并将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中；

其中，所述获取该当前视频帧的视频属性信息，包括：

将所述当前视频帧划分为多个图像块，确定每个图像块的像素均值，将每个图像块像素均值取整后作为该当前视频帧的视频属性信息；

将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配，并匹配成功包括：

判断当前视频帧的视频属性信息与缓存中保存的每个视频属性信息是否相同，当缓存中存在与该当前视频帧的视频属性信息相同的视频属性信息时，确定匹配成功；或

判断该当前视频帧的视频属性信息与缓存中每个视频属性信息的相似程度；当该当前视频帧的视频属性信息与缓存中的视频属性信息的相似程度不小于设定的相似度阈值时，确定匹配成功。

2.如权利要求1所述的方法，其特征在于，将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配之前，所述方法还包括：

服务器将获取的当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，判断该当前视频帧是否处于静止状态；

当判断当前视频帧处于静止状态时，判断该当前视频帧是否处于场景切换后由运动状态到静止状态中，当该当前视频帧处于场景切换后由运动状态到静止状态中时，将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配；

所述将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中包括：

针对切换后的场景，保存该当前视频帧的视频属性信息，并针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流；

所述将缓存中该匹配成功的该视频属性信息对应的编码后的视频帧提供给客户端包括：

将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端。

3.如权利要求2所述的方法，其特征在于，判断所述该当前视频帧处于静止状态包括：

比较该当前视频帧的像素值，与该当前视频帧之前的设定数量的每个视频帧的像素值，该设定数量为不小于1的整数；当该当前视频帧的像素值与该所述设定数量的每个视频帧的像素值的差异值不小于设定的阈值时，确定该当前视频帧处于静止状态。

4.如权利要求2所述的方法，其特征在于，判断所述该当前视频帧处于场景切换后由运动状态到静止状态中包括：

判断所述当前视频帧之前的设定时间长度内是否发生过场景切换；

当该当前视频帧之前的设定时间长度内发生过场景切换，并且该当前视频帧之前存在设定数量的处于静止状态的视频帧时，确定该当前视频帧处于场景切换后由运动状态到静止状态中。

5.如权利要求2所述的方法，其特征在于，所述针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流还包括：

针对该场景，在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定每个视频帧的视频属性信息；在缓存中与保存的该场景中该当前视频帧及该当前视频帧之后的视频帧编码后的视频流相对应的保存该当前视频帧的视频属性信息及该每个时间间隔对应的视频属性信息；

所述将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端还包括：

所述服务器在将缓存中该匹配成功的该视频属性信息对应的编码后的视频流提供给客户端时，按照设定的时间间隔采集待输出的视频帧，确定每个视频帧的视频属性信息，将每个视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配，当匹配成功时，继续向客户端提供该缓存中保存的该场景编码后的视频流，当匹配不成功时，停止向客户端提供缓存中保存的该场景编码后的视频流，并采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端，并采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。

6.一种基于视频属性信息的视频流提供装置，其特征在于，所述装置包括：

获取模块，用于针对待输出的视频流采集每个当前视频帧，获取该当前视频帧的视频属性信息；

匹配模块，用于将该当前视频帧的该视频属性信息与缓存中保存的每个视频属性信息进行匹配；

提供模块，用于在确定匹配模块匹配成功时，将缓存中该匹配成功的该视频属性信息对应的编码后的视频帧提供给客户端，在确定匹配模块匹配失败时，对该当前视频帧进行编码并提供给客户端；

缓存模块，用于将编码后的该当前视频帧及该当前视频帧的视频属性信息保存到缓存中；

其中，所述获取模块，具体用于将所述当前视频帧划分为多个图像块，确定每个图像块的像素均值，将每个图像块像素均值取整后作为该当前视频帧的视频属性信息；

所述匹配模块，具体用于判断当前视频帧的视频属性信息与缓存中保存的每个视频属性信息是否相同，当缓存中存在与该当前视频帧的视频属性信息相同的视频属性信息时，确定匹配成功；或，判断该当前视频帧的视频属性信息与缓存中每个视频属性信息的相似程度；当该当前视频帧的视频属性信息与缓存中的视频属性信息的相似程度不小于设定的相似度阈值时，确定匹配成功。

7.如权利要求6所述的装置，其特征在于，所述匹配模块，还用于将获取的当前视频帧与该当前视频帧之前的设定数量的连续视频帧分别进行比较，判断该当前视频帧是否处于静止状态；当判断当前视频帧处于静止状态时，判断该当前视频帧是否处于场景切换后由运动状态到静止状态中，当该当前视频帧处于场景切换后由运动状态到静止状态中时，将该当前视频帧的视频属性信息与缓存中保存的每个视频属性信息进行匹配；

所述缓存模块，还用于针对切换后的场景，保存该当前视频帧的视频属性信息，并针对该当前视频帧的视频属性信息保存该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流；

所述提供模块，还用于将缓存中该匹配成功的视频属性信息对应的该场景中该当前视频帧及该当前视频帧之后的各视频帧编码后的视频流提供给客户端。

8.如权利要求7所述的装置，其特征在于，所述匹配模块，具体用于比较该当前视频帧的像素值，与该当前视频帧之前的设定数量的每个视频帧的像素值，该设定数量为不小于1的整数；当该当前视频帧的像素值与该所述设定数量的每个视频帧的像素值的差异值不小于设定的阈值时，确定该当前视频帧处于静止状态。

9.如权利要求7所述的装置，其特征在于，所述匹配模块，具体用于判断所述当前视频帧之前的设定时间长度内是否发生过场景切换；当该当前视频帧之前的设定时间长度内发生过场景切换，并且该当前视频帧之前存在设定数量的处于静止状态的视频帧时，确定该当前视频帧处于场景切换后由运动状态到静止状态中。

10.如权利要求7所述的装置，其特征在于，所述缓存模块，还用于针对该场景，在该当前视频帧之后，按照设定的时间间隔采集每个视频帧，并确定每个视频帧的视频属性信息；在缓存中与保存的该场景中该当前视频帧及该当前视频帧之后的视频帧编码后的视频流相对应的保存该当前视频帧的视频属性信息及该每个时间间隔对应的视频属性信息；

所述提供模块，还用于所述服务器在将缓存中该匹配成功的该视频属性信息对应的编码后的视频流提供给客户端时，按照设定的时间间隔采集待输出的视频帧，确定每个视频帧的视频属性信息，将每个视频属性信息与缓存中保存的该场景中每个时间间隔对应的视频帧的视频属性信息进行匹配，当匹配成功时，继续向客户端提供该缓存中保存的该场景编码后的视频流，当匹配不成功时，停止向客户端提供缓存中保存的该场景编码后的视频流，并采集每个视频帧，针对采集到的每个视频帧进行编码并发送给客户端；

所述缓存模块，还用于采用编码后的该视频流替换缓存中保存的该场景对应的匹配不成功的视频帧之后的视频流。