CN108156459A - 可伸缩视频传输方法及系统 - Google Patents

Abstract

本发明提供一种视频传输方法，该方法将待传输视频的每个帧划分成多个目标区域；根据目标区域包含的信息的重要程度以及目标区域在相邻的多个帧之间的变化程度来对不同目标区域的重要性进行评估；对于不同重要性的目标区域采用不同的方式进行传输，从而实现了视频传输中数据量的可伸缩控制，在很大程度上减小了传输带宽的消耗，从而缓解了视频业务传输的带宽压力。

Description

可伸缩视频传输方法及系统

技术领域

本发明涉及图像压缩和传输，尤其涉及视频图像的压缩和传输的方法。

背景技术

随着通信以及计算机技术的飞速发展，用户对业务的质量要求不断提高。传统的语音、文字业务已无法满足大数据时代的业务需求。多媒体视频业务作为新型的业务模式，逐渐改变了人们的业务习惯，成为了最重要的业务模式之一。以移动互联网为例，目前，视频业务占据了高于50％的市场份额。根据预测，到达2030年时，视频业务将占据移动互联网中80％左右的业务份额。视频业务的主要特点在于传送的内容是比文本、语音更加高级的视频图像，并可以伴有音频信息。视频业务的数据量要远远高于传统业务，而且对质量要求比较高，例如实时性、清晰度等，因此对传输速率要求极高。这直接导致了通信网络在视频业务传输时所面临的带宽压力，带宽问题已经成为了制约视频业务发展的最主要原因。

随着视频业务的快速发展，带宽的压力越来越大，因此，如何在保障视频业务质量的前提下，以最少的资源消耗传输最多的视频数据成为当今通信行业迫切需要解决的问题之一。虽然以H.26x和MPEG为代表的图像压缩编码技术能够降低传输视频对于带宽的损耗，然而对于视频的压缩效率并不高，并不能有效缓解视频传输对于网络带宽的压力。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的视频传输方法和系统。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种视频传输方法，包括：

步骤1，将待传输视频的每个帧划分成多个目标区域；

步骤2，评估每个目标区域的重要性；以及

步骤3，对于不同重要性的目标区域采用不同的方式进行传输；

其中所述步骤2包括：

对于每个目标区域，确定用于指示该目标区域包含的信息的重要程度的参数和用于指示该目标区域在相邻的多个帧之间的变化程度的第二组参数，和基于每个目标区域的第一组参数和第二组参数来确定该目标区域的重要性。

在上述方法中，所述第一组参数可以包括下列的一个或多个的组合：目标区域相对于其所在帧的图像中心的距离、目标区域中像素平均值与其所在帧的图像背景像素的差异。

在上述方法中，所述第二组参数可包括下列的一个或多个的组合：目标的运动轨迹变化程度、目标区域的形状变化程度。

在上述方法中，还可包括：

对每个帧中相邻的颜色相似的像素点进行聚类，将聚类得到的各个像素点集合分别作为一个超像素；

根据每个超像素的像素值与其所在帧的边界点的差异来评估每个超像素的重要程度。

在上述方法中，所述目标区域的第一参数还可包括下列中一个或多个：该目标区域中所有超像素的重要性程度的总和、该目标区域中包含的超像素的个数。

在上述方法中，所述步骤3可包括：

对于重要性高的目标区域，对其内容信息采用高保真度的方式进行传输；

对于重要性低的目标区域，对其内容信息采用部分信息还原的方式进行传输。

在上述方法中，所述视频的传输方式可以包括下列中的一个或多个：基于原图的传输方式、图像压缩编码的方式、基于内容模型和非内容语义的方式、基于图像特征的方式、基于语义描述的传输方式。

在又一方面，本发明还提供了一种视频传输系统，所述系统包括：

分割单元，用于将待传输视频的每个帧划分成多个目标区域；

重要性评估单元，用于评估每个目标区域的重要性；以及

传输单元，用于对于不同重要性的目标区域采用不同的方式进行传输；

其中分割单元被配置为：

对于每个目标区域，确定用于指示该目标区域包含的信息的重要程度的参数和用于指示该目标区域在相邻的多个帧之间的变化程度的第二组参数，和基于每个目标区域的第一组参数和第二组参数来确定该目标区域的重要性。

在上述系统中，所述第一组参数包括下列的一个或多个的组合：目标区域相对于其所在帧的图像中心的距离、目标区域中像素平均值与其所在帧的图像背景像素的差异。

在上述系统中，所述第二组参数包括下列的一个或多个的组合：目标的运动轨迹变化程度、目标区域的形状变化程度。

与现有技术相比，本发明的优点在于：

基于视频的单帧图像的静态特征以及视频场景中多帧之间的动态特征来对视频内容中不同目标区域包含的信息的重要性进行了更细粒度的量化分析，根据不同区域的重要性排序采用不同的传输方式，尽量保证包含重要信息的图像数据的传输，并尽量避免大量次要性图像数据的传输，在保障关键信息不丢失的情况下降低了传输数据量，实现了视频传输中数据量的可伸缩控制，在很大程度上减小了传输带宽的消耗，从而缓解了视频业务传输的带宽压力。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的视频传输方法的流程示意图；

图2为根据本发明实施例的视频内容分析流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明的一个实施例中，提供了一种新的视频传输方法，该方法对于待传输的视频的内容进行分析，将视频图像内容以区域的方式加以区分，并判断不同内容区域所包含的信息的重要性，然后根据不同区域的重要性采用不同的传输方法，以在保证视频中关键信息不丢失的情况下，尽量避免不重要信息的大量传输，从而尽量减小对网络带宽的损耗。通过研究与分析，发明人发现对于一部特定的视频，人们对每一个场景甚至每一个图像帧中所关注的主要内容基本上是相同的，而且会呈现一定的规律性。也就是说，每一副图像或者由连续多个图像构成的视频所包含的信息量是固定的，但其中不同目标所包含的信息量是不同的，有的重要，有的不重要；而某一个或多个较重要的目标区域经常可以代表该图像或该视频片段的主要信息内容(或绝大部分信息内容)。因此，利用本发明实施例的视频传输方法，可以使观众对收到的视频的认知达到几乎与原始视频一样的效果。

图1给出了根据本发明实施例的视频传输方法的流程示意图。如图1所示，该方法主要包括：将待传输视频的每个帧划分成多个目标区域(步骤1)；评估每个目标区域的重要性(步骤2)；以及对于不同重要性的目标区域采用不同的方式进行传输(步骤3)。

更具体地，在步骤1，将待传输视频的每个帧划分成多个目标区域。在一个示例中，可以利用现有的图像分割方法将每个单帧视频图像分割成不同的目标区域。在又一个示例中，可以利用图像目标识别方法识别每个单帧图像中的所有目标，然后依据每个目标将图像划分成不同的目标区域。在又一个示例中，可以利用现有的感兴趣区域提取方法从每个单帧视频图像中分离出背景区域和前景区域，并从前景区域中识别所有目标，然后根据所识别的目标将前景区域划分成多个目标区域。其中背景区域可以看作是重要性最低的目标区域。

接着在步骤2确定各个目标区域的重要性。通常目标区域的位置越靠近图像中心，则重要性程度越高；目标区域与背景区域差异越大，则重要性程度越高。在本发明的实施例中，如图2所示，主要从目标区域在单个帧中的重要程度和在一系列帧之间发生变化的程度这两个方面来综合评估目标区域的重要性。这是考虑到在视频业务中，发生变化较大的目标区域相对而言重要性也比较高。步骤2主要可包括下列步骤：

步骤(2a)对于每个目标区域，确定用于指示该目标区域包含的信息的重要程度的第一组参数。其中第一组参数可以包括目标区域相对于图像中心的距离、目标区域中像素平均值与背景像素的差异、目标区域中包含的超像素的个数等等。通常目标区域的位置越靠近图像中心，则重要性程度越高，因此可以根据不同目标区域相对于图像中心的距离来设置相应的位置参数值，距离越远，该参数值越小，距离越近，则该参数值越大。为方便计算，可以将参数值归一化至[0,1]的范围中。下文的其他参数也可以采用这样的量化方式来指示相关的重要性程度，不再一一叙述。

在优选的实施例中，首先，对图像帧中相邻的颜色相似的像素点进行聚类，将聚类得到的每个像素点集合作为一个超像素来处理，该超像素的像素值可以是其对应像素点集合的像素平均值。然后以超像素为基本单位，将其与图像帧的边界点进行对比。通常图像边界点代表了图片背景的整体特征，因此与边界点的差异越大的超像素，其重要性程度越高(假设背景重要性最低)。可以以上文所述的量化方式得到各个超像素的重要性程度的衡量。接着，统计每个目标区域中所有超像素的重要性程度的总和，将其作为指示该目标区域包含的信息的重要程度的一个参数。又或者，可以统计每个目标区域中超像素的个数，也可以将其作为指示该目标区域包含的信息的重要程度的一个参数。

步骤(2b)对于每个目标区域，确定用于指示该目标区域在相邻的多个帧之间变化程度的第二组参数。在第二组参数中实际上引入了时间维度，例如考虑一段视频帧序列中目标的运动轨迹变化、目标区域的形状变化等等，目标运动程度较大或目标区域形状变化程度较大，则相应目标区域的重要程度也比较高。其中关于目标的运动轨迹可以通过分析连续的多个帧中目标中心点的轨迹来获得。而目标区域的形状变化可以通过每个目标区域的特征点相对于目标中心点的位移变化来获得。其中在分析目标的运动轨迹时所涉及的多个帧可以是以视频场景为单位来进行分析，即基于一个视频场景(一个镜头的起始称为一个场景)中包含的多个帧来分析目标的运动轨迹。而不同的视频场景以镜头切换作为分割点。

步骤(2c)通过上述步骤得到的多个参数来综合评估该目标区域的重要性。例如，计算每个目标区域的各参数值的总和，或者对各参数值进行线性加权求和等。这样，可以得到对视频内容中不同目标区域包含的信息的重要性的更细粒度的量化分析，从而可以根据不同区域的重要性选择相应的传输方式，以尽量在保障关键信息不丢失的情况下降低传输数据量。

应指出，以上参数仅是举例说明，而非进行任何限制，只要是能够指示或体现在静态的单帧图像中目标区域的重要程度和动态的多帧图像之间目标区域发送变化程度的参数都可以来衡量目标区域的重要性。

继续参考图1，在步骤3，对于不同重要性的目标区域采用不同的方式进行传输。例如，对于低重要性的内容/目标区域，对其内容信息可以采用部分信息还原的方式进行传输，例如根据其内容模型和/或图像特征产生相关语义描述，对这些语义描述信息进行传输，这样在接收视频的一方可根据相应模型和收到的语义描述信息进行对应区域的重构或还原。而对于高重要性的内容/目标区域，则可以选择如原图直接传输或图像压缩编码技术等方式进行高保真处理和传输。其中可以采用的视频传输方式主要包括：

3a)对于重要目标区域的高保真方案

对于重要性最高的一个或多个目标区域，可以采用原图传输的方式，直接传输其图像数据。

对于重要性较高的一个或多个目标区域，可以利用如以H.26x和MPEGx代表的图像压缩编码技术，尽管会对图像质量造成部分损失，但是从图像内容信息量来说，基本不会造成内容信息的丢失。

3b)对于重要性不高的目标区域的处理方案

对于重要性不高的目标区域的视频传输方式按照对内容信息的保真程度从高到低排列可以包括：基于内容模型和非内容语义的方式、基于图像特征的方式、基于内容语义的方式等。

其中，基于内容模型和非内容语义的方式例如对于目标区域，在其首次重复出现时对其内容进行建模，并保障在收发两端都存在同步的模型库，这样当该目标区域再次出现时，可利用模型库中对应的模型对重复区域进行匹配，并形成差异(角度、位置、色彩)语义描述信息。因此，在利用该方案传输对应的目标区域时，仅需传输差异语义信息即可，将极大地降低传输数据量。

基于图像特征或内容语义的方式例如对于目标区域提取其图像特征或生成内容语义，仅传输图像特征或内容语义描述信息，在接收端从其图像库中找到与收到的图像特征或内容语义匹配的类似图像进行整体替换。例如背景的草地、海洋、天空等图像区域，由于其所包含的信息量有限，则可以提取该区域的图像特征或生成内容语义“草地”、“海洋”、“天空”等，在接收端的图像库中，根据收到的特征或语义信息找到类似的图像进行整体替换。例如，某一帧图像所包含的信息为“草地上的羊”，且该图像帧被分为了“草地”和“羊”两个目标区域，进行图像分割后，根据分析，“羊”所对应的目标区域为重要区域，“草地”对应的目标区域为次要区域，则可以对“羊”所对应的区域采取图像压缩编码的方式进行处理，以保障其信息量的不丢失，而对“草地”所对应的目标区域，完全可以传输语义“草地”，并在收端的训练库中选择包含相同语义的类似图像进行区域替换。

应指出，以上传输方式仅是举例说明，而非进行任何限制，不同目标区域的具体的传输方式可以根据该目标区域的重要程度和实际系统的带宽情况来进行选择。

可以看出，本发明实施例中的方法对于视频内的不同内容进行差异化处理，以视频内容的重要性的出发点，实现对次要信息的重点压缩和冗余消除，从而在保障视频业务质量的同时减缓了视频业务传输的带宽压力。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (10)

1.一种视频传输方法，所述方法包括：

步骤1，将待传输视频的每个帧划分成多个目标区域；

步骤2，评估每个目标区域的重要性；以及

步骤3，对于不同重要性的目标区域采用不同的方式进行传输；

其中所述步骤2包括：

对于每个目标区域，确定用于指示该目标区域包含的信息的重要程度的参数和用于指示该目标区域在相邻的多个帧之间的变化程度的第二组参数，和基于每个目标区域的第一组参数和第二组参数来确定该目标区域的重要性。

2.根据权利要求1所述的方法，其中所述第一组参数包括下列的一个或多个的组合：目标区域相对于其所在帧的图像中心的距离、目标区域中像素平均值与其所在帧的图像背景像素的差异。

3.根据权利要求1所述的方法，其中所述第二组参数包括下列的一个或多个的组合：目标的运动轨迹变化程度、目标区域的形状变化程度。

4.根据权利要求1所述的方法，还包括：

对每个帧中相邻的颜色相似的像素点进行聚类，将聚类得到的各个像素点集合分别作为一个超像素；

根据每个超像素的像素值与其所在帧的边界点的差异来评估每个超像素的重要程度。

5.根据权利要求4所述的方法，其中所述目标区域的第一参数还包括下列中一个或多个：该目标区域中所有超像素的重要性程度的总和、该目标区域中包含的超像素的个数。

6.根据权利要求1所述的方法，所述步骤3包括：

对于重要性高的目标区域，对其内容信息采用高保真度的方式进行传输；

对于重要性低的目标区域，对其内容信息采用部分信息还原的方式进行传输。

7.根据权利要求1或6所述的方法，所述步骤3中传输的方式包括下列中的一个或多个：基于原图的传输方式、图像压缩编码的方式、基于内容模型和非内容语义的方式、基于图像特征的方式、基于语义描述的传输方式。

8.一种视频传输系统，所述系统包括：

分割单元，用于将待传输视频的每个帧划分成多个目标区域；

重要性评估单元，用于评估每个目标区域的重要性；以及

传输单元，用于对于不同重要性的目标区域采用不同的方式进行传输；

其中分割单元被配置为：

对于每个目标区域，确定用于指示该目标区域包含的信息的重要程度的参数和用于指示该目标区域在相邻的多个帧之间的变化程度的第二组参数，和基于每个目标区域的第一组参数和第二组参数来确定该目标区域的重要性。

9.根据权利要求7所述的系统，其中所述第一组参数包括下列的一个或多个的组合：目标区域相对于其所在帧的图像中心的距离、目标区域中像素平均值与其所在帧的图像背景像素的差异。

10.根据权利要求7所述的系统，其中所述第二组参数包括下列的一个或多个的组合：目标的运动轨迹变化程度、目标区域的形状变化程度。