CN103179430A

CN103179430A - 基于云计算的音视频内容转码方法、装置和服务器

Info

Publication number: CN103179430A
Application number: CN2011104284121A
Authority: CN
Inventors: 包盛; 王爱宝; 黄小桑
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2011-12-20
Filing date: 2011-12-20
Publication date: 2013-06-26

Abstract

本发明公开了一种基于云计算的音视频内容转码方法、装置和服务器，涉及云计算流媒体技术领域。该方法包括：根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；根据视频指纹和音频指纹生成音视频内容的内容标识；当音视频内容的内容标识在转码平台的内容标识库中存在匹配内容标识时，不对音视频内容进行转码，获取与匹配内容标识对应的已转码音视频内容。根据音视频内容获得音视频指纹信息，并根据音视频指纹信息生成唯一内容标识，当存在对应的内容标识时，直接获取已转码音视频内容，实现了音视频内容的精确标识，提高了转码效率。

Description

基于云计算的音视频内容转码方法、装置和服务器

技术领域

本发明涉及云计算领域，特别涉及一种基于云计算的音视频内容转码方法、装置和云计算服务器。

背景技术

音视频指纹技术，是通过特定算法从音视频信号中提取的可以代表一段音视频重要特征的基于内容的数字摘要。

随着网络技术和数字媒体压缩技术的不断创新，流媒体业务在移动网络和互联网上都在高速的发展，用户通过移动终端观看视频业务的场景不断增多，然而现有的云转码系统还存在以下不足：互联网上的视频内容依赖唯一的资源标识符进行标识，但是互联网上的同质内容非常多，对于云转码平台，不同的视频资源标识符所对应的可能是相同的内容，不能对视频内容进行精确标识，从而影响了转码效率。

发明内容

本发明的发明人发现上述现有技术中存在问题，并因此针对所述问题中的至少一个问题提出了一种新的技术方案。

本发明的一个目的是提供一种用于基于云计算的音视频内容转码的技术方案。

根据本发明的第一方面，提供了一种基于云计算的音视频内容转码方法，包括：根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；根据所述视频指纹和音频指纹生成所述音视频内容的内容标识；当所述音视频内容的内容标识在转码平台的内容标识库中存在匹配内容标识时，不对所述音视频内容进行转码，获取与所述匹配内容标识对应的已转码音视频内容。

优选地，根据音视频内容生成视频内容的视频指纹包括：提取视频内容中视频的图像特征和运动特征作为视频指纹；和/或根据音视频内容生成音频内容的音频指纹包括：提取音频内容中音频的物理类音频特征作为音频指纹。

优选地，图像特征为关键帧的局部区域的颜色特征，所述运动特征为相邻两关键帧的局部区域的帧间差异；所述物理类音频特征为相邻两帧的频域能量差异。

优选地，当所述音视频内容的内容标识在转码平台的内容标识库中不存在匹配内容标识时，对所述音视频内容进行转码。

根据本发明的第二方面，提供一种基于云计算的音视频内容转码装置，包括转码模块，指纹生成模块，用于根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；标识生成模块，用于根据所述视频指纹和音频指纹生成所述音视频内容的内容标识；标识匹配模块，用于将所述音视频内容的内容标识在转码平台的内容标识库中进行匹配，如果存在匹配内容标识，则不对所述音视频内容进行转码，获取与所述匹配内容标识对应的已转码音视频内容；如果不存在匹配内容标识，则通知所述转码模块对所述音视频内容进行转码。

优选地，指纹生成模块包括：视频指纹生成单元，用于提取音视频内容中视频的图像特征和运动特征作为视频指纹；音频指纹生成单元，用于提取接收到的音视频内容中音频的物理类音频特征作为音频指纹。

优选地，该装置还包括：内容解码模块，用于对所述音视频内容进行解码获得视频内容和音频内容，将所述视频内容发送给所述视频指纹生成单元，将所述音频内容发送给所述音频指纹生成单元；编码模块，用于接收所述转码模块输出的已转码的视频内容，对所述已转码的视频内容进行编码输出。

优选地，该装置还包括：音视频内容库，用于存储已转码的音视频内容；内容标识库，用于存储所述音视频内容库中的已转码的音视频内容的内容标识。

根据本发明的第三方面，还提供一种云计算服务器，包括上述的音视频内容转码装置。

本发明的一个优点在于，根据音视频内容获得音视频指纹信息，并根据音视频指纹信息生成唯一内容标识，当存在对应的内容标识时，直接获取已转码音视频内容，实现了音视频内容的精确标识，提高了转码效率。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1示出基于云计算的音视频内容处理系统的示意图；

图2示出本发明的基于云计算的音视频内容转码方法的一个实施例的流程图；

图3示出本发明的基于云计算的音视频内容转码方法的另一个实施例的流程图；

图4示出本发明的音视频内容的内容标识生成的一个实施例的流程图；

图5示出本发明的基于云计算的音视频内容转码装置的一个实施例的结构图；

图6示出本发明的基于云计算的音视频内容转码装置的另一个实施例的结构图；

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出基于云计算的音视频内容处理系统的示意图。在图1中示出流媒体接收终端11、流媒体服务器12、云转码平台13、音视频内容库14、和流媒体内容传送网络15。流媒体接收终端11具有播放音视频流的功能，能够支持流媒体传输协议；流媒体内容传送网络15具有分发、传播音视频流的功能，并支持流媒体协议通讯；流媒体服务器12具有接收终端播放流媒体内容的请求、向云转码平台发送转码请求、接收云转码平台输出的目标码流、向终端提供流媒体服务的功能；云转码平台13具有对音视频内容进行标识，对音视频内容进行匹配，存储内容标识，接收转码请求，获取音视频内容源，对音视频内容进行解码、切片、转码、编码，码率控制，码流输出的功能，并支持流媒体传输协议和文件本地存储；音视频内容库14具有将本地音视频文件或者音视频流发送给云转码平台的功能。流媒体协议包括但不限于：RTSP或HTTP或RTMP。流媒体内容传送网络15包括但不限于：GSM，或CDMA，或3G移动电话网络，或无线局域网WLAN，或下一代网络系统NGN。

需要指出，流媒体服务器、云转码平台、音视频内容库中的任意两者或者三者可以位于同一服务器或者设备上。

图2示出本发明的基于云计算的音视频内容转码方法的一个实施例的流程图。

如图2所示，步骤202，根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹。

步骤204，根据视频指纹和音频指纹生成音视频内容的内容标识。

步骤206，对音视频内容的内容标识和转码平台内容库中存储的内容标识进行匹配。

步骤208，判断是否存在匹配？如果音视频内容的内容标识在转码平台的内容标识库中存在匹配内容标识，继续步骤210，否则，对音视频内容进行转码(步骤212)。

步骤210，不对音视频内容进行转码，获取与匹配内容标识对应的已转码音视频内容，以便直接提供给终端。

上述实施例中，根据音视频内容获得音视频指纹信息，并根据音视频指纹信息生成唯一内容标识，当存在对应的内容标识时，直接获取已转码音视频内容，实现了音视频内容的精确标识，提高了转码效率。

图3示出本发明的基于云计算的音视频内容转码方法的另一个实施例的流程图。

如图3所示，步骤302，对音视频内容进行解码获得视频内容和音频内容。

步骤304，提取视频内容中视频的图像特征和运动特征作为视频指纹。

步骤306，提取音频内容中音频的物理类音频特征作为音频指纹。

步骤308，根据视频指纹和音频指纹生成音视频内容的内容标识。

步骤310，对音视频内容的内容标识和转码平台内容库中存储的内容标识进行匹配。

步骤312，判断是否存在匹配？如果音视频内容的内容标识在转码平台的内容标识库中存在匹配内容标识，则获取与匹配内容标识对应的已转码音视频内容(步骤314)，否则，继续步骤316。

步骤316，对音视频内容进行转码。

步骤318，对转码后的音视频内容进行编码。

上述实施例中，通过视频的图像特征和运动特征作为视频指纹，通过音频的物理类音频特征作为音频指纹，保证了指纹信息的唯一性。

图4示出本发明的音视频内容的内容标识生成的一个实施例的流程图。

如图4所示，步骤402，分别提取媒体文件的视频内容和N(N＞＝1)个音轨的音频内容。

步骤404～406，分别提取视频内容的关键帧的局部区域的颜色特征和相邻两关键帧的局部区域的帧间差异，形成视频内容的视频指纹。

步骤408～410，分别提取N(N＞＝1)个音频内容的相邻两帧的频域能量差异，形成N(N＞＝1)个音频指纹。

步骤412，结合视频指纹和N(N＞＝1)个音频指纹，形成该媒体文件的内容标识。

上述实施例中，根据关键帧的颜色特征和帧间差异形成视频指纹，根据音频频域能量差异形成音频指纹，保证了指纹的唯一性。

图5示出本发明的基于云计算的音视频内容转码装置的一个实施例的结构图。如图5所示，该装置包括指纹生成模块51、标识生成模块52、标识匹配模块53、转码模块54。指纹生成模块51根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；标识生成模块52根据视频指纹和音频指纹生成音视频内容的内容标识；标识匹配模块53将音视频内容的内容标识在转码平台的内容标识库中进行匹配，如果存在匹配内容标识，则不对音视频内容进行转码，获取与匹配内容标识对应的已转码音视频内容；如果不存在匹配内容标识，则通知转码模块54对音视频内容进行转码。

图6示出本发明的基于云计算的音视频内容转码装置的另一个实施例的结构图。如图6所示，该装置还包括内容解码模块60和编码模块67。内容解码模块60对音视频内容进行解码获得视频内容和音频内容，将视频内容发送给视频指纹生成单元611，将音频内容发送给音频指纹生成单元612；编码模块67接收转码模块54输出的已转码的视频内容，对已转码的视频内容进行编码输出。

在一个实施例中，指纹生成模块61包括视频指纹生成单元611和音频指纹生成单元612。视频指纹生成单元611接收来自内容解码模块60的视频内容，提取音视频内容中视频的图像特征和运动特征作为视频指纹；音频指纹生成单元接收来自内容解码模块60的音频内容，提取接收到的音视频内容中音频的物理类音频特征作为音频指纹。图像特征可以是关键帧的局部区域的颜色特征，运动特征可以是相邻两关键帧的局部区域的帧间差异；物理类音频特征可以是相邻两帧的频域能量差异。

在一个实施例中，还包括内容标识库65和音视频内容库66。内容标识库65存储音视频内容库中的已转码的音视频内容的内容标识。音视频内容库66存储已转码的音视频内容。

下面参考图1介绍本发明的一个应用例的流程。

第一步：音视频内容库向云转码平台提供音视频内容源；

第二步：云转码平台提取接收到的音视频内容中视频的图像特征(如关键帧的局部区域的颜色特征)和运动特征(如相邻两帧的局部区域的帧间差异)作为视频指纹，提取接收到的音视频内容中音频的物理类音频特征(如相邻两帧的频域能量差异)作为音频指纹，视频指纹和音频指纹共同描述该音视频内容并组成该音视频内容的内容标识；

第三步：云转码平台将该音视频内容的内容标识与所存储的内容标识进行比对，如匹配则不对该音视频内容进行转码，否则将该音视频内容的内容标识存储于云转码平台中，并对该音视频内容进行转码，将转码后的音视频流提供给流媒体服务器；

第四步：流媒体服务器将云转码平台输出的音视频流提供给流媒体内容传送网络；

第五步：流媒体内容传送网络将流媒体服务器输出的音视频流提供给流媒体终端；

第六步：终端接收流媒体服务器提供的音视频流，进行解码和播放。

至此，已经详细描述了根据本发明的基于云计算的音视频内容转码方法、装置和服务器。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims

1.一种基于云计算的音视频内容转码方法，其特征在于，包括：

根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；

根据所述视频指纹和音频指纹生成所述音视频内容的内容标识；

当所述音视频内容的内容标识在转码平台的内容标识库中存在匹配内容标识时，不对所述音视频内容进行转码，获取与所述匹配内容标识对应的已转码音视频内容。

2.根据权利要求1所述的方法，其特征在于，根据音视频内容生成视频内容的视频指纹包括：

提取视频内容中视频的图像特征和运动特征作为视频指纹；

和/或

根据音视频内容生成音频内容的音频指纹包括：

提取音频内容中音频的物理类音频特征作为音频指纹。

3.根据权利要求2所述的方法，其特征在于，所述图像特征为关键帧的局部区域的颜色特征，所述运动特征为相邻两关键帧的局部区域的帧间差异；所述物理类音频特征为相邻两帧的频域能量差异。

4.根据权利要求1所述的方法，当所述音视频内容的内容标识在转码平台的内容标识库中不存在匹配内容标识时，对所述音视频内容进行转码。

5.根据权利要求4所述的方法，其特征在于，还包括：

对转码后的音视频内容进行编码。

6.一种基于云计算的音视频内容转码装置，包括转码模块，其特征在于，还包括：

指纹生成模块，用于根据音视频内容生成视频内容的视频指纹和音频内容的音频指纹；

标识生成模块，用于根据所述视频指纹和音频指纹生成所述音视频内容的内容标识；

标识匹配模块，用于将所述音视频内容的内容标识在转码平台的内容标识库中进行匹配，如果存在匹配内容标识，则不对所述音视频内容进行转码，获取与所述匹配内容标识对应的已转码音视频内容；如果不存在匹配内容标识，则通知所述转码模块对所述音视频内容进行转码。

7.根据权利要求6所述的装置，其特征在于，所述指纹生成模块包括：

视频指纹生成单元，用于提取音视频内容中视频的图像特征和运动特征作为视频指纹；

音频指纹生成单元，用于提取接收到的音视频内容中音频的物理类音频特征作为音频指纹。

8.根据权利要求7所述的装置，其特征在于，所述图像特征为关键帧的局部区域的颜色特征，所述运动特征为相邻两关键帧的局部区域的帧间差异；所述物理类音频特征为相邻两帧的频域能量差异。

9.根据权利要求7所述的装置，其特征在于，还包括：

内容解码模块，用于对所述音视频内容进行解码获得视频内容和音频内容，将所述视频内容发送给所述视频指纹生成单元，将所述音频内容发送给所述音频指纹生成单元；

编码模块，用于接收所述转码模块输出的已转码的视频内容，对所述已转码的视频内容进行编码输出。

10.根据权利要求6所述的装置，其特征在于，还包括：

音视频内容库，用于存储已转码的音视频内容；

内容标识库，用于存储所述音视频内容库中的已转码的音视频内容的内容标识。

11.一种云计算服务器，包括权利要求6至10中任意一项所述的音视频内容转码装置。