CN109327711A - 音视频的内容格式分层结构、加密方法、解密方法及终端 - Google Patents

Abstract

本发明涉及一种音视频的内容格式分层结构、加密方法、解密方法及终端。该分层结构从顶层到底层依次包括：流媒体格式层、封装层、打包层、编码层，在编码层下依次包括帧层和原始层；帧层包括视频帧的帧内编码帧、向前预测帧、双向预测帧，以及音频帧，其中帧内编码帧包括关键帧；原始层包括像素数据和音频信号的PCM数据。本发明的音视频安全处理方法基于编码层以下，针对帧层的部分数据进行加密和解密，实现对底层数据的加密和解密，增强音视频的安全性，并且具有较强的通用性。

Description

音视频的内容格式分层结构、加密方法、解密方法及终端

技术领域

本发明涉及音视频安全领域，更具体地说，涉及一种音视频的内容格式分层结构、加密方法、解密方法及终端。

背景技术

随着网络的发展，版权意识的增强，音视频优质资源的增多，音视频的安全保护越来越受到重视，而寻求一种通用的音视频安全处理方法对于音视频的安全保护技术的推广变得至关重要。

图1音视频的内容格式分层结构主要包括：流媒体格式层、封装层、打包层、编码层，与之对应的音视频的安全处理方法包括：流媒体格式层的安全处理方法、封装层的安全处理方法、打包层的安全处理方法、编码层的安全处理方法。

上述不同的安全处理方法从编码层到流媒体格式层，越往上越不具备通用性，最佳的音视频安全处理方法为对底层的数据进行加解密，上层的各种协议和传输方式不受影响，不改变音视频原有的传输系统。目前国际上也针对这层提出了CENC通用加密方法，但存在一个弊端，音视频的编码格式多种多样，包括目前提出的和以后出现，CENC很难兼容各种编码格式，CENC目前仅对NALU格式的编码格式的视频进行了说明介绍，其余编码格式采用全加密的方式。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种音视频的内容格式分层结构、加密方法、解密方法及终端。

本发明解决其技术问题所采用的技术方案是：构造一种音视频的内容格式分层结构，从顶层到底层依次包括：流媒体格式层、封装层、打包层、编码层，在所述编码层下依次包括帧层和原始层；

所述帧层包括视频帧的帧内编码帧、向前预测帧、双向预测帧，以及音频帧，其中所述帧内编码帧包括关键帧；

所述原始层包括像素数据和音频信号的PCM数据。

进一步，本发明还提供一种音视频的加密方法，应用于上述的音视频的内容格式分层结构，所述方法包括：

对于原始层的像素数据执行下述加密步骤：

C101、将所述像素数据转换为视频帧；

C102、提取所述视频帧中的预设帧，按照预设编码规则对所述视频帧进行编码得到初始编码帧；

C103、加密提取的所述预设帧得到加密预设帧；

C104、将所述初始编码帧中的预设帧替换为对应的所述加密预设帧，得到视频编码帧；

对于原始层中音频信号的PCM数据执行下述加密步骤：

C201、将所述PCM数据转换为音频帧；

C202、加密所述音频帧得到加密音频帧；

C203、按照预设编码规则对所述加密音频帧进行编码得到音频编码帧。

进一步，本发明所述的音视频的加密方法，所述步骤C102中提取所述视频帧中的预设帧包括：

按照预设提取规则间隔提取所述视频帧中的预设帧。

进一步，本发明所述的音视频的加密方法，所述预设帧为关键帧，则

所述步骤C103包括：加密提取的所述关键帧得到加密关键帧；

所述步骤C104包括：将所述初始编码帧中的关键帧替换为对应的所述加密关键帧，得到视频编码帧。

进一步，本发明所述的音视频的加密方法，在所述C104和所述步骤C203之后还包括：

依次通过编码层、打包层、封装层、以及流媒体格式层对所述视频编码帧和所述音频编码帧进行处理，得到音视频数据。

另，本发明还提供一种音视频的解密方法，用于解码上述视频编码帧和所述音频编码帧，所述方法包括：

对于所述视频编码帧执行下述解密步骤：

D101、提取所述视频编码帧中的加密预设帧；

D102、解密所述加密预设帧为预设帧；

D103、结合所述预设帧对所述视频编码帧进行解码，得到视频帧；

D104、将所述视频帧转换为像素数据；

对于所述音频编码帧执行下述解密步骤：

D201、将所述音频编码帧解码为加密音频帧；

D202、解密所述加密音频帧得到音频帧；

D203、将所述音频帧转换为PCM数据。

进一步，本发明所述的音视频的解密方法，所述步骤D101中提取所述视频编码帧中的加密预设帧包括：

按照预设提取规则间隔提取所述视频编码帧中的加密预设帧。

进一步，本发明所述的音视频的解密方法，所述预设帧为关键帧，则

所述步骤D102包括：解密所述加密关键帧为关键帧；

所述步骤D103包括：结合所述关键帧对所述视频编码帧进行解码，得到视频帧。

进一步，本发明所述的音视频的解密方法，在所述步骤D101和所述步骤D201之前还包括步骤：

依次通过流媒体格式层、封装层、打包层、编码层处理音视频数据得到所述视频编码帧和所述音频编码帧。

另，本发明还提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述音视频的加密方法的步骤和/或如上述音视频的解密方法的步骤。

实施本发明的一种音视频的内容格式分层结构、加密方法、解密方法及终端，具有以下有益效果：该分层结构从顶层到底层依次包括：流媒体格式层、封装层、打包层、编码层，在编码层下依次包括帧层和原始层；帧层包括视频帧的帧内编码帧、向前预测帧、双向预测帧，以及音频帧，其中帧内编码帧包括关键帧；原始层包括像素数据和音频信号的PCM数据。本发明提出的音视频安全处理方法基于编码层以下，针对帧层的部分数据进行加密和解密，实现对底层数据的加密和解密，增强音视频的安全性，并且具有较强的通用性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是现有技术中音视频的内容格式分层结构示意图；

图2是本发明中音视频的内容格式分层结构示意图；

图3是本发明第一实施例中视频加密方法的流程图；

图4是本发明第一实施例中音频加密方法的流程图；

图5是本发明第三实施例中视频解密方法的流程图；

图6是本发明第三实施例中音频解密方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图2，本发明构造一种音视频的内容格式分层结构，从顶层到底层依次包括：流媒体格式层、封装层、打包层、编码层，流媒体格式层、封装层、打包层、编码层的编码过程和解码过程可参考现有技术，本发明在此不再赘述。相较于现有技术，本发明的音视频的内容格式分层结构在编码层下依次设置帧层和原始层，其中，帧层包括视频帧的帧内编码帧(I帧)、向前预测帧(P帧)、双向预测帧(B帧)，以及音频帧，其中帧内编码帧包括关键帧；原始层包括像素数据和音频信号的PCM数据。因视频编解码都是以GOP为单位进行画面的传输，而GOP以关键帧开始，后面的帧依靠前面的关键帧进行组合，所以仅需要加密关键帧即可实现较好的安全性。

本发明对帧层的部分数据进行加密和解密处理，从而实现在音视频的底层对音视频数据的保护，该方法具有较强的通用性。以下通过具体实施例进行说明。

第一实施例

本实施例的音视频的加密方法应用于上述的音视频的内容格式分层结构，该方法分别对音视频数据中视频信号的像素数据和音频信号中的PCM数据进行编码处理，以下分别进行说明。

参考图3，对于原始层的像素数据执行下述加密步骤：

C101、将像素数据转换为视频帧，视频帧包括帧内编码帧(I帧)、向前预测帧(P帧)、双向预测帧(B帧)。

C102、提取视频帧中的预设帧，按照预设编码规则对视频帧进行编码得到初始编码帧。预设帧可以选取帧内编码帧(I帧)、向前预测帧(P帧)、双向预测帧(B帧)中的至少一种，例如可以只提取关键帧，也可以只提取向前预测帧，也可同时提取关键帧和向前预测帧等。在提取视频帧中后或提取视频帧同时，按照预设编码规则对视频帧进行编码得到初始编码帧。预设编码规则可参考现有技术，本实施例不再赘述。

作为选择，视频中预设帧的提取可采用多种方式，例如采用连续提取方式提取，即提取每一个视频帧中的预设帧。又例如采用间隔提取方式提取，即每间隔预设数量的视频帧提取视频帧中的预设帧，例如每间隔3个视频帧提取一次视频帧的预设帧。又例如采用预设排序法提取，即按照预设排序法中的排号对需要提取的视频帧才进行提取。

C103、提取视频帧中的预设帧后，加密提取的预设帧得到加密预设帧，通过加密预设帧实现对音视频中的视频信号进行加密。

C104、将初始编码帧中的预设帧替换为对应的加密预设帧，得到视频编码帧。可以理解，初始编码帧中的预设帧依然没有加密，所以需要将初始编码中的预设帧进行对应替换，这里所说的对应替换是指按照提取预设帧的位置将加密后的加密预设帧进行对应替换。优选地，上述替换过程可进行预处理转换，也可在视频制作过程中实时进行。

本实施例通过对音视频中的视频帧进行部分数据加密，从而实现对音视频中视频数据的加密。

参考图4，对于原始层中音频信号的PCM数据执行下述加密步骤：

C201、将PCM数据转换为音频帧。

C202、加密音频帧得到加密音频帧。因音频数据的数据量相对较小，可对音频帧采用全加密，即对所有音频帧进行加密处理。或者对音频帧中的部分数据进行加密，部分数据加密可采用间隔加密方式，即每间隔预设数量的音频帧后对音频帧进行加密，例如每间隔3个音频帧加密一次音频帧。或者部分数据加密采用预设排序法加密，即按照预设排序法中的排号对需要加密的音频帧进行加密。

C203、按照预设编码规则对加密音频帧进行编码得到音频编码帧。

进一步，本实施例的音视频的加密方法在C104和步骤C203之后还包括：依次通过编码层、打包层、封装层、以及流媒体格式层对视频编码帧和音频编码帧进行处理，得到音视频数据，实现顶层传输和播放等。

本实施例通过对音视频中的因频帧进行部分或全部数据加密，从而实现对音视频中因频数据的加密。

第二实施例

在第一实施例的基础上，本实施例的音视频的加密方法中步骤C102中提取视频帧中的预设帧包括：

按照预设提取规则间隔提取视频帧中的预设帧，即每间隔预设数量的视频帧提取视频帧中的预设帧，例如每间隔3个视频帧提取一次视频帧的预设帧。对于4K视频源、8K视频源等清晰度较高的视频源，如果按照第一实施例中连续提取视频帧中的预设帧，需要处理的数据量较大，为减小处理数据量，可按照预设提取规则间隔提取视频帧中的预设帧。虽然减少了预设帧的采集数量，但依然能够实现在底层加密视频数据。

优选地，帧内编码帧包括关键帧，本实施例的音视频的加密方法中预设帧为帧内编码帧的关键帧，则

步骤C102包括：提取视频帧中的关键帧，按照预设编码规则对视频帧进行编码得到初始编码帧。在提取视频帧中后或提取视频帧同时，按照预设编码规则对视频帧进行编码得到初始编码帧。预设编码规则可参考现有技术，本实施例不再赘述。

作为选择，视频中关键帧的提取可采用多种方式，例如采用连续提取方式提取，即提取每一个视频帧中的关键帧。又例如采用间隔提取方式提取，即每间隔预设数量的视频帧提取视频帧中的关键帧，例如每间隔3个GOP提取一次视频帧的关键帧。又例如采用预设排序法提取，即按照预设排序法中的排号对需要提取的视频帧才进行提取。

步骤C103包括：加密提取的关键帧得到加密关键帧，通过加密关键帧实现对音视频中的视频信号进行加密。

步骤C104包括：将初始编码帧中的关键帧替换为对应的加密关键帧，得到视频编码帧。可以理解，初始编码帧中的关键帧依然没有加密，所以需要将初始编码中的关键帧进行对应替换，这里所说的对应替换是指按照提取关键帧的位置将加密后的加密关键帧进行对应替换。优选地，上述替换过程可进行预处理转换，也可在视频制作过程中实时进行。

因视频编解码都是以GOP为单位进行画面的传输，而GOP以关键帧开始，后面的帧依靠前面的关键帧进行组合，所以本实施例对关键帧进行加密，可实现较好的加密效果。

第三实施例

对应第一实施例的加密方法，本实施例还提供对应的音视频的解密方法用于解码上述视频编码帧和音频编码帧，解码过程中，依然分别对视频信号的视频编码帧和音频信号的音频编码帧进行解码。该方法包括：

首先需要对顶层的音视频数据进行处理，得到视频编码帧和音频编码帧，所以在步骤D101和步骤D201之前还包括步骤：

依次通过流媒体格式层、封装层、打包层、编码层处理音视频数据得到视频编码帧和音频编码帧。

参考图5，对于视频编码帧执行下述解密步骤：

D101、提取视频编码帧中的加密预设帧。提取视频编码帧中的加密预设帧的提取方式应与加密过程中的提取预设帧的步骤对应，具体的：

若加密过程中采用连续提取方式提取，即提取每一个视频帧中的预设帧。则对应的解密过程中提取加密预设帧也要采用连续提取方式提取，即提取每一个视频编码帧中的加密预设帧。

若加密过程中采用间隔提取方式提取，即每间隔预设数量的视频帧提取视频帧中的预设帧，例如每间隔3个视频帧提取一次视频帧的预设帧。则对应的解密过程中提取加密预设帧也应采用间隔提取方式提取，即每间隔预设数据量的视频编码帧提取视频编码帧中的加密预设帧，例如每间隔3个视频编码帧提取一次预设加密预设帧。

若加密过程中采用预设排序法提取，即按照预设排序法中的排号对需要提取的视频帧才进行提取。则对应的解密过程中提取加密预设帧也应采用预设排序法提取，即按照预设排序法中的排号对需要提取的视频编码帧才进行提取。

D102、解密加密预设帧为预设帧。

D103、结合预设帧对视频编码帧进行解码，得到视频帧。结合预设帧对视频编码帧进行解码包括：将视频编码帧中的加密预设帧替换为对应的预设帧，替换后视频编码帧中没有加密数据，可按照编码过程编码方式对应的解码方式进行解码。

D104、将视频帧转换为像素数据。

参考图6，对于音频编码帧执行下述解密步骤：

D201、将音频编码帧解码为加密音频帧。在解码过程中应采用与加密过程对应的方式进行解码，具体的：

若加密过程中对音频帧采用全加密，即对所有音频帧进行加密处理。则在解码过程中，对音频编码帧进行全解码即可，得到加密音频帧。

若加密过程中对音频帧采用部分数据进行加密，例如采用间隔加密方式，即每间隔预设数量的音频帧后对音频帧进行加密，例如每间隔3个音频帧加密一次音频帧。则对应的解码过程也采用间隔解密方式，即每间隔预设数量的音频编码帧后对音频编码帧进行解码，得到加密音频帧。

若加密过程中对音频帧采用部分数据进行加密，例如采用预设排序法加密，即按照预设排序法中的排号对需要加密的音频帧进行加密。则对应的解码过程也应采用预设排序法进行解码，得到加密音频帧。

D202、解密加密音频帧得到音频帧。

D203、将音频帧转换为PCM数据。

本实施例按照第一实施例的加密过程进行反向加密操作，实现对音视频数据的解密，得到底层的像素数据的PCM数据。

第四实施例

与第二实施例对应，本实施例的音视频的解密方法中步骤D101中提取视频编码帧中的加密预设帧包括：

按照预设提取规则间隔提取视频编码帧中的加密预设帧。

进一步，本实施例的音视频的解密方法，预设帧为关键帧，则

步骤D102包括：解密加密关键帧为关键帧。若加密过程中采用间隔提取方式提取，即每间隔预设数量的视频帧提取视频帧中的关键帧，例如每间隔3个视频帧提取一次视频帧的关键帧。则对应的解密过程中提取加密关键帧也应采用间隔提取方式提取，即每间隔预设数据量的视频编码帧提取视频编码帧中的加密关键帧，例如每间隔3个视频编码帧提取一次预设加密关键帧。

步骤D103包括：结合关键帧对视频编码帧进行解密，得到视频帧。

另，本发明还提供一种终端，终端包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述音视频的加密方法的步骤和/或如上述音视频的解密方法的步骤。优选地，终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑、服务器等。

本发明提出的通用音视频安全处理方法基于编码层以下，针对帧层的部分数据进行加密和解密，实现对底层数据的加密和解密，增强音视频的安全性，并且具有较强的通用性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

Claims (10)

1.一种音视频的内容格式分层结构，从顶层到底层依次包括：流媒体格式层、封装层、打包层、编码层，其特征在于，在所述编码层下依次包括帧层和原始层；

所述帧层包括视频帧的帧内编码帧、向前预测帧、双向预测帧，以及音频帧，其中所述帧内编码帧包括关键帧；

所述原始层包括像素数据和音频信号的PCM数据。

2.一种音视频的加密方法，其特征在于，应用于如权利要求1所述的音视频的内容格式分层结构，所述方法包括：

对于原始层的像素数据执行下述加密步骤：

C101、将所述像素数据转换为视频帧；

C102、提取所述视频帧中的预设帧，按照预设编码规则对所述视频帧进行编码得到初始编码帧；

C103、加密提取的所述预设帧得到加密预设帧；

C104、将所述初始编码帧中的预设帧替换为对应的所述加密预设帧，得到视频编码帧；

对于原始层中音频信号的PCM数据执行下述加密步骤：

C201、将所述PCM数据转换为音频帧；

C202、加密所述音频帧得到加密音频帧；

C203、按照预设编码规则对所述加密音频帧进行编码得到音频编码帧。

3.根据权利要求2所述的音视频的加密方法，其特征在于，所述步骤C102中提取所述视频帧中的预设帧包括：

按照预设提取规则间隔提取所述视频帧中的预设帧。

4.根据权利要求2或3所述的音视频的加密方法，其特征在于，所述预设帧为关键帧，则

所述步骤C103包括：加密提取的所述关键帧得到加密关键帧；

所述步骤C104包括：将所述初始编码帧中的关键帧替换为对应的所述加密关键帧，得到视频编码帧。

5.根据权利要求2所述的音视频的加密方法，其特征在于，在所述C104和所述步骤C203之后还包括：

依次通过编码层、打包层、封装层、以及流媒体格式层对所述视频编码帧和所述音频编码帧进行处理，得到音视频数据。

6.一种音视频的解密方法，其特征在于，用于解码如权利要求2至5任一项中的所述视频编码帧和所述音频编码帧，所述方法包括：

对于所述视频编码帧执行下述解密步骤：

D101、提取所述视频编码帧中的加密预设帧；

D102、解密所述加密预设帧为预设帧；

D103、结合所述预设帧对所述视频编码帧进行解码，得到视频帧；

D104、将所述视频帧转换为像素数据；

对于所述音频编码帧执行下述解密步骤：

D201、将所述音频编码帧解码为加密音频帧；

D202、解密所述加密音频帧得到音频帧；

D203、将所述音频帧转换为PCM数据。

7.根据权利要求6所述的音视频的解密方法，其特征在于，所述步骤D101中提取所述视频编码帧中的加密预设帧包括：

按照预设提取规则间隔提取所述视频编码帧中的加密预设帧。

8.根据权利要求6或7所述的音视频的解密方法，其特征在于，所述预设帧为关键帧，则

所述步骤D102包括：解密所述加密关键帧为关键帧；

所述步骤D103包括：结合所述关键帧对所述视频编码帧进行解码，得到视频帧。

9.根据权利要求6所述的音视频的解密方法，其特征在于，在所述步骤D101和所述步骤D201之前还包括步骤：

依次通过流媒体格式层、封装层、打包层、编码层处理音视频数据得到所述视频编码帧和所述音频编码帧。

10.一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求2-5中任意一项所述音视频的加密方法的步骤和/或

如权利要求6-9中任意一项所述音视频的解密方法的步骤。