CN103327363B - 实现基于语义粒度进行视频信息加密控制的系统及其方法 - Google Patents

Abstract

本发明涉及一种实现基于语义粒度进行视频信息加密控制的系统，其中包括视频输入接口模块、视频结构化描述模块、数据挖掘及语义匹配推理模块、实时加密计算模块、视频输出接口模块。本发明还涉及一种利用该系统实现基于语义粒度进行视频信息加密控制的方法。采用该种实现基于语义粒度进行视频信息加密控制的系统及其方法，使得视频加密的效果更加接近人类感官习惯、视频观看权限变得更为可控，有效解决了加密视频数据过程中的视频内容毫无针对性的问题，显著降低了计算复杂度，缩短了计算的时间延迟，确保视频传输的过程中的低丢包率和图片质量，实用价值较大，处理过程简单方便，适应能力较强，工作性能稳定可靠，适用范围较为广泛。

Description

实现基于语义粒度进行视频信息加密控制的系统及其方法

技术领域

本发明涉及信息安全管理领域，特别涉及数字视频信息的内容保护技术领域，具体是指一种实现基于语义粒度进行视频信息加密控制的系统及其方法。

背景技术

随着计算机技术和互联网的飞速发展，大量的视频设备已经能够通过互联网方便地互相批量传输海量数字化的视频信息，这些有利于网络用户能够快速地查找、分享和使用网络中的各类资源，例如视频电影、监控视频、视频会议和视频聊天等。但是有些人会恶意篡改这些重要的视频资源内容，然后在网络中大量流传。这种行为使得具有重要机密等级的视频资源信息大面积泄露，严重损害了和谐社会的稳定性和健康的网络环境。所以，视频资源要想得到内容上的保护，就需要采用内容保护，现如今有“直接加密方法”或“选择性加密方法”两种方法。

“直接加密方法”是将视频码流数据当作普通的二进制数据，采用经典的数据加密标准（DataEncryptionStandard，DES）或者视频加密算法（VideoEncryptionAlgorithm，VEA）等算法逐像素、逐比特加密。该方法利用了传统密码算法加密度高的优点，确保了视频数据对用户的完全不可见，从而具有较高的保密性和安全性。这种方法的缺点：计算量大和实时性差，同时因改变了视频数据的概率统计特性而影响了编码的压缩率。

“选择性加密方法”是混合编码，即先进行预测编码，再对预测差分值进行变换编码，最后对变换系数进行统计编码。选择性加密方法充分考虑了视频数据本身的特征及压缩标准的要求，不是直接对像素值加密，而是对上述编码过程中产生的关键信息进行加密。该方法的问题：它不会改变起始码和头信息的结构，但是起始码和头信息的结构中通常包含了视频编码的重要参数和对解码视频码流其关键作用的信息，所以只要是攻击者获得这些信息，同样可以窃取视频的机密内容和破解视频的编码算法。

为解决上述问题，中国发明专利申请公布说明书201010548863.4公开了一种视频码流加、解密方法、装置及通信、存储方法。该视频流加密方法包括：对分片的头信息进行加密处理，得到头信息密文；对得到的头信息密文与所述头信息密文所处分片的数据信息明文进行置乱加密，得到置乱密文；对分片的起始码以及加密下一分片起始码的密钥进行加密处理，分别得到起始码密文和密钥密文；对置乱密文中与起始码密文相同的密文，采取起始码密文防竞争处理，得到中间密文；将中间密文、起始码密文以及密钥密文组成码流密文。该方法具有内在的确定性和计算复杂度低等特点，但是没有利用视频数据本身的语义特性和较好的视频压缩标准，因此很难提高其实用性。进而，在本专利中提出将视频的语义内容和视频内容加密方法相结合的方法。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够有效解决加密视频数据过程中的视频内容毫无针对性的问题、显著降低计算复杂度、缩短计算的时间延迟、确保视频传输的过程中的低丢包率和图片质量、实用价值较大、处理过程简单方便、适应能力较强、工作性能稳定可靠、适用范围较为广泛的实现基于语义粒度进行视频信息加密控制的系统及其方法。

为了实现上述的目的，本发明的实现基于语义粒度进行视频信息加密控制的系统及其方法如下：

该实现基于语义粒度进行视频信息加密控制的系统，其主要特点是，所述的系统包括：

视频输入接口模块，用于接收外部的原始视频信息；

视频结构化描述模块，接收所述的视频输入模块送来的原始视频信息，并从中提取相应的视频结构化描述内容；

数据挖掘及语义匹配推理模块，用于将各个所述的具有语义标识的视频片段作为最小粒度单元进行数据挖掘，识别其中是否具有系统预设的特定内容关键词从而确定是否需要进行加密处理，对该关键词进行匹配和推理从而得到匹配和推理的结果集，并输出所划分的相应的视频片段；

实时加密计算模块，用于对需要进行加密处理的视频片段进行实时加密计算；

视频输出接口模块，用于将经过加密处理的视频信息传递给网络传输接口并进行实时传输。

该实现基于语义粒度进行视频信息加密控制的系统中的实时加密计算模块包括：

视频片段接收单元，用于接收所述的数据挖掘及语义匹配推理模块所输出的视频片段，并将需要进行加密处理的视频片段和不需要进行加密处理的视频片段分开；

视频加密单元，接收所述的视频片段接收单元所输出的需要进行加密处理的视频片段，并进行加密处理；

视频组合单元，接收所述的视频加密单元所输出的加密处理后的视频片段和所述的视频片段接收单元所输出的不需要进行加密处理的视频片段，并进行视频组合。

该实现基于语义粒度进行视频信息加密控制的系统中还包括：

实时解密计算模块，用于接收网络传输接口传送的加密视频信息，并对其中进行过加密处理的视频片段进行实时解密计算。

该实现基于语义粒度进行视频信息加密控制的系统中的最小粒度单元为根据视频的标注设置不同的语义分割点或区域，并对视频划分出的具有不同语义的视频片段。

该实现基于语义粒度进行视频信息加密控制的系统中的对关键词的匹配为根据相应领域的知识本体和语义词典对描述进行相关的推理，得到匹配结果集。

该实现基于语义粒度进行视频信息加密控制的系统中的对关键词的推理为根据相应领域的知识本体和语义词典对描述进行比较分析，得到推理结果集。

该利用上述的系统实现基于语义粒度进行视频信息加密控制的方法，其主要特点是，所述的方法包括以下步骤：

（1）所述的视频输入接口模块接收外部传来的原始视频信息；

（2）所述的视频结构化描述模块通过视频结构化描述处理提取出所述的原始视频信息的结构化特征描述内容；

（3）所述的数据挖掘及语义匹配推理模块设定相应领域的推理规则，并利用该推理规则对所述的结构化特征描述内容进行推理，得到推理结果集；

（4）所述的数据挖掘及语义匹配推理模块根据所述的推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，并确定是否需要进行加密处理；

（5）所述的实时加密计算模块对需要进行加密处理的视频片段进行实时加密计算；

（6）所述的视频输出接口模块将经过加密处理的视频信息传递给网络传输接口并进行实时传输。

该实现基于语义粒度进行视频信息加密控制的方法中的视频结构化描述处理，包括以下步骤：

（21）所述的视频结构化描述模块对所述的原始视频信息进行时空分割处理；

（22）所述的视频结构化描述模块对所述的原始视频信息进行特征提取处理；

（23）所述的视频结构化描述模块对所述的原始视频信息进行对象识别处理；

（24）得到该原始视频信息所对应的的多层次结构化特征描述内容。

该实现基于语义粒度进行视频信息加密控制的方法中的时空分割处理，具体为：

从视频序列中分割有意义的视频对象平面，每个视频对象平面包含语义级别视频对象的形状和纹理信息。

该实现基于语义粒度进行视频信息加密控制的方法中的分割方法为空域分割或者时域分割。

该实现基于语义粒度进行视频信息加密控制的方法中的空域分割为运用分水岭算法得到不同区域的边界。

该实现基于语义粒度进行视频信息加密控制的方法中的时域分割为利用时域变化检测来分隔视频对象，运动对象的位置和形状通过帧差法和减背景法得到。

该实现基于语义粒度进行视频信息加密控制的方法中的特征提取处理，具体为：

根据颜色特征和空间特征来表示视频帧的特征内容。

该实现基于语义粒度进行视频信息加密控制的方法中的对象识别处理，具体为：

依据统计模式识别的方法，即在已知训练对象集合的基础上设计识别和分类算法，从而对未知对象进行识别分类。

该实现基于语义粒度进行视频信息加密控制的方法中的根据推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，具体为：

根据推理结果集和设定的领域特定关键词集，通过计算两个集合中对象的语义距离，得出与相应领域中特定关键词所具有的语义相似度。

采用了该发明的实现基于语义粒度进行视频信息加密控制的系统及其方法，由于其中基于视频语义标注的结果将视频划分成具有不同语义的视频段以及视频帧中的几何区域，以具备不同语义的视频段和视频帧中的几何区域为最小粒度单元，从而进行基于语义粒度的视频内容加密，使得视频加密的效果更加接近人类感官习惯、视频观看权限变得更为可控，有效解决了加密视频数据过程中的视频内容毫无针对性的问题，显著降低了计算复杂度，缩短了计算的时间延迟，确保视频传输的过程中的低丢包率和图片质量，实用价值较大，处理过程简单方便，适应能力较强，工作性能稳定可靠，适用范围较为广泛。

附图说明

图1为本发明的实现基于语义粒度进行视频信息加密控制的系统功能模块架构示意图。

图2为本发明的实现基于语义粒度进行视频信息加密控制的系统中的实时加密计算模块的功能模块组成示意图。

图3为本发明的实现基于语义粒度进行视频信息加密控制的方法的整体流程图。

图4为本发明的实现基于语义粒度进行视频信息加密控制的方法中的提取视频结构化描述处理的流程图。

图5为本发明的实现基于语义粒度进行视频信息加密控制的方法中基于关键字的数据挖掘、视频匹配和推理处理的流程图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1和图2所示，该实现基于语义粒度进行视频信息加密控制的系统，其中包括：

（1）视频输入接口模块，用于接收外部的原始视频信息；

（2）视频结构化描述模块，接收所述的视频输入模块送来的原始视频信息，并从中提取相应的视频结构化描述内容；

（3）数据挖掘及语义匹配推理模块，用于将各个所述的具有语义标识的视频片段作为最小粒度单元进行数据挖掘，识别其中是否具有系统预设的特定内容关键词从而确定是否需要进行加密处理，对该关键词进行匹配和推理从而得到匹配和推理的结果集，并输出所划分的相应的视频片段；该最小粒度单元为根据视频的标注设置不同的语义分割点或区域，并对视频划分出的具有不同语义的视频片段；所述的对关键词的匹配为根据相应领域的知识本体和语义词典对描述进行相关的推理，得到匹配结果集；所述的对关键词的推理为根据相应领域的知识本体和语义词典对描述进行比较分析，得到推理结果集；

（4）实时加密计算模块，用于对需要进行加密处理的视频片段进行实时加密计算；该实时加密计算模块包括：

（a）视频片段接收单元，用于接收所述的数据挖掘及语义匹配推理模块所输出的视频片段，并将需要进行加密处理的视频片段和不需要进行加密处理的视频片段分开；

（b）视频加密单元，接收所述的视频片段接收单元所输出的需要进行加密处理的视频片段，并进行加密处理；

（c）视频组合单元，接收所述的视频加密单元所输出的加密处理后的视频片段和所述的视频片段接收单元所输出的不需要进行加密处理的视频片段，并进行视频组合；

（5）视频输出接口模块，用于将经过加密处理的视频信息传递给网络传输接口并进行实时传输；

（6）实时解密计算模块，用于接收网络传输接口传送的加密视频信息，并对其中进行过加密处理的视频片段进行实时解密计算。

再请参阅图3至图5所示，该利用上述的系统实现基于语义粒度进行视频信息加密控制的方法，其中包括以下步骤：

（1）所述的视频输入接口模块接收外部传来的原始视频信息；

（2）所述的视频结构化描述模块通过视频结构化描述处理提取出所述的原始视频信息的结构化特征描述内容，包括以下步骤：

（a）所述的视频结构化描述模块对所述的原始视频信息进行时空分割处理；该时空分割处理具体为：

从视频序列中分割有意义的视频对象平面，每个视频对象平面包含语义级别视频对象的形状和纹理信息；其中，该分割方法为空域分割或者时域分割，所述的空域分割为运用分水岭算法得到不同区域的边界，所述的时域分割为利用时域变化检测来分隔视频对象，运动对象的位置和形状通过帧差法和减背景法得到；

（b）所述的视频结构化描述模块对所述的原始视频信息进行特征提取处理，具体为：根据颜色特征和空间特征来表示视频帧的特征内容；

（c）所述的视频结构化描述模块对所述的原始视频信息进行对象识别处理，具体为：依据统计模式识别的方法，即在已知训练对象集合的基础上设计识别和分类算法，从而对未知对象进行识别分类；

（d）得到该原始视频信息所对应的的多层次结构化特征描述内容；

（3）所述的数据挖掘及语义匹配推理模块设定相应领域的推理规则，并利用该推理规则对所述的结构化特征描述内容进行推理，得到推理结果集；

（4）所述的数据挖掘及语义匹配推理模块根据所述的推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，并确定是否需要进行加密处理；该根据推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，具体为：

根据推理结果集和设定的领域特定关键词集，通过计算两个集合中对象的语义距离，得出与相应领域中特定关键词所具有的语义相似度；

（5）所述的实时加密计算模块对需要进行加密处理的视频片段进行实时加密计算；

（6）所述的视频输出接口模块将经过加密处理的视频信息传递给网络传输接口并进行实时传输。

在实际使用当中，本发明的基本思想是实现基于语义内容的视频加密系统及方法，其中系统包括视频输入接口模块、视频结构化描述模块、语义推理和匹配模块、实时加密计算模块、实时解密计算模块和数字视频输出接口。

该视频输入接口模块，是用来接受来自互联网、局域网或视频数据库中的视频审查请求，视频输入模块首先接收它，并与上述介质建立视频传输的连接，接收视频的无损传输。

该视频结构化描述模块，是用来提取视频的结构化描述内容，这是一种以机器自动化为主的视频信息处理和分析方法，采用语义关系、时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。它依赖图像处理技术、模式识别技术、语义理解技术等对视频数据进行多层次、多尺度的特征提取。视频首先传送到描述设备，类似人的大脑，机器在这里对内容进行分析理解，并产生多层次的结构化输出；接着对描述数据进行传输和存储，同时描述设备也输出一个原始视频供系统存储。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并实现视频数据向关键信息的转化。

其中，该结构化描述模块包括语义匹配和推理模块，是将各具有语义标识的视频片段作为最小粒度单元，对该语义描述进行数据挖掘，识别该语义描述中是否具有特定关键词，从而确定是否加密该视频段，其特征在于，对关键词进行匹配和推理，得到匹配和推理的结果集。

其中，所述的对关键词进行推理方法，是指根据本领域的知识本体和语义词典对描述进行比较分析，得到推理结果集。

其中，所述的对关键词进行匹配方法，是指根据本领域的知识本体和语义词典对描述进行相关的推理，得到匹配结果集。

所述的实时加密计算模块，是在现有技术中的普通数字视频编码器中增加了一个加密计算模块，它对数字视频数据流进行实时加密计算，以使得该压缩编码数字视频数据流最终从数字视频输出接口模块输出时为加密视频数据流。

其中，该模块首先是根据从视频结构化描述模块和视频推理匹配模块中得到的需加密的视频片段，将这些需要加密的视频片段作为输入，传输到“实时加密计算模块”中，进行实时加密计算，以使得该数字视频数据流最终从网络接口模块时为加密视频数据流。

实时解密计算模块，与实时加密计算模块，工作原理完全类似，只是数据流的流向相反而已。

所述的数字视频输出接口模块，是用来将所述加过密的数字视频数据流传递给网络传输接口，以便视频的实时传输。

本发明的基于视频语义粒度的加密方法，其中包括如下步骤：

以机器自动处理为主的视频结构化描述技术；

根据视频的结构化描述集对应地形成视频的语义标注；

根据视频的标注设置不同的语义分割点，将视频划分为很多具有不同语义的视频片段或视频帧中的几何区域；

将各视频片段作为最小粒度单元，对视频内容进行加密；

实现监控网络之间、客户端之间、视频服务器之间的信息共享和主动互操作。

所述的以机器自动处理为主的视频结构化描述技术，其中首先将视频传送到描述设备，采用时空分割、特征提取、对象识别等处理手段，对内容进行分析理解，并产生多层次的结构化输出，组织成可供计算机和人理解的文本信息的技术。

该根据视频的结构化描述集对应地形成视频的语义标注，其具体为：将视频结构化描述语言转化为按照统一的数据结构形成的语义标注。

该根据视频的不同语义设置分割点，其具体为：对视频的不同语义意群进行归纳与分类，设置视频的分割点。

将视频划分为很多具有不同语义的视频片段，其具体为：按照视频被标注的不同意群节点，将之切割成很多独立的具有语义标识的视频片段或视频帧中的几何区域。

将各视频片段作为最小粒度单元，对视频内容进行加密，除了用于存储的视频子片段的视频数据库以外，还设置了根据上下文的不同而不同的加密策略和与之相对应的密钥库。

实现监控网络之间、客户端之间、视频服务器之间的信息共享和主动互操作，其具体为，实现主动监控视频、动态加密、自动联网分析等网络功能。

该加密策略，其具体为：根据子视频的语义内容的密级级别，有2种形式的加密策略：预共享密钥加密和数字证书加密。

该密钥库，其具体为，用来存储所有涉及到的保密子视频内容的密钥。

采用了上述的实现基于语义粒度进行视频信息加密控制的系统及其方法，由于其中基于视频语义标注的结果将视频划分成具有不同语义的视频段以及视频帧中的几何区域，以具备不同语义的视频段和视频帧中的几何区域为最小粒度单元，从而进行基于语义粒度的视频内容加密，使得视频加密的效果更加接近人类感官习惯、视频观看权限变得更为可控，有效解决了加密视频数据过程中的视频内容毫无针对性的问题，显著降低了计算复杂度，缩短了计算的时间延迟，确保视频传输的过程中的低丢包率和图片质量，实用价值较大，处理过程简单方便，适应能力较强，工作性能稳定可靠，适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (15)

1.一种实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的系统包括：

视频输入接口模块，用于接收外部的原始视频信息；

视频结构化描述模块，接收所述的视频输入模块送来的原始视频信息，并从中提取相应的视频结构化描述内容；

数据挖掘及语义匹配推理模块，用于将各个具有语义标识的视频片段作为最小粒度单元进行数据挖掘，识别其中是否具有系统预设的特定内容关键词从而确定是否需要进行加密处理，对该关键词进行匹配和推理从而得到匹配和推理的结果集，并输出所划分的相应的视频片段；

实时加密计算模块，用于对需要进行加密处理的视频片段进行实时加密计算；

视频输出接口模块，用于将经过加密处理的视频信息传递给网络传输接口并进行实时传输。

2.根据权利要求1所述的实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的实时加密计算模块包括：

视频片段接收单元，用于接收所述的数据挖掘及语义匹配推理模块所输出的视频片段，并将需要进行加密处理的视频片段和不需要进行加密处理的视频片段分开；

视频加密单元，接收所述的视频片段接收单元所输出的需要进行加密处理的视频片段，并进行加密处理；

视频组合单元，接收所述的视频加密单元所输出的加密处理后的视频片段和所述的视频片段接收单元所输出的不需要进行加密处理的视频片段，并进行视频组合。

3.根据权利要求1所述的实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的系统中还包括：

实时解密计算模块，用于接收网络传输接口传送的加密视频信息，并对其中进行过加密处理的视频片段进行实时解密计算。

4.根据权利要求1至3中任一项所述的实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的最小粒度单元为根据视频的标注设置不同的语义分割点或区域，并对视频划分出的具有不同语义的视频片段。

5.根据权利要求1至3中任一项所述的实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的对关键词的匹配为根据相应领域的知识本体和语义词典对描述进行相关的推理，得到匹配结果集。

6.根据权利要求1至3中任一项所述的实现基于语义粒度进行视频信息加密控制的系统，其特征在于，所述的对关键词的推理为根据相应领域的知识本体和语义词典对描述进行比较分析，得到推理结果集。

7.一种利用权利要求1所述的系统实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的视频输入接口模块接收外部传来的原始视频信息；

(2)所述的视频结构化描述模块通过视频结构化描述处理提取出所述的原始视频信息的结构化特征描述内容；

(3)所述的数据挖掘及语义匹配推理模块设定相应领域的推理规则，并利用该推理规则对所述的结构化特征描述内容进行推理，得到推理结果集；

(4)所述的数据挖掘及语义匹配推理模块根据所述的推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，并确定是否需要进行加密处理；

(5)所述的实时加密计算模块对需要进行加密处理的视频片段进行实时加密计算；

(6)所述的视频输出接口模块将经过加密处理的视频信息传递给网络传输接口并进行实时传输。

8.根据权利要求7所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的视频结构化描述处理，包括以下步骤：

(21)所述的视频结构化描述模块对所述的原始视频信息进行时空分割处理；

(22)所述的视频结构化描述模块对所述的原始视频信息进行特征提取处理；

(23)所述的视频结构化描述模块对所述的原始视频信息进行对象识别处理；

(24)得到该原始视频信息所对应的多层次结构化特征描述内容。

9.根据权利要求8所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的时空分割处理，具体为：

从视频序列中分割有意义的视频对象平面，每个视频对象平面包含语义级别视频对象的形状和纹理信息。

10.根据权利要求9所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的分割方法为空域分割或者时域分割。

11.根据权利要求10所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的空域分割为运用分水岭算法得到不同区域的边界。

12.根据权利要求10所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的时域分割为利用时域变化检测来分隔视频对象，运动对象的位置和形状通过帧差法和减背景法得到。

13.根据权利要求8所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的特征提取处理，具体为：

根据颜色特征和空间特征来表示视频帧的特征内容。

14.根据权利要求8所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的对象识别处理，具体为：

依据统计模式识别的方法，即在已知训练对象集合的基础上设计识别和分类算法，从而对未知对象进行识别分类。

15.根据权利要求7至14中任一项所述的实现基于语义粒度进行视频信息加密控制的方法，其特征在于，所述的根据推理结果集和相应领域特定的关键词集合进行语义相似度计算和语义匹配，具体为：

根据推理结果集和设定的领域特定关键词集，通过计算两个集合中对象的语义距离，得出与相应领域中特定关键词所具有的语义相似度。