CN109391846B - 一种自适应模式选择的视频加扰方法及装置 - Google Patents

一种自适应模式选择的视频加扰方法及装置 Download PDF

Info

Publication number
CN109391846B
CN109391846B CN201710665978.3A CN201710665978A CN109391846B CN 109391846 B CN109391846 B CN 109391846B CN 201710665978 A CN201710665978 A CN 201710665978A CN 109391846 B CN109391846 B CN 109391846B
Authority
CN
China
Prior art keywords
scrambling
frame
video
mode
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710665978.3A
Other languages
English (en)
Other versions
CN109391846A (zh
Inventor
严柯森
吴辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710665978.3A priority Critical patent/CN109391846B/zh
Priority to PCT/CN2018/097195 priority patent/WO2019029373A1/zh
Priority to US16/637,112 priority patent/US11012742B2/en
Priority to EP18845111.6A priority patent/EP3668104B1/en
Publication of CN109391846A publication Critical patent/CN109391846A/zh
Application granted granted Critical
Publication of CN109391846B publication Critical patent/CN109391846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection

Abstract

本发明公开了一种自适应模式选择的视频加扰方法及装置，用于对视频码流进行加扰，所述自适应模式选择的视频加扰方法首先获取视频码流，判断当前帧的帧类型；然后根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰。本发明自适应模式选择的视频加扰装置包括判断模块和加扰模块。本发明的方法及装置通过在不改变原来编码标准格式的情况下，分I帧、P帧进行加扰，对视频内容进行有效的加扰，提升视频内容信息的安全性。

Description

一种自适应模式选择的视频加扰方法及装置
技术领域
本发明属于视频加扰技术领域，尤其涉及一种自适应模式选择的视频加扰方法及装置。
背景技术
随着互联网技术的发展，信息获取变得简单，因此，信息安全的重要性日益突出。在视频监控中，为了防止未授权用户获取视频监控系统中传输和存储的视频图像内容，对图像信息进行加密、加扰显得尤为重要。特别是在保证与前端设备IPC(IP Camera)的编码格式兼容(即码流仍然兼容MPEG-4/H.264/H.265标准，仍然能被兼容MPEG-4/H.264/H.265标准的解码器解码)的前提下，进行加扰处理是亟待解决的一大问题。
目前的IPC编码芯片都不支持视频加扰功能，所以视频加扰处理需要在IPC中通过软件的形式对编码芯片输出的码流进行快速转码，即在转码加扰的同时满足实时性能。现有技术对视频图像进行加扰，最直接的方法是采用类似DES(Data Encryption Standard)算法将视频同一般文本数据一样进行加扰。然而这种传统加密算法计算复杂，而视频数据的数据量巨大导致运算速度慢，不适合在监控领域前端设备中使用。
因而通过在变换域中，对编码语义信息进行加扰被广泛研究。但现有技术在对编码语义信息进行加扰时，对视频内容不够重视，无法权衡加扰效果和码率变化。例如现有技术中，通过根据变换块中量化变换系数的正负符号及位置信息，构造比特位串，生成待加密的明文数据块，对生成的明文数据块进行加密，生成加密后的密文，将加密后的密文中非零量化变换系数对应的比特位转换为新的正负符号，进行熵编码。但是该方法没有对视频内容进行理解，采用同一种加扰方式，容易被破解，另外只对残差符号进行加扰，其加扰效果不可控。此外，对码流的P帧特点没有充分分析，I帧、P帧加扰模式没有区别对待。
发明内容
本发明的目的是提供一种自适应模式选择的视频加扰方法及装置，根据视频监控领域IPPP编码结构，对加扰视频内容分析，提出多种加扰模式，根据不同的等级、视频内容信息，进行自适应选择加扰模式，综合算法复杂度、加扰效果、码率等指标，实现高效的视频加扰。
为了实现上述目的，本发明技术方案如下：
一种自适应模式选择的视频加扰方法，用于对视频码流进行加扰，所述自适应模式选择的视频加扰方法包括：
获取视频码流，判断当前帧的帧类型；
根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰。
在当前帧的帧类型为I帧时，所述采用帧类型对应的加扰方式对熵解码后的数据进行加扰，包括：
获取当前块的预测块；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰。
在当前帧的帧类型为P帧时，所述采用帧类型对应的加扰方式对熵解码后的数据进行加扰，包括：
根据设定的安全等级，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
进一步地，所述P帧分片slice加扰，包括：
针对当前帧提取运动区域和背景区域，获取对应的运动信息图；
将当前帧划分为热度区域和非热度区域，获取对应的热度信息图；
根据运动信息图和热度信息图将当前帧划分为P帧感兴趣slice和P帧非感兴趣slice；
对P帧非感兴趣slice进行低码率加扰；
对P帧感兴趣slice进行P帧强加扰；
所述P帧强加扰包括至少采用两种加扰模式进行加扰。
进一步地，所述自适应模式选择的视频加扰方法，还包括：
根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。
本发明还提出了一种自适应模式选择的视频加扰装置，用于对视频码流进行加扰，所述自适应模式选择的视频加扰装置包括：
判断模块，用于获取视频码流，判断当前帧的帧类型；
加扰模块，用于根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰。
所述加扰模块在当前帧的帧类型为I帧时，执行如下操作：
获取当前块的预测块；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰。
所述加扰模块在当前帧的帧类型为P帧时，执行如下操作：
根据设定的安全等级，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
进一步地，所述自适应模式选择的视频加扰装置，还包括：
密钥更新模块，用于根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。
本发明提出的一种自适应模式选择的视频加扰方法及装置，通过在不改变原来编码标准格式的情况下，分I帧、P帧进行加扰，对视频内容进行有效的加扰，提升视频内容信息的安全性。本发明既保证背景区域的安全性，也保证了运动区域的安全性，P帧分安全等级加扰，为了综合考虑安全性、码率、以及运算复杂度，配置安全等级可以根据不同应用选择加扰模式。本发明综合考虑安全性、复杂度、码率三方面的因素，给出比较高效的视频加扰方案。
附图说明
图1为本发明自适应模式选择的视频加扰方法流程图；
图2为本发明自适应模式选择的视频加扰装置结构图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
本实施例自适应模式选择的视频加扰，对于MPEG-4/H.264/H.265等常用标准编码的码流，通过不同帧类型、不同安全属性的分类自适应采用对应的加扰模式进行视频加扰。
对视频图像序列进行压缩编码时，编码器将输入的每一帧图像根据其参考图像的不同分成3种不同的类型：I(Intra)帧、B(Bidirection prediction)帧、P(Prediction)帧。由于在大多数监控视频压缩系统中，仅考虑I帧和P帧，因此本实施例仅以I帧和P帧为例进行说明。
数字视频信号的压缩使得视频数据量得以极大的压缩，有利于传输和存储。常用的视频压缩编码有预测编码和变换编码，预测编码有帧内预测编码和帧间预测编码，而变换编码目前通常采用离散余弦变换(DCT)。一般的数字视频压缩编码方法都是混合编码，即对图像先进行帧内或帧间预测编码，再对预测后残差信号进行DCT变换、量化和熵编码。这种混合编码方法已成为许多视频压缩编码国际标准的基本框架。
在以下的具体描述中，关于压缩编码的一些技术术语：预测块、宏块、DCT变换、量化、熵编码、slice、skip模式、SEI信息均为本技术领域的通用技术术语，不再一一描述。
如图1所示，一种自适应模式选择的视频加扰方法，包括如下步骤：
获取视频码流，判断当前帧的帧类型；
根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰。
在获取视频码流之后，根据获取的当前帧的中NAL(Network Abstract Layer)类型就可以判断当前帧是I帧还是P帧。
对应于I帧或P帧，在预测编码时，其预测图像分别通过帧内预测或帧间预测得到，下面分别通过不同的实施例来描述在不同帧类型时，采用对应的加扰方式进行加扰的具体过程。
实施例一，若当前帧为I帧时，I帧对应的加扰方式是单模式加扰，即采用如下任一加扰模式进行加扰：宏块预测加扰模式、残差系数符号加扰模式、残差幅值加扰模式；
或，I帧对应的加扰方式是对熵解码后的数据进行混合加扰，即采用宏块预测加扰模式、残差系数符号加扰模式、残差幅值加扰模式中至少两种加扰模式对熵解码后的数据进行加扰。
在帧内预测中，预测块是基于已编码重建块和当前块形成的。对亮度像素而言，预测块用于4*4子块或16*16宏块的相关操作，4*4亮度块有9种可选预测模式(例如模式0～模式8，对应垂直、水平、DC、左下对角线模式、右下对角线模式、垂直向右模式、水平向下模式、垂直向左模式和水平向上模式)，独立预测每一个4*4亮度块，适用于带有大量细节的图像编码；16*16亮度块有4种预测模式(对应DC、水平、垂直和Plane模式)，预测整个16*16亮度块，适用于平坦区域图像编码；色度块也有4种预测模式，类似于16*16亮度块预测模式。编码器通常选择预测块和编码块之间差异最小的预测模式来进行预测。
对于宏块预测加扰模式：在熵解码后，可以得到当前块对应的预测块信息及预测模式，然后将当前块的预测模式替换为该预测模式对称的预测模式进行预测编码。以I帧帧内4*4预测块为例，熵解码后得到该4*4块的预测模式，进行预测模式对调。帧内预测模式有9种，模式0、1、2、3分别与模式8、7、6、5对称，假设当前块的预测模式是模式0，则将其预测模式替换为模式8进行预测编码，实现加扰。在解扰时，需要再对调回来进行解码。
对于残差系数符号加扰模式：在熵解码后，还得到该4*4块对应的残差系数(变换量化后的系数)，一共有16个，每个系数有一个符号，还有幅值，对符号加扰，就是用每个符号与加扰密钥key值的每个位进行操作，具体操作不限定，比如第一个符号与key第一位操作。具体操作为位运算，例如第一个系数符号与加扰密钥的第一个比特位进行异或。
对于残差幅值加扰模式：在熵解码后，还得到该4*4块对应的残差系数(变换量化后的系数)，直接对残差系数幅值进行加扰，是每个残差系数幅值都与加扰密钥key进行运算操作，具体运算操作不限定。
本实施例宏块预测加扰模式、残差系数符号加扰模式、残差幅值加扰模式组成的混合加扰模式，该混合加扰模式可以是采用其中的任意两种，或采用三种加扰模式进行混合加扰。例如采用宏块预测加扰模式和残差系数符号加扰模式进行混合加扰，或采用宏块预测加扰模式和残差幅值加扰模式进行混合模式，或采用宏块预测加扰模式、残差系数符号加扰模式和残差幅值加扰模式进行混合加扰。混合加扰时，先采用一种加扰模式进行加扰，然后再采用另一种加扰模式进行加扰，其中，各加扰模式的应用顺序不作限定。
需要说明的是，本实施例列出了宏块预测加扰模式、残差系数符号加扰模式、残差幅值加扰模式三种模式，本领域技术人员还可以加入更多其他的单个加扰模式，进行混合加扰或单独加扰，这里不再赘述，本发明不限于具体的单个加扰模式。
实施例二，若当前帧为I帧时，根据预测块的大小，分别采用对应的加扰方式进行加扰，例如：
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰。
需要说明的是，上面的实施例二是优选的加扰方式，在预测块尺寸大于或等于设定的参数时，可以采用残差系数符号加扰模式进行加扰，也可以仅采用宏块预测加扰模式或残差幅值加扰模式进行加扰。而混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰，即用宏块预测加扰模式、残差系数符号加扰模式和残差幅值加扰模式中至少两种加扰模式对熵解码后的数据进行加扰。各加扰模式以及混合加扰在实施例一中已经描述，这里不再赘述。
I帧在编码时采用帧内预测，可以根据预测块的大小来进行区域划分，通常预测块大小一定程度上反应了图像的纹理信息，预测块尺寸大适用于平坦区域(平坦区域)图像编码，预测块尺寸小适用于带有大量细节的区域(复杂区域)图像编码。本实施例以H.264为例，将预测块为16*16的I帧区域划分为平坦块，而将其余的I帧区域划分为复杂块。而对于H.265而言，可以将32*32以上的预测块的I帧区域划分为平坦块，这里不再赘述。即对于平坦区域(预测块尺寸大于或等于16*16)采用残差系数符号加扰模式，而对于复杂区域(预测块尺寸小于16*16)采用混合加扰模式。
本实施例由于I帧是关键帧，需要全加扰。而混合加扰的特点是加扰效果明显但增加额外比特开销，只进行残差系数符号加扰特点是加扰效果一般，但不增加额外比特开销。所以采用本实施例的加扰方法能够达到较好的加扰效果，又不需要增加过多的码率。
实施例三，若当前帧为P帧时，对应有如下多种加扰方式，如：P帧数据加密式加扰、P帧分片slice加扰、P帧不加扰。
本实施例P帧数据加密式加扰，包括如下步骤：
先提取片头(slice header)，直接拷贝片头作为新的码流的片头；
将去掉片头剩下的宏块信息码流与加扰密钥进行运算加扰，具体操作为：码流数据取一个字节，与加扰密钥的一个字节进行操作，具体操作不限定，全部数据加扰后得到加扰数据；
将新的码流的片头与加扰后的数据拼装起来形成新的码流数据。
在采用P帧数据加密式加扰后，非法得到视频码流的人无法解码帧数据，保密性高，但是P帧黑屏，无法看到视频结构信息。
本实施例P帧分片slice加扰模式，是在根据运动信息、热度信息确定感兴趣区域后，根据片(slice)进行加扰，包括如下步骤：
针对P帧非感兴趣slice进行低码率加扰；
针对P帧感兴趣slice进行P帧强加扰。
其中，低码率加扰，即首先将量化残差系数进行缩放，本例中缩为1/2(为了低码率编码，解扰时，放大两倍，期间可能损失一个等级)。接着，统计宏块内，缩放后系数是否全为零，若是则将该宏块模式改为skip模式，否则继续采用原宏块模式。该策略既保证了加扰效果，又降低了码率，代价是损失一部分图像质量。
其中，P帧强加扰包括至少采用两种加扰模式进行加扰。例如采用运动矢量残差加扰、宏块预测加扰模式、像素残差系数加扰模式组成的混合加扰模式进行加扰。运动矢量残差加扰(运动矢量残差符号加扰和幅值加扰)具体操作为：运动矢量残差对应的符号或幅值直接与加扰密钥某一个比特位进行位运算(比如异或操作)，与之前操作一致；宏块预测加扰模式、像素残差系数加扰模式参考I帧相关加扰模式的描述。其中残差系数加扰模式包括残差系数符号加扰模式和残差幅值加扰模式。实际上是从上述五种加扰模式中选择至少两种加扰模型进行加扰，混合加扰时，先采用一种加扰模式进行加扰，然后再采用另一种加扰模式进行加扰，其中，各加扰模式的应用顺序不作限定。
同样地，本实施例列出了宏块预测加扰模式、像素残差系数加扰模式、运动矢量残差加扰模式，本领域技术人员还可以加入更多其他的单个加扰模式，进行混合加扰或单独加扰，这里不再赘述，本发明不限于具体的加扰模式，同时不限定P帧强加扰模式中各加扰模式的应用顺序。
本实施例，根据运动信息、热度信息确定感兴趣区域，包括如下步骤：
1)进行运动检测，运动检测的方法可以是光流法、时域差分法或背景差分法，以下以背景差分法为例进行说明：
先确定一个作为参考的背景图像，然后设当前帧中的像素点数目为m，计算当前帧所包含的各个像素点灰度值与背景图像中对应的各个像素点灰度值之间差值的绝对值，第i个像素点对应差值的绝对值为pi，则各像素点对应差值集合可以由{p1,p2,……pm}表示。当某像素点对应的差值大于第一预设值，则将该像素点标记为1，认为是运动区域；否则标记为0，认为是背景区域。从而可以得到当前帧的运动信息图。
2)热度图统计，将当前帧划分为热度区域和非热度区域，获取对应的热度信息。具体方法可以包括：获取当前帧前一预设时间段内的历史帧，针对每个历史帧的各个宏块进行目标检测，若在某个宏块检测到目标，则对该宏块进行记录，统计所述预设时间段内的各个宏块被记录的次数，作为宏块对应的热度信息。将被标记次数大于第二预设值的宏块进行合并，获得热度区域，其余宏块所在区域为非热度区域，将热度区域包含所有像素点标记为1，非热度区域包含所有像素点标记为0，得到当前帧的热度信息图。
3)将当前帧划分成多个子区域，具体划分方式和子区域数目不作限定，例如三个区域(具体划分后的区域可以为二个、三个或更多，考虑到计算量和准确度，优选为三个)。
4)针对每个子区域，分别根据运动信息图和热度信息图计算对应的运动因子和热度因子。具体包括：获取子区域在运动信息图中对应区域内所包含像素点的个数，计算子区域在运动信息图中对应区域内所包含像素点的标记个数，则该子区域对应的运动因子Q1为：
Figure BDA0001371782480000091
获取子区域在热度信息图中对应区域内所包含像素点的个数，计算子区域在热度信息图中对应区域内所包含像素点的标记个数，则该子区域对应的热度因子Q2为：
Figure BDA0001371782480000092
5)计算子区域对应的感兴趣因子Q，
即：
Figure BDA0001371782480000093
若Q大于预设阈值，例如0.5，则该子区域为感兴趣区域，若Q大于等于预设阈值，则该子区域为非感兴趣区域，
6)通过将两两相邻的感兴趣区域进行合并，同时将两两相邻的非感兴趣区域进行合并，使得当前帧划分为P帧感兴趣slice和P帧非感兴趣slice。
本实施例P帧不加扰，即不进行加扰，优点是不增加额外比特开销、算法复杂度低。
实施例四，若当前帧为P帧时，根据设定的安全等级分别选择选择对应的加扰模式进行加扰。
例如设定的安全等级分别为第一级别、第二级别和第三级别。安全等级的高低从高到底依次为第一级别、第二级别和第三级别，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
最后，加扰结束后，需要对加扰后的数据进行熵编码以还原成码流数据。I帧加扰完成后需要在I帧之前插入SEI信息，该信息包括加扰密钥相关信息(包括上层下发密钥A，随机数B)、使能标志、安全等级和P帧slice信息，一个I帧一个SEI信息，一套加扰模式，I帧、P帧共用一个密钥。在解码端，需要先进行解扰，首先解析SEI信息，得到加扰模式信息，通过逆运算还原出原始的码流信息。
本实施例根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。在加扰前针对加扰密钥进行策略控制，保证密钥安全性。定义密钥字符串格式为：
KEY(A，B，C)
其中，A为上层下发密钥，B为随机数，C为固定字符串长度。密钥具体更新方式为：首先，根据密钥更新周期，确定是否更新密钥；若需要更新密钥，然后更新随机数B，与上述的A、C构成新密钥，经过信息-摘要算法(Message-Digest Algorithm 5,MD5)加密，最后计算得到最终密钥：
key＝f(MD5(KEY(A,B,C)))
其中，f(x)指数据处理函数，例如四字节整型累加。本申请不限于加扰密钥的具体生成方法。I帧中包括SEI信息，其中包括加扰密钥相关信息(包括上层下发密钥A，随机数B)，在解码端再通过同样的算法计算出加扰密钥，进行解扰，这里不再赘述。
本实施例在计算密钥同时，进行运动检测以及热度图统计，运动检测主要功能是划分运动区域和背景区域，热度图统计主要功能是确定监控画面中，被监视物体主要的活动区域，从而确定感兴趣区域。
本申请技术方案在不改变原来编码标准格式的情况下，对视频内容进行有效的加扰，提升视频内容信息的安全性。同时综合考虑安全性、复杂度、码率三方面的因素，给出比较高效的视频加扰方案。本申请分I帧、P帧进行加扰，既保证背景区域的安全性，也保证了运动区域的安全性；P帧分安全等级加扰，为了综合考虑安全性、码率、以及运算复杂度，配置安全等级可以根据不同应用选择加扰模式。
如图2所示，与上述方法对应地，本申请还给出了一种自适应模式选择的视频加扰装置的实施例，用于对视频码流进行加扰。
本实施例自适应模式选择的视频加扰装置包括：
判断模块，用于获取视频码流，判断当前帧的帧类型；
加扰模块，用于根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰。
与上述方法对应地，本实施例加扰模块在当前帧的帧类型为I帧时，执行如下操作：
获取当前块的预测块；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰。
所述加扰模块在当前帧的帧类型为P帧时，执行如下操作：
根据设定的安全等级，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
上述加扰模块所采用的具体加扰模式在前文中已经进行过详细的描述，这里不再赘述。
本实施例自适应模式选择的视频加扰装置，还包括：
密钥更新模块，用于根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种自适应模式选择的视频加扰方法，用于对视频码流进行加扰，其特征在于，所述自适应模式选择的视频加扰方法包括：
获取视频码流，判断当前帧的帧类型；
根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰；
其中，在当前帧的帧类型为I帧时，所述采用帧类型对应的加扰方式对熵解码后的数据进行加扰，包括：
获取当前块的预测块；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰。
2.如权利要求1所述的自适应模式选择的视频加扰方法，其特征在于，在当前帧的帧类型为P帧时，所述采用帧类型对应的加扰方式对熵解码后的数据进行加扰，包括：
根据设定的安全等级，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
3.如权利要求2所述的自适应模式选择的视频加扰方法，其特征在于，所述P帧分片slice加扰，包括：
针对当前帧提取运动区域和背景区域，获取对应的运动信息图；
将当前帧划分为热度区域和非热度区域，获取对应的热度信息图；
根据运动信息图和热度信息图将当前帧划分为P帧感兴趣slice和P帧非感兴趣slice；
对P帧非感兴趣slice进行低码率加扰；
对P帧感兴趣slice进行P帧强加扰；
所述P帧强加扰包括至少采用两种加扰模式进行加扰。
4.如权利要求1所述的自适应模式选择的视频加扰方法，其特征在于，所述自适应模式选择的视频加扰方法，还包括：
根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。
5.一种自适应模式选择的视频加扰装置，用于对视频码流进行加扰，其特征在于，所述自适应模式选择的视频加扰装置包括：
判断模块，用于获取视频码流，判断当前帧的帧类型；
加扰模块，用于根据当前帧的帧类型，采用帧类型对应的加扰方式对熵解码后的数据进行加扰；
其中，所述加扰模块在当前帧的帧类型为I帧时，执行如下操作：
获取当前块的预测块；
在预测块尺寸小于设定的参数时，对熵解码后的数据进行混合加扰，所述混合加扰包括至少采用两种加扰模式对熵解码后的数据进行加扰；
在预测块尺寸大于或等于设定的参数时，对熵解码后的数据进行单模式加扰，所述单模式加扰包括采用一种加扰模式对熵解码后的数据进行加扰。
6.如权利要求5所述的自适应模式选择的视频加扰装置，其特征在于，所述加扰模块在当前帧的帧类型为P帧时，执行如下操作：
根据设定的安全等级，当安全等级为第一级别时，采用P帧数据加密式加扰；当安全等级为第二级别时，采用P帧分片slice加扰；当安全等级为第三级别时，对P帧不加扰。
7.如权利要求6所述的自适应模式选择的视频加扰装置，其特征在于，所述P帧分片slice加扰，包括：
针对当前帧提取运动区域和背景区域，获取对应的运动信息图；
将当前帧划分为热度区域和非热度区域，获取对应的热度信息图；
根据运动信息图和热度信息图将当前帧划分为P帧感兴趣slice和P帧非感兴趣slice；
对P帧非感兴趣slice进行低码率加扰；
对P帧感兴趣slice进行P帧强加扰；
所述P帧强加扰包括至少采用两种加扰模式进行加扰。
8.如权利要求5所述的自适应模式选择的视频加扰装置，其特征在于，所述自适应模式选择的视频加扰装置，还包括：
密钥更新模块，用于根据加扰密钥更新周期，通过指定的密钥字符串格式，采用加密算法计算得到加扰密钥。
CN201710665978.3A 2017-08-07 2017-08-07 一种自适应模式选择的视频加扰方法及装置 Active CN109391846B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710665978.3A CN109391846B (zh) 2017-08-07 2017-08-07 一种自适应模式选择的视频加扰方法及装置
PCT/CN2018/097195 WO2019029373A1 (zh) 2017-08-07 2018-07-26 一种自适应模式选择的视频加扰方法、装置、网络摄像机及可读存储介质
US16/637,112 US11012742B2 (en) 2017-08-07 2018-07-26 Video scrambling method and device with adaptive mode selection, network camera and readable storage medium
EP18845111.6A EP3668104B1 (en) 2017-08-07 2018-07-26 Video scrambling method and device with adaptive mode selection, network camera and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710665978.3A CN109391846B (zh) 2017-08-07 2017-08-07 一种自适应模式选择的视频加扰方法及装置

Publications (2)

Publication Number Publication Date
CN109391846A CN109391846A (zh) 2019-02-26
CN109391846B true CN109391846B (zh) 2020-09-01

Family

ID=65270942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710665978.3A Active CN109391846B (zh) 2017-08-07 2017-08-07 一种自适应模式选择的视频加扰方法及装置

Country Status (4)

Country Link
US (1) US11012742B2 (zh)
EP (1) EP3668104B1 (zh)
CN (1) CN109391846B (zh)
WO (1) WO2019029373A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047119B2 (ja) * 2018-03-07 2022-04-04 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 変換領域における残差符号予測のための方法および装置
CN110071795A (zh) * 2019-04-29 2019-07-30 新疆大学 基于h.264/avc视频编码特性的选择性加密方法
CN110602570B (zh) * 2019-11-12 2020-02-21 成都索贝数码科技股份有限公司 一种基于非对称加密的视音频可信播放方法
CN111277802B (zh) * 2020-03-03 2021-09-14 浙江宇视科技有限公司 视频码流的处理方法、装置、设备及存储介质
CN111954071B (zh) * 2020-08-13 2022-08-09 西安微嗨互动信息科技有限公司 一种端到端全链路的视频播放加密技术和权限控制方法
CN112235569B (zh) * 2020-10-12 2024-03-29 国家计算机网络与信息安全管理中心 基于h264压缩域的快速视频分类方法、系统及装置
CN115834926B (zh) * 2022-11-21 2023-11-21 深圳市超时代软件有限公司 基于h.265熵编码二值化的视频加密方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
CN1882082A (zh) * 2006-05-11 2006-12-20 北京经天科技有限公司 针对网络视频的选择性加密算法
CN101558657A (zh) * 2007-08-22 2009-10-14 日本电信电话株式会社 视频质量估计装置、视频质量估计方法、帧类型确定方法及记录介质
CN102084663A (zh) * 2008-07-01 2011-06-01 斯灵媒体公司 用于安全地对媒体内容进行地点移位的系统及方法
CN102804766A (zh) * 2009-06-22 2012-11-28 Nds有限公司 使用可变块大小参数的局部加密
CN102905133A (zh) * 2012-10-15 2013-01-30 南京邮电大学 一种面向视频流的混合编码加密方法
WO2013159112A1 (en) * 2012-04-20 2013-10-24 The Board Of Regents Of The University Of Texas System Systems and methods for simultaneous compression and encryption
CN103716637A (zh) * 2014-01-15 2014-04-09 北京工业大学 基于内容分析的h.264压缩域分层视频加密方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167560B2 (en) * 2002-08-08 2007-01-23 Matsushita Electric Industrial Co., Ltd. Partial encryption of stream-formatted media
FR2860122B1 (fr) * 2003-09-24 2006-03-03 Medialive Embrouillage, desembrouillage et distribution securisee de sequences audiovisuelles issues de codeurs videos bases dct
EP1585061A1 (en) * 2004-04-07 2005-10-12 Deutsche Thomson-Brandt Gmbh Block adaptive predictive coding
KR100794707B1 (ko) 2006-01-20 2008-01-14 충북대학교 산학협력단 다수의 영상정보를 이용한 스크램블 및 디스크램블 방법 및이를 수행하기 위한 시스템
US20140161192A1 (en) * 2011-10-20 2014-06-12 Sony Corporation Image processing device and method
US8737375B2 (en) * 2012-07-25 2014-05-27 At&T Mobility Ii Llc Code planning for wireless communications
WO2014082279A1 (en) 2012-11-30 2014-06-05 Thomson Licensing Method and apparatus for estimating video quality
US9135155B2 (en) * 2012-11-30 2015-09-15 Sandisk Technologies Inc. Storage and retrieval of shaped data
US9445112B2 (en) 2012-12-06 2016-09-13 Microsoft Technology Licensing, Llc Secure transcoding of video data
PL2884748T3 (pl) 2013-12-11 2017-05-31 Squadeo S.A.S. Aparat i sposób dekodowania skompresowanego wideo
KR101602581B1 (ko) 2014-11-27 2016-03-11 한동대학교 산학협력단 압축 영상의 암호화 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
CN1882082A (zh) * 2006-05-11 2006-12-20 北京经天科技有限公司 针对网络视频的选择性加密算法
CN101558657A (zh) * 2007-08-22 2009-10-14 日本电信电话株式会社 视频质量估计装置、视频质量估计方法、帧类型确定方法及记录介质
CN102084663A (zh) * 2008-07-01 2011-06-01 斯灵媒体公司 用于安全地对媒体内容进行地点移位的系统及方法
CN102804766A (zh) * 2009-06-22 2012-11-28 Nds有限公司 使用可变块大小参数的局部加密
WO2013159112A1 (en) * 2012-04-20 2013-10-24 The Board Of Regents Of The University Of Texas System Systems and methods for simultaneous compression and encryption
CN102905133A (zh) * 2012-10-15 2013-01-30 南京邮电大学 一种面向视频流的混合编码加密方法
CN103716637A (zh) * 2014-01-15 2014-04-09 北京工业大学 基于内容分析的h.264压缩域分层视频加密方法

Also Published As

Publication number Publication date
EP3668104B1 (en) 2024-03-27
CN109391846A (zh) 2019-02-26
EP3668104A4 (en) 2021-01-27
EP3668104A1 (en) 2020-06-17
WO2019029373A1 (zh) 2019-02-14
US20200252684A1 (en) 2020-08-06
US11012742B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
CN109391846B (zh) 一种自适应模式选择的视频加扰方法及装置
Boyadjis et al. Extended selective encryption of H. 264/AVC (CABAC)-and HEVC-encoded video streams
CN1893350B (zh) 数字数据加密和解密的方法和装置
JP3570863B2 (ja) 動画像復号化装置および動画像復号化方法
US8218949B2 (en) Video information recording device, video information recording method, and recording medium containing the video information recording program
CN106101714B (zh) 一种与压缩编码过程紧耦合的h.264视频信息隐藏方法
Niu et al. A novel video reversible data hiding algorithm using motion vector for H. 264/AVC
CN108965887B (zh) 一种基于块间去耦合的视频信息隐藏方法和装置
EP2960855B1 (en) Method and device for determining a set of modifiable elements in a group of pictures
CN109819260B (zh) 基于多嵌入域融合的视频隐写方法和装置
US20120230388A1 (en) Method and system for protecting image data in frame buffers of video compression systems
Nguyen et al. A novel steganography scheme for video H. 264/AVC without distortion drift
Joy et al. An overview of traditional and recent trends in video processing
CN103581688B (zh) 一种视频图像的编码和解码方法及装置
Zhu et al. Information hiding algorithm for H. 264 based on the motion estimation of quarter-pixel
Sakazawa et al. H. 264 native video watermarking method
Vivek et al. Video steganography using chaos encryption algorithm with high efficiency video coding for data hiding
CN103747261A (zh) 基于运动参考结构的h.264压缩域分层感知加密方法
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
Chen et al. A data hiding scheme with high quality for H. 264/AVC video streams
CN115278243A (zh) 对抗深度学习人脸攻击的实时视频加密方法及装置
Nguyen et al. High embedding capacity data hiding algorithm for H. 264/AVC video sequences without intraframe distortion drift
Jeong et al. Slice-Level selective encryption for protecting video data
KR20180102455A (ko) 고효율비디오코딩 파일 영상내 개인정보 보호 방법
CN108900868B (zh) 基于h.264的视频传输方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant