CN113271469B - 一种安全可逆的视频隐私安全保护系统及保护方法 - Google Patents

一种安全可逆的视频隐私安全保护系统及保护方法 Download PDF

Info

Publication number
CN113271469B
CN113271469B CN202110803708.0A CN202110803708A CN113271469B CN 113271469 B CN113271469 B CN 113271469B CN 202110803708 A CN202110803708 A CN 202110803708A CN 113271469 B CN113271469 B CN 113271469B
Authority
CN
China
Prior art keywords
converter
video
camera
privacy
reconstructor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110803708.0A
Other languages
English (en)
Other versions
CN113271469A (zh
Inventor
吴昊
许封元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110803708.0A priority Critical patent/CN113271469B/zh
Publication of CN113271469A publication Critical patent/CN113271469A/zh
Application granted granted Critical
Publication of CN113271469B publication Critical patent/CN113271469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种安全可逆的视频隐私安全保护系统及保护方法,其保护系统包括摄像机、转换器、重构器、数据生成器和压缩器,摄像机安装有摄像头,摄像机采集并生成视频流,转换器包括常规转换器和快速转换器,常规转换器、重构器和数据生成器用于生成式对抗网络的设计,快速转换器和压缩器优化系统执行和传输的实时性能。其保护方法为:1.生成训练模型,2.视频流转换,3.视频流输入,4.转换取证。本发明提供了一种安全可逆的视频隐私安全保护系统及保护方法,高度维护受保护视频的可理解性,以支持用户的观看及人工智能所执行的原始或现有后端订阅任务;在事后取证的情况下,视频帧能够被授权方安全还原。

Description

一种安全可逆的视频隐私安全保护系统及保护方法
技术领域
本发明涉及一种安全可逆的视频隐私安全保护系统及保护方法,属于视频监控技术领域。
背景技术
视频流分析(VSA)成为以视频为中心的应用程序的流行系统范式。这些VSA系统为我们的社会提供了巨大的利益,因此广泛应用于各种场景,如养老、交通监控、公共保障。VSA系统通常由两个主要部分组成,一组前端视频源和一组后端视频订阅者。前端信息源通过互联网向相应的后端用户传送实时视频。当异常事件被人类或人工智能检测到时,这些视频也会被权威机构检查以进行取证。
随着VSA系统的广泛部署,人们的对其引发的隐私问题的担忧也在上升,因为人们担心太多不必要的信息会暴露给后端订阅者。例如,如果一个进行用户跌倒检测的后台订阅VSA系统,还记录了老年人的人脸信息/衣服细节或者家庭内部的细节,可能会让老年人感到不适。之前的研究已经证明,当人们进入装有摄像头的区域时,他们会感到自己的隐私受到了侵犯。为了暂时缓解这些担忧,欧盟采取了行动,禁止在公共区域视频中使用人脸识别,该法案为期5年同时等待合适的解决方案。
当前的视觉隐私保护方法可以修改或删除图像或视频中的隐私信息。它们可以分为以下五种类型的方法。(1)人脸去识别:用合成人脸代替视频中的真实人脸可以保护人脸的外观。然而,在VSA内容中可能存在许多其他类型的隐私信息,如牌照、工艺设计等。此外,这种去标识上不可逆的。(2)基于加密的方法:加密虽然完全保留了隐私,但并不适合保护各种VSA后端任务中使用的视频,因为视频的可理解性也被完全删除了。即使是在资源丰富的服务器上,实时解密并运行这些加密视频也是一项挑战。(3)基于图像修复的方法:其主要体现在保护图像中的ROI(包含隐私区域)。它们要求在部署之前预先识别所有可能的ROI,这对VSA前端来说是一个挑战(特别是当它部署在公共区域时)。此外,这些方法在每一帧都需要适当保护的视频场景中并不可靠。如果ROI在任何一帧中丢失,因为ROI检测失败,在所有其他帧中对该ROI的完美保护也就失去了效果。(4)基于过滤的方法:该方法在整个画面上应用模糊或像素化等视觉效果,以保护隐私。但是,它们的处理没有区分隐私性和可解性,所以它们的输出对人类和人工智能都不友好。一些过滤工作考虑了生成模型,但其保护也是不可逆转的。(5)基于变换的方法:可以将视频帧转换为另一种表示,例如,像素减少图像或即时特征,针对特定的预演AI任务。转换后的结果并不能保持视觉感知和人工智能理解的可解性。
发明内容
为了解决上述技术问题,本发明提供一种安全可逆的视频隐私安全保护系统及保护方法,其具体技术方案如下:
一种安全可逆的视频隐私安全保护系统,其特征在于:包括摄像机、转换器、重构器、数据生成器和压缩器,所述摄像机安装有摄像头,所述摄像机采集并生成视频流,所述转换器包括常规转换器和快速转换器,所述常规转换器、重构器和数据生成器用于生成式对抗网络的设计,所述快速转换器和压缩器优化系统执行和传输的实时性能。
进一步的,所述常规转换器与重构器之间唯一配对连接。
进一步的,所述数据生成器制定神经网络训练数据集,所述神经网络训练数据集包括真实世界图像和隐私保护图像,真实世界图像通过数据生成器转换为隐私保护图像。
进一步的,所述生成式对抗网络通过修改损失函数和引入简化神经结构变得轻量化。
一种安全可逆的视频隐私安全保护方法,包括以下步骤:
步骤1:生成训练模型,通过数据生成器对摄像机进行训练,生成训练模型并对训练模型分成两对,即常规转换器模型和重构器模型,对常规转换器模型进行蒸馏,获得快速转换器;
步骤2:视频流转换,安装在摄像机上的摄像头通过常规转换器和快速转换器对视频流进行转换,转换后的视频流通过压缩器进行压缩后输出;
步骤3:视频流输入,通过转换压缩后的视频流作为隐私保护视频,后端视频用户将隐私保护视作为VSA任务的输入;
步骤4:转换取证,当对摄像机采集的视频帧进行调查取证时,取证人员采用重构器将转换过的视频帧转换恢复至原始版本。
进一步的,所述数据生成器通过定量操纵训练数据集中隐私保护数据的方式决定隐私的保护粒度。
进一步的,所述快速转换器和常规转换器设置有一样的神经网络,快速转换器的网络参数少于常规转换器,所述快速转换器的转换不可逆转,快速转换器的转换速度比常规转换器快6.4倍。
进一步的,所述步骤2中常规转换器将视频流转换为图像帧,所述压缩器提取图像帧中的高频信息并分割成大小相等的宏模块,计算宏模块的熵值,所述压缩器保留熵值高于预先设定的阈值的宏模块,并将此宏模块加入视频中以获取转换后的视频。
进一步的,所述转换后的视频是通过无损的H.264压缩编码生成。
本发明的有益效果:
本发明提供了一种安全可逆的视频隐私安全保护系统及保护方法,高度维护受保护视频的可理解性,以支持用户的观看及人工智能所执行的原始或现有后端订阅任务;在事后取证的情况下,视频帧能够被授权放安全还原,不影响受保护视频流传输到后端的带宽消耗;有效的将视频流分析增强机制集成到前端源中,对整体的实时性影响较小。
附图说明
图1为本发明的视频流分析系统示意图,
图2为本发明的保护后的视频帧在车辆计数智能服务中的示例图,
图3为本发明的隐私保护系统整体设计与流程示意图,
图4为本发明的数据生成视频帧和隐私保护视频帧对比图,
图5为本发明的各损失函数下Cycle-consistent-GAN视频转换效果示意图,
图6为本发明的常规转换器和快速转换器的神经网络结构示意图,
图7为本发明的安全增强Cycle-consistent-GAN进行授权隐私还原的示意图,
图8为本发明的直接使用H.256编码器进行压缩的比例和重构质量折线图,
图9为快速转换器通过模型蒸馏进行训练的示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图3所示,本发明由常规转换器、重构器、数据生成器、快速转换器和压缩器组成。常规转换器、重构器和数据生成器与我们的GAN(生成式对抗网络)设计有关,而快速转换器和压缩器分别用于执行和传输的实时性能优化。这些组件分别涉及到本发明的准备阶段和使用阶段,本发明仅部署在VSA系统的前端视频源端。本发明的核心是为VSA提供的隐私保护的安全可逆可视转换,由安全增强循环一致的GAN提供支持。该方法采用循环一致性机制,稳健地实现视频帧的就地变换,其引入了一种增强的隐写方法,以安全地仅为授权方启用双向(可逆)转换,利用视觉样式转换来可调地实现隐私可理解性的平衡。为了实现在移动设备上的实时转换,通过降低运行时计算成本和网络带宽的使用来优化其使用阶段的工作流程。
以在名为Alice的摄像机上使用本发明的工作流为例。在准备阶段的主要步骤为:1.在数据生成器的帮助下,本发明会进行针对相机Alice的训练。2.将训练后的模型分为两对,即常规转换器和重构器。3.对常规转换器的模型进行蒸馏,得到更加轻量的快速转换器,并且将其作为压缩器。在使用阶段的主要步骤为:1.部署在摄像头Alice上的摄像头,会使用常规转换器和快速转换器对视频流进行有效转换,然后将转换输出发送压缩器进行压缩之后再传输。2.在接收到转换后的隐私保护视频后,后端视频用户可以直接将其作为各种现有VSA任务的输入。3.当要求对摄像头Alice的一些视频帧进行取证时,权威机构可以使用重构器将请求的帧恢复到原始版本。常规转换器和重构器之间唯一的配对保证了其他的重构器不能执行正确的反转换。其中,准备阶段的数据生成器是在整个框架级别上配置保护粒度目标和可理解目标之间的权衡。作为一个基于规则的视觉风格常规转换器,数据生成器通过定量操纵Y域训练数据的方式决定隐私的保护粒度。常规转换器本质上是我们的GAN神经结构的前向循环部分,而重构器是成对的后向循环对应部分。我们的GAN引入了一种新的“秘钥”方案来引导一对常规转换器和重构器在唯一的隐写术上秘密达成一致。常规转换器使用的隐写技术可以安全地将原始帧的VSAP(VSA的视觉隐私)信息隐藏在帧本身的位置上:隐藏的VSAP信息只能通过配对的重构器从转换帧中恢复出来,达到隐藏信息可逆的目标。其中常规转换器和重构器没有生成或使用辅助数据。此外,这种基于GAN的隐写技术还确保了转换后的视频对视觉感知和人工智能理解都很友好。这个“秘钥”方案的核心思想是,在进行转换之前,我们生成一个特定于设备的秘钥,并将其作为Alpha通道应用于原始的RGB格式视频帧上,使其成为RGBA格式。将模型蒸馏技术应用于常规转换器上,得到了快速转换器。它本质上是轻量级的丢弃可逆性的快速转换器。快速转换器和常规转换器的合作,使得转换足够高效以实现实时执行的目标。若确定某一帧需要可逆性,则使用常规转换器来处理该数据;否则,使用快速转换器。由快速转换器或常规转换器转换的帧通过压缩机编码成H.264兼容的视频,这是专为满足降低传输带宽的目标。压缩器是必要的,因为H.264格式可能降低我们转换的视频的可逆性。
本发明的核心设计主要包括以下四点:
1.视频流分析在视觉隐私上的强化。与大多数基于深度学习的技术一样,本发明的安全增强的循环一致性生成对抗网络(GAN)需要一个训练阶段,在此阶段GAN可以隐式地从数据生成器定制的数据集学习适当的VSAP增强级别。数据生成器是一个易于配置的视觉样式工具,可以将真实世界的图像(X域)转换为隐私保护的图像(Y域)。这两个域的图像对是我们的神经网络的训练数据集。根据介绍部分中给出的VSAP定义,其中Y域是卡通风格的呈现。这种卡通风格属于非真实感渲染,它流行于创建各种令人愉快的视觉人工制品,如铅笔和油画绘画。除了对感知友好之外,我们的卡通风格还特别注意只保留真实世界视频的主要语义,如轮廓、颜色、姿势和位置,这些对VSA后端任务至关重要。与原始视频相比,相应的Y域视频大大提高了隐私性,提高了对手的攻击力度。从技术上讲,数据生成器由一个面向颜色的分段和一个重新着色模式组成。给定一个真实的视频帧,数据生成器首先应用双边滤波器(一种保持边缘的平滑滤波器)来减少颜色数。然后数据生成器进行简单的图像分割,快速定位可能目标的轮廓和边缘。最后,将分割后的部分分别用其对应区域的原始颜色均值重新着色,最终将该帧转换为整个帧级的Y域。为了在转换域Y视频中平衡隐私性和可理解性,我们在图像分割阶段引入参数k来配置分割块的大小。数据生成器删除所有小于分段块大小的可视细节,并产生具有一定可量化粒度的领域y数据。这种可配置的粒度最终将被训练过的GAN作为其适当的隐私保护级别。请注意,数据生成器仅用于在培训中向我们的GAN指明学习目标,即合适的Y域风格和增强水平。这是因为,尽管很容易配置隐私粒度,但数据上城区的转换质量对于VSA后端任务并不理想。但是由于GAN强大的神经结构,不完美的训练数据并不是问题。
2.安全的可逆性。在神经结构方面,安全增强周-期一致的生成式对抗神经网络(GAN)可以分为常规转换器(Transformer)和重构器(Reconstructor),它们通过训练阶段配对,在X域和Y域版本之间进行视频转换。循环一致性机制为常规转换器提供了一个强大的语义感知的(X->Y)的变换,也是克服数据生成器的数据质量问题的关键。强化的隐写方法使得重构器具有新颖的安全变换(X<-Y),能够在被攻击时只正确处理与之对应的视频帧。虽然所有常规转换器/重构器的神经结构设计都是相同的,但是对于每个前端视频源,都有一对常规转换器和重构器进行了独特的训练。与标准的循环一致性生成式对抗网络(如CycleGAN)相比,本发明通过修改损失函数和引入简化的神经结构使得GAN更轻量化。此处GAN的损失函数(Loss)可以被表现为三个部分,两个对抗损失函数和一个前向循环一致损失函数:
Figure 68919DEST_PATH_IMAGE001
(1)
公式(1)中
Figure 548442DEST_PATH_IMAGE002
代表的是MS-SSIM度量(Pytorch MS-SSIM. https://github.com/jorge-pessoa/pytorch-msssim),用来度量图片的感知质量,同时E是在求取X分布的期望。在此定义下,训练的第一个目标就是最小化下文的损失函数:
Figure 985240DEST_PATH_IMAGE003
(2)
公式(2)中此处的
Figure 51678DEST_PATH_IMAGE004
代表循环一致性的权重。为了支持移动设备上的实时转换,本发明还为常规转换器设计了一个轻量级神经体系结构。这种新的神经结构首先将CycleGAN的8个256通道的ResNet块减少为一组2个256通道块,2个128通道块和2个64通道块。为了补偿这种更改带来的准确性损失,它会添加一些类似于初始网络中使用的快捷路径。每个路径连接一个ResNet块的输出,并将结果传递给一个1x1卷积层。通过这种方式,可以有效地融合高级和低级语义特征以求更好的恢复。常规转换器使用这种神经网络能够比标准CycleGAN快1.8倍-2.4倍。先前的研究表明,循环一致性生成对抗网络(cycle-consistentGAN)能够通过其高度复杂的隐写特性将视觉信息隐藏,但是若很多视频源前端安装了这种GAN,这样的隐写策略并不完全安全。一个常规转换器的转换后的视频可以被另一个未配对的重构器反转/恢复。因此攻击者可以购买一个设备,并很容易地危害其他所有设备的VSAP。为此,本发明在循环一致性生成对抗网络之上提出了一种增强的隐写方法。这种安全加固是通过在GAN训练中引入唯一的密钥来实现的。通过使用不同的密钥,在同一数据集上训练的两个常规转换器-重构器对将学习不同的隐写方法。也就是说,一个安全增强的GAN的重构器不能恢复另一个使用不同密钥训练的安全增强GAN的常规转换器生成的转换视频。本发明支持安全的视频恢复,并防范上述真实世界的攻击。在安全增强GAN中引入的密钥是一个与X域图像(即视频帧)具有相同宽度和高度的二维矩阵。矩阵中的每个变量被随机设置在0到255的范围内。这个密钥可以看作附加在3通道RGB图像上的数字水印通道(即alpha通道)。每个设备在整个训练过程中只需要选择这个密钥一次,不需要重新键入密钥。在设备的训练阶段,设备的密钥作为第四通道水印附加到X域的训练数据中。相应地,常规转换器和重构器的神经网络结构都进行了更新,分别支持RGB到RGBA和RGBA到RGB的转换。此处实现目标的损失函数表示为:
Figure 232124DEST_PATH_IMAGE005
(3)
公式(3)中
Figure 831732DEST_PATH_IMAGE006
是原始密钥
Figure 439431DEST_PATH_IMAGE007
的还原密钥,
Figure 757280DEST_PATH_IMAGE008
是马氏(Manhattan)距离的度量。MS-SSIM度量被用作图片的还原以改善还原的视觉效果,而马氏距离度量在密钥还原时使用以加强独特的隐写策略。最后,本发明中安全增强的循环一致性生成对抗网络的总体目标为最小化如下的损失函数:
Figure 475837DEST_PATH_IMAGE009
(4)
公式(4)中
Figure 195532DEST_PATH_IMAGE010
是公式(2)所计算的,
Figure 974132DEST_PATH_IMAGE010
中的
Figure 513697DEST_PATH_IMAGE004
和此处的
Figure 301525DEST_PATH_IMAGE011
都是超参数。
3.带宽的减少。本发明直接使用现有的编码器如H.264来压缩转换后的帧以用于网络传输,可能会存在问题。因为压缩通常会修剪包含部分隐写数据的高频信息,这些数据稍后将用于还原。数据对比的结果是,与低熵区域相比,高熵区域通常对压缩解压后的还原质量有更大的影响。因此,本发明专门提出了一个压缩器,它能够兼容现有的H.264有损压缩。压缩过程如下:(1)压缩器的输入为常规转换器产生的转换后图像帧,将对其提取可恢复图像帧的高频信息。(2)将每一帧的高频信息分割成大小相等的宏块(macroblock),如尺寸为32x32像素的块,并计算每个宏模块的熵值。(3)压缩器会保留每个熵值高于某个阈值的宏模块,和丢弃其余的高频信息。(4)随后将保留的宏块放回转换后的视频以获得新的转换后视频,并使用无损的H.264压缩编码来生成转换后的视频。阈值是是动态调整选择的,以调节还原质量和带宽的均衡。
4.执行的优化。连续视频帧之间存在冗余信息,因此不需要保证每一帧都是安全可逆的。本发明依据此在相机上进一步优化转换流程。快速转换器被设计为其转换不可逆转,它能够比常规转换器快快6.4倍。基于常规转换器和快速转换器的特点,本发明包含了一个在线分支策略来动态地决定某一帧如何转换,兼顾运行开销和取证的需求。快速转换器采用和常规转换器一样的神经网络结构,但只保留原来通道的四分之一。它的训练利用了蒸馏技术,这样快速转换器和常规转换器的输出图像帧在视觉上是一致的,这对VSA很重要。其中的关键技术在于用对抗损失函数来度量快速转换器和常规转换器的输出差值。这个训练的目标就是最小化:
Figure 108682DEST_PATH_IMAGE012
(5)
公式(5)中D是曼哈顿距离度量,特殊之处在于常规转换器在快速转换器训练过程中不会更新参数。本发明的分支策略利用了视频的时间局部性和数据稀疏性,且两个具有高度相似感知的图像帧没有必要都是可逆的。系统缓存最新的帧转发给常规转换器,表示其为
Figure 58183DEST_PATH_IMAGE013
。当一个新的帧,表示为
Figure 553886DEST_PATH_IMAGE014
被系统捕获,需要经过相似度度量方程:H(P(
Figure 879826DEST_PATH_IMAGE013
)),P(
Figure 308533DEST_PATH_IMAGE014
),此处P是感知哈希(pHash)指标(pHash: The open sourceperceptual hash library. http://phash.org/),被广泛应用于捕获图像视觉感知特性,而H是汉明距离,通常应用于图像的pHash值以度量相似度。此处还设置了一个阈值sp作为决策触发器:若距离大于sp值,系统将传入的帧转发到常规转换器;否则,它将被转发到快速转换器。更大的sp意味着更低的消耗和更少的可还原的帧。在本发明的pHash实现中,若两个图像帧pHash距离小于等于6,则这两个图像帧在视觉上基于相同。
具体实施例
如图1所示,本发明的视频流分析系统示意图,图中的前端视频源是计算资源有限的摄像机(移动的或固定的)。视频经过网络传输后会有各种使用渠道,如用户的查看、智能分析检测和视频存储备份。其中视频的后端集中智能分析包括人群检测、基于人工智能的分析等。在合法授权下,当局可以从视频中收集信息以完成犯罪现场等的调查。但是传统的、无处不在的监控视频存在有隐私风险,如图2所示,本发明保护后的视频帧在车辆计数智能服务中的示例图。传统摄像头捕捉到的原始图像帧包含车牌号码信息,该号码不会用作车辆计数的任务,但是很多驾驶员对其十分敏感。在本发明的保护算法配置了适当的隐私粒度之后,将这一帧转换为卡通版,这样的图片中可以识别汽车的形状但是无法再辨识车牌。这样就提高了攻击者从变换后的帧中检索车牌信息的门槛。如果之后检测到或报告了事故,授权方将能够将目标转换的帧恢复到原来的版本,即图2(c),以识别与事故相关的车牌。值得一提的是,算法会平滑地移除整个画面的所有物体的具体细节,而不只是车牌号码。
如图4所示,本发明数据生成视频帧和隐私保护视频帧对比图,可以看出其中的图像质量的差别。左图为数据生成器根据风格生成的Y域图像帧,用作训练样本;右图则是为根据算法、从中间的X域原始图片生成的图像帧。其中左图中的在车辆上和道路标记上的基础错误,在右侧上输出图像上都有纠正。如图5所示,为本发明各损失函数下Cycle-consistent-GAN视频转换效果示意图。该循环一致性生成对抗网络具有两个对抗损失函数(
Figure 428936DEST_PATH_IMAGE015
)和一个还原损失函数(
Figure 943094DEST_PATH_IMAGE016
)。其中左图经过常规转换器,在损失函数(
Figure 807144DEST_PATH_IMAGE017
)的监督下变换风格、保护了隐私成为中间图像帧的样子,随后中间帧经过重构器和还原损失函数(
Figure 60665DEST_PATH_IMAGE016
)的,利用对抗损失函数(
Figure 617548DEST_PATH_IMAGE018
)恢复了图像帧的信息。如图6所示,本发明的常规转换器和快速转换器的神经网络结构示意图。快速转换器和常规转换器使用几乎一致的神经网络结构,但是快速转换器有更少的滤波器通道。常规转换器的fn数量为64,而快速转换器为16,同时常规转换器和快速转换器都用的是数量3的输出out。如图7所示,本发明的安全增强Cycle-consistent-GAN进行授权隐私还原的示意图,其中的隐私保护转换和授权还原,通过两个对抗损失函数(
Figure 353423DEST_PATH_IMAGE015
)和两个还原损失函数(
Figure 286744DEST_PATH_IMAGE019
)实现。这种安全加固是通过在GAN训练中引入唯一的密钥来实现的。通过使用不同的密钥,在同一数据集上训练的两个常规转换器-重构器对将学习不同的隐写方法。这意味着一个安全增强的GAN的重构器不能恢复另一个使用不同密钥训练的安全增强GAN的常规转换器生成的转换视频。本发明支持安全的视频恢复,并防范上述真实世界的攻击。如图8所示,本发明直接使用H.256编码器进行压缩的比例和重构质量折线图。对恢复后的视频进行人脸识别以衡量还原质量,结果是对常规转换器生成的帧进行的压缩极大地降低了还原的质量。如图中所示,当qp=8时(qp是量化参数的缩写,它控制帧的压缩量。),图片的质量就将下降60%。这是因为压缩通常会对包含部分隐写数据的高频信息进行修剪,这些数据本将用于还原。如图9所示,快速转换器通过模型蒸馏进行训练的示意图,原始图像帧和加入密钥的alpha通道帧依旧通过常规转换器生成具有可逆的隐私保护特点的帧,而快速转换器只需要生成风格一致的帧,再次过程中需要最小化距离损失函数。这一过程中,常规转换器的参数将冻结不更新。
综上所述,本发明提出了一种安全可逆的视频隐私安全保护系统及保护方法,并且通过充分设计补足了系统实现。这项技术可以用在当前具有计算能力的智能摄像头中,部署在如生产环境、公共场所和家庭场景下,同时满足了安全监控需求和隐私保护需求;同时这项技术若部署到智能网关中,就能对于传统的视频监控系统进行升级,将原始的具有隐私信息的视频流进过处理再进行转发、上传、分析和存储,在满足隐私保护需求的目标下,极大地减少了部署系统和升级系统的成本;最后,我们的安全可逆的视频/图像帧的隐私保护算法,可以直接应用到数据安全处理、数据隐私加密方面,甚至可以通过手机软件来呈现其技术特点。本技术在此类视频隐私保护方面,具有极强的实用性和适配性,具有很高的推广价值。
本发明所要解决的技术问题是在当前视频流分析系统中,缺少对视频数据进行可逆、可理解、实时等条件的保护工作。本发明的研究方法所提供的是从循环一致性生成对抗网络中、进行加入密钥的进行风格变换的方法思路,其中还包括了多种带宽优化和执行加速方面的方案。对于其核心思路和方案,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种安全可逆的视频隐私安全保护系统,其特征在于:包括摄像机、转换器、重构器、数据生成器和压缩器,所述摄像机安装有摄像头,所述摄像机采集并生成视频流,所述转换器包括常规转换器和快速转换器,所述常规转换器、重构器和数据生成器用于生成式对抗网络的设计,所述生成式对抗网络通过修改损失函数和引入简化神经结构变得轻量化,所述常规转换器与重构器之间唯一配对连接,所述数据生成器制定神经网络训练数据集,并在神经网络训练数据集中引入专属于用户的密钥,所述神经网络训练数据集包括真实世界图像和隐私保护图像,真实世界图像通过数据生成器转换为隐私保护图像,所述快速转换器和压缩器优化系统执行和传输的实时性能。
2.一种安全可逆的视频隐私安全保护方法,其特征在于:包括以下步骤:
步骤1:生成训练模型,通过数据生成器对摄像机进行训练,数据生成器通过定量操纵训练数据集中隐私保护数据的方式决定隐私的保护粒度,权衡配置保护粒度目标和可理解目标,生成训练模型并对训练模型分成两对,即转换器模型和重构器模型,对转换器模型进行蒸馏,蒸馏后的网络,即快速转换器,快速转换器需要同时做到两个目标,第一是在轻量的同时需要与常规转换器所保护的视频,视觉风格完全一致,第二个是蒸馏技术保证快速转换器所保护的视频是无法被还原的,即不存在任何一个与其配对的还原器;
步骤2:视频流转换,安装在摄像机上的摄像头通过常规转换器和快速转换器对视频流进行转换,常规转换器将视频流转换为图像帧,转换后的视频流通过压缩器提取图像帧中的高频信息并分割成大小相等的宏模块,计算宏模块的熵值,压缩器保留熵值高于预先设定的阈值的宏模块,并将此宏模块加入视频中以获取转换后的视频进行压缩后输出;
步骤3:视频流输入,通过转换压缩后的视频流作为隐私保护视频,后端视频用户将隐私保护视作为VSA任务的输入;
步骤4:转换取证,当对摄像机采集的视频帧进行调查取证时,取证人员采用重构器将转换过的视频帧转换恢复至原始版本。
3.根据权利要求2所述的安全可逆的视频隐私安全保护方法,其特征在于:所述快速转换器和常规转换器设置有一样的神经网络,快速转换器的网络参数少于常规转换器,所述快速转换器的转换不可逆转,快速转换器的转换速度比常规转换器快6.4倍。
4.根据权利要求2所述的安全可逆的视频隐私安全保护方法,其特征在于:所述转换后的视频是通过无损的H.264压缩编码生成。
CN202110803708.0A 2021-07-16 2021-07-16 一种安全可逆的视频隐私安全保护系统及保护方法 Active CN113271469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803708.0A CN113271469B (zh) 2021-07-16 2021-07-16 一种安全可逆的视频隐私安全保护系统及保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803708.0A CN113271469B (zh) 2021-07-16 2021-07-16 一种安全可逆的视频隐私安全保护系统及保护方法

Publications (2)

Publication Number Publication Date
CN113271469A CN113271469A (zh) 2021-08-17
CN113271469B true CN113271469B (zh) 2021-10-29

Family

ID=77236600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803708.0A Active CN113271469B (zh) 2021-07-16 2021-07-16 一种安全可逆的视频隐私安全保护系统及保护方法

Country Status (1)

Country Link
CN (1) CN113271469B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793258A (zh) * 2021-09-18 2021-12-14 超级视线科技有限公司 监控视频图像的隐私保护方法及其装置
CN114119647A (zh) * 2021-12-07 2022-03-01 航天科技控股集团股份有限公司 基于深度学习的隐私摄像系统
CN114245058A (zh) * 2021-12-17 2022-03-25 黄冈师范学院 一种计算机摄像头隐私保护方法
CN115022649B (zh) * 2022-05-17 2024-08-13 薇链信息技术有限公司 基于可逆神经网络的高嵌入量且可上色的图像隐写及恢复方法
CN117749974A (zh) * 2023-12-15 2024-03-22 苏州智华汽车电子有限公司 一种视频处理方法、还原方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN111753759A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 模型生成方法、装置、电子设备及存储介质
CN111210388B (zh) * 2019-12-30 2021-02-02 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN112819090A (zh) * 2021-02-22 2021-05-18 武汉工程大学 一种基于生成对抗网络的知识蒸馏数据增强方法与系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535120B2 (en) * 2017-12-15 2020-01-14 International Business Machines Corporation Adversarial learning of privacy protection layers for image recognition services

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN111210388B (zh) * 2019-12-30 2021-02-02 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN111753759A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 模型生成方法、装置、电子设备及存储介质
CN112819090A (zh) * 2021-02-22 2021-05-18 武汉工程大学 一种基于生成对抗网络的知识蒸馏数据增强方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《深度学习模型压缩与加速综述》;高晗等;《软件学报》;20210131;全文 *

Also Published As

Publication number Publication date
CN113271469A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113271469B (zh) 一种安全可逆的视频隐私安全保护系统及保护方法
Anand et al. Watermarking techniques for medical data authentication: a survey
CN110084734B (zh) 一种基于物体局部生成对抗网络的大数据权属保护方法
Qin et al. Flexible lossy compression for selective encrypted image with image inpainting
Ou et al. High payload image steganography with minimum distortion based on absolute moment block truncation coding
Balasamy et al. An intelligent reversible watermarking system for authenticating medical images using wavelet and PSO
Sadek et al. Robust video steganography algorithm using adaptive skin-tone detection
US20110158470A1 (en) Method and system for secure coding of arbitrarily shaped visual objects
Dalal et al. A survey on information hiding using video steganography
Jenifer et al. LSB approach for video steganography to embed images
Ghosal et al. Application of Lah transform for security and privacy of data through information hiding in telecommunication
Favorskaya et al. Perceptually tuned watermarking using non-subsampled shearlet transform
Youssef et al. Adaptive video watermarking integrating a fuzzy wavelet-based human visual system perceptual model
Kumar et al. An improved data-hiding approach using skin-tone detection for video steganography
JP4454908B2 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
Rajalakshmi et al. Robust secure video steganography using reversible patch-wise code-based embedding
Sharath et al. Design of optimal metaheuristics based pixel selection with homomorphic encryption technique for video steganography
Meng et al. Reversible data hiding in encrypted images based on IWT and chaotic system
Ahmadi et al. Image steganography with artificial immune system
Liu et al. A hybrid framework of data hiding and encryption in H. 264/SVC
Wang et al. TPE-ISE: approximate thumbnail preserving encryption based on multilevel DWT information self-embedding
Singh et al. A recent survey on data hiding techniques
Chen et al. An improved blind watermarking method facing dual color images based on Hadamard transform
Tran et al. Lsb data hiding in digital media: a survey
Siddeq et al. A novel Hexa data encoding method for 2D image crypto-compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant