CN117240982B - 一种基于隐私保护的视频脱敏方法 - Google Patents
一种基于隐私保护的视频脱敏方法 Download PDFInfo
- Publication number
- CN117240982B CN117240982B CN202311482762.5A CN202311482762A CN117240982B CN 117240982 B CN117240982 B CN 117240982B CN 202311482762 A CN202311482762 A CN 202311482762A CN 117240982 B CN117240982 B CN 117240982B
- Authority
- CN
- China
- Prior art keywords
- video
- privacy
- frame
- discriminator
- desensitizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000000586 desensitisation Methods 0.000 title claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于隐私保护的视频脱敏方法，涉及视频脱敏技术领域，包括获取视频数据，并提取所述视频数据的元数据；对所述视频数据进行场景识别并判断场景是否连续；使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域；对识别的所述隐私敏感区域进行脱敏处理；使用生成对抗网络进行对抗性训练；使用隐私评估工具对脱敏视频进行评估。本发明所述方法通过场景识别、小波变换和生成对抗网络技术，实现了对视频中的隐私敏感区域的精确识别和高效处理，与传统方法相比，本方法能够更准确、快速地标记和处理隐私敏感区域。此外，通过差分隐私度量和隐私评估工具，可以进一步确保脱敏后的视频达到预期的隐私保护效果。
Description
技术领域
本发明涉及视频脱敏技术领域，特别是一种基于隐私保护的视频脱敏方法。
背景技术
随着现代社会对隐私保护意识的日益增强，视频数据的隐私安全问题逐渐受到广泛关注。传统的视频处理方法往往忽略了视频中可能包含的隐私信息，如人脸、车牌号、身份证明等，这使得视频数据在传输、存储和分享过程中容易被恶意攻击者利用，导致隐私泄露。此外，现有的视频脱敏技术往往采用统一的处理策略，不仅可能导致部分隐私信息未被完全去除，还可能影响视频的整体质量和可观看性。因此，如何在确保视频质量的前提下，有效地对视频进行隐私保护，是当前亟待解决的技术问题。
发明内容
鉴于上述现有的视频脱敏方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种基于隐私保护的视频脱敏方法。
为解决上述技术问题，本发明提供如下技术方案：一种基于隐私保护的视频脱敏方法，其包括，获取视频数据，并提取所述视频数据的元数据；对所述视频数据进行场景识别并判断场景是否连续；使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域；对识别的所述隐私敏感区域进行脱敏处理；使用生成对抗网络进行对抗性训练；使用隐私评估工具对脱敏视频进行评估；对所述视频数据进行场景识别包括如下步骤，通过YOLOv4模型对每一帧画面进行目标检测；记录每一帧画面中检测到的目标的坐标和类别，目标的中心坐标如下，
；
；
式中，Cx，Cy为目标的中心坐标，x1、y1为YOLOv4模型输出的边界框的左上角坐标,w、h为YOLOv4模型输出的边界框的宽度和高度；
选择一个目标作为主要对象，将其他目标作为次要对象；使用贝叶斯概率公式计算主要对象和次要对象之间的关系，公式如下，
；
式中，A为主要对象，为次要对象集，P（A）为主要对象的异常概率，/>为在给定主要对象的条件下，同时出现n个次要对象异常的概率；
根据视频帧顺序为每个帧图像命名，并提取每一帧画面的每个实体的图像特征；将提取出的图像特征与各个目标的图像特征集合进行比较，识别每个视频帧中的主要对象和次要对象；分别提取主要对象和各个次要对象存在的图像的文件名，作为主要对象识别集或各个次要对象识别集；
定义连续场景中视频的场景特征，定义公式如下，
；
式中，Z(t)是时间t的场景特征，和/>分别是视频帧i的主要对象和次要对象的数量，t 是时间索引，t0是最后一次场景变化的时间；
取每个次要对象识别集的交集部分，与主要对象识别集取交集，公式如下，
；
式中，R是识别出的结果帧集，S是识别主要对象的结果帧集，Oa是第a个次要对象的识别结果帧集，n是次要对象的数量；
比较主要对象识别集和次要对象识别集的交集，以获得包含主要对象但不包含次要对象的图像，并根据比较结果，获得对应帧的视频片段，确定在这段视频中是否发生场景变化。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：提取所述视频数据的元数据包括如下步骤，使用标准的视频解码库导入视频数据，并将视频转换为统一的编码格式；从视频数据中提取元数据，包括帧率、分辨率和编码格式；使用以下公式计算视频的总帧数，
；
式中，F为视频的总帧数，T为视频的总时长，f为视频的帧率。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域包括如下步骤，使用二维小波变换对每一帧画面进行多尺度分解，得到不同尺度上的近似系数和细节系数，公式表示为，
Au=W（du）
Du=W（eu）
式中，Au为第u层的近似系数，Du为第u层的细节系数，W为小波变换函数，du、eu为视频帧在第n层的近似部分和细节部分；
使用深度学习模型，对每一帧画面的近似系数进行目标识别；根据深度学习模型的输出，得到每个隐私敏感区域的边界框坐标；对于每个识别的隐私敏感区域，使用SIFT或ORB算法提取其关键点和描述符；将关键点和描述符存储为特征向量。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：在标记每一帧画面的隐私敏感区域时，对于连续的场景，使用前一帧画面的隐私敏感区域作为当前帧的初始估计区域，然后在所述初始估计区域附近应用小波变换进行搜索，确定当前帧的隐私敏感区域，对于非连续的场景，对整个帧的画面应用小波变换进行搜索，确定当前帧的隐私敏感区域。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：对识别的所述隐私敏感区域进行脱敏处理包括如下步骤，根据所述特征向量，判断所述隐私敏感区域的种类，所述种类包括面部区域、文字或车牌区域以及其他敏感区域；对于每个识别的面部区域，使用高斯模糊算法进行处理，公式如下，
；
式中，I'(x2,y2)为模糊后的像素值，I(x2,y2)为原始像素值，σ为高斯模糊的标准差，x2和y2分别指像素的水平坐标和垂直坐标；
对于每个识别的文字或车牌区域，使用中值滤波算法进行处理，公式如下，
；
式中，是指经过中值滤波后在位置(x,y)的新像素值，是指在像素/>邻域内所有像素值的中值；
对于其他敏感区域，从同一视频的其他帧中随机选择一个区域作为替换内容，替换原始内容，并使用图像融合技术进行融合。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：使用生成对抗网络进行对抗性训练包括如下步骤，定义生成器，用于对原始视频进行脱敏处理；定义鉴别器，用于区分原始视频和生成器处理后的视频；在每次迭代中，首先使用生成器对原始视频进行脱敏处理；使用鉴别器对原始视频和脱敏后的视频进行评估；根据鉴别器的输出，更新生成器和鉴别器的权重，公式如下，
；
式中，D是鉴别器，G是生成器，V(D,G)是鉴别器和生成器的目标函数，为原始视频帧，z为随机噪声，pdata(r)为原始视频的数据分布，pz(z)为噪声分布，D(r)是鉴别器对原始视频帧的输出，G(z) 是生成器的输出，D(G(z))是鉴别器对生成数据的输出，E表示期望；
在每次迭代中，首先固定生成器的权重，更新鉴别器的权重；然后固定鉴别器的权重，更新生成器的权重；重复上述迭代步骤，直到鉴别器无法区分原始视频和脱敏后的视频，或达到预定的迭代次数。
作为本发明所述一种基于隐私保护的视频脱敏方法的一种优选方案，其中：所述使用隐私评估工具对脱敏视频进行评估包括，使用差分隐私度量对脱敏后的视频进行评估，公式如下，
；
式中，为差分隐私度量值，Q′为脱敏后的视频，Q为原始视频，M为任意事件；
当差分隐私度量值大于隐私阈值时，重新进行脱敏处理，直至差分隐私度量值不大于隐私阈值，或达到预定的迭代次数；所述重新进行脱敏处理包括，对于面部区域，则增加高斯模糊算法的标准差重新进行脱敏处理，对于文字或车牌区域，使用更大的邻域重新进行脱敏处理，对于其他敏感区域，则更换替换内容重新进行脱敏处理。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现基于隐私保护的视频脱敏方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现基于隐私保护的视频脱敏方法的步骤。
本发明有益效果为：通过场景识别、小波变换和生成对抗网络技术，实现了对视频中的隐私敏感区域的精确识别和高效处理，与传统方法相比，本方法能够更准确、快速地标记和处理隐私敏感区域。此外，通过差分隐私度量和隐私评估工具，可以进一步确保脱敏后的视频达到预期的隐私保护效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为一种基于隐私保护的视频脱敏方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明第一个实施例，该实施例提供了一种基于隐私保护的视频脱敏方法，一种基于隐私保护的视频脱敏方法如下步骤：
S1、获取视频数据，并提取所述视频数据的元数据；
S2、对所述视频数据进行场景识别并判断场景是否连续；
S3、使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域；
S4、对识别的所述隐私敏感区域进行脱敏处理；
S5、使用生成对抗网络进行对抗性训练；
S6、使用隐私评估工具对脱敏视频进行评估。
具体的，在步骤S1中，提取所述视频数据的元数据包括如下步骤，
S11、使用标准的视频解码库导入视频数据，并将视频转换为统一的编码格式；
S12、从视频数据中提取元数据，包括帧率f、分辨率w×h和编码格式；
S13、使用以下公式计算视频的总帧数，
；
式中，N为视频的总帧数，T为视频的总时长，f为视频的帧率。
在步骤S2中，对所述视频数据进行场景识别包括：
S21、通过YOLOv4模型对每一帧画面进行目标检测；
S22、记录每一帧画面中检测到的目标的坐标和类别，目标的中心坐标如下，
；
；
式中，Cx，Cy为目标的中心坐标，x1、y1为YOLOv4模型输出的边界框的左上角坐标,w、h为YOLOv4模型输出的边界框的宽度和高度；
S23、选择一个目标作为主要对象，将其他目标作为次要对象；
S24、使用贝叶斯概率公式计算主要对象和次要对象之间的关系，公式如下，
；
式中，A为主要对象，为次要对象集，P（A）为主要对象的异常概率，/>为在给定主要对象的条件下，同时出现n个次要对象异常的概率；
S25、根据视频帧顺序为每个帧图像命名，并提取每一帧画面的每个实体的图像特征；
S26、将提取出的图像特征与各个目标的图像特征集合进行比较，识别每个视频帧中的主要对象和次要对象；
S27、分别提取主要对象和各个次要对象存在的图像的文件名，作为主要对象识别集或各个次要对象识别集，定义连续场景中视频的场景特征，定义公式如下，
；
式中，Z(t)是时间t的场景特征，和/>分别是视频帧i的主要对象和次要对象的数量，t 是时间索引，t0是最后一次场景变化的时间；
S28、取每个次要对象识别集的交集部分，与主要对象识别集取交集，公式如下，
；
式中，R是识别出的结果帧集，S是识别主要对象的结果帧集，Oa是第a个次要对象的识别结果帧集，n是次要对象的数量；
S29、比较主要对象识别集和次要对象识别集的交集，以获得包含主要对象但不包含次要对象的图像，并根据比较结果，获得对应帧的视频片段，确定在这段视频中是否发生场景变化。
通过使用YOLOv4模型，本步骤能够实现对视频帧中目标的高精度、实时检测，确保隐私敏感区域的准确识别，并且能够识别出视频中的连续场景，为后续的脱敏处理步骤减少了很多的工作量，加快脱敏处理速度。
在步骤S3中，使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域包括如下步骤，
S31、使用二维小波变换对每一帧画面进行多尺度分解，得到不同尺度上的近似系数和细节系数，公式表示为，
Au=W（du）
Du=W（eu）
式中，Au为第u层的近似系数，Du为第u层的细节系数，W为小波变换函数，du、eu为视频帧在第n层的近似部分和细节部分；
S32、使用深度学习模型，对每一帧画面的近似系数进行目标识别，在本实施例中，采用CNN模型进行识别，这是因为CNN模型在图像和视频对象识别方面应用的比较广泛，并且识别效果较好；
S33、根据深度学习模型的输出，得到每个隐私敏感区域的边界框坐标；
S34、对于每个识别的隐私敏感区域，使用SIFT或ORB算法提取其关键点和描述符；
S35、将关键点和描述符存储为特征向量。
优选的，在标记每一帧画面的隐私敏感区域时，对于连续的场景，使用前一帧画面的隐私敏感区域作为当前帧的初始估计区域，然后在所述初始估计区域附近应用小波变换进行搜索，确定当前帧的隐私敏感区域，对于非连续的场景，对整个帧的画面应用小波变换进行搜索，确定当前帧的隐私敏感区域。
本发明采用小波变换对视频进行标记，这是因为小波变换算法能够在不同的尺度上对视频数据进行分析，从而捕捉到各种大小的隐私敏感区域，确保无论敏感信息的大小都能被准确标记，并且与傅里叶变换等其他方法相比，小波变换更加强调数据的局部特性，使得其在标记隐私敏感区域时能够更加准确和快速。
在步骤S4中，对识别的所述隐私敏感区域进行脱敏处理包括如下步骤，
S41、根据所述特征向量，判断所述隐私敏感区域的种类，判断方式可以为提前将各个不同的隐私敏感区域种类的相关描述汇总成数据集，然后通过特征向量和数据集进行对比，来确定此隐私敏感区域属于哪个种类，所述种类包括面部区域、文字或车牌区域以及其他敏感区域；
S42、对于每个识别的面部区域，使用高斯模糊算法进行处理，公式如下，
；
式中，I'(x2,y2)为模糊后的像素值，I(x2,y2)为原始像素值，σ为高斯模糊的标准差，x2和y2分别指像素的水平坐标和垂直坐标；
S43、对于每个识别的文字或车牌区域，使用中值滤波算法进行处理，公式如下，
；
式中，是指经过中值滤波后在位置(x,y)的新像素值，是指在像素/>邻域内所有像素值的中值；
S44、对于其他敏感区域，从同一视频的其他帧中随机选择一个区域作为替换内容，替换原始内容，并使用图像融合技术进行融合。
σ的数值以及邻域的邻域，均根据脱敏需求进行设定，本发明将隐私敏感区域分成三类，这是因为这人的面部区域、文字或车牌区域这些是常见的隐私敏感区域，其他不常见的隐私敏感区域都统一划分为他敏感区域，并对这三类敏感信息采用最适合的脱敏方法，达到最好的脱敏效果。对于面部区域，使用高斯模糊可以使得脱敏后的区域看起来更加自然，不会引起观众的不适感。对于文字或车牌区域，使用中值滤波可以有效地去除细节信息，同时保持背景的连续性，对抗噪声和小的干扰。对于其他敏感区域，使用图像融合技术可以确保脱敏后的区域与周围的背景连续，提高了脱敏后视频的观感。
在步骤S5中，使用生成对抗网络进行对抗性训练包括如下步骤，
S51、定义生成器，用于对原始视频进行脱敏处理；
S52、定义鉴别器，用于区分原始视频和生成器处理后的视频；
S53、在每次迭代中，首先使用生成器对原始视频进行脱敏处理；
S54、使用鉴别器对原始视频和脱敏后的视频进行评估；
S55、根据鉴别器的输出，更新生成器和鉴别器的权重，公式如下，
；
式中，D是鉴别器，G是生成器，V(D,G)是鉴别器和生成器的目标函数，为原始视频帧，z为随机噪声，pdata(r)为原始视频的数据分布，pz(z)为噪声分布，D(r)是鉴别器对原始视频帧的输出，G(z) 是生成器的输出，D(G(z))是鉴别器对生成数据的输出，E表示期望；
S56、重复上述迭代步骤，直到鉴别器无法区分原始视频和脱敏后的视频，或达到预定的迭代次数。
需要注意的是，在每次迭代中，首先固定生成器的权重，更新鉴别器的权重，然后固定鉴别器的权重，更新生成器的权重。
在步骤S6中，所述使用隐私评估工具对脱敏视频进行评估包括，
S61、使用差分隐私度量对脱敏后的视频进行评估，公式如下，
；
式中，为差分隐私度量值，Q′为脱敏后的视频，Q为原始视频，M为任意事件；
S62、当差分隐私度量值大于隐私阈值时，重新进行脱敏处理，直至差分隐私度量值不大于隐私阈值，或达到预定的迭代次数。
其中，隐私阈值的具体数值，可根据视频脱敏要求进行设定，一般而言，视频脱敏要求高的，隐私阈值设定的小一些，隐私阈值要求低的，隐私阈值设定的大一些。所述重新进行脱敏处理包括，对于面部区域，则增加高斯模糊算法的标准差重新进行脱敏处理，对于文字或车牌区域，使用更大的邻域重新进行脱敏处理，对于其他敏感区域，则更换替换内容重新进行脱敏处理。
综上所述，本发明所述的方法通过先进的场景识别、小波变换和生成对抗网络技术，实现了对视频中的隐私敏感区域的精确识别和高效处理。与传统方法相比，本方法不仅能够更准确地标记和处理隐私敏感区域，还能保持视频的整体质量和可观看性。此外，通过差分隐私度量和隐私评估工具，可以进一步确保脱敏后的视频达到预期的隐私保护效果。
实施例2
本发明第二个实施例，其不同于上一个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于隐私保护的视频脱敏方法，其特征在于：包括，
获取视频数据，并提取所述视频数据的元数据；
对所述视频数据进行场景识别并判断场景是否连续；
使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域；
对识别的所述隐私敏感区域进行脱敏处理；
使用生成对抗网络进行对抗性训练；
使用隐私评估工具对脱敏视频进行评估；
对所述视频数据进行场景识别包括如下步骤，
通过YOLOv4模型对每一帧画面进行目标检测；
记录每一帧画面中检测到的目标的坐标和类别，目标的中心坐标如下，
；
；
式中，Cx，Cy为目标的中心坐标，x1、y1为YOLOv4模型输出的边界框的左上角坐标,w、h为YOLOv4模型输出的边界框的宽度和高度；
选择一个目标作为主要对象，将其他目标作为次要对象；
使用贝叶斯概率公式计算主要对象和次要对象之间的关系，公式如下，
；
式中，A为主要对象，为次要对象集，P（A）为主要对象的异常概率，/>为在给定主要对象的条件下，同时出现n个次要对象异常的概率；
根据视频帧顺序为每个帧图像命名，并提取每一帧画面的每个实体的图像特征；
将提取出的图像特征与各个目标的图像特征集合进行比较，识别每个视频帧中的主要对象和次要对象；
分别提取主要对象和各个次要对象存在的图像的文件名，作为主要对象识别集或各个次要对象识别集；
定义连续场景中视频的场景特征，定义公式如下，
；
式中，Z(t)是时间t的场景特征，和/>分别是视频帧i的主要对象和次要对象的数量，t 是时间索引，t0是最后一次场景变化的时间；
取每个次要对象识别集的交集部分，与主要对象识别集取交集，公式如下，
；
式中，R是识别出的结果帧集，S是识别主要对象的结果帧集，Oa是第a个次要对象的识别结果帧集，n是次要对象的数量；
比较主要对象识别集和次要对象识别集的交集，以获得包含主要对象但不包含次要对象的图像，并根据比较结果，获得对应帧的视频片段，确定在这段视频中是否发生场景变化。
2.如权利要求1所述的基于隐私保护的视频脱敏方法，其特征在于：提取所述视频数据的元数据包括如下步骤，
使用标准的视频解码库导入视频数据，并将视频转换为统一的编码格式；
从视频数据中提取元数据，包括帧率、分辨率和编码格式；
使用以下公式计算视频的总帧数，
；
式中，F为视频的总帧数，T为视频的总时长，f为视频的帧率；
使用生成对抗网络进行对抗性训练包括如下步骤，
定义生成器，用于对原始视频进行脱敏处理；
定义鉴别器，用于区分原始视频和生成器处理后的视频；
在每次迭代中，首先使用生成器对原始视频进行脱敏处理；
使用鉴别器对原始视频和脱敏后的视频进行评估；
根据鉴别器的输出，更新生成器和鉴别器的权重，公式如下，
；
式中，D是鉴别器，G是生成器，V(D,G)是鉴别器和生成器的目标函数，为原始视频帧，z为随机噪声，pdata(r)为原始视频的数据分布，pz(z)为噪声分布，D(r)是鉴别器对原始视频帧的输出，G(z) 是生成器的输出，D(G(z))是鉴别器对生成数据的输出，E表示期望；
在每次迭代中，首先固定生成器的权重，更新鉴别器的权重；
然后固定鉴别器的权重，更新生成器的权重；
重复上述迭代步骤，直到鉴别器无法区分原始视频和脱敏后的视频，或达到预定的迭代次数。
3.如权利要求2所述的基于隐私保护的视频脱敏方法，其特征在于：使用小波变换对所述视频数据进行多尺度分解，并标记每一帧画面的隐私敏感区域包括如下步骤，
使用二维小波变换对每一帧画面进行多尺度分解，得到不同尺度上的近似系数和细节系数，公式表示为，
Au=W（du）
Du=W（eu）
式中，Au为第u层的近似系数，Du为第u层的细节系数，W为小波变换函数，du、eu为视频帧在第n层的近似部分和细节部分；
使用深度学习模型，对每一帧画面的近似系数进行目标识别；
根据深度学习模型的输出，得到每个隐私敏感区域的边界框坐标；
对于每个识别的隐私敏感区域，使用SIFT或ORB算法提取其关键点和描述符；
将关键点和描述符存储为特征向量。
4.如权利要求3所述的基于隐私保护的视频脱敏方法，其特征在于：在标记每一帧画面的隐私敏感区域时，对于连续的场景，使用前一帧画面的隐私敏感区域作为当前帧的初始估计区域，然后在所述初始估计区域附近应用小波变换进行搜索，确定当前帧的隐私敏感区域，对于非连续的场景，对整个帧的画面应用小波变换进行搜索，确定当前帧的隐私敏感区域。
5.如权利要求4所述的基于隐私保护的视频脱敏方法，其特征在于：对识别的所述隐私敏感区域进行脱敏处理包括如下步骤，
根据所述特征向量，判断所述隐私敏感区域的种类，所述种类包括面部区域、文字或车牌区域以及其他敏感区域；
对于每个识别的面部区域，使用高斯模糊算法进行处理，公式如下，
；
式中，I'(x2,y2)为模糊后的像素值，I(x2,y2)为原始像素值，σ为高斯模糊的标准差，x2和y2分别指像素的水平坐标和垂直坐标；
对于每个识别的文字或车牌区域，使用中值滤波算法进行处理，公式如下，
；
式中，是指经过中值滤波后在位置(x,y)的新像素值，是指在像素/>邻域内所有像素值的中值；
对于其他敏感区域，从同一视频的其他帧中随机选择一个区域作为替换内容，替换原始内容，并使用图像融合技术进行融合。
6.如权利要求5所述的基于隐私保护的视频脱敏方法，其特征在于：所述使用隐私评估工具对脱敏视频进行评估包括，
使用差分隐私度量对脱敏后的视频进行评估，公式如下，
；
式中，为差分隐私度量值，Q′为脱敏后的视频，Q为原始视频，M为任意事件；
当差分隐私度量值大于隐私阈值时，重新进行脱敏处理，直至差分隐私度量值不大于隐私阈值，或达到预定的迭代次数；
所述重新进行脱敏处理包括，对于面部区域，则增加高斯模糊算法的标准差重新进行脱敏处理，对于文字或车牌区域，使用更大的邻域重新进行脱敏处理，对于其他敏感区域，则更换替换内容重新进行脱敏处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482762.5A CN117240982B (zh) | 2023-11-09 | 2023-11-09 | 一种基于隐私保护的视频脱敏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311482762.5A CN117240982B (zh) | 2023-11-09 | 2023-11-09 | 一种基于隐私保护的视频脱敏方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117240982A CN117240982A (zh) | 2023-12-15 |
| CN117240982B true CN117240982B (zh) | 2024-01-26 |
Family
ID=89086352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311482762.5A Active CN117240982B (zh) | 2023-11-09 | 2023-11-09 | 一种基于隐私保护的视频脱敏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117240982B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457940A (zh) * | 2019-07-10 | 2019-11-15 | 贵州大学 | 一种基于图论和互信息量的差分隐私度量方法 |
| CN111429330A (zh) * | 2020-03-31 | 2020-07-17 | 上海兑观信息科技技术有限公司 | 一种监控视频隐私保护方法和系统 |
| CN112906047A (zh) * | 2021-02-04 | 2021-06-04 | 陕西师范大学 | 基于深度学习的图像隐私信息保护系统及其方法 |
| WO2021223663A1 (zh) * | 2020-05-06 | 2021-11-11 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成系统的训练 |
| CN114372271A (zh) * | 2021-12-23 | 2022-04-19 | 中国信息安全测评中心 | 一种数据脱敏时的效果评估方法 |
| CN114969814A (zh) * | 2022-05-27 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 一种模型隐私保护方法、装置以及设备 |
| CN115114651A (zh) * | 2022-03-14 | 2022-09-27 | 安徽大学 | 基于可逆神经网络技术的人脸隐私面具可逆保护方法 |
| CN115310122A (zh) * | 2022-07-13 | 2022-11-08 | 广州大学 | 一种多模态数据融合训练中的隐私参数优化方法 |
| CN115510488A (zh) * | 2022-09-30 | 2022-12-23 | 湖南大学 | 医学图像敏感信息处理方法、装置、计算机设备和介质 |
| CN116781994A (zh) * | 2023-06-25 | 2023-09-19 | 深圳市小镜科技有限公司 | 一种隐私信息的脱敏方法、装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009127771A1 (en) * | 2008-04-16 | 2009-10-22 | Nokia Corporation | Privacy management of data |
| WO2013072930A2 (en) * | 2011-09-28 | 2013-05-23 | Tata Consultancy Services Limited | System and method for database privacy protection |
| US11803657B2 (en) * | 2020-04-23 | 2023-10-31 | International Business Machines Corporation | Generation of representative data to preserve membership privacy |
-
2023
- 2023-11-09 CN CN202311482762.5A patent/CN117240982B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457940A (zh) * | 2019-07-10 | 2019-11-15 | 贵州大学 | 一种基于图论和互信息量的差分隐私度量方法 |
| CN111429330A (zh) * | 2020-03-31 | 2020-07-17 | 上海兑观信息科技技术有限公司 | 一种监控视频隐私保护方法和系统 |
| WO2021223663A1 (zh) * | 2020-05-06 | 2021-11-11 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成系统的训练 |
| CN112906047A (zh) * | 2021-02-04 | 2021-06-04 | 陕西师范大学 | 基于深度学习的图像隐私信息保护系统及其方法 |
| CN114372271A (zh) * | 2021-12-23 | 2022-04-19 | 中国信息安全测评中心 | 一种数据脱敏时的效果评估方法 |
| CN115114651A (zh) * | 2022-03-14 | 2022-09-27 | 安徽大学 | 基于可逆神经网络技术的人脸隐私面具可逆保护方法 |
| CN114969814A (zh) * | 2022-05-27 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 一种模型隐私保护方法、装置以及设备 |
| CN115310122A (zh) * | 2022-07-13 | 2022-11-08 | 广州大学 | 一种多模态数据融合训练中的隐私参数优化方法 |
| CN115510488A (zh) * | 2022-09-30 | 2022-12-23 | 湖南大学 | 医学图像敏感信息处理方法、装置、计算机设备和介质 |
| CN116781994A (zh) * | 2023-06-25 | 2023-09-19 | 深圳市小镜科技有限公司 | 一种隐私信息的脱敏方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 本地差分隐私保护及其应用;高志强;崔龙;周沙;袁琛;;计算机工程与科学(第06期);全文 * |
| 高志强 ; 崔龙 ; 周沙 ; 袁琛 ; .本地差分隐私保护及其应用.计算机工程与科学.2018,(第06期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117240982A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Localization of deep inpainting using high-pass fully convolutional network | |
| Monga et al. | Perceptual image hashing via feature points: performance evaluation and tradeoffs | |
| CN110853033B (zh) | 基于帧间相似度的视频检测方法和装置 | |
| US20020067857A1 (en) | System and method for classification of images and videos | |
| Samanta et al. | Analysis of perceptual hashing algorithms in image manipulation detection | |
| Deep Kaur et al. | An analysis of image forgery detection techniques | |
| Hashim et al. | An extensive analysis and conduct comparative based on statistical attach of LSB substitution and LSB matching | |
| Quiring et al. | Adversarial machine learning against digital watermarking | |
| An et al. | Benchmarking the Robustness of Image Watermarks | |
| CN117240982B (zh) | 一种基于隐私保护的视频脱敏方法 | |
| CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
| CN106055632B (zh) | 基于场景帧指纹的视频认证方法 | |
| Bi et al. | A versatile detection method for various contrast enhancement manipulations | |
| CN115632843A (zh) | 基于目标检测的后门攻击防御模型的生成方法 | |
| Xu et al. | Lancex: A versatile and lightweight defense method against condensed adversarial attacks in image and audio recognition | |
| CN114595360A (zh) | 一种基于时序特征的同源视频检索方法及系统 | |
| Lou et al. | Message estimation for universal steganalysis using multi-classification support vector machine | |
| Peng et al. | Multi-Purpose Forensics of Image Manipulations Using Residual-Based Feature. | |
| Wang et al. | Median filtering detection using LBP encoding pattern★ | |
| Wang et al. | Multi-DS strategy for source camera identification in few-shot sample data sets | |
| Chandra Sekhar et al. | Effective splicing localization based on noise level inconsistencies | |
| CN115600160B (zh) | 基于积分梯度可解释算法的网络模型窃取行为的检测方法 | |
| CN117390685B (zh) | 一种基于遗忘学习的行人重识别数据隐私保护方法和系统 | |
| Du et al. | DetectS ec: Evaluating the robustness of object detection models to adversarial attacks | |
| Dong et al. | Private face image generation method based on deidentification in low light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lv Xiaocheng Inventor after: Zhao Liufeng Inventor after: Zhao Guopeng Inventor after: Ma Ziqin Inventor after: Zhang Guiyu Inventor after: Guo Fangming Inventor after: Zhang Guichun Inventor before: Lv Xiaocheng Inventor before: Zhao Liufeng Inventor before: Zhao Guopeng Inventor before: Ma Ziqin Inventor before: Zhang Guiyu Inventor before: Guo Fangming Inventor before: Zhang Guichun |
|
| CB03 | Change of inventor or designer information |