CN116320541A - 一种安防监控视频隐私保护的方法、系统及电子设备 - Google Patents

Abstract

本发明公开一种安防监控视频隐私保护的方法、系统及电子设备，涉及视频的隐私保护领域，该方法包括：构建安防监控视频的视频有向图；获取用户的隐私需求；根据隐私需求，应用最小集合方法，确定视频有向图的隐私需求核心要素；当安防监控为离线状态时，根据隐私保护时间对安防监控视频中的隐私需求核心要素子集进行不可见处理，得到隐私保护后的安防监控视频；当安防监控为在线状态时，应用马尔可夫模型预测安防监控视频中需要进行隐私保护的视频隐私事件，并对视频隐私事件中的隐私需求核心要素子集进行不可见处理，得到隐私保护后的安防监控视频。本发明能够在满足用户的安全和隐私需求的基础上，提高视频监控系统的可用性。

Description

一种安防监控视频隐私保护的方法、系统及电子设备

技术领域

本发明涉及视频的隐私保护领域，特别是涉及一种安防监控视频隐私保护的方法、系统及电子设备。

背景技术

视频监控系统(VSS)的蓬勃发展为医疗保健行业提供了便捷，VSS负责监督幼儿园、医院和养老机构等公共场所，并向监护人提供即时反馈，以避免事故损失。然而，VSS的连续广角监测引起了用户活动隐私在时空上的泄露问题。如何设计一个全流程、跨设备、具有预测性的视频隐私保护方案，在满足个体用户隐私需求的同时，最大化系统内所有用户的可用性已经成为一个越来越热门的研究问题。

现有研究多通过模糊、遮挡或替换面部等方式匿名化用户，以保护其隐私。然而这些解决方案存在可能导致较大的数据可用性损失、仅针对单个用户、无法满足差异化需求等问题，其中一些方案无法防止攻击者根据系统内多监控设备视频的时空相关性来推断隐私敏感信息，存在一定的泄露风险。主要是：1)未考虑系统内多设备协同工作带来的隐私泄露风险：一个智能监控系统通常由多个分布在不同位置的监控设备组成，由于空间上存在的连续性，这些设备所拍摄到的视频内容间多存在逻辑上的相关性，仅针对一个设备进行保护处理无法有效抵御跨设备的推断攻击。2)未完全解决序列隐私问题：视频是一系列的帧，其中相邻的帧逻辑高度相关。因此，在观看视频时，观看者将通过学习前一帧的信息来预测下一帧的内容。因此，即使系统从视频中的敏感事件中删除用户，观看者仍然可以推测这个敏感事件。在这里将其命名为序列隐私问题，现有的方案没有完全解决这个问题。3)可用性降低：由于施加的保护技术，视频的可用性严重降低。因此，在视频的隐私和可用性之间存在着一种权衡。现有的隐私保护方案的在进行隐私保护的同时会损失较多视频的可用性。4)仅针对单个用户：现有的方案侧重于对单个用户的隐私保护，而忽略了对成对用户之间的关系的保护。这一特性使得这些方案无法满足多个用户的需求。5)无法满足差异化需求：现有的系统在不考虑其具体需求的情况下，为所有人提供了完全相同的保护，然而这些需求之间的差异可能提高受保护视频的可用性。现有的解决方案没有差异化满足用户定制的需求。

发明内容

基于现有技术所存在的问题，本发明提供一种安防监控视频隐私保护的方法、系统及电子设备，能够在满足用户的安全和隐私需求的基础上，提高视频监控系统的可用性。

为实现上述目的，本发明提供了如下方案：

一种安防监控视频隐私保护的方法，所述方法包括：

构建安防监控视频的视频有向图；

获取用户的隐私需求；

根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素；

当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频；

当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

可选地，所述构建安防监控视频的视频有向图，具体包括：

获取安防监控视频；

应用采样窗口，将所述安防监控视频分成帧数相同的子视频；

识别所述子视频中的对象；所述对象包括用户和背景对象；

根据所述对象，构建视频有向图。

可选地，根据所述用户和背景，构建视频有向图，具体包括：

以安防监控的各摄像机为顶点，以各摄像机的监控区域之间的距离和所述用户在子视频中的最后位置为边，构建视频有向图；所述最后位置为所述用户在子视频中最后出现时与所述背景对象的相对位置。

可选地，所述隐私需求包括用户、时间、位置、背景对象和查看器；所述查看器为用户权限列表。

可选地，所述隐私保护时间为时间隐私保护时间、位置隐私保护时间、内容隐私保护时间或者多需求隐私保护时间；

当用户需要保护时间隐私时，所述时间隐私保护时间的开始时刻为比用户输入需要进行隐私保护的开始时刻提前预设时间段阈值；所述预设保护时间的结束时刻比用户输入需要进行隐私保护的结束时刻延后预设时间段阈值；

当用户需要保护位置隐私时，所述位置隐私保护时间的开始时刻为比目标用户到达隐私位置的时刻提前预设时间段阈值；所述预设保护时间的结束时刻比目标用户离开隐私位置的时刻延后预设时间段阈值；

当用户需要保护内容隐私时，所述内容隐私保护时间的开始时刻为比目标用户与背景对象满足设定位置关系的时刻提前预设时间段阈值；所述内容隐私保护时间的结束时刻为比目标用户与背景对象不满足设定位置关系的时刻延迟预设时间段阈值；

当用户需要保护多需求隐私时，所述多需求隐私保护时间的开始时刻为所述时间隐私保护时间的开始时刻、所述位置隐私保护时间的开始时刻和所述内容隐私保护时间的开始时刻中最早的时刻；所述多需求隐私保护时间的结束时刻为所述时间隐私保护时间的结束时刻、所述位置隐私保护时间的结束时刻和所述内容隐私保护时间的结束时刻中最晚的时刻。

可选地，通过画面替换对所述视频隐私事件中的隐私需求核心要素子集进行不可见处理。

一种安防监控视频隐私保护的系统，应用于上述的安防监控视频隐私保护的方法，所述系统包括：

构建模块，用于构建安防监控视频的视频有向图；

获取模块，用于获取用户的隐私需求；

核心要素确定模块，用于根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素；

离线保护模块，用于当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素子集进行不可见处理，得到隐私保护后的安防监控视频；

在线保护模块，用于当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素子集进行不可见处理，得到隐私保护后的安防监控视频。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的安防监控视频隐私保护的方法。

可选地，所述存储器为可读存储介质。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的一种安防监控视频隐私保护的方法、系统及电子设备，通过构建多监控设备间的协同有向图，找出其视频内容间的逻辑及时间关系，提取用户隐私保护需求的核心要素，找出能够满足所有隐私需求的操作，并根据隐私需求选择隐私操作的开始时间，将需要保护的敏感对象通过图像处理技术删除后交付给视频监控平台。因为选择了最小的必须执行的需求子集，可以最大化保护监控视频的可用性，并解决了序列隐私问题，使得观看者不能从前一帧的内容推断出敏感事件的内容。该方案在保持智能监控系统功能和效率的前提下，可抵抗针对多设备时空逻辑相关性及单设备时间逻辑相关性的推断攻击，最大限度地保护了用户隐私，且操作可视化，更方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的安防监控视频隐私保护的方法的流程图；

图2为本发明提供的安防监控视频隐私保护的实施过程示意图；

图3为本发明提供的安防监控视频隐私保护的系统的模块图。

附图标记说明：

构建模块—1，获取模块—2，核心要素确定模块—3，离线保护模块—4，在线保护模块—5。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种安防监控视频隐私保护的方法、系统及电子设备，通过增加针对多设备时空逻辑相关性及单设备时间逻辑相关性的推断攻击抵御，能在满足用户的安全和隐私需求的前提下最大限度的提高视频监控系统可用性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

本发明提供了一种安防监控视频隐私保护的方法，应用于对家庭视频安防系统的隐私保护，仅适用于对于人的监控场景，对车或其他物体的不适用，让用户通过可视化交互界面自主定义并描述其隐私需求，并自动为该用户提供相应的隐私保护，具体地如图1和图2所示，所述方法包括：

步骤101：构建安防监控视频的视频有向图。

其中，步骤101具体包括：

步骤1011：获取安防监控视频。

步骤1012：应用采样窗口，将所述安防监控视频分成帧数相同的子视频。

步骤1013：识别所述子视频中的对象；所述对象包括用户和背景对象。

步骤1014：根据所述对象，构建视频有向图。

具体地，以安防监控的各摄像机为顶点，以各摄像机的监控区域之间的距离和所述用户在子视频中的最后位置为边，构建视频有向图；所述最后位置为所述用户在子视频中最后出现时与所述背景对象的相对位置。

步骤102：获取用户的隐私需求；具体地，所述隐私需求包括用户、时间、位置、背景对象和查看器；所述查看器为用户权限列表。

步骤103：根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素；具体地，根据步骤101，确定需要进行保护的隐私需求集合，并从中提取出独立表达该隐私需求的最少要素的子集作为所述隐私需求的核心要素子集。

步骤104：当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

步骤105：当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

作为一个具体的实施方式，在步骤101中，对于需要处理的监控视频，根据采样窗口的大小将视频分成一组帧数大小相同的子视频，并扫描每个子视频，识别每个现有的用户和背景对象，在进行对象识别时，根据用户提供的预定义轮廓，利用现有的基于轮廓和步态的方法来实现视频中的用户与需要保护对象的配对，具体地，基于神经网络的开源算法，在本发明中采用的是YOLOv4进行保护对象的识别。预定义轮廓就是用户提前上传的照片，用于帮助识别并抽象出特定用户的一些主要特征以便持续跟踪，根据监控视频中的内容构造成由节点、边组成的有向图，其中，有向图主要是为了构建不同摄像头之间的时空关系，在步骤105中，用于输入提供预见保护的马尔可夫模型得到预测的视频隐私事件，其中所述顶点是多个摄像机的集合，所述边是摄像机所监控区域之间距离和所识别对象的消失位置，表示顶点所表示的摄像机拍摄的视频中特定对象的消失位置。此外，因为监控场景中背景比较固定不变(摄像头固定位置)，所以是先识别背景对象，再针对不同用户识别用户，监控视频中的某几个人(由用户给定，一般用户仅关心几个特定的人)。

作为一个具体的实施方式，在步骤102中，用户可通过可视化的用户交互界面给出以事件形式表达的该用户的隐私需求，并将所述隐私需求转化为(用户、时间、位置、背景对象，查看器)的形式存储到对应的需求集中。其中，背景对象是固定不变的，如背景中的树或门等，位置指用户和这些背景对象的相对关系。查看器可看作是可查看该特定用户的有权限用户列表。接收用户通过可视化交互界面为点击选中的节点添加隐私需求：需求可以定义为(用户，时间，位置，背景对象，查看器)。为了定义一个规则，用户需要选择其中的至少一个，并给它一个非空值，称之为规则的目标。

作为一个具体的实施方式，在步骤103中，为了保持在视频中的大部分信息，需要确定一个所需执行的隐私需求集的最小化核心子集，其满足用户设定的全部需求，并最小化子集的大小。本发明采用提出了一个贪心算法，它可以减少计算复杂度和处理时间。首先，从所需执行的隐私需求集中找到所需的最大需求子集。如果仍然剩下多个选择，那么随机选择一个。然后从需求集合中删除所有的属于最大需求子集的需求。然后重复后两步，直到设置的需求中的所有需求都得到满足。具体地，对于任何需要保护的用户和对象，检查保护这个用户/对象将满足需求集合的哪个子集并存储需求子集，利用最小集的思想找到一个最小的需求核心要素子集，其满足设定需求的所有需求。

作为一个具体的实施方式，在步骤104和步骤105中，通过画面替换对所述视频隐私事件中的隐私需求核心要素子集进行不可见处理。在离线场景下通过在执行隐私保护操作时根据隐私需求选择保护操作开始的时间，以使保护后两帧的捕获时间大于可由前一帧推测后一帧的推测阈值；在线场景下，使用隐马尔可夫模型预测可能发生的需要进行隐私保护的事件发生，并对其进行隐私保护操作。使用视觉隐私保护方法(如盲视觉或物体去除)作为隐私保护操作，对需要保护的对象进行画面替换以达到删除对象效果的不可视处理。

进一步地，步骤104和步骤105中的所述隐私保护时间为时间隐私保护时间、位置隐私保护时间、内容隐私保护时间或者多需求隐私保护时间。具体地，所述隐私保护时间的确定方法包括：

当用户需要保护时间隐私时，所述时间隐私保护时间的开始时刻为比用户输入需要进行隐私保护的开始时刻提前预设时间段阈值；所述预设保护时间的结束时刻比用户输入需要进行隐私保护的结束时刻延后预设时间段阈值。

当用户需要保护位置隐私时，所述位置隐私保护时间的开始时刻为比目标用户到达隐私位置的时刻提前预设时间段阈值；所述预设保护时间的结束时刻比目标用户离开隐私位置的时刻延后预设时间段阈值。

当用户需要保护内容隐私时，所述内容隐私保护时间的开始时刻为比目标用户与背景对象满足设定位置关系的时刻提前预设时间段阈值；所述内容隐私保护时间的结束时刻为比目标用户与背景对象不满足设定位置关系的时刻延迟预设时间段阈值。具体地，内容隐私为视频内包含的具体物体或人员图像，如人脸、手机屏幕等。

当用户需要保护多需求隐私时，所述多需求隐私保护时间的开始时刻为所述时间隐私保护时间的开始时刻、所述位置隐私保护时间的开始时刻和所述内容隐私保护时间的开始时刻中最早的时刻；所述多需求隐私保护时间的结束时刻为所述时间隐私保护时间的结束时刻、所述位置隐私保护时间的结束时刻和所述内容隐私保护时间的结束时刻中最晚的时刻。

在实际应用中，预设一个时间阈值，所述时间阈值为预设时间段阈值，如果视频帧的捕获时间间隔大于该阈值，这两帧的相互依赖性很小，观看者不能根据另一帧的信息准确地估计一帧的内容。根据隐私需求的类型，选择保护操作的开始时间：

其中，用户定义的隐私需求仅针对时间时，用户定义的隐私时间为用户定义的仅针对与时间的隐私保护需求开始的时间，如用户定义晚上10点至凌晨6点需要隐私保护则，其为晚上10点，保护操作开始的时间就是晚上10点减去时间阈值。用户定义的隐私需求仅针对位置时，目标到达隐私位置的时间指目标到达需要隐私保护位置的时间，如用户定义卧室为隐私位置，其为有人进入卧室的时间。如果目标对象从视频的一开始就停留在目标位置，那么目标到达隐私位置的时间＝开始时间+时间阈值，则保护操作开始的时间即为开始时间。满足隐私需求内容的时间是视频内容同时满足隐私需求中用户一项和场景一项策略的时间，如果满足隐私需求内容的时间<开始时间+时间阈值，那么令满足隐私需求内容的时间＝开始时间+时间阈值，以确保护操作开始的时间不早于开始时间。混合要求的非空最小时间是混合了时间、位置和背景对象隐私要求的(用户定义的隐私时间、目标到达隐私位置的时间、满足隐私需求内容的时间)非空的最小时间。

此外，本发明提供的安防监控视频隐私保护的方法还包括：

将所述隐私保护后的安防监控视频发送给视频监控系统平台用于该家庭视频监控系统正常工作。具体为：将保护后的所述监控视频发送给视频监控系统的云服务器用于该视频监控系统正常工作使用。

本发明提供的安防监控视频隐私保护的方法，用于视频内容的隐私信息保护，允许用户根据自己的需求给出具体的隐私标准并制定相应的隐私保护策略，在不影响安防系统功能和效率的前提下最大限度的满足用户的隐私需求。将本发明提供的安防监控视频隐私保护的方法通过程序指令完成能够得到对应的安防监控视频隐私保护的APP。

本发明提供的安防监控视频隐私保护的方法的优势体现在：

1)功能完善，在攻击者具有一定基于部分视频进行合理推测的能力下，仍可以满足用户的隐私需求。

2)操作方便，提供可视化接口以便于用户描述并提供其安全与隐私需求，对未受过任何相关培训的用户非常友好。

3)兼容性好，该方法能是现在各类现有的基于云的视频监控系统上。

4)实时性好，能在不影响实时视频监控的前提下，准确保护用户的隐私。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种安防监控视频隐私保护的系统，如图3所示，所述系统包括：

构建模块1，用于构建安防监控视频的视频有向图。

获取模块2，用于获取用户的隐私需求。

核心要素确定模块3，用于根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素。

离线保护模块4，用于当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

在线保护模块5，用于当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

实施例三

本发明实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使电子设备执行实施例一的安防监控视频隐私保护的方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的安防监控视频隐私保护的方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种安防监控视频隐私保护的方法，其特征在于，所述方法包括：

构建安防监控视频的视频有向图；

获取用户的隐私需求；

根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素；

当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频；

当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

2.根据权利要求1所述的安防监控视频隐私保护的方法，其特征在于，所述构建安防监控视频的视频有向图，具体包括：

获取安防监控视频；

应用采样窗口，将所述安防监控视频分成帧数相同的子视频；

识别所述子视频中的对象；所述对象包括用户和背景对象；

根据所述对象，构建视频有向图。

3.根据权利要求1所述的安防监控视频隐私保护的方法，其特征在于，根据所述用户和背景，构建视频有向图，具体包括：

以安防监控的各摄像机为顶点，以各摄像机的监控区域之间的距离和所述用户在子视频中的最后位置为边，构建视频有向图；所述最后位置为所述用户在子视频中最后出现时与所述背景对象的相对位置。

4.根据权利要求1所述的安防监控视频隐私保护的方法，其特征在于，所述隐私需求包括用户、时间、位置、背景对象和查看器；所述查看器为用户权限列表。

5.根据权利要求4所述的安防监控视频隐私保护的方法，其特征在于：

所述隐私保护时间为时间隐私保护时间、位置隐私保护时间、内容隐私保护时间或者多需求隐私保护时间；

当用户需要保护时间隐私时，所述时间隐私保护时间的开始时刻为比用户输入需要进行隐私保护的开始时刻提前预设时间段阈值；所述预设保护时间的结束时刻比用户输入需要进行隐私保护的结束时刻延后预设时间段阈值；

当用户需要保护位置隐私时，所述位置隐私保护时间的开始时刻为比目标用户到达隐私位置的时刻提前预设时间段阈值；所述预设保护时间的结束时刻比目标用户离开隐私位置的时刻延后预设时间段阈值；

当用户需要保护内容隐私时，所述内容隐私保护时间的开始时刻为比目标用户与背景对象满足设定位置关系的时刻提前预设时间段阈值；所述内容隐私保护时间的结束时刻为比目标用户与背景对象不满足设定位置关系的时刻延迟预设时间段阈值；

当用户需要保护多需求隐私时，所述多需求隐私保护时间的开始时刻为所述时间隐私保护时间的开始时刻、所述位置隐私保护时间的开始时刻和所述内容隐私保护时间的开始时刻中最早的时刻；所述多需求隐私保护时间的结束时刻为所述时间隐私保护时间的结束时刻、所述位置隐私保护时间的结束时刻和所述内容隐私保护时间的结束时刻中最晚的时刻。

6.根据权利要求1所述的安防监控视频隐私保护的方法，其特征在于，通过画面替换对所述视频隐私事件中的隐私需求核心要素子集进行不可见处理。

7.一种安防监控视频隐私保护的系统，其特征在于，所述系统包括：

构建模块，用于构建安防监控视频的视频有向图；

获取模块，用于获取用户的隐私需求；

核心要素确定模块，用于根据所述隐私需求，应用贪心算法，确定所述视频有向图的隐私需求核心要素；

离线保护模块，用于当安防监控为离线状态时，根据隐私保护时间对所述安防监控视频中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频；

在线保护模块，用于当安防监控为在线状态时，应用马尔可夫模型预测所述安防监控视频中需要进行隐私保护的视频隐私事件，并对所述视频隐私事件中的隐私需求核心要素进行不可见处理，得到隐私保护后的安防监控视频。

8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的安防监控视频隐私保护的方法。

9.根据权利要求8所述的一种电子设备，其特征在于，所述存储器为可读存储介质。

Images