CN110225308B - 一种对家庭视频安防系统的隐私保护方法 - Google Patents

Abstract

本发明公开了一种对家庭视频安防系统的隐私保护方法，包括：步骤1，构造视频时序图；步骤2，接收安全及隐私需求；步骤3，提取需求的核心要素；步骤4，测算隐私需求的推测概率；步骤5，移除所述视频结构化时序图中的节点；步骤6，对应节点的视频加密处理并回传至家庭视频安防系统。该方法实现了在不影响视频安防系统功能和效率的前提下最大限度的满足用户的安全和隐私需求，且操作可视化，更方便。

Description

一种对家庭视频安防系统的隐私保护方法

技术领域

本发明涉及视频的隐私保护领域，尤其涉及一种对家庭视频安防系统的隐私保护方法。

背景技术

随着越来越多基于云的家庭视频安防系统的应用和普及(如海康威视、360等)，如何在利用安防系统确保家庭生命与财产安全的同时，尽可能少的泄露用户的隐私信息，已经成为一个越来越热门的研究问题。

现有的视频隐私保护多通过模糊、遮挡或替换面部等方式匿名化用户，以达到防止用户隐私信息泄露的目的。然而由于家庭视频安防系统的用户固定、场景单一、事件重复率高等特性，此类技术在该场景下的应用受到了极大的限制并不能很好地保护用户的隐私信息。主要是：1)用户固定：在家庭视频安防系统的应用环境中，用户多为几位固定的家庭成员。这意味着用户的身份在此场景下已属于半公开信息，因此除身份之外，用户的行为和意图是更为重要需要保护的隐私信息；传统的仅针对面部进行保护的隐私保护的方法无法有效地对此类情况进行保护。2)场景单一：在家庭安防系统的应用环境中，监控场景多为有限的室内空间，空间上的连续性紧密且结构简单，为攻击者推测用户行为和意图提供了极为丰富的背景知识。例如，若空间结构为客厅仅与卧室相连，如攻击者观察到用户甲从客厅的监控中消失，则可以很轻易的猜测出用户甲已到达卧室并可据此上下文推断出用户甲的行为和意图。传统的仅针对可观测到内容进行的隐私保护的方法无法有效地对此类推测进行保护。3)事件重复率高：在家庭安防系统的应用环境中，监控系统所拍摄到的视频多为高重复率的事件，例如用户甲每日早9点出门。此类高重复事件在场景单一的基础上，为攻击者提供了更多的对用户隐私进行推测的背景知识，传统的无回溯仅针对当前视频内容进行的隐私保护的方法无法有效地对此类推测进行保护。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种对家庭视频安防系统的隐私保护方法，能在不影响视频安防系统功能和效率的前提下最大限度的满足用户的安全和隐私需求。

本发明的目的是通过以下技术方案实现的：

本发明实施方式一种对家庭视频安防系统的隐私保护方法，包括：

步骤1，构造视频时序图：接收用户给定的一段待保护的监控视频，抽取该监控视频中的内容构造成对应的视频结构化时序图；

步骤2，接收安全需求和隐私需求：接收用户通过可视化界面分别给出的以事件形式表达的该用户的安全需求与隐私需求，并将所述安全与隐私需求转化为对应的需求结构化时序图；

步骤3，提取需求的核心要素：从所述步骤2得出的需求结构化时序图中，提取出独立表达该隐私需求的最少要素的子图作为所述隐私需求的核心要素子图；

步骤4，测算隐私需求的推测概率：通过检测所述核心要素子图是否包含于所述视频结构化时序图，确认所述视频结构化时序图对应的视频泄露该隐私需求的概率，若包含该核心要素子图则泄漏概率为1，反之则泄露概率为0；

步骤5，通过移除所述视频结构化时序图中的节点，且不移除所有属于安全需求的核心要素子图的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率最小化；

步骤6，利用图像处理对所述步骤5中被移除的节点所对应在所述监控视频中的对象进行加密保护，将加密保护后的所述监控视频发送给家庭视频监控系统用于该家庭视频监控系统正常工作。

由上述本发明提供的技术方案可以看出，本发明实施例提供的对家庭视频安防系统的隐私保护方法，其有益效果为：

通过将监控视频和用户的保护需求均转为可视化的结构化时序图后，根据保护需求结合概率测算移除监控视频对应的视频结构化时序图中的节点，由于这些移除的节点是用户需要保护的对象，对移除的节点通过图像处理进行加密处理实现对监控视频的隐私保护，再将保护监控隐私后的视频监控发给家庭视频监控系统保证其正常工作。该方法实现了在不影响视频安防系统功能和效率的前提下最大限度的满足用户的安全和隐私需求，且操作可视化，更方便。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的对家庭视频安防系统的隐私保护方法的流程图；

图2为本发明实施例提供的对家庭视频安防系统的隐私保护方法的应用流程图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种对家庭视频安防系统的隐私保护方法，用于对家庭视频安防系统的监控视频的内容进行隐私保护，包括：

步骤1，构造视频时序图：接收用户给定的一段待保护的监控视频，抽取该监控视频中的内容构造成对应的视频结构化时序图；

步骤2，接收安全需求和隐私需求：接收用户通过可视化界面给出的以事件形式表达的该用户的安全与隐私需求，并将所述安全与隐私需求转化为对应的需求结构化时序图；其中，可视化界面指与用户进行信息交换的图形界面(UI)；

步骤3，提取需求的核心要素：从所述步骤2得出的需求结构化时序图中，提取出独立表达该隐私需求的最少要素的子图作为所述隐私需求的核心要素子图；

步骤4，测算隐私需求的推测概率：通过检测所述核心要素子图是否包含于所述视频结构化时序图，确认所述视频结构化时序图对应的视频泄露该隐私需求的概率，若包含该核心要素子图则泄漏概率为1，反之则泄露概率为0；

步骤5，通过移除所述视频结构化时序图中的节点，且不移除所有属于安全需求的核心要素子图的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率最小化；

步骤6，利用图像处理对所述步骤5中被移除的节点所对应在所述监控视频中的对象进行加密保护，将加密保护后的所述监控视频发送给家庭视频监控系统用于该家庭视频监控系统正常工作。

上述方法的步骤1中，该监控视频中的内容构造成对应的视频结构化时序图由节点、静态边和动态边构成，其中，所述节点对应该监控视频中能识别的受关注对象，所述静态边对应于该监控视频的某特定帧中两个节点之间的位置关系，所述动态边对应于某特定节点在连续两帧之间的时序关系。

上述方法的步骤2中，接收用户通过可视化界面给出的以事件形式表达的该用户的安全需求和隐私需求为：

用户通过可视化界面为点击选中的节点添加隐私需求或安全需求；所述节点表示监控视频中能被识别的受关注对象。每个节点可作为被保护的对象(如满足用户安全需求)，或被隐藏的对象(如满足用户隐私需求)。

上述方法的步骤2中，所述安全需求与隐私需求转化为对应的需求结构化时序图由节点、静态边和动态边构成，其中，所述节点对应于该监控视频中能被识别的受关注对象，所述静态边对应于该监控视频中两个节点之间的空间位置关系，所述动态边对应于该监控视频的某特定节点在连续两帧之间的时序关系。

上述方法的步骤5中，先确认用户选定的保护模式，根据用户选定的保护模式进行对应的处理，包括：

若用户选定的为安全保护模式，则通过使用贪心算法尽可能多移除所述视频结构化时序图中的节点，且不移除所有属于安全需求的核心要素子图的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率在大于0的时保持最小化；

若用户选定的为隐私保护模式，则通过移除所述视频结构化时序图中属于隐私核心要素子图节点的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率为0。

上述安全保护模式的处理中，尽可能多移除所述视频结构化时序图中的节点指：在保证安全需求所对应的核心要素子图不被破坏的前提下，最大程度地破坏隐私需求所对应的核心要素子图，即尽可能多地删除隐私需求所含括的节点。

使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率在大于0的时保持最小化为：每移除一个非安全节点后对整体视频结构化时序图进行检查，若存在某一完整的核心要素子图，则该子图的概率为1，反之为0。

上述方法的步骤5中，将加密保护后的所述监控视频发送给家庭视频监控系统用于该家庭视频监控系统正常工作为：

将加密保护后的所述监控视频发送给家庭视频监控系统的云服务器用于该家庭视频监控系统正常工作使用。

本发明的方法，用于视频内容的隐私信息保护，允许用户根据自己的需求给出具体的安全和隐私标准并制定相应的隐私保护策略，在不影响安防系统功能和效率的前提下最大限度的满足用户的安全和隐私需求。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例提供一种隐私保护方法，是一种上下文相关的对基于云的家庭视频安防系统中的用户隐私进行保护的方法，能让用户通过可视化界面自主定义并描述其隐私需求，并自动为该用户提供相应的隐私保护。

如图2所示(图2中，R-CNN为基于区域的卷积神经网络；GMM为高斯混合模型)，本发明的的隐私保护方法，分为以下两种应用场景，在偏重安全保护的场景中，本发明目的是在不影响系统监控功能和效率的前提下、结合用户具体的隐私需求，尽可能多地减少用户的隐私信息暴露；在偏重隐私保护的场景中，本发明的目的是在不影响系统效率与满足用户隐私需求的前提下，尽可能多的实现用户的安全需求。该隐私保护方法要求用户以事件的形式说明其具体的安全与隐私需求(如“甲在睡觉”)。

在偏重安全保护的场景中，本发明的方法包括以下步骤：

(11)对于一段给定的监控视频，在本地抽取其内容并构造相应的结构化时序图表达。该时序图表达由节点、静态边和动态边构成，节点对应该监控视频中可识别的受关注对象(对象指人、物体)、静态边对应在某特定帧中两节点之间的位置关系、动态边对应在某特定节点在连续两帧之间的时序关系；

(12)安全及隐私需求说明。用户通过可视化界面以事件的形式提供其具体的安全与隐私需求，并由系统自动转化为相对应的结构化时序图表达；

(13)安全及隐私需求的核心要素提取。对于给定的以结构化时序图表达的需求，该发明可利用最小集的思想提取出可独立表达该需求的最少要素的子图，并将此子图作为该需求的核心要素；

(14)隐私需求的推测概率估计。对于给定的以核心要素子图表达的需求和以结构化时序全图表达的监控视频，该发明可通过检测该核心要素子图是否包含于该全图的方法对该全图相应的视频泄露该隐私需求的概率进行估算，若包含该子图则泄漏概率为1，反之则泄露概率为0；

(15)对于给定的一系列以结构化时序全图表达的监控视频、以核心要素子图表达用户的安全及隐私需求，通过尽可能多地移除全图中节点的方式制定相应的隐私保护策略，以使得推测出隐私需求核心子图的概率尽可能小。所有属于安全需求核心子图的节点不可被移除；

(16)利用图像处理的方式，在本地将被移除的节点所对应的在监控视频中对象进行加密保护，随后将保护后的视频上传至云服务器以便于视频监控系统正常工作。

在偏重隐私保护的场景中，本发明的方法包括以下步骤：

(21)对于一段给定的监控视频，在本地抽取其内容并构造相应的结构化时序图表达。该时序图表达由节点、静态边和动态边构成，节点对应该监控视频中可识别的受关注对象、静态边对应在某特定帧中两节点之间的位置关系、动态边对应在某特定节点在连续两帧之间的时序关系；

(22)隐私需求说明。用户通过可视化界面以事件的形式提供其具体的安全与隐私需求，并由系统自动转化为相对应的结构化时序图表达；

(23)隐私需求的核心要素提取。对于给定的以结构化时序图表达的需求，该发明可利用最小集的思想提取出可独立表达该需求的最少要素的子图，并将此子图作为该需求的核心要素；

(24)对于给定的一系列以结构化时序全图表达的监控视频、以核心要素子图表达用户的隐私需求，通过移除全图中属于隐私核心要素子图节点的方式制定相应的隐私保护策略，以使得推测出隐私需求核心子图的概率为0；

(25)利用图像处理的方式，在本地将被移除的节点所对应的在监控视频中对象进行加密保护，随后将保护后的视频上传至云服务器以便于视频监控系统正常工作。

本发明的隐私保护方法的优势体现在：1)功能完善，在攻击者具有一定基于部分视频进行合理推测的能力下，仍可以满足用户的隐私需求；2)操作方便，提供可视化接口以便于用户描述并提供其安全与隐私需求，对未受过任何相关培训的用户非常友好；3)兼容性好，该方法能是现在各类现有的基于云的家庭安防监控系统上；4)实时性好，能在不影响实时安防监控的前提下，准确保护用户的隐私。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种对家庭视频安防系统的隐私保护方法，其特征在于，包括：

步骤1，构造视频时序图：接收用户给定的一段待保护的监控视频，抽取该监控视频中的内容构造成对应的视频结构化时序图；该监控视频中的内容构造成对应的视频结构化时序图由节点、静态边和动态边构成，其中，所述节点对应该监控视频中能识别的受关注对象，所述静态边对应于该监控视频中两个节点之间的位置关系，所述动态边对应于某特定节点在连续两帧之间的时序关系；

步骤2，接收安全需求和隐私需求：接收用户通过可视化界面分别给出的以事件形式表达的该用户的安全需求与隐私需求，并将所述安全与隐私需求转化为对应的需求结构化时序图；

步骤3，提取需求的核心要素：从所述步骤2得出的需求结构化时序图中，提取出独立表达该隐私需求的最少要素的子图作为所述隐私需求的核心要素子图；

步骤4，测算隐私需求的推测概率：通过检测所述核心要素子图是否包含于所述视频结构化时序图，确认所述视频结构化时序图对应的视频泄露该隐私需求的概率，若包含该核心要素子图则泄漏概率为1，反之则泄露概率为0；

步骤5，通过移除所述视频结构化时序图中的节点，且不移除所有属于安全需求的核心要素子图的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率最小化；

步骤6，利用图像处理对所述步骤5中被移除的节点所对应在所述监控视频中的对象进行加密保护，将加密保护后的所述监控视频发送给家庭视频监控系统用于该家庭视频监控系统正常工作。

2.根据权利要求1所述的对家庭视频安防系统的隐私保护方法，其特征在于，所述方法的步骤2中，接收用户通过可视化界面给出的以事件形式表达的该用户的安全需求和隐私需求为：

用户通过可视化界面为点击选中的节点添加隐私需求或安全需求；所述节点表示监控视频中能被识别的受关注对象。

3.根据权利要求1所述的对家庭视频安防系统的隐私保护方法，其特征在于，所述方法的步骤2中，所述安全与隐私需求转化为对应的需求结构化时序图由节点、静态边和动态边构成，其中，所述节点对应于该监控视频中能被识别的受关注对象，所述静态边对应于该监控视频的某特定帧中两个节点之间的位置关系，所述动态边对应于某特定节点在连续两帧之间的时序关系。

4.根据权利要求1所述的对家庭视频安防系统的隐私保护方法，其特征在于，所述方法的步骤5中，先确认用户选定的保护模式，根据用户选定的保护模式进行对应的处理，包括：

若用户选定的为安全保护模式，则通过使用贪心算法尽可能多移除所述视频结构化时序图中的节点，且不移除所有属于安全需求的核心要素子图的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率在大于0的时保持最小化；

若用户选定的为隐私保护模式，则通过移除所述视频结构化时序图中属于隐私核心要素子图节点的节点，使根据移除节点后的该视频结构化时序图测算出隐私需求对应的所述核心要素子图的概率为0。

5.根据权利要求1所述的对家庭视频安防系统的隐私保护方法，其特征在于，所述方法的步骤5中，将加密保护后的所述监控视频发送给家庭视频监控系统用于该家庭视频监控系统正常工作为：

将加密保护后的所述监控视频发送给家庭视频监控系统的云服务器用于该家庭视频监控系统正常工作使用。

Images