CN115935433A - 屏幕实时隐私保护方法和装置 - Google Patents

Abstract

本发明提供了屏幕实时隐私保护方法和装置，包括：对第一视频流进行提取得到M帧图像；普通模式下，将每帧图像通过图像隐私区域检测算法得到图像组帧，将图像组帧进行组合后得到第二视频流；自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；通过图像相似性检测算法判断当前帧图像是否进行窗口检测；如果否，则将上一帧图像的模糊区域坐标进行模糊处理；如果是，则将当前帧图像通过图像隐私区域检测算法得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；加速模式下，将M帧图像通过图像隐私区域检测算法，得到第二图像与模糊区域坐标；将第一图像与模糊区域坐标或第二图像与模糊区域坐标进行模糊处理。

Description

屏幕实时隐私保护方法和装置

技术领域

本发明涉及计算机技术领域，尤其是涉及屏幕实时隐私保护方法和装置。

背景技术

会议投屏以及远程会议中的屏幕共享是办公场景的常见活动，由于个人的疏忽及缺少保护机制，经常会出现共享的屏幕上弹出微信/qq等聊天窗口，或邮件及个人空间窗口等私密信息，从而造成个人隐私的泄露。

在公共显示屏上，播放的往往是固定模式的视频，如果由于后台操作不当或系统故障，可能导致播放异常的信号（如操作系统桌面、系统报错窗口和其他管理员误播放的信号等），同样带来不好的影响，甚至可能泄露系统本身的技术信息等。

当屏幕播放异常时，存在的检测方法主要包括：第一，进行全屏实时分类，判断当前屏幕是否播放异常的画面；第二，进行模板匹配，例如某些专用播放领域，通过设计特定版式规则，将播放画面与模板进行对比，如果不匹配，则进行过滤/掐断等保护处理。在发现异常后的处理方法上，往往使用的是掐断视频信号、播放预制画面等方法。

由上述方法可知，全屏实时分类场景，对小窗口检测精度不高。当屏幕出现窗口堆叠的情况时，为了处理各种尺度的图像特征，需要对图像进行多尺度处理，造成计算量增加，难以应用于实时播控的场景。

模板匹配的缺点在于预设的模板只能用于屏幕播放版式不变的情况下，难以灵活复制在视频会议等灵活场景。

发明内容

有鉴于此，本发明的目的在于提供屏幕实时隐私保护方法和装置，根据不同的模式采用相应的模糊处理，从而确保公共显示屏上不会播出泄露隐私/不符合播放要求的画面；检测精度高，可以精确检测弹出的小窗口，使其不会影响整体的屏幕共享可用性。

第一方面，本发明实施例提供了屏幕实时隐私保护方法，所述方法包括：

获取第一视频流，对所述第一视频流进行提取，得到M帧图像；

当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将所述图像组帧进行组合后，得到第二视频流；

当在自适应模式下，从所述M帧图像中选取任一帧图像作为当前帧图像；

通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测；

如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；

如果是，则将所述当前帧图像通过所述图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复所述自适应模式的过程，直至所述每帧图像均被遍历；

当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标；

将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将所述处理后的图像进行组合后，得到第三视频流。

进一步的，当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，包括：

当在所述普通模式下，将所述每帧图像进行图像隐私区域检测算法检测后，在所述每帧图像上对目标区域进行模糊处理，得到所述图像组帧。

进一步的，对所述第一视频流进行提取，得到M帧图像，包括：

当在所述普通模式下，对所述第一视频流的每帧图像进行提取，得到所述M帧图像；

当在所述加速模式下，根据预设周期间隔对所述第一视频流进行提取，得到每个所述预设周期对应的图像；

从每个所述预设周期对应的图像中选取任一图像；

将选取的任一图像构成所述M帧图像。

进一步的，将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，包括：

将每个所述预设周期内的所有图像对应所述第二图像与模糊区域坐标的区域进行模糊处理，得到所述处理后的图像。

进一步的，当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标，包括：

当在所述加速模式下，利用单阶段目标检测模型对所述每帧图像中的窗口四角顶点及窗口区域分别进行检测，得到顶点的坐标、顶点的类别和窗口区域，其中，所述窗口区域包括窗口的坐标和窗口的类别；

将所述顶点的坐标和所述顶点的类别通过矩形顶点匹配规则进行重建，得到新的矩形区域；

将所述新的矩形区域与所述窗口区域进行匹配，得到匹配结果；

根据所述匹配结果输出m个所述新的矩形区域的坐标和窗口类别；

将每个所述窗口类别与设定的白名单类别或黑名单类别进行匹配；

如果所述窗口类别满足所述黑名单类别，则触发隐私保护机制，并记录隐私窗口位置；

如果所述窗口类别不满足所述白名单类别，则触发隐私保护机制，并记录所述隐私窗口位置；

其中，所述隐私窗口位置为所述第二图像与模糊区域坐标。

进一步的，所述顶点类别包括左上角顶点、右上角顶点、左下角顶点和右下角顶点，所述窗口类别包括操作系统窗口、网络浏览器窗口、即时通讯窗口、文件编辑窗口和邮件窗口。

进一步的，将所述新的矩形区域与所述窗口区域进行匹配，得到匹配结果，包括：

判断所述新的矩形区域与所述窗口区域的交并比是否大于预设阈值；

如果是，则匹配成功，并将所述新的矩形区域的类别设置为所述窗口的类别；

如果否，则匹配不成功，并将所述新的矩形区域的类别设置为其他窗口。

进一步的，通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测，包括：

计算所述当前帧图像与所述上一帧图像的直方图的误差；

如果所述直方图的误差小于设定阈值，则所述当前帧图像与所述上一帧图像相似；

如果所述直方图的误差大于或等于所述设定阈值，则所述当前帧图像与所述上一帧图像不相似；

如果所述当前帧图像与所述上一帧图像相似，则不进行窗口检测；

如果所述当前帧图像与所述上一帧图像不相似，则进行窗口检测。

第二方面，本发明实施例提供了屏幕实时隐私保护装置，所述装置包括：

提取模块，用于获取第一视频流，对所述第一视频流进行提取，得到M帧图像；

组合模块，用于当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将所述图像组帧进行组合后，得到第二视频流；

选取模块，用于当在自适应模式下，从所述M帧图像中选取任一帧图像作为当前帧图像；

窗口检测模块，用于通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测；

第一模糊处理模块，用于在不进行窗口检测的情况下，采用上一帧图像的模糊区域坐标进行模糊处理；

第一图像与模糊区域坐标获取模块，用于在进行窗口检测的情况下，将所述当前帧图像通过所述图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复所述自适应模式的过程，直至所述每帧图像均被遍历；

第二图像与模糊区域坐标获取模块，用于当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标；

第二模糊处理模块，用于将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将所述处理后的图像进行组合后，得到第三视频流。

第三方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明实施例提供了屏幕实时隐私保护方法和装置，包括：获取第一视频流，对第一视频流进行提取，得到M帧图像；当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将图像组帧进行组合后，得到第二视频流；当在自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；通过图像相似性检测算法判断当前帧图像是否进行窗口检测；如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；如果是，则将当前帧图像通过图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；当在加速模式下，将M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标；将第一图像与模糊区域坐标或第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将处理后的图像进行组合后，得到第三视频流；根据不同的模式采用相应的模糊处理，从而确保公共显示屏上不会播出泄露隐私/不符合播放要求的画面；检测精度高，可以精确检测弹出的小窗口，使其不会影响整体的屏幕共享可用性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的屏幕实时隐私保护方法流程图；

图2为本发明实施例一提供的顶点类别的标注示意图；

图3为本发明实施例一提供的普通模式的屏幕实时隐私保护方法流程图；

图4为本发明实施例一提供的加速模式的屏幕实时隐私保护方法流程图；

图5为本发明实施例一提供的自适应模式的屏幕实时隐私保护方法流程图；

图6为本发明实施例二提供的屏幕实时隐私保护装置示意图。

图标：

1-提取模块；2-组合模块；3-选取模块；4-窗口检测模块；5-第一模糊处理模块；6-第一图像与模糊区域坐标获取模块；7-第二图像与模糊区域坐标获取模块；8-第二模糊处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前的方法中，采用全屏信号过滤，造成的观感影响较大。例如，当隐私窗口只占很小的部分时，本申请通过对窗口进行保护处理，而不影响整个屏幕的主要部分播放，从而提升可用性。

为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。

实施例一：

图1为本发明实施例一提供的屏幕实时隐私保护方法流程图。

参照图1，该方法应用在视频信号通路上，该方法包括以下步骤：

步骤S101，获取第一视频流，对第一视频流进行提取，得到M帧图像；

步骤S102，当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将图像组帧进行组合后，得到第二视频流；

步骤S103，当在自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；

步骤S104，通过图像相似性检测算法判断当前帧图像是否进行窗口检测；

步骤S105，如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；

步骤S106，如果是，则将当前帧图像通过图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；

步骤S107，当在加速模式下，将M帧图像通过图像隐私区域检测算法，得到第二图像与模糊区域坐标；

步骤S108，将第一图像与模糊区域坐标或第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将处理后的图像进行组合后，得到第三视频流。

本实施例中，对输入的第一视频流提取图像，对图像中是否存在暴露隐私的窗口区域进行检测，若判断存在隐私区域，则对隐私区域的像素进行模糊处理后输出图像；若判断不存在，则输出第一视频流；最终将处理后的图像重建为输出视频流。

本申请中，普通模式和加速模式的总的处理时间不同：设一帧图像隐私区域检测算法的时间为t1, 一帧图像模糊的处理时间为t2。对10秒钟共300帧图像的总计算时间为：普通模式：300*（t1+t2）；加速模式：10*t1 + 300*t2。

进一步的，步骤S102包括：

当在普通模式下，将每帧图像进行图像隐私区域检测算法检测后，在每帧图像上对目标区域进行模糊处理，得到图像组帧。

进一步的，步骤S101包括以下步骤：

步骤S201，当在普通模式下，对第一视频流的每帧图像进行提取，得到M帧图像；

步骤S202，当在加速模式下，根据预设周期间隔对第一视频流进行提取，得到每个预设周期对应的图像；

步骤S203，从每个预设周期对应的图像中选取任一图像；

步骤S204，将选取的任一图像构成M帧图像。

具体地，本申请可采用普通模式、加速模式和自适应模式。在普通模式下，对第一视频流的每帧图像进行提取，得到M帧图像；对每帧图像均进行图像隐私区域检测算法的计算，将输出的图像组帧组成第二视频流；在加速模式下，根据预设周期间隔对第一视频流进行提取，得到每个预设周期对应的图像；从每个预设周期对应的图像中选取任一图像；将选取的任一图像输入到图像隐私区域检测算法中，输出得到第二图像与模糊区域坐标；将每个预设周期内的所有图像对应第二图像与模糊区域坐标的区域进行模糊处理，得到处理后的图像；将处理后的图像进行组合后，得到第三视频流。

加速模式的算法调用量是普通模式的1/M，在高帧率、高清（超高清）视频上更容易达到实时处理的要求，对系统的计算性能要求更低，成本因而更低。自适应模式的计算效率介于普通模式与加速模式之间，通过图像相似性检测自适应的判断当前帧图像是否需要进行窗口检测。若与上一帧图像相似，则不需要做检测，直接取上一帧图像保存的结果进行后处理即可。自适应模式可以避免可能存在的视频快速变换时的隐私区域误遮盖或遮盖延时的问题。

进一步的，步骤S108包括：

将每个预设周期内的所有图像对应第二图像与模糊区域坐标的区域进行模糊处理，得到处理后的图像。

进一步的，步骤S107包括以下步骤：

步骤S301，当在加速模式下，利用单阶段目标检测模型对每帧图像中的窗口四角顶点及窗口区域分别进行检测，得到顶点的坐标、顶点的类别和窗口区域，其中，窗口区域包括窗口的坐标和窗口的类别；

该算法在训练阶段，将窗口的四个顶点作为四个独立的目标，与窗口一起作为模型的检测目标。训练数据的标注类别参照表1：

表1

类别编号	类别名称	类别说明
			0	左上角顶点	顶点类
1	右上角顶点	顶点类
			2	左下角顶点	顶点类
3	右下角顶点	顶点类
			4	操作系统窗口	Windows资源管理器、文件浏览器均属于该类
5	网络浏览器窗口	包括IE,edge,chrome,firefox等
			6	即时通讯窗口	包括微信、QQ、飞书、钉钉等界面
7	文件编辑窗口	包括office word/ppt/excel及wps等界面
			8	邮件窗口	包括foxmail,outlook等界面
9	其他窗口	非指定的一般的软件界面窗口

这种方法的优点在于：如果不检测顶点，只按照常规思路直接对窗口区域进行检测，容易对边界检测不准（因为软件窗口的尺度变化范围很大，既可能有接近全图的大小，也可能只有角落里的很小部分，对目标检测的精度有挑战）。而顶点检测只是在顶点直角拐角处的一块很小的固定区域，不受窗口大小的影响，因而可以得到非常高的检测精度。而检测任务中保留了对窗口区域的直接检测，目的在于两点：1）近似的检测出窗口区域位置，用于和连接顶点重建的区域进行匹配；2）在检测窗口位置的同时完成了窗口的分类，避免在下面的流程中对窗口分类的重复计算。

顶点类别的标注如图2所示，可以看到顶点目标的区域虽然较小但是大小固定，不受窗口本身的大小影响，因而数据分布更集中，容易在训练中达到更高的检测精度。

步骤S302，将顶点的坐标和顶点的类别通过矩形顶点匹配规则进行重建，得到新的矩形区域；

步骤S303，将新的矩形区域与窗口区域进行匹配，得到匹配结果；

步骤S304，根据匹配结果输出m个新的矩形区域的坐标和窗口类别；

步骤S305，将每个窗口类别与设定的白名单类别或黑名单类别进行匹配；

步骤S306，如果窗口类别满足黑名单类别，则触发隐私保护机制，并记录隐私窗口位置；

步骤S307，如果窗口类别不满足白名单类别，则触发隐私保护机制，并记录隐私窗口位置；

其中，隐私窗口位置为第二图像与模糊区域坐标。

具体地，在播放要求严格的场合，可以使用白名单机制，当满足白名单类别的窗口允许播出；在更通用的一般场合，可以使用黑名单机制，对微信等即时通讯软件窗口或其他泄露个人隐私的软件窗口进行黑名单屏蔽。在输入图像帧上对隐私窗口位置进行模糊处理后最终输出，同时输出隐私窗口的区域坐标。

进一步的，顶点类别包括左上角顶点、右上角顶点、左下角顶点和右下角顶点，窗口类别包括操作系统窗口、网络浏览器窗口、即时通讯窗口、文件编辑窗口和邮件窗口。

进一步的，步骤S303包括以下步骤：

步骤S401，判断新的矩形区域与窗口区域的交并比是否大于预设阈值；

步骤S402，如果是，则匹配成功，并将新的矩形区域的类别设置为窗口的类别；

步骤S403，如果否，则匹配不成功，并将新的矩形区域的类别设置为其他窗口。

具体地，若单阶段目标检测模型（YOLO）输出了一组顶点（P1,P2,..Pk）及一组窗口（B1,B2,..Bn），其中每个目标包含了其位置坐标及类别。根据检测出的顶点的类型及顶点的坐标（横纵坐标），可以将能够重建为一个矩形的顶点连接起来，最终生成一组新的矩形区域A1,A2,...Am作为输出窗口，将A1~Am与模型检测出的窗口区域B1~Bn进行匹配，若Ai与Bj匹配成功，则窗口Ai的类别设置为窗口Bj的类别，否则将Ai的类别设置为”其他窗口”。匹配的判断依据是Ai与Bj的交并比是否大于预设阈值，其中，预设阈值可以为0.8。最终的输出是A1,A2,...Am共m个重建矩形框的坐标及窗口类别。其中，P1~Pk, B1~Bn最终丢弃。

进一步的，步骤S104包括以下步骤：

步骤S501，计算当前帧图像与上一帧图像的直方图的误差；

步骤S502，如果直方图的误差小于设定阈值，则当前帧图像与上一帧图像相似；

步骤S503，如果直方图的误差大于或等于设定阈值，则当前帧图像与上一帧图像不相似；

步骤S504，如果当前帧图像与上一帧图像相似，则不进行窗口检测；

步骤S505，如果当前帧图像与上一帧图像不相似，则进行窗口检测。

具体地，在自适应模式下，图像相似性检测算法作为前置算法，用于判断是否需要进行窗口检测。图像相似性检测算法通过计算两幅图像的直方图的误差，误差小于设定阈值则判断为图像相似。具体参照公式（1）：

其中，c表示图像的RGB通道编号， b表示256个颜色值，为当前帧图像在C通道直方图上的第b个bar数值，为上一帧图像在C通道直方图上的第b个bar数值，为直方图的误差。

当每次相似性检测完毕后，将当前帧图像的直方图数值缓存，用于与下一帧图像继续比较。其中，从M帧图像中选取任一帧图像，可以按照顺序依次选取每帧图像作为当前帧图像，通过重复执行上述过程，直至每帧图像均被遍历。

本申请采用图像隐私区域检测算法，还可使用基于传统图像处理的技术，直接对窗口边缘进行检测并提取。也可使用其他的深度学习目标检测方法来对窗口区域进行检测。窗口分类方法，除了使用卷积神经网络进行图像分类外，也可使用基于图像特征的规则组合来进行判断。图像敏感区域的屏蔽方式，除了使用图像模糊，也可直接使用像素覆盖等方法。

图3为本发明实施例一提供的普通模式的屏幕实时隐私保护方法流程图。

参照图3，该方法包括以下步骤：

步骤S601，获取第一视频流；

步骤S602，对第一视频流进行提取，得到M帧图像；

步骤S603，当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将图像组帧进行组合后，得到第二视频流。

图4为本发明实施例一提供的加速模式的屏幕实时隐私保护方法流程图。

参照图4，该方法包括以下步骤：

步骤S701，当在加速模式下，根据预设周期间隔对第一视频流进行提取，得到每个预设周期对应的图像；

步骤S702，从每个预设周期对应的图像中选取任一图像，将选取的任一图像构成M帧图像；

步骤S703，将M帧图像通过图像隐私区域检测算法，得到第二图像与模糊区域坐标；

步骤S704，将第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，将处理后的图像进行组合后，得到第三视频流。

这里，在加速模式下的算法调用量是普通模式的1/M，在高帧率和高清(超高清)视频上更容易达到实时处理的要求，对系统的计算性能要求更低，成本也更低。

图5为本发明实施例一提供的自适应模式的屏幕实时隐私保护方法流程图。

参照图5，该方法包括以下步骤：

步骤S801，获取第一视频流，对第一视频流进行提取，得到M帧图像；

步骤S802，当在自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；

步骤S803，通过图像相似性检测算法判断当前帧图像是否进行窗口检测；

步骤S804，如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；

步骤S805，如果是，则将当前帧图像通过图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；

这里，在得到第一图像与模糊区域坐标后，将第一图像与模糊区域坐标进行缓存。

步骤S806，将第一图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将处理后的图像进行组合后，得到第三视频流。

本实施例中，将三种模式分别用于不同场景下的实时隐私保护。普通模式保护效果好；加速模式计算量最小，对计算资源要求最低；自适应模式通过图像相似性判断自动选择是否进行图像检测，能最大限度的实现计算时间与保护效果的平衡。

在一个模型上同时完成顶点检测与窗口检测分类，利用顶点重建窗口区域能够实现窗口的高精度定位，同时直接匹配模型输出的窗口分类，节省了对重建窗口图像再次进行分类的计算量。

实施例二：

图6为本发明实施例二提供的屏幕实时隐私保护装置示意图。

参照图6，该装置应用在视频信号通路上，该装置包括：

提取模块1，用于获取第一视频流，对所述第一视频流进行提取，得到M帧图像；

组合模块2，用于当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将图像组帧进行组合后，得到第二视频流；

选取模块3，用于当在自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；

窗口检测模块4，用于通过图像相似性检测算法判断当前帧图像是否进行窗口检测；

第一模糊处理模块5，用于在不进行窗口检测的情况下，采用上一帧图像的模糊区域坐标进行模糊处理；

第一图像与模糊区域坐标获取模块6，用于在进行窗口检测的情况下，将当前帧图像通过图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；

第二图像与模糊区域坐标获取模块7，用于当在加速模式下，将M帧图像通过图像隐私区域检测算法，得到第二图像与模糊区域坐标；

第二模糊处理模块8，用于将第一图像与模糊区域坐标或第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将处理后的图像进行组合后，得到第三视频流。

本实施例中，一个对图像信号实时分析的软件模块/装置串联在了实时播放的视频流中，对输入的视频流进行实时的帧提取；对图像帧进行窗口检测与分类，对可能泄露隐私/不满足播放要求的窗口进行定位；在输出的视频信号上，若没有定位的窗口，则信号与输入保持一致；若存在定位的窗口区域，则对区域进行了模糊处理。确保公共显示屏上不会播出泄露隐私/不符合播放要求的画面；相对于全屏截断，本方案的检测精细度更高，对于弹出小窗口等类似情况，不会影响整体的屏幕共享可用性。

本发明实施例提供了屏幕实时隐私保护方法和装置，包括：获取第一视频流，对第一视频流进行提取，得到M帧图像；当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将图像组帧进行组合后，得到第二视频流；当在自适应模式下，从M帧图像中选取任一帧图像作为当前帧图像；通过图像相似性检测算法判断当前帧图像是否进行窗口检测；如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；如果是，则将当前帧图像通过图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复自适应模式的过程，直至每帧图像均被遍历；当在加速模式下，将M帧图像通过图像隐私区域检测算法，得到第二图像与模糊区域坐标；将第一图像与模糊区域坐标或第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将处理后的图像进行组合后，得到第三视频流；根据不同的模式采用相应的模糊处理，从而确保公共显示屏上不会播出泄露隐私/不符合播放要求的画面；检测精度高，可以精确检测弹出的小窗口，使其不会影响整体的屏幕共享可用性。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的屏幕实时隐私保护方法的步骤。

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的屏幕实时隐私保护方法的步骤。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种屏幕实时隐私保护方法，其特征在于，所述方法包括：

获取第一视频流，对所述第一视频流进行提取，得到M帧图像；

当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将所述图像组帧进行组合后，得到第二视频流；

当在自适应模式下，从所述M帧图像中选取任一帧图像作为当前帧图像；

通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测；

如果否，则采用上一帧图像的模糊区域坐标进行模糊处理；

如果是，则将所述当前帧图像通过所述图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复所述自适应模式的过程，直至所述每帧图像均被遍历；

当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标；

将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将所述处理后的图像进行组合后，得到第三视频流。

2.根据权利要求1所述的屏幕实时隐私保护方法，其特征在于，当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，包括：

当在所述普通模式下，将所述每帧图像进行图像隐私区域检测算法检测后，在所述每帧图像上对目标区域进行模糊处理，得到所述图像组帧。

3.根据权利要求1所述的屏幕实时隐私保护方法，其特征在于，对所述第一视频流进行提取，得到M帧图像，包括：

当在所述普通模式下，对所述第一视频流的每帧图像进行提取，得到所述M帧图像；

当在所述加速模式下，根据预设周期间隔对所述第一视频流进行提取，得到每个所述预设周期对应的图像；

从每个所述预设周期对应的图像中选取任一图像；

将选取的任一图像构成所述M帧图像。

4.根据权利要求3所述的屏幕实时隐私保护方法，其特征在于，将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，包括：

将每个所述预设周期内的所有图像对应所述第二图像与模糊区域坐标的区域进行模糊处理，得到所述处理后的图像。

5.根据权利要求1所述的屏幕实时隐私保护方法，其特征在于，当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标，包括：

当在所述加速模式下，利用单阶段目标检测模型对所述每帧图像中的窗口四角顶点及窗口区域分别进行检测，得到顶点的坐标、顶点的类别和窗口区域，其中，所述窗口区域包括窗口的坐标和窗口的类别；

将所述顶点的坐标和所述顶点的类别通过矩形顶点匹配规则进行重建，得到新的矩形区域；

将所述新的矩形区域与所述窗口区域进行匹配，得到匹配结果；

根据所述匹配结果输出m个所述新的矩形区域的坐标和窗口类别；

将每个所述窗口类别与设定的白名单类别或黑名单类别进行匹配；

如果所述窗口类别满足所述黑名单类别，则触发隐私保护机制，并记录隐私窗口位置；

如果所述窗口类别不满足所述白名单类别，则触发隐私保护机制，并记录所述隐私窗口位置；

其中，所述隐私窗口位置为所述第二图像与模糊区域坐标。

6.根据权利要求5所述的屏幕实时隐私保护方法，其特征在于，所述顶点类别包括左上角顶点、右上角顶点、左下角顶点和右下角顶点，所述窗口类别包括操作系统窗口、网络浏览器窗口、即时通讯窗口、文件编辑窗口和邮件窗口。

7.根据权利要求5所述的屏幕实时隐私保护方法，其特征在于，将所述新的矩形区域与所述窗口区域进行匹配，得到匹配结果，包括：

判断所述新的矩形区域与所述窗口区域的交并比是否大于预设阈值；

如果是，则匹配成功，并将所述新的矩形区域的类别设置为所述窗口的类别；

如果否，则匹配不成功，并将所述新的矩形区域的类别设置为其他窗口。

8.根据权利要求1所述的屏幕实时隐私保护方法，其特征在于，通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测，包括：

计算所述当前帧图像与所述上一帧图像的直方图的误差；

如果所述直方图的误差小于设定阈值，则所述当前帧图像与所述上一帧图像相似；

如果所述直方图的误差大于或等于所述设定阈值，则所述当前帧图像与所述上一帧图像不相似；

如果所述当前帧图像与所述上一帧图像相似，则不进行窗口检测；

如果所述当前帧图像与所述上一帧图像不相似，则进行窗口检测。

9.一种屏幕实时隐私保护装置，其特征在于，所述装置包括：

提取模块，用于获取第一视频流，对所述第一视频流进行提取，得到M帧图像；

组合模块，用于当在普通模式下，将每帧图像通过图像隐私区域检测算法，得到图像组帧，将所述图像组帧进行组合后，得到第二视频流；

选取模块，用于当在自适应模式下，从所述M帧图像中选取任一帧图像作为当前帧图像；

窗口检测模块，用于通过图像相似性检测算法判断所述当前帧图像是否进行窗口检测；

第一模糊处理模块，用于在不进行窗口检测的情况下，采用上一帧图像的模糊区域坐标进行模糊处理；

第一图像与模糊区域坐标获取模块，用于在进行窗口检测的情况下，将所述当前帧图像通过所述图像隐私区域检测算法，得到第一图像与模糊区域坐标，重复所述自适应模式的过程，直至所述每帧图像均被遍历；

第二图像与模糊区域坐标获取模块，用于当在加速模式下，将所述M帧图像通过所述图像隐私区域检测算法，得到第二图像与模糊区域坐标；

第二模糊处理模块，用于将所述第一图像与模糊区域坐标或所述第二图像与模糊区域坐标进行模糊处理，得到处理后的图像，并将所述处理后的图像进行组合后，得到第三视频流。

10.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法。

Images