CN103218579A - 一种防止屏幕内容被偷窥的方法及其移动终端 - Google Patents

Abstract

本发明公开了一种防止屏幕内容被偷窥的方法及其移动终端，方法包括：获取图像，提取预定帧中人脸的面部特征信息并判断是否与预存面部特征信息匹配：不匹配时提取其姿态信息，判断是否与预存非偷窥姿态特征匹配；不匹配则提示用户屏幕内容被偷窥；能主动对屏幕内容进行保护，判断条件更严谨、合理，可以解决现有技术中无法检测出屏幕正前方除用户以外的人偷窥屏幕内容的问题，以及对行人误判断的问题，提高了判断的准确性。

Description

一种防止屏幕内容被偷窥的方法及其移动终端

技术领域

本发明涉及移动终端技术领域，具体涉及的是一种防止屏幕内容被偷窥的方法及其移动终端。 

背景技术

笔记本电脑、平板电脑、智能手机等便携式移动终端已成为人们日常生活中必不可少的电子设备。用户经常在一些公共场合，例如快餐店、火车站、飞机场等地方使用便携式移动终端观看电影、浏览网页、接收电子邮件、视频聊天等。为了保护公共场合下的用户正在使用的私人信息内容不泄露，需要防止用户旁边或者后面有人偷窥移动终端显示屏上的内容。

目前有两种具有代表性的技术试图解决上述安全性的问题。第一种技术方案提供了一种用于显示器的防窥视屏幕，该屏幕具有一个偏振薄膜和一个双折射薄膜，能以直角（或接近直角）的方向透射显示器所发出的大部分光线，但不能透射从显示器发出的大部分水平非直角的光线；从而只有位于显示器前方的人才能看见显示器上的内容。第二种技术方案提供了一种在电脑上防止偷窥的方法及具有所述方法的电脑（专利申请号为200810116346.2）。用户预先在所述电脑中存储对所述电脑有使用权限的人的人脸面部特征信息，由摄像头采集显示器的屏幕前特定距离的包括人脸图像信息在内的图像，提取出每个人脸图像参数后与预先存储的具有使用权限的人的人脸面部特征信息进行匹配。当有一张人脸与预存储的人脸面部特征信息不匹配时，对电脑的显示屏进行信息保护动作。

但是，第一种技术方案对薄膜的性能要求较高，会增加额外的硬件成本，且不能防止他人从屏幕的正后方观察屏幕的内容。第二种技术方案对于坐在用户旁边或者从用户背后经过的人会造成误判断，实际上这些人并不都是偷窥者，但因为他们的人脸图像没有预先存储在所述电脑中而被误检测，从而会频繁地对显示屏进行信息保护工作；这种技术方案的准确性不高，产生的误判断会中断用户的使用，给用户带来不便。 

因此，现有技术还有待于改进和发展。 

发明内容

本发明的目的在于提供一种防止屏幕内容被偷窥的方法及其移动终端，以解决目前屏幕内容保护技术准确性不高，误判给用户的使用带来不便的问题。

为了达到上述目的，本发明采用如下技术方案：

一种防止屏幕内容被偷窥的方法，其包括：

A、获取图像，提取预定帧图像的人脸的面部特征信息，判断所有人脸的面部特征信息是否与预存面部特征信息匹配：不匹配时执行步骤B；

B、提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配；如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

所述的防止屏幕内容被偷窥的方法，其中，所述步骤B具体包括：

B1、计算每个人脸相对于图像获取设备的偏离角度；

B2、判断每个偏离角度是否大于预定角度：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

所述的防止屏幕内容被偷窥的方法，其中，在所述步骤B之后，还包括：

C、提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

所述的防止屏幕内容被偷窥的方法，其中，在所述步骤C之后还包括，

D、判断人脸存在的时间是否小于预定阈值：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

所述的防止屏幕内容被偷窥的方法，其中，

在所述步骤A之前还包括：在启动屏幕内容保护模式时，启动图像获取设备；

在所述步骤D之后还包括：隔预定时间提示用户是否退出屏幕内容保护模式，当退出屏幕内容保护模式时删除本次存储的图像。

一种用于实现所述的防止屏幕内容被偷窥的方法的移动终端，其包括：

图像获取设备，用于获取图像，提取预定帧并传输至下述人脸识别模块；

人脸识别模块，用于提取预定帧中人脸的面部特征信息，判断预定帧中所有人脸的面部特征信息是否与人脸数据库中的预存面部特征信息匹配；

姿态识别模块，用于提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配；

提示模块，用于提示用户屏幕内容被偷窥。

所述的防止屏幕内容被偷窥的移动终端，其中，所述姿态识别模块包括：

计算器，用于计算每个人脸相对于图像获取设备的偏离角度；

第一判断单元，用于判断每个偏离角度是否大于预定角度。

所述的防止屏幕内容被偷窥的移动终端，其还包括视觉注视点识别模块，用于提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外。

所述的防止屏幕内容被偷窥的移动终端，其还包括控制模块，用于判断人脸存在的时间是否小于预定阈值。

所述的防止屏幕内容被偷窥的移动终端，其中，所述提示模块还用于隔预定时间提示用户是否退出屏幕内容保护模式，当退出屏幕内容保护模式时控制图像获取设备删除本次存储的图像。

本发明所提供的一种防止屏幕内容被偷窥的方法及其移动终端，通过图像获取设备获取图像，对预定帧中的人脸依次进行面部特征信息匹配和姿态信息匹配，只有当所述人脸与预存面部特征信息不匹配，与预存非偷窥姿态特征不匹配时才认为是偷窥人脸，此时提示用户屏幕内容被偷窥，能主动对屏幕内容进行保护，判断条件更严谨、合理，可以解决现有技术中无法检测出屏幕正前方除用户以外的人偷窥屏幕内容的问题，以及对行人误判断的问题，提高了判断的准确性。

附图说明

图1是本发明防止屏幕内容被偷窥的方法流程图。

图2是本发明用于实现防止屏幕内容被偷窥的移动终端的结构示意图。

具体实施方式

本发明提供一种防止屏幕内容被偷窥的方法及其移动终端，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的防止屏幕内容被偷窥的方法相应地增加了判断条件对疑似偷窥人脸进行逐级判断，合理地安排了判断条件的先后顺序，能确保判断结果的正确性，避免了在公共场合下对用户背后偷窥人员的漏判、以及从用户背后经过的人员的误判，从而减少了对用户使用时的干扰；且无需增加额外的硬件成本。

请参阅图1，其为本发明防止屏幕内容被偷窥的方法流程图。如图1所示，所述防止屏幕内容被偷窥的方法包括：

S100、获取图像，提取预定帧图像的人脸的面部特征信息，判断所有人脸的面部特征信息是否与预存面部特征信息匹配：不匹配时执行步骤S200；获取到的所述图像可以按帧保存，便于终端提取预定帧图像分析人脸的面部特征信息。

S200、提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配；如果是，则返回步骤S100；否则，提示用户屏幕内容被偷窥。

在所述步骤S100之前，还包括步骤：在启动屏幕内容保护模式时，启动图像获取设备。移动终端的显示屏上设置有启动屏幕内容保护模式的相应图标或按键，点击该图标或按下按键时会弹出一用户对话框，询问用户是否需要启动屏幕内容保护模式。当用户确定时即可进入屏幕内容保护模式，并开启图像获取设备。所述图像获取设备在本实施例中包括用于获取图像的摄像头，用于按帧保存图像的存储控制模块，以及用于提取预定帧的提取单元。通过设置的图标或按键可以使用户有选择性地启动屏幕内容保护模式，在屏幕内容可开放的情况下，如用户演示PPT文档时不用进入屏幕内容保护模式，对图标或按键不操作即可。在具体实施时，移动终端默认上电时自动弹出所述用户对话框询问用户是否需要启动屏幕内容保护模式。

在步骤S100中，所述图像获取设备获取的图片为显示屏前特定距离的包括人脸图像信息在内的图像，图像拍摄范围的大小由图像获取设备中摄像头的镜头决定，其为现有技术，本发明对此不作要求。所述图像由多个视频帧组成，例如拍摄的图像在1秒钟传输了30帧的视频帧。本发明将每隔预定帧数的下一视频帧作为预定帧提取出来进行后续步骤的处理，可设置预定帧数为8帧或者50帧。以30帧为例，刚启动图像获取设备时，在1秒内存储了30帧，则第2秒的第一帧（第31帧）即为预定帧，再相隔30帧后第62帧为下一个预定帧，依此类推。本发明进行图像处理时仅对提取的预定帧内的人脸图像进行处理，无需对每个视频帧都进行图像处理，减轻了移动终端的图像处理强度，在秒级内的判断不会影响结果的准确性。所述图像在1秒钟内传输的帧数、以及预定帧数的设置可以进行适当的调整。

本实施例先判断获取的人脸是否为具有观看权限的人脸，在步骤S100中采用人脸识别技术。在进行屏幕内容保护前，用户会预先拍摄一些人脸，提取出所述人脸对应的面部特征信息存储在移动终端的人脸数据库中，即为预存面部特征信息。这些预存面部特征信息被授予可观看屏幕的权限。进入步骤S100后先提取当前获取的图像中所有人脸的面部特征信息、并标识序号以供区分。将每个人脸的面部特征信息与预存面部特征信息进行比较，相同则匹配，不同则不匹配。

接着，本实施例要对与具有观看权限不匹配的人脸进行进一步地判断，所述步骤S200采用姿态识别技术，其具体包括：

步骤21、计算每个人脸相对于图像获取设备的偏离角度。

步骤22、判断每个偏离角度是否大于预定角度：如果是，则返回步骤S100；否则，提示用户屏幕内容被偷窥。

与具有观看权限不匹配的人脸可能是某人经过时被拍摄下来，其不一定就是偷窥者，为了避免误判可以将所有与预存面部特征信息不匹配的人脸标记为一级疑似偷窥人脸，接着计算出一级疑似偷窥人脸相对于摄像头的偏离角度，包括相对于摄像头上下、或者左右偏离的角度。大于预定角度说明该人脸侧向（头偏左或偏右，抬头或低头）面对屏幕的角度无法偷窥屏幕上的内容，认为此人没有偷窥。小于预定角度说明该人脸面对屏幕的角度能偷窥到屏幕上的内容，将这种情况下的人脸标记为二级疑似偷窥人脸。预定角度的数值选择在一定程度上决定了判断的准确性，较优地设置偏离角度为60度。

基于一些特殊情况，例如有时脸部面对屏幕，但视线可能看着其他地方，为了避免误判，提高判断的准确性，本实施例在人脸相对于摄像头的偏离角度可能会看见屏幕内容的情况下，对眼睛是否盯着屏幕做进一步的判断。较优地，在所述步骤S200之后还包括步骤300、提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外：如果是，则返回步骤S100；否则，提示用户屏幕内容被偷窥。进入步骤S300后采用视线追踪技术中的瞳孔-角膜反射向量来提取视觉注视点，此为现有技术，本发明对此不作赘述。步骤S300中所述的人脸即是上述的二级疑似偷窥人脸；可以将视觉注视点落在屏幕内的二级疑似偷窥人脸标记成三级疑似偷窥人脸以便于区分。

基于一些特殊情况，例如人们经过用户后面时会下意识地扫一眼屏幕上的内容。为了避免误判断，本实施还可以判断视觉注视点落在屏幕上的人脸存在的时间，相当于判断三级疑似偷窥人脸观看屏幕的时间长短，来分辨其是偷窥还是瞅一眼就离开，较优地，在所述步骤S300之后，还包括步骤S400、判断人脸存在的时间是否小于预定阈值：如果是，则返回步骤S100；否则，提示用户屏幕内容被偷窥。

所述步骤S400具体包括：

步骤41、记录人脸的预定帧第一次出现的时间并标定为初始时间。

步骤42、记录当前人脸的预定帧出现的时间并标定为判断时间.

步骤43、判断所述判断时间减去初始时间是否小于预定阈值：如果是，则返回步骤S100；否则，提示用户屏幕内容被偷窥。

假设预定阈值为3秒，每两个相邻的预定帧之间的时间间隔为2秒，对上述三级疑似偷窥人脸做进一步判断。有三级疑似偷窥人脸的预定帧第一次出现的初始时间为5秒，则当前（即第一次）人脸的判断时间也为5秒，判断时间减去初始时间为0秒即小于预定阈值的3秒，之后返回步骤S100继续判断下一预定帧。若三级疑似偷窥人脸仍在继续偷窥屏幕，则经过上述步骤S200~S300的判断后，其再次被标记为三级疑似偷窥人脸，记录当前（即第二次）人脸的判断时间为7秒，此时判断时间（7秒）减去初始时间（5秒）小于预定阈值3秒，之后返回步骤S100继续判断下一预定帧。当该人脸再次被标记为三级疑似偷窥人脸时，记录当前（即第三次）人脸的判断时间为9秒，此时判断时间（9秒）减去初始时间（5秒）大于预定阈值3秒，则可以确定此时的三级疑似偷窥人脸即是偷窥人脸，可提示用户屏幕内容被偷窥。

在具体实施时，可以将被确定为偷窥人脸的预定帧的图像以窗口方式全屏显示在屏幕上，防止屏幕内容被偷窥，并用框线框出判断时间减去初始时间小于预定阈值的三级疑似偷窥人脸，以提示用户。

在进行屏幕内容保护时，本实施例每隔预定时间弹出一用户对话框提示用户是否退出屏幕内容保护模式，也可设置一关闭图标或按键由用户自主退出。当退出屏幕内容保护模式时删除本次存储的所有图像，节省存储空间。

基于上述防止屏幕内容被偷窥的方法，本发明实施例还提供一种用于实现上述防止屏幕内容被偷窥的移动终端。所述移动终端为带摄像头的智能手机或者个人电脑，如图2所示，其包括图像获取设备10、人脸识别模块20、姿态识别模块30和提示模块60。所述人脸识别模块20、姿态识别模块30和提示模块60依次连接。图像获取设备10连接人脸识别模块20、姿态识别模块30。

图像获取设备10包括摄像头，存储控制模块，以及提取单元。通过摄像头获取图像，存储控制模块对图像进行按帧保存，提取单元提取预定帧并传输至人脸识别模块20中。人脸识别模块20用于提取预定帧中人脸的面部特征信息，判断预定帧中所有人脸的面部特征信息是否与人脸数据库中的预存面部特征信息匹配：当匹配时人脸识别模块20输出第一反馈信号至图像获取设备10中的提取单元提取下一预定帧；当不匹配时将当前预定帧传输至姿态识别模块30。

姿态识别模块30用于提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配：当匹配时姿态识别模块30输出第二反馈信号至图像获取设备10中的提取单元提取下一预定帧，当不匹配时控制提示模块60提示用户屏幕内容被偷窥。其中，所述人脸数据库中设置在人脸识别模块20中。所述姿态识别模块30包括计算器301和第一判断单元302，所述计算器301连接第一判断单元302。

计算器301用于计算每个人脸相对于图像获取设备10中摄像头的偏离角度。第一判断单元302判断每个偏离角度是否大于预定角度：当大于时认为姿态信息与预存非偷窥姿态特征匹配，输出第二反馈信号至图像获取设备10中提取下一预定帧，当小于时控制提示模块60提示用户屏幕内容被偷窥。

所述移动终端还包括视觉注视点识别模块40，其连接在姿态识别模块30与提示模块60之间。所述视觉注视点识别模块40用于提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外：当落在屏幕上时控制提示模块60提示用户屏幕内容被偷窥；当落在屏幕外时，视觉注视点识别模块40输出第三反馈信号至图像获取设备10中的提取单元提取下一预定帧。

所述移动终端还包括控制模块50，其连接在视觉注视点识别模块40与提示模块60之间。所述控制模块50用于判断人脸存在的时间是否小于预定阈值：当小于时输出第四反馈信号至图像获取设备10中的提取单元提取下一预定帧，当大于时提示用户屏幕内容被偷窥。在具体实施时，所述控制模块50包括计时器和第二判断单元，所述计时器连接第二判断单元。计时器用于记录人脸的预定帧第一次出现的时间并标定为初始时间，以及记录当前人脸的预定帧出现的时间并标定为判断时间。第二判断单元用于判断所述判断时间减去初始时间是否小于预定阈值；如果小于，则认为人脸存在的时间小于预定阈值，输出第四反馈信号至图像获取设备10中的提取单元提取下一预定帧；如果大于则认为人脸存在的时间大于预定阈值，提示用户屏幕内容被偷窥。

所述提示模块60还用于隔预定时间提示用户是否退出屏幕内容保护模式，当退出屏幕内容保护模式时发送一清除命令至图像获取设备10的存储控制模块。所述图像获取设备10中存储控制模块还用于根据接收的清除命令删除本次存储的图像。

综上所述，本发明启动屏幕内容保护模式时，开启图像获取设备获取图像，从中提取出预定帧传输至人脸识别模块进行人脸的面部特征信息提取，判断预定帧中所有人脸的面部特征信息是否与人脸数据库中的预存面部特征信息匹配。当不匹配时将当前预定帧传输至姿态识别模块进行第一次标记，即将人脸标记为一级疑似偷窥人脸，提取一级疑似偷窥人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配。当不匹配时将当前标记后的预定帧传输至视觉注视点识别模块进行第二次标记，即将一级疑似偷窥人脸标记为二级疑似偷窥人脸，提取二级疑似偷窥人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外。当落在屏幕上时当前标记后的预定帧传输至控制模块进行第三次标记，即将二级疑似偷窥人脸标记为三级疑似偷窥人脸，判断所述三级疑似偷窥人脸存在的时间是否小于预定阈值；当大于时提示用户屏幕内容被偷窥。本发明能主动对屏幕内容进行保护，合理设置每级的判断条件，相较于现有技术能防止屏幕正前方除用户以外的人偷窥屏幕上的内容，避免出现对行人的误判断导致计算机频繁地进行信息保护工作而影响用户使用的问题，提高了判断的准确性和合理性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种防止屏幕内容被偷窥的方法，其特征在于，包括：

A、获取图像，提取预定帧图像的人脸的面部特征信息，判断所有人脸的面部特征信息是否与预存面部特征信息匹配：不匹配时执行步骤B；

B、提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配；如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

2.根据权利要求1所述的防止屏幕内容被偷窥的方法，其特征在于，所述步骤B具体包括：

B1、计算每个人脸相对于图像获取设备的偏离角度；

B2、判断每个偏离角度是否大于预定角度：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

3.根据权利要求1所述的防止屏幕内容被偷窥的方法，其特征在于，在所述步骤B之后，还包括：

C、提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

4.根据权利要求3所述的防止屏幕内容被偷窥的方法，其特征在于，在所述步骤C之后还包括：

D、判断人脸存在的时间是否小于预定阈值：如果是，则返回步骤A；否则，提示用户屏幕内容被偷窥。

5. 根据权利要求4所述的防止屏幕内容被偷窥的方法，其特征在于，

在所述步骤A之前还包括：在启动屏幕内容保护模式时，启动图像获取设备；

在所述步骤D之后还包括：隔预定时间提示用户是否退出屏幕内容保护模式，当退出屏幕内容保护模式时删除本次存储的图像。

6.一种用于实现权利要求1所述的防止屏幕内容被偷窥的方法的移动终端，其特征在于，包括：

图像获取设备，用于获取图像，提取预定帧并传输至下述人脸识别模块；

人脸识别模块，用于提取预定帧中人脸的面部特征信息，判断预定帧中所有人脸的面部特征信息是否与人脸数据库中的预存面部特征信息匹配；

姿态识别模块，用于提取人脸的姿态信息，判断所述姿态信息是否与预存非偷窥姿态特征匹配；

提示模块，用于提示用户屏幕内容被偷窥。

7.根据权利要求6所述的防止屏幕内容被偷窥的移动终端，其特征在于，所述姿态识别模块包括：

计算器，用于计算每个人脸相对于图像获取设备的偏离角度；

第一判断单元，用于判断每个偏离角度是否大于预定角度。

8. 根据权利要求7所述的防止屏幕内容被偷窥的移动终端，其特征在于，还包括视觉注视点识别模块，用于提取人脸的视觉注视点，判断所述视觉注视点是否落在屏幕外。

9.根据权利要求8所述的防止屏幕内容被偷窥的移动终端，其特征在于，还包括控制模块，用于判断人脸存在的时间是否小于预定阈值。

10.根据权利要求9所述的防止屏幕内容被偷窥的移动终端，其特征在于，所述提示模块还用于隔预定时间提示用户是否退出屏幕内容保护模式，当退出屏幕内容保护模式时控制图像获取设备删除本次存储的图像。

Images