CN108647504B - 实现信息安全显示的方法及系统 - Google Patents

Abstract

本发明提出一种实现信息安全显示的方法，包括以下步骤：获取目标空间中的人脸图像；通过图像特征提取算法，对比所述人脸图像与预先训练的授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息，并根据非授权人的眼球位置及人脸朝向确定非授权人存在窥探显示器的倾向时，执行防窥探操作。本发明还提出一种实现信息安全显示的系统及智能移动终端，也能够精准判断周围是否有旁人在窥探显示器，当发现确实有旁人在窥探显示器时，执行防窥探操作，避免因显示器所显示的重要内容被旁人窥探而导致的信息泄露，保证信息的安全显示。

Description

实现信息安全显示的方法及系统

技术领域

本发明涉及可计算机技术领域，特别涉及一种实现信息安全显示的方法及系统。

背景技术

随着笔记本电脑、平板电脑、智能手机等智能移动终端的功能日益强大，其所处理的事情也越来越多，比如远程办公、网络购物、网络支付等。为了便于处理个人事务或者公司事务，人们往往会将重要的信息存储在智能移动终端中，尤其是智能手机。当人们在公共场所，例如餐厅、公交、地铁或者电梯等人员相对密集的区域使用智能移动终端时，显示器所显示的内容很容易被旁人所窥探。如果不能及时发现旁人的刻意窥探，必然导致隐私信息、重要机密、支付密码等信息的泄露，甚至有可能因信息泄露而遭受诈骗，造成经济损失。

目前笔记本电脑、平板电脑、智能手机等智能移动终端缺乏一种合理的防窥探机制，信息显示的安全问题急需解决。

发明内容

本发明的目的是为了解决现有技术中的信息安全显示的问题，提出一种实现信息安全显示的方法及系统。

本发明实现信息安全显示的方法，包括以下步骤：获取目标空间中的人脸图像；通过图像特征提取算法，对比所述人脸图像与授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；当目标空间存在所述非授权人的人脸信息时，分析至少两幅所述非授权人的人脸图像，确定所述非授权人的眼球位置及人脸朝向，以获取所述非授权人的眼球特征数据；当所述非授权人的眼球特征数据满足窥探条件时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作。

在优选的实施方式中，所述图像特征提取算法包括图像层叠算法、特征点比对算法、图像去雾优化算法、对比度增强算法中的任意一种或任意组合。

在优选的实施方式中，所述脸部特征信息包括人脸轮廓信息、深度信息以及彩色信息中的任意一种或任意组合。

在优选的实施方式中，所述眼球特征数据包括眼球注视方向数据、眼球凝视时间数据。在更优选的实施方式中，所述眼球凝视时间数据是通过计算、分析至少两幅所述非授权人眼球位置保持不变的连续的人脸图像获得；或者所述眼球凝视时间数据是通过计算、分析至少两幅所述非授权人眼球位置变化幅度小于预设临界值的连续的人脸图像获得。

在优选的实施方式中，所述窥探条件包括，所述非授权人的眼球注视方向与所述显示器所在平面的向量夹角为0°-180°中任意数值；并且所述非授权人的眼球凝视时间超过预设的临界时间。

在优选的实施方式中，所述防窥探操作包括发出提醒警报、输出提醒标识以及关闭所述显示器中的一种或任意组合。

本发明还提出一种实现信息安全显示的系统，包括：显示器，显示信息；深度相机，获取目标空间中全部或部分人脸图像；处理器，通过图像特征提取算法，对比所述人脸图像与授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；当目标空间存在所述非授权人的人脸信息时，分析至少两幅所述非授权人的人脸图像，确定所述非授权人的眼球位置及人脸朝向，以获取所述非授权人的眼球特征数据；当所述非授权人的眼球特征数据满足窥探条件时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作。

在优选的实施方式中，上述实现信息安全显示的系统还包括存储器，用于短暂或永久存储所述目标空间中的人脸图像、所述图像特征提取算法以及调用指令，以便所述处理器提取、分析所述人脸图像中的全部或部分特征信息。

本发明还提出一种含有信息安全显示系统的智能移动终端，包括：显示屏，显示信息；深度相机，获取目标空间中的人脸图像；移动终端中央处理器，通过图像特征提取算法，分析、比对所述人脸图像与授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；以及当目标空间存在所述非授权人的人脸信息时，分析至少两幅所述非授权人的人脸图像，确定所述非授权人的眼球位置及人脸朝向，以获取所述非授权人的眼球特征数据；当所述非授权人的眼球特征数据满足窥探条件时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作。

与现有技术相比，本发明的有益效果有：

本发明实现信息安全显示的方法及系统，通过获取目标空间中的人脸图像；并通过图像特征提取算法，对比所述人脸图像与预先训练的授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息，并根据非授权人的眼球位置及人脸朝向，能够精准判断周围是否有旁人在窥探显示器，当发现确实有旁人在窥探显示器时，执行防窥探操作，避免因显示器所显示的重要内容被旁人窥探而导致的信息泄露，保证信息的安全显示。

附图说明

图1是本发明一个实施例中实现信息安全显示的系统的结构示意图及应用场景示意图。

图2是本发明一个实施例中搭载信息安全显示系统的智能移动终端的硬件结构示意图。

图3是本发明一个实施例中基于眼球追踪判定窥探的方法流程图。

图4是本发明一个实施例中基于人脸表情特征判定窥探的方法流程图。

图5是本发明一个实施例中人脸表情特征点分布示意图。

图6是本发明一个实施例中具有防窥探功能的智能手机结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

基于深度相机的人脸识别系统，可被应用于安检、监控、解锁、支付等领域。相比于传统的RGB相机(彩色相机)，深度相机及其软、硬设备不仅能够获取目标人脸的轮廓信息，还可以提取目标人脸的深度信息；借助于计算机或处理器的逻辑运算(比如，三角测量算法)，可以实现目标人脸的三维重建。一些实施方案中，基于深度相机的人脸识别系统，通过匹配目标人脸的三维信息与授权人脸信息的三维信息，并计算、分析二者之间的差异，实现人脸的识别功能。这里的授权人脸信息，指的是人脸识别系统通过对特定用户(授权用户)的人脸信息进行扫描，并将所获得的人脸信息储存在非易失性可读存储介质中。此外，基于深度相机的人脸识别系统还具有更好的环境适应性和稳定性。具体地，比如，集成了IR投影装置和IR图像采集装置的深度相机，即使在黑暗的环境中也能准确地获取目标人脸的深度信息，以便人脸识别系统准确识别目标人脸的信息；再比如，基于活体生物皮肤对红外光束的反射/吸收差异，深度相机还能准确地判断目标人脸/皮肤材质的真伪，以防止伪造人皮面具或照片蒙蔽人脸识别系统，提高人脸识别的可靠性。

在深度相机人脸识别技术的基础上，本发明提供了一种信息安全显示系统，以实现智能移动终端(包括笔记本电脑、平板电脑、智能手机等)的信息显示安全。

图1是根据本发明实施例的一种基于深度相机实现信息安全显示的系统的结构示意图及应用场景示意图。该信息安全显示系统100包括，显示器10、电脑/处理器11、深度相机12。

显示器10通过接口、协议等软、硬件与电脑/处理器11连接，用于信息/数据/内容的展示，以便用户13(在系统中被预先训练的授权人)获取期望的信息/数据/内容。深度相机12包括投影装置、图像采集装置或者还包括RGB相机，设置/固定在显示器10一侧的任意位置上，用于获取用户13所在空间的深度信息以及该空间中的一个或多个人脸图像(比如，用户13、非授权人14的人脸信息)，或者还包括目标空间、人脸的彩色信息、轮廓信息等。

一种实施例中，深度相机的投影装置向用户所在的空间投射红外图案化光束(比如，红外散斑光束或红外光脉冲)，以对用户和用户所在的空间进行标记；深度相机的图像采集装置捕捉投影在用户表面或空间表面的红外光图案并传输至计算机/处理器中；计算机/处理器通过计算所述红外光图案与标准红外光图案之间的畸变值，获得用户人脸的深度信息、目标空间的深度信息或者还包括目标空间中其他人脸的深度信息(比如非授权人脸的深度信息/眼球凝视方向信息等)。这里的标准红外光图案指的是，当目标空间不存障碍物时，图像采集装置每隔一段时间或一段空间采集一幅光图案，记录所述光图案的全部几何或空间特征并存储在非易失性可读存储介质中。

当用户在公共场所使用智能移动终端时，一种实施方式中，搭载于该智能移动终端的信息安全显示系统，其处理器通过图像层叠算法等图像特征提取算法，计算、分析深度相机所捕捉的光图像(包括人脸图像)，以获取用户和/或非授权人的脸部特征信息，并基于人眼角膜对红外光束独特的反射机制，确定除了用户以外的非授权人的眼球特征数据(比如，眼球凝视方向数据和/或眼球凝视时间数据)；当非授权人的眼球特征数据满足特定的窥探条件时，认定非授权人存在窥探显示器的倾向；此时，信息安全显示系统及时向用户发出警示、提醒或者关闭显示器，以实现信息的安全显示。

在一些其他实施例中，智能移动终端还可以根据麦克风、深度相机等软、硬件设备获取用户所在环境的声音、图像信息，并根据所述声音、图像信息评估用户所处环境，实现信息安全系统的智能开启或关闭功能。具体地，一种实施方式中，智能移动终端通过麦克风连续或间接获取用户所在环境的声音信息，并将所获取的环境声音比对预先在各种环境中训练所得音频信息，确定用户所处的具体环境状况，以智能开启/关闭信息安全显示系统。在一些其他等效实施例中，智能移动终端也可以根据用户的自身意愿，选择性开启或关闭该信息安全显示系统。

图2是根据本发明实施例的一种搭载信息安全显示系统的智能移动终端结构组合示意图。该智能移动终端一般包括处理器20以及与之相连接的显示器21、麦克风22、深度相机23、接口24、存储器25、电源26、音频装置27、MEMS传感器28、射频及基带处理器29，或者还包括环境光/接近传感器30等设备。需要理解的是，不同设备之间可以通过电路连接实现数据的交换或处理；此外，图2所示的智能移动终端的结构组合图仅为示意图，不能理解为对本发内容的限制，在其他等效实施例中，智能移动终端所包含的结构、设备可以更多或者更少。

处理器20用于对智能移动终端的整体控制、数据处理，包括开启/关闭相关设备采集数据、存储数据，调用、分析数据等；处理器20可以是控制/处理某单一设备的处理器，也可以是集成控制/处理多个设备的中央处理器CPU。

显示器21用于信息的展示，以便用户获取期望的信息，包括图片、视频、文字、符号、数据等；此外，部分智能移动终端的显示器还可以是具有触控输入功能的电容/电阻显示屏/OLED(有机电致发光二极管)柔性屏，以便用户编程、处理相关显示信息等人机交互操作。

麦克风22用于将用户/环境的声音信息转换为电信息，以便用户更好地与智能移动终端进行信息交互。

深度相机23用于获取用户人脸、非授权人的全部或部分人脸图像、环境的深度信息、用户或其他非授权人眼球凝视方向信息、表情特征信息等，包括投影装置、图像采集装置、RGB相机等部件。在一些实施例中，投影装置向用户或用户所在的空间投射波长为850nm或者940nm的红外图案化光束或者可见图案化光束，比如散斑光束(散斑光图案)；图像采集装置采集落于用户或空间内的光图案，以提取用户的人脸深度信息或空间深度信息；RGB相机直接获取人脸或空间内的颜色信息、轮廓信息或者灰度信息。在一些等效实施例中，深度相机也可以是飞行时间深度相机(TOF深度相机)，该深度相机的投影装置以特定频率/时间周期向用户或用户所在的空间发射激光束；图像采集装置获取用户或空间反射回来的激光束；处理器通过计算激光束从发射到被图像采集装置捕获所需的时间差值来确定用户或空间的深度信息。在一些其他的实施例中，智能移动终端还可以包括双目结构光深度相机、光场相机、广角相机、长焦相机、变焦相机、鱼眼相机等。

接口24用于实现智能移动终端内部或外部软、硬的连接端口，以进一步实现数据的传输、电力传输等功能，比如I/O接口、网络接口、USB接口、WIFI接口等。

存储器25包括寄存器、RAM、FLASH、硬盘等易失性或非易失性可读存储介质，用于暂时或永久性保存应用程序、数据、访问指针、地址等。具体地，存储器25存储的内容包括但不仅限于：存储授权用户在人脸识别训练过程中产生的人脸深度信息数据；眼球凝视极限时间数据251(用于判断窥探者的临界时间数据)；或者人脸表情特征数据252等。此外，存储器25还用于存储处理器20在执行某项任务时所产生的代码和数据。可以理解的是，存储器作为智能移动终端的一部分，也可以独立于移动终端存在，比如云端存储器，其所保存的数据可以通过某些特定的通讯协议或访问端口存储/获取。一般地，人脸识别系统或基于深度相机信息安全显示系统，其应用程序及数据应当存储在非易失性可读存储介质中，以便处理器调用、计算相关的数据。

电源26电力供应设备，用于保证智能移动终端内部/外部硬件、设备提供必要的电流或电压。音频装置27用于实现语音输出，如音响、喇叭、蜂鸣器等。

MEMS传感器28用于获取移动终端当前的状态信息，比如位置、方向，加速度、重力等信息，因此MEMS传感器可以包括但不仅限于：加速度计、重力计、陀螺仪等传感器。在一个实施例中，MEMS传感器28用于激活信息安全显示系统或人脸识别系统，比如当用户拿起智能移动终端时，自动开启人脸识别系统或信息安全显示系统。

射频及系带处理器29用于实现智能移动终端的通讯功能，比如接收基站发射的电磁波信号，并解调为相关视频/语音信号，以实现移动终端之间的信息交换。

智能移动终端还包括环境光/接近传感器，用于感测用户与显示器之间的物理距离或环境光束的强度。一般地，在某一特定的距离区间[L1,L2]内，环境光/接近传感器接收的光束，其光强会随用户的移动而发生微小变化。环境光/接近传感器通过将光束强度的变化转换成电信号的变化，并传输至处理器20中，以便处理器20间接唤醒休眠的智能移动终端或开启智能移动终端的人脸识别系统或信息安全显示系统。在一些实施例中，基于环境光/接近传感器所获得的光束强度信息，还可以实现显示器21亮度的自动调整，以便提供更为舒适的显示亮度；在一些其他应用中，还以可以根据该光束的强度信号，实现触控交互显示器的息屏功能，以免造成显示器的误触输入。

图3是根据本发明实施例的一种基于眼球追踪判定窥探的示意图。实现信息安全显示的方法以软件或者硬件的形式依附于智能移动终端中，若所述信息安全显示系统处于开启状态时，一种实施方式中，智能移动终端将通过如下步骤/方法判定环境中是否存在窥探者：

步骤S31：获取人脸图像。通过深度相机及相关软、硬件获取用户的人脸图像以及用户所在空间一定范围内的深度信息；可以理解的是，该空间范围内如果存在其他非授权人脸时，其他非授权人脸图像应当被一同获取；需要强调的是，所述人脸图像中包含脸部特征信息，所述脸部特征信息包括但不仅限于用户和/或其他非授权人的全部或部分人脸轮廓信息、深度信息以及彩色信息。

步骤S32：非授权人的人脸检测。处理器先后或同时执行至少两种信息/数据处理，具体包括：1、处理器通过调用相关程序访问并提取存储器中的授权人脸的信息数据；2、处理器通过图像比对算法、图像去雾优化算法、对比度增强算法等相关图像特征提取算法(比如基于OpenCV软件的图像特征点比对算法、图像层叠算法等)，对比、分析步骤S31中所获取的人脸图像与预存的授权人脸图像全部或部分脸部特征信息的差异，判断是否存在非授权人脸信息。一些等效实施方式中，处理器也可以通过分析S31中所获取的人脸数量，快速认定是否存在非授权人脸，即当空间中存在的人脸数量多于授权人脸数量时认定存在非授权人脸。当处理器判定不存在非授权人脸时，保持当前显示器的状态；当处理器判定存在非授权人脸时，进入下一步骤。

步骤S33：眼球跟踪。深度相机根据眼球角膜对红外光束的反射率区别于其他组织的反射率，确定用户或非授权人的眼球注视方向；当深度相机或其他软、硬设备检测到非授权人的眼球注视于显示器时，进入下一步骤。

步骤S34：眼球凝视时间检测。处理器判断非授权人眼凝视显示器的过程至少包括两个过程：1、深度相机及其相关软、硬设备通过连续或间歇追踪至少两幅非授权人的人脸图像，以确定非授权人的眼球凝视的方向，并间接记录非授权人眼球凝视时间；2、处理器通过相关调用程序访问、提取存储器中预设临界凝视时间数据，并比较非授权人眼凝视时间与临界凝视时间的大小，判定非授权人是否存在窥探倾向。当凝视时间小于预设临界凝视时间时，不满足窥探条件，认定非授权人不存在窥探行为，并保持当前显示器的状态；当凝视时间大于预设临界凝视时间时，满足窥探条件，认定非授权人存在窥探行为，并进入下一步骤。

步骤S35：防窥探操作。针对存在非授权人窥探显示器的情况，处理器执行防窥探操作，具体操作包括但不仅限于：通过用音频装置发出提醒警报，或通过显示器输出提醒标识，又或者通过相关控制电路直接关闭显示器等。

进一步地，为了更好理解步骤S33和步骤S34信息安全显示系统对非授权人的眼球追踪及凝视时间判定过程，假设智能移动终端的相关设备已检测出用户所在的空间存在至少一个非授权人脸信息，一种实施例中，深度相机的投影装置连续向目标空间(包括非授权人脸)投射红外图案化光束；深度相机的图像采集装置持续采集由目标空间中的红外光图案(红外图案化光束)，并将所获得的数据传输至处理器中；处理器通过红外光图案中的“亮点”(由于眼球角膜对红外光束反射率更高，因此图像采集装置所获取的红外光图案，对应于眼球位置的区域，其亮度更高)，确定眼球的位置，或者还包括人脸朝向。

一种实施方式中，处理器通过连续对比至少两幅所述红外光图案，确定红外光图案中“亮点”的位置变化及人脸朝向变化，实现非授权人眼球注视方向判断及跟踪。具体地，假设深度相机所获取的非授权人的人脸深度图像，其人脸朝向与显示器所在平面的向量夹角为N；则通过分析所述非授权人脸图像中的“亮点”位置，可以获得人脸所在坐标系的眼球相对注视方向与人脸朝向之间的向量夹角为L₁；可以理解的，转换至智能移动终端所在的坐标系或平面时，眼球相对于移动终端的实际注视方向与显示器所在平面的向量夹角L满足：L＝N+L₁。当所述眼球相对于移动终端的实际注视方向与显示器所在平面之间的向量夹角L满足0°-180°中任意夹角，则认定非授权人眼球注视显示器。进一步地，处理器通过对比至少两幅所述红外光图案“亮点”位置的变化，计算眼球凝视时间T。具体可通过连续对比m幅红外光图案，挑选出红外光图案集中“亮点”的位置不变或变化幅度较小的并且连续的红外光图案，假设满足该条件的红外光图案有m₁(m₁≤m)张，基于深度相机采集光图案的时间周期t，则可估算出人眼凝视显示器的时间T＝m₁*t。可以理解的，当非授权人眼凝视时间T≥T₀(T₀为预设的临界时间)时，认定满足窥探条件，非授权人存在窥探显示器信息的倾向，智能移动设备执行防窥探操作。

区别于传统RGB相机追踪人眼球的技术方案(由于传统RGB相机只能获取人脸的二维平面图像，一般无法直接获得人脸的朝向信息，从而导致处理器计算/获得的眼球注视方向存在较大误差)，该实施例的有益效果是：基于深度相机获取非授权人的人脸轮廓及深度信息，可以较为便捷地计算出非授权人的人脸朝向信息，以及在人脸坐标系内的相对眼球注视方向信息；进一步地，结合人脸朝向信息以及相对眼球注视方向信息，可以计算出相对于显示器坐标系的实际眼球注视方向。换而言之，该实施例的信息安全显示系统，对非授权人的眼球注视方向、眼球凝视时间的判断具有更高的精准度，有利于实现智能移动终端更可靠、更合理的信息安全显示机制。

在一些等效的实施例中，深度相机以一定周期/频率向目标空间投射红外光图案或者采集空间中的光图案。为了便于理解，假设深度相机开启/关闭投影装置的周期为T₁(T₁可以小于或等于临界时间T₀)，则图像采集装置每间隔T₁采集一张红外光图案。类似地，处理器也是通过跟踪红外光图案的“亮度”位置及人脸朝向，确定非授权人的眼球注视方向及凝视时间；区别在于，该实施例仅需通过匹配任意连续两个或多个周期内，红外光图案的“亮点”位置变化，以近似估算非授权人眼球凝视时间。举例说明，假设在连续3个周期内，深度相机获取的红外光图案，其“亮点”位置不发生变化，则可认为非授权人眼凝视时间为T≥3T₁。

这样设置的好处是，一方面，可以降低深度相机及智能移动终端的能耗，因为深度相机所采集红外光图案的数量将大大减少；另一方，简化了智能移动终端处理器的运算量，从而提升了信息安全显示系统的工作效率，缺点则是凝视时间的估算值与实际值可能存在着一定程度的偏差。

在其他的等效实施例中，还可直接使用TOF深度相机代替周期开启/关闭的结构光深度相机，以便提升信息安全系统的工作效率。

此外，由于深度相机获取的人脸信息还可以包括人脸的表情特征，因此该信息安全显示系统也可以基于用户、非授权人的表情特征的相似程度，判断非授权人是否存在窥探显示器的倾向，以实现信息的安全显示。

图4是根据本发明实施例的一种基于人脸表情特征判定窥探的示意图。该实施例中，智能移动终端(信息安全显示系统)可以通过如下步骤/方法判定空间中是否存在窥探者：

步骤S41：获取人脸图像。通过深度相机获取用户和/或非授权人全部或部分人脸图像；具体方法可参阅图3实施例的步骤S31，此处不再重复叙述。需要强调的是，所述人脸图像中包含脸部特征信息，所述脸部特征信息包括但不仅限于用户和/或其他非授权人的全部或部分人脸轮廓信息、深度信息以及彩色信息。

步骤S42：非授权人的人脸检测。处理器通过相关程序、对比算法，分析步骤S41所采集的人脸图像中是否存在非授权人的人脸信息，以确定是否存在非授权人；具体方法可参阅图3实施例的步骤S32，此处不再重复叙述。当深度相机获取的人脸图像中，不存在非授权人脸时，继续保持显示器当前的工作状态；当深度相机获取的人脸图像中存在非授权人脸时，进入下一步骤。

步骤S43：表情特征提取。处理器通过主元分析算法、独立分量分析算法、线性判别分析算法、Gabor小波算法、图像层叠算法、特征点标记算法等一种或多种组合算法对深度相机所获取的一张或多张人脸图像(包括用户、非授权人的人脸图像)进行处理，提取所述用户、非授权人全部或部分的脸部特征信息。脸部特征信息包括用户和/或其他非授权人的全部或部分人脸轮廓信息、深度信息以及彩色信息，或者还包括标定在用户、非授权人的脸部器官或褶皱部位的全部或部分特征点信息；以及将所述全部或部分特征点连接或拟合后，获得的特征点骨架信息。具体地，通过图像特征提取算法提取人脸整体/局部面部形态、人脸器官特征、肌肉纹理，或者还可以通过对预定义的特征点进行定位、提取，以获取用户或非授权人的表情特征(比如，生成人脸特征点骨架)，并进入下一步骤。

步骤S44：表情分析。处理器分析非授权人与用户是否存在同步表情的过程包括，处理器通过比对算法分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度。当非授权人脸与用户的表情特征相似度小于预设的临界值时，认定非授权人与用户具有不相同的感情色彩/心理状态，即非授权人不存在窥探显示器的倾向，继续保持显示器当前的工作状态；当非授权人的表情特征与用户的表情特征相似度大于预设的临界值时，认定非授权人与用户具有相同的感情色彩/心理状态，即非授权人可能存在窥探显示器信息的情况。在一些其他实施例中，处理器还可以通过连续或间歇匹配至少两幅人脸图像，获得一定时间范围内用户、非授权人的表情特征信息及其表情特征匹配度，以判断非授权人是否存在窥探显示器的情况。针对存在非授权人窥探显示器的情况，进入下一步骤。

步骤S45：防窥探操作。针对存在非授权人窥探显示器的情况，处理器执行防窥探操作，具体操作可参阅图3实施例的步骤S35，此处不再重复叙述。在一些其他等效实施例中，或者还包括输出用户、非授权人的表情特征匹配相似度，以量化非授权人窥探显示器的几率。

图5是根据本发明实施例的人脸表情特征点分布示意图。一般地，人脸表情特征500包括但不仅限于眉毛特征501、眼部特征502、鼻子特征503、嘴部特征504以及耳部特征505等。在一种实施例中，还可以使用至少两个特征点来标记人脸的某一器官的全部或部分特征信息，比如标记眉毛的特征点555。可以理解的，通过上述人脸的多个特征部位的变化趋势可以间接推算出用户或非授权人当前的感情色彩/心理状态，比如：喜、怒、哀、乐、惊、怕等。具体地，仅以“喜”所涵盖的部分表情特征作为示例进行简单阐述，需要强调的是，下文关于展现人物感情色彩/心理状态的表情特征描述，并非是对本发明人脸表情特征的限定，实际情况中还可能包括更多其他不同的表情特征。当用户或非授权人处于“喜”(高兴)状态时，其面部表情一般伴随嘴角的上扬、牙齿的裸露、上/下眼睑的弯曲、眉尖的上扬、脸颊肌肉的收缩/张弛或者还包括抬头纹、鱼尾纹的出现等。当深度相机获取的人脸信息吻合一个或多个所述表情特征时，可以认定用户或非授权人处于“喜”的状态。相似地，用户或非授权人的其他感情色彩/心理状态也可以通过其面部所伴随的表情特征来推断。

可以理解的，当用户和非授权人注视同一显示器时，用户和非授权人往往存在相同的感情色彩/心理状态，而表现出相同的表情特征。比如，当用户和非授权人在同一设备观看感兴趣的娱乐节目时，用户和非授权人的脸部特征一般会表现出全部或部分“喜”的表情特征。

进一步地，为了更好理解步骤S43和步骤S44信息安全显示系统对非授权人与授权人的表情特征提取及表情分析过程。结合图4-5实施例，假设智能移动终端设备检测出用户所在空间包括至少一个非授权人脸。一种实施方式中，处理器通过几何法或其他相关算法对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，并计算所标记特征点之间的距离以及特征点所在曲线的曲率，来获取用户、非授权人的脸部全部或部分区域的脸部特征信息。更进一步地，处理器可通过比对算法，比对用户、非授权人的脸部特征点之间的距离及特征点所在曲线的曲率，计算所述距离、所述曲率的大小差异，确定用户与非授权人表情特征匹配相似度，以判断非授权人是否存在窥探显示器的倾向。

在一些等效实施方式中，处理器通过拟合函数或其他合适算法，将标记用户、非授权人面部区域的特征点连接或拟合起，以获得用户、非授权人全部或部分面部特征点骨架信息；进一步地，处理器通过对比算法，比对用户、非授权人的面部特征点骨架信息数据之间的趋势或差异，确定用户与非授权人表情特征匹配相似度，以判断非授权人是否存在窥探显示器的倾向。

在其他的一些等效实施例中，信息安全显示系统还可以同时结合眼球跟踪算法、表情特征提取算法，分析非授权人眼球凝视显示器的时间以及分析非授权人与用户之间的表情特征相似度，以确定非授权人是否存在窥探显示器的倾向。

图6是根据本发明实施例的一种具有防窥探功能的智能手机结构示意图。智能手机600包括前置投影装置602、前置图像采集装置607。其中，投影装置602用于向目标空间投射红外图案化光束，图像采集装置607用于采集覆盖在目标空间/对象表面的红外光图案，智能手机还包括处理器(图中未示出)，处理器接收到红外光图案后用于计算出目标的深度图像，比如用户的人脸深度信息或轮廓信息。

在一些实施例中，智能手机还包括有红外泛光灯606，其可以发射出与投影装置602所发射红外图案化光束相同波长的红外光，在进行人脸图像采集过程中，可以通过将投影装置602与红外泛光灯606分时开关以分别获取用户的深度图像与红外图像。此时所获取的红外图像为纯红外图像，相对于深度图像而言，其含有的脸部特征信息更加明显。

在一些实施例中，可以利用基于TOF(时间飞行法)技术的深度相机，此时投影装置602用于发射光脉冲，而图像采集装置607通过接收光脉冲，处理器用于记录脉冲发射以及接收所利用的时间，根据时间计算出用户的深度图像。此时图像采集装置607可以同时获取用户的深度图像与红外图像，并且二者之间没有任何视差。

智能手机还可以包括听筒604、环境光/接近传感器605、指纹识别传感器608等器件以实现更多的功能。比如在一些实施例中，考虑到红外光对人体的危害性，当人脸靠的过近时，可以通过接近传感器605对人脸的接近度进行检测，当太近时关闭投影模组602的投影或减小投影功率。在一些实施例中，可以结合人脸识别以及听筒实现自动通话，比如当装置为通信装置时，装置收到来电后，启动人脸识别应用同时打开所需要的深度相机与红外相机采集深度图像与红外图像，当识别通过后，接通通话并打开听筒等器件以实现通话。比如在一些实施例中，指纹识别传感器608，可用于辅助唤醒智能手机，或提升智能手机信息显示的安全系数。

智能手机还可以包括屏幕601，即显示器，屏幕601可以用来显示数据/图像/视频等内容也可以用来进行触摸交互。比如，屏幕的信息安全显示应用，在一个实施例中，当智能手机被应用于公众场所时，手机前置投影装置、图像采集装置及其他相关装置处于开启状态，以实时检测用户及用户所在空间的其他非授权人脸信息，比如眼睛注视方向信息、眼球凝视时间信息，人脸表情信息，以判断非授权人是否存在窥探屏幕的倾向。

智能手机还包括存储器(图中未示出)，存储器用于存储如录入阶段录入的特征信息，还可以存储应用程序、指令等。比如将前面所述的防止非授权人窥探显示屏等相关应用，以软件程序的形式保存到存储器中，当应用程序需要时，处理器调用存储器中的指令并执行录入以及认证方法。可以理解的是，应用程序也可以被直接以指令代码形式写入到处理器中形成具体特定功能的处理器功能模块或相应的独立处理器，由此提高执行效率。另外，随着技术的不断发展，软、硬件之间的界限将逐渐消失，因此本发明中所述的方法即可以以软件形式也可以是以硬件形式配置在装置中。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (11)

1.一种实现信息安全显示的方法，其特征在于，包括以下步骤：

获取目标空间中的人脸图像；

通过图像特征提取算法，对比所述人脸图像与授权人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；

当用户和非授权人注视同一显示器，目标空间存在所述非授权人的人脸信息时，分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度；

当非授权人的表情特征与用户的表情特征相似度大于预设的临界值时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作或输出用户、非授权人的表情特征匹配相似度，以量化非授权人窥探显示器的几率；

所述分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度，具体包括：

通过连续或间歇匹配至少两幅人脸图像，获得一定时间范围内用户、非授权人的表情特征信息及其表情特征匹配度；

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，并计算所标记特征点之间的距离以及特征点所在曲线的曲率，来获取用户、非授权人的脸部全部或部分区域的脸部特征信息；比对用户、非授权人的脸部特征点之间的距离及特征点所在曲线的曲率，计算所述距离、所述曲率的大小差异，确定用户与非授权人表情特征匹配相似度；或者

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，将标记用户、非授权人面部区域的特征点连接或拟合后，获得用户、非授权人全部或部分面部特征点骨架信息；比对用户、非授权人的面部特征点骨架信息数据之间的趋势或差异，确定用户与非授权人表情特征匹配相似度。

2.根据权利要求1所述的实现信息安全显示的方法，其特征在于，当目标空间存在所述非授权人的人脸信息时，还分析至少两幅所述非授权人的人脸图像，确定所述非授权人的眼球位置及人脸朝向，以获取所述非授权人的眼球特征数据，并分析非授权人眼球凝视显示器的时间，判断是否满足窥探条件，结合非授权人与用户之间的表情特征相似度，以确定非授权人是否存在窥探显示器的倾向。

3.根据权利要求1所述的实现信息安全显示的方法，其特征在于，所述图像特征提取算法包括图像层叠算法、特征点比对算法、图像去雾优化算法、对比度增强算法中的任意一种或任意组合。

4.根据权利要求1所述的实现信息安全显示的方法，其特征在于，所述脸部特征信息包括人脸轮廓信息、深度信息以及彩色信息中的任意一种或任意组合。

5.根据权利要求2所述的实现信息安全显示的方法，其特征在于，所述眼球特征数据包括眼球注视方向数据、眼球凝视时间数据。

6.根据权利要求5所述的实现信息安全显示的方法，其特征在于，所述眼球凝视时间数据是通过计算、分析至少两幅所述非授权人眼球位置保持不变的连续的人脸图像获得；

或者所述眼球凝视时间数据是通过计算、分析至少两幅所述非授权人眼球位置变化幅度小于预设临界值的连续的人脸图像获得。

7.根据权利要求5所述的实现信息安全显示的方法，其特征在于，所述窥探条件包括，

所述非授权人的眼球注视方向与所述显示器所在平面的向量夹角为0°-180°中任意数值；并且，

所述非授权人的眼球凝视时间超过预设的临界时间。

8.根据权利要求1所述的实现信息安全显示的方法，其特征在于，所述防窥探操作包括发出提醒警报、输出提醒标识以及关闭所述显示器中的一种或任意组合。

9.一种实现信息安全显示的系统，其特征在于，包括

显示器，显示信息；

深度相机，获取目标空间中全部或部分人脸图像；

处理器，通过图像特征提取算法，对比所述人脸图像与授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；

当用户和非授权人注视同一显示器，目标空间存在所述非授权人的人脸信息时，分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度；

当非授权人的表情特征与用户的表情特征相似度大于预设的临界值时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作或输出用户、非授权人的表情特征匹配相似度，以量化非授权人窥探显示器的几率；

所述分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度，具体包括：

通过连续或间歇匹配至少两幅人脸图像，获得一定时间范围内用户、非授权人的表情特征信息及其表情特征匹配度；

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，并计算所标记特征点之间的距离以及特征点所在曲线的曲率，来获取用户、非授权人的脸部全部或部分区域的脸部特征信息；比对用户、非授权人的脸部特征点之间的距离及特征点所在曲线的曲率，计算所述距离、所述曲率的大小差异，确定用户与非授权人表情特征匹配相似度；或者

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，将标记用户、非授权人面部区域的特征点连接或拟合后，获得用户、非授权人全部或部分面部特征点骨架信息；比对用户、非授权人的面部特征点骨架信息数据之间的趋势或差异，确定用户与非授权人表情特征匹配相似度。

10.如权利要求9所述的实现信息安全显示的系统，其特征在于，还包括存储器，用于短暂或永久存储所述目标空间中的人脸图像、所述图像特征提取算法以及调用指令，以便所述处理器提取、分析所述人脸图像中的全部或部分特征信息。

11.一种含有信息安全显示系统的智能移动终端，其特征在于，包括：

显示屏，显示信息；

深度相机，获取目标空间中的人脸图像；

移动终端中央处理器，通过图像特征提取算法，分析、比对所述人脸图像与授权人的人脸图像全部或部分脸部特征信息的差异，判断目标空间中是否存在非授权人的人脸信息；以及

当用户和非授权人注视同一显示器，目标空间存在所述非授权人的人脸信息时，分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度；

当非授权人的表情特征与用户的表情特征相似度大于预设的临界值时，认定所述非授权人存在窥探显示器的倾向，并执行防窥探操作或输出用户、非授权人的表情特征匹配相似度，以量化非授权人窥探显示器的几率；

所述分析用户与非授权人的全部或部分表情特征，以获得非授权人与用户的表情特征匹配相似度，具体包括：

通过连续或间歇匹配至少两幅人脸图像，获得一定时间范围内用户、非授权人的表情特征信息及其表情特征匹配度；

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，并计算所标记特征点之间的距离以及特征点所在曲线的曲率，来获取用户、非授权人的脸部全部或部分区域的脸部特征信息；比对用户、非授权人的脸部特征点之间的距离及特征点所在曲线的曲率，计算所述距离、所述曲率的大小差异，确定用户与非授权人表情特征匹配相似度；或者

其中，对用户、非授权人的人脸器官及其褶皱部分进行特征点标记处理，将标记用户、非授权人面部区域的特征点连接或拟合后，获得用户、非授权人全部或部分面部特征点骨架信息；比对用户、非授权人的面部特征点骨架信息数据之间的趋势或差异，确定用户与非授权人表情特征匹配相似度。

Images