CN110866236A - 隐私图片显示方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种隐私图片显示方法、装置、终端及存储介质，属于图像技术领域。该方法包括：当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，目标人脸是具有隐私图片查看权限的用户的人脸；图片浏览过程中，当满足人脸识别条件时，通过前置摄像头采集实时图像并进行人脸识别；若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。在相册开启时以及图片浏览过程中，通过对前置摄像头采集到实时图像进行人脸识别，并在识别到目标人脸时显示隐私图片，可以避免为隐私图片设置的加密信息泄漏时，无法保护隐私图片，从而提高终端的数据安全性。

Description

隐私图片显示方法、装置、终端及存储介质

技术领域

本申请实施例涉及图像技术领域，特别涉及一种隐私图片显示方法、装置、终端及存储介质。

背景技术

智能终端中通常会设置有隐私相册，用户可以将隐私图片添加至隐私相册中，并通过为隐私相册设置加密信息，使得隐私相册中的图片仅供用户本人浏览；当用户后续查看隐私相册时，需要进行加密信息的验证，并在验证通过后显示隐私相册，以供用户查看。

相关技术中通过验证加密信息来查看隐私相册的方式，当该加密信息泄露时，该隐私图片可能会被除用户之外的任何人查看，导致隐私图片泄露，保密性差。

发明内容

本申请实施例提供了一种隐私图片显示方法、装置、终端及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种隐私图片显示方法，所述方法包括：

当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；

若识别出所述实时图像中包含目标人脸，则在相册界面显示隐私图片，所述目标人脸是具有隐私图片查看权限的用户的人脸；

图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别；

若识别出所述实时图像中不包含所述目标人脸，则停止在所述相册界面显示所述隐私图片。

另一方面，本申请实施例提供了一种隐私图片显示装置，所述装置包括：

第一识别模块，用于当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；

显示模块，用于若识别出所述实时图像中包含目标人脸，则在相册界面显示隐私图片，所述目标人脸是具有隐私图片查看权限的用户的人脸；

第二识别模块，用于图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别；

停止显示模块，用于若识别出所述实时图像中不包含所述目标人脸，则停止在所述相册界面显示所述隐私图片。

另一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的隐私图片显示方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的隐私图片显示方法。

另一方面，还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述方面所述的隐私图片显示方法。

采用本申请实施例提供的隐私图片显示方法，当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别，若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，其中，目标人脸是具有隐私图片查看权限的用户的人脸；在图片浏览过程中，当满足人脸识别条件时，通过前置摄像头采集实时图像并进行人脸识别，若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。在相册开启时以及图片浏览过程中，通过对前置摄像头采集到实时图像进行人脸识别，并在识别到目标人脸时显示隐私图片，可以避免为隐私图片设置的加密信息泄漏时，无法保护隐私图片，从而提高终端的数据安全性。

附图说明

图1示出了人脸检测模型的输出示意图；

图2示出了本申请一个示例性实施例示出的隐私图片显示方法的流程图；

图3示出了本申请另一个示例性实施例示出的隐私图片显示方法的流程图；

图4示出了本申请一个示例性实施例示出的人脸检测模型、人脸特征提取模型以及人脸跟踪算法的运行架构部署图；

图5示出了本申请一个示例性实施例示出的终端自动挑选隐私图片的流程图；

图6是终端对图片进行聚类过程的示意图；

图7是对目标类别进行标记操作过程的界面示意图；

图8示出了本申请另一个示例性实施例示出的隐私图片显示方法的流程图；

图9示出了本申请另一个示例性实施例示出的隐私图片显示方法的流程图；

图10示出了本申请一个示例性实施例提供的隐私图片显示装置的结构框图；

图11示出了本申请一个示例性实施例提供的终端的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了便于理解，下面对本申请实施例中涉及的一些名词进行简单介绍。

传播人脸(BlazeFace)模型：是一种轻量级目标检测神经网络模型。可以应用在面部关键点识别、面部特征和表情分类以及面部区域分割等场景中，快速准确的识别出人脸区域。示意性的，BlazeFace模型的输出如图1所示，其中，显示有6个关键点，如黑色实心圆圈所示，虚线框区域为预测的面部区域。

移动面部网络(MobileFaceNet)模型：是基于移动视觉神经网络模型(mobilenetV2)专门针对人脸改进的特征提取算法，具有与mobilenetV2相同的精度和更快的端侧推理运行速度。MobileFaceNet是为移动终端设计的轻量级神经网络，可以对人脸检测模型得出的人脸图像进行特征提取，得到该人脸图像对应的人脸面部特征，比如，眼部特征、唇部特征、耳部特征、人脸轮廓特征等。

中值流位(MedianFlow)算法：可以实现对采集到的实时图像中的目标人脸进行追踪。

请参考图2，其示出了本申请一个示例性实施例示出的隐私图片显示方法的流程图。该方法包括：

步骤201，当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别。

由于用户查看相册时，一般会正对终端，即用户面部会位于前置摄像头的拍摄范围之内，因此可以通过前置摄像头采集实时图像，并对采集到的实时图像进行人脸识别，以便确定进行查看的用户是否为具有隐私图片查看权限的用户。

其中，对采集到的人脸图像进行人脸识别时，可以采用局部特征分析法(LocalFace Analysis)、特征脸方法(Eigenface)、神经网络方法(Neural Networks)以及隐马尔可夫模型方法(Hidden Markov Model)等，本实施例对进行人脸识别的方法不构成限定。

在一种可能的实施方式中，当用户点击相册控件时，即终端接收到相册开启指令，则终端会启动前置摄像头采集实时图像，并对采集到的实时图像进行人脸识别。

可选的，可以连续采集N次实时图像，以保证人脸识别的准确性。

步骤202，若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，目标人脸是具有隐私图片查看权限的用户的人脸。

其中，隐私图片为用户预先设置的，隐私图片可以是包含用户个人信息的图片，比如，用户的证件图片，也可以是用户的个人照片等，本实施例对隐私图片的种类不构成限定。

在一种可能的实施方式中，终端中预先存储有目标人脸的相关信息，可以是包含目标人脸的图像，也可以是根据目标人脸图像提取到的面部特征，其中，面部特征可以包括面部五官特征、面部的轮廓特征等。

可选的，目标人脸可以仅包括用户的人脸，也可以包括其他用户的人脸，且目标人脸为用户自行设置的。

在一种可能的实施方式中，终端对采集到的实时图像进行人脸识别，若检测到实时图像中包含目标人脸，即确定此时查看相册的用户具有隐私图片查看权限，则在相册界面中显示该隐私图片。

可选的，隐私图片的存储形式可以是存储在隐私相册中，或为隐私图片设置隐私标识，当确定此时查看相册的用户具有隐私图片查看权限，则在相册界面显示隐私相册，或隐私图片变为可见状态；当确定此时查看相册的用户不具有隐私图片查看权限，则相册界面隐藏显示隐私相册，或隐私图片为不可见状态。

可选的，当终端识别出实时图像中不包含目标人脸时，即确定此时查看相册的用户不具有隐私图片查看权限，则相册界面中不显示隐私图片，即隐私图片为不可见状态，或相册界面不显示隐私相册。

步骤203，图片浏览过程中，当满足人脸识别条件时，通过前置摄像头采集实时图像并进行人脸识别。

当图片浏览过程中，为了保证查看图片的用户始终为具有隐私图片查看权限的用户，因此需要在满足人脸识别条件时，重新通过前置摄像头采集实时图像并进行人脸识别。

其中，人脸识别条件可以是进入图片浏览过程达到预设时长，比如，预设时长可以为40s。

在一种可能的实施方式中，相册界面中显示有隐私图片，且处于图片浏览过程中，当终端检测到处于图片浏览过程的时长达到40s，则重新通过前置摄像头采集实时图像并进行人脸识别，以确定当前浏览相册的用户是否具有隐私图片查看权限。

可选的，当相册界面中未显示有隐私图片，且处于图片浏览过程中，当终端检测到处于图片浏览过程的时长达到40s，可以重新通过前置摄像头采集实时图像并进行人脸识别，以确定当前浏览相册的用户是否具有隐私图片查看权限。

步骤204，若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。

在一种可能的实施方式中，当重新通过前置摄像头采集实时图像并进行人脸识别之后，若识别出该实时图像中不包含目标人脸，则停止在相册界面中显示隐私图片，即隐私图片为不可见状态，或相册界面不显示隐私相册。

可选的，若识别出该实时图像中包含目标人脸，则继续在当前相册界面显示隐私图片。

在一种可能的实施方式中，若图片浏览过程中，相册界面中未显示隐私图片，重新通过前置摄像头采集实时图像，并对该实时图像进行人脸识别，若识别出该实时图像中包含目标人脸，则可以在当前相册界面中显示隐私图片；若识别出该实时图像中仍未包含目标人脸，则相册界面中继续不显示隐私图片。

综上所述，本申请实施例中，当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别，若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，其中，目标人脸是具有隐私图片查看权限的用户的人脸；在图片浏览过程中，当满足人脸识别条件时，通过前置摄像头采集实时图像并进行人脸识别，若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。在相册开启时以及图片浏览过程中，通过对前置摄像头采集到实时图像进行人脸识别，并在识别到目标人脸时显示隐私图片，可以避免为隐私图片设置的加密信息泄漏时，无法保护隐私图片，从而提高终端的数据安全性。

由于图片浏览过程中，可能会出现当前浏览的用户不具有隐私图片查看权限，但是此时相册界面中显示有隐私图片，为了避免隐私图片的泄露，在满足人脸识别条件时，会重新通过前置摄像头采集实时图像并进行人脸识别。在一种可能的实施方式中，人脸识别条件可以是，图片浏览过程中，人脸跟踪失败时，重新对实时图像进行人脸识别；可选的，也可以是图片浏览过程中，设置定时器，并在达到定时器时长时，重新通过前置摄像头采集实时图像并进行人脸识别；以便保证当前浏览图片的用户为具有隐私图片查看权限的用户，进一步保证用户隐私信息的安全。

请参考图3，其示出了本申请另一个示例性实施例示出的隐私图片显示方法的流程图。该方法包括：

步骤301，当接收到相册开启指令时，将前置摄像头采集到的实时图像输入人脸检测模型，得到人脸检测模型输出的人脸区域，并根据人脸区域从实时图像中提取人脸图像。

由于通过前置摄像头采集到的实时图像中并不仅包含人脸图像，可能存在人脸周边的其他图像，比如，头发、衣服、脖颈等，这些其他图像都会干扰人脸识别的准确性，因此首先需要通过人脸检测，提取出实时图像中包含的人脸区域，进而得到人脸图像，以便进行后续的特征提取等步骤。

在一种可能的实施方式中，采用神经网络的方法进行人脸识别，开发人员预先在终端中设置与人脸识别相关的神经网络模型，比如，人脸检测模型、人脸特征提取模型等。其中，人脸检测模型可以是BlazeFace模型；人脸特征提取模型可以是MobileFaceNet模型。

可选的，BlazeFace模型和MobileFaceNet模型可以运行于图形处理器(GraphicsProcessing Unit，GPU)上，达到最快的运行速度，以便提高整个人脸识别过程的效率。

可选的，终端可以搭载骁龙神经处理引擎(Snapdragon Neural ProcessingEngine，SNP)，使得可以直接在终端中运行BlazeFace模型和MobileFaceNet模型，无需连接云端服务器，简化模型处理流程，提高人脸识别的效率。

在一种可能的实施方式中，当用户点击相册控件，即终端接收到相册开启指令时，启动前置摄像头采集实时图像，并将采集到的实时图像输入BlazeFace模型，得到该实时图像中的人脸区域，并根据人脸区域从实时图像中提取人脸图像。

步骤302，将人脸图像输入人脸特征提取模型，得到人脸特征提取模型输出的人脸面部特征。

由于通过人脸检测模型仅得到了实时图像中包含的人脸图像，后续与目标人脸进行匹配时，需要根据人脸图像中的面部特征与目标人脸的目标面部特征进行匹配，因此还需通过人脸特征提取模型，对人脸图像进行人脸面部特征提取。

在一种可能的实施方式中，将人脸图像输入MobileFaceNet模型，可以得到人脸面部特征，比如，左眼眼部特征、右眼眼部特征、唇部特征、左耳耳部特征、右耳耳部特征、鼻部特征等。

步骤303，根据人脸面部特征与目标人脸面部特征，确定每一对特征之间的欧式距离，目标人脸面部特征是目标人脸对应的面部特征，且每一对特征对应相同人脸部位。

其中，目标人脸面部特征可以预先存储在终端中。示意性的，用户预先利用前置摄像头拍摄包含用户人脸的照片，并存储在终端中，即终端接收到目标人脸图像，可以通过人脸检测模型和人脸特征提取模型，得到该目标人脸图像对应的目标人脸面部特征。

在一种可能的实施方式中，可以根据人脸面部特征和目标人脸面部特征，确定每一对特征之间的欧氏距离。

示意性的，人脸面部特征中左眼眼部特征向量可以为

目标人脸面部特征中左眼眼部特征向量可以为

根据欧式距离的公式

可以得到左眼眼部特征对应的欧式距离d₁。依次类推，可以得到每一对特征之间的欧氏距离。

步骤304，根据每一对特征的欧式距离，确定人脸区域与目标人脸的相似度。

在一种可能的实施方式中，当确定出每一对特征之间的欧式距离之后，可以将每一对特征对应的欧式距离相加，换算成百分比，即为人脸区域与目标人脸的相似度。

步骤305，若相似度高于相似度阈值，则确定实时图像中包含目标人脸。

其中，相似度阈值为开发人员预先设置，比如，相似度阈值为95％。

在一种可能的实施方式中，当终端获取到人脸区域与目标人脸的相似度为97％，大于相似度阈值95％，则确定该实时图像中包含目标人脸。

步骤306，若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，目标人脸是具有隐私图片查看权限的用户的人脸。

本步骤的实施方式可以参考步骤202，本实施例在此不做赘述。

由于在图片浏览过程中，可能出现当前浏览的用户不具有隐私图片查看权限，但是此时相册界面中显示有隐私图片，为了避免隐私图片的泄露，在一种可能的实施方式中，通过人脸跟踪，来保障当前进行图片浏览的用户为具有隐私图片查看权限的用户，相对应的实施方式可以包括步骤307至步骤309。

步骤307，图片浏览过程中，通过前置摄像头持续采集实时图像。

在一种可能的实施方式中，图片浏览过程中，可以通过前置摄像头持续采集实时图像，以便终端通过连续的实时图像进行人脸跟踪。

步骤308，对实时图像中的目标人脸进行人脸跟踪。

在一种可能的实施方式中，可以通过人脸跟踪算法对实时图像中的目标人脸进行人脸跟踪，以确定采集到的实时图像中均包含目标人脸，即图片浏览过程中，当前用户为人脸识别时确定的具有隐私图片查看权限的用户。

可选的，可以通过MedianFlow算法对实时图像中的目标人脸进行人脸跟踪，为了提高人脸跟踪的效率，MedianFlow算法可以运行在中央处理器(Central ProcessingUnit，CPU)上。

可选的，终端可以调用开源计算机视觉库(Open Source Computer VisionLibrary，OpenCV)，来实现通过MedianFlow算法对实时图像中的目标人脸进行人脸跟踪。

示意性的，本申请实施例中使用的人脸检测模型、人脸特征提取模型以及人脸跟踪算法的运行架构部署可以如图4所示。其中，终端搭载SNP404，并在GPU406中运行人脸检测模型401和人脸特征提取模型402；人脸跟踪算法运行在CPU407中，并在运行过程中调用OpenCV405。

步骤309，若人脸跟踪失败，则对实时图像进行人脸识别。

在一种可能的实施方式中，当采集到的实时图像中未包含目标人脸，即确定人脸跟踪失败，此时，需要重新对采集到的实时图像进行人脸识别，以确定当前进行图片浏览的用户是否具有隐私图片查看权限。

其中，人脸识别的过程可以参考步骤301至步骤305，本实施例在此不做赘述。

在一种可能的实施方式中，确定图片浏览过程中的当前用户是否具有隐私图片查看权限，也可以直接在图片浏览过程中，通过前置摄像头采集实时图像，进行人脸识别来确定，相对应的实施方式可以包括步骤310和步骤311。

步骤310，图片浏览过程中，停止通过前置摄像头采集实时图像，并设置第一定时器。

由于通过前置摄像头采集实时图像，并进行人脸识别，这些操作都会增加终端的功耗，因此考虑到终端续航问题，两次采集实时图像之间可以间隔预设时长。

在一种可能的实施方式中，图片浏览过程中，首先停止通过前置摄像头采集实时图像，并设置第一定时器，以便在达到定时器时长时，可以继续通过前置摄像头采集实时图像。

步骤311，当第一定时器达到定时器时长时，通过前置摄像头采集实时图像并进行人脸识别。

其中，定期器时长为开发人员预先设置。比如，定时器时长可以是30s。

在一种可能的实施方式中，当终端检测到第一定时器时长达到定时器时长之后，即达到30s，则重新启动前置摄像头采集实时图像，并进行人脸识别。

其中，人脸识别的过程可以参考步骤301至步骤305，本实施例在此不做赘述。

可选的，当重新进行人脸识别之后，确定当前用户具有隐私图片查看权限，则继续显示隐私图片，并重新设定第一定时器，以便在达到定时器时长之后，可以重新通过前置摄像头采集实时图像并进行人脸识别，即在图片浏览过程中，以定时器时长为依据，比如30s，进行一次人脸识别，从而保证在相册界面显示隐私图片期间，当前进行图片浏览的用户均具有隐私图片查看权限。

上述确定当前浏览图片的用户是否具有隐私图片查看权限的两种方式，用户可以择一选择，或终端根据当前的电池电量自动选择，示意性的，可以预设电量阈值，比如50％，若终端检测到当前的电池电量高于电量阈值，比如，当前电池电量为98％，则可以通过人脸跟踪来确定当前浏览图片的用户是否具有隐私图片查看权限；若终端检测到当前的电池电量低于电量阈值，比如，当前电池电量为40％，则可以通过人脸识别来确定当前浏览图片的用户是否具有隐私图片查看权限。

步骤312，若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。

本步骤的实施方式可以参考步骤204，本实施例在此不做赘述。

本实施例中，通过预设人脸检测模型和人脸特征提取模型，对前置摄像头采集到的实时图像进行人脸识别，提高人脸识别的准确性；此外，通过搭载SNP，并直接在终端的GPU上运行该人脸检测模型和人脸特征提取模型，可以简化模型处理流程，提高人脸识别的效率；另外，在图片浏览过程中，可以通过人脸跟踪或人脸识别两种方式，来确定当前进行图片浏览的用户是否具有隐私查看权限，可以在该用户不具有隐私图片查看权限时，停止在相册界面中显示隐私图片，从而进一步地在图片浏览过程中保护隐私图片。

由于相关技术中，用户可能需要手动挑选隐私图片，当相册中存储的图片数量过多时，会导致用户的挑选操作过于繁琐，因此，在一种可能的实施方式中，终端可以根据图片的内容进行聚类，得到多个类别，用户可以标记其中一个或多个类别为隐私类别，即终端接收到该标记操作，可以自动将该类别对应的图片确定为隐私图片。

请参考图5，其示出了本申请一个示例性实施例示出的终端自动挑选隐私图片的流程图，该方法包括：

步骤501，对相册中的图片进行聚类，得到至少一个候选类别，同一候选类别中包含的图片具有相同图像特征。

在一种可能的实施方式中，相册中预先存储有若干张图片，终端根据预设的聚类算法对该图片进行分类，得到至少一个候选类别，且同一候选类别中包含的图片具有相同图像特征。比如，可以通过人脸识别，获取包含人脸的图片所对应的人脸识别信息，该人脸识别信息可以包括人脸标识和人脸特征信息，通过聚类之后，得到候选类别标识，且同一候选类别中包含的图片具有相同的人脸。

示意性的，终端对图片进行聚类的过程可以参考图6所示。其中，经过聚类之后得到的类比标识即为候选类别，且同一候选类别中具有相同的人脸。

可选的，若对于不包含人脸的图片，也可以直接使用聚类算法对其进行分类，得到至少一个候选类别。比如，可以设定通过聚类之后需要得到的类别，比如将包含证件信息的图片确定为一个类别，则经过聚类之后，可以得到某个候选类别中包含的图片均为证件信息类图片。

在一种可能的实施方式中，终端可以将相册中的图片按照各个候选类别分为不同的子相册，并将属于同一候选类别的图片移动到对应的子相册中存储。可选的，用户可以为每一个子相册命名，比如，“我”、“张三”、“李四”、“yoyo”、“文文”“证件”等。

示意性的，如图7所示，经过聚类之后，在相册显示界面701中，显示有多个子相册，比如，“我”对应的子相册702，用户可以点击任一子相册，查看同一图像特征的图片。

步骤502，接收对候选类别中目标类别的标记操作，并将目标类别中包含的图片确定为隐私图片。

在一种可能的实施方式中，若用户需要将某个候选类别设置为隐私类别，则用户可以点击候选类别对应的名称，或长按候选类别对应的子相册，则终端接收到对候选类别中目标类别的标记操作，并将该目标类别中包含的图片确定为隐私图片。

示意性的，如图7所示，当用户点击编辑控件703时，会在相册界面上层显示编辑界面704，该编辑界面704中显示有各个子相册对应的候选类别名称，用户可以点选任一候选类别名称，比如，用户点选“我”和“证件”这两个类类别名称，即将该类别名称对应的图片设置为隐私图片；用户点击确定控件705之后，回到相册界面701上，则相册界面701上，“我”对应的子相册702和“证件”对应的子相册706隐藏显示。

由于相册中存储的图片可能会发生变化，比如，用户定期会删减或新增某些图片，删减图片不会影响相册上一次的隐私图片确定结果，但是新增图片可能会带来新增的类别，或新增的隐私图片，因此，在一种可能的实施方式中，终端可以根据新增图片以及上一次各个候选类别对应的图像特征，确定新增图片所属的类别，进而确定该新增图片是否为隐私图片。

步骤503，获取新增图片。

在一种可能的实施方式中，相册中的照片会随着用户的使用而不断的增加，终端可以每隔预定时间从相册中查找新增图片；或，终端在处理器的空闲时段，从相册中查找新增图片；或，终端在拍照程序每次被使用并关闭后，从相册中查找新增图片。比如，终端每天晚上11:00从相册中查找新增图片。

步骤504，根据新增图片和各个候选类别对应的图像特征，确定新增图片所属的候选类别。

在一种可能的实施方式中，通过预设聚类算法，得到新增图片对应的图像特征，若该图像特征与某个候选类别对应的图像特征匹配，则将该新增图片加入该候选类别中；若该图像特征与各个候选类别的图像特征均不匹配，则将该新增图片重新确定为一个新的候选类别。

步骤505，若新增图片所属的候选类别为目标类别，则将新增图片确定为隐私图片。

在一种可能的实施方式中，若新增图片所属的候选类别为目标类别，即隐私类别，则将该新增图片确定为隐私图片，为该新增图片设置隐私标识，或将该新增图片存储在隐私相册中。

本实施例中，通过预设聚类算法，根据图片中包含的内容确定其所属的候选类别，用户通过对候选类别中目标类别的标记操作，可以将该目标类别包含的图片确定为隐私图片，避免用户需要逐一挑选隐私图片；此外，通过定期获取相册中的新增图片，并根据新增图片和各个候选类别对应的图像特征，自动对新增图片进行分类，以及确定该新增图片是否属于隐私图片，从而简化用户挑选隐私图片的过程。

上述实施例中，在图片浏览过程中，若相册界面中含有隐私图片，则仅允许具有隐私图片查看权限的用户进行浏览，在一种可能的实施方式中，若用户需要将隐私图片传递给不具有隐私图片查看权限的用户查看，比如，用户让其他人登记身份证信息等，需要暂时停止通过前置摄像头采集实时图像，以便除用户之外的人员可以暂时查看隐私图片。

示意性的，在图2的基础上，如图8所示，步骤203可以被替换为步骤801和步骤802。

步骤801，图片浏览过程中，当识别出实时图像中的目标人脸存在预设面部变化特征，则停止通过前置摄像头采集实时图像，并设置第二定时器，预设面部变化特征包括眼部变化特征和嘴部变化特征中的至少一种。

其中，预设面部特征可以是连续眨眼三次、嘴唇连续开合三次等。可选的，用户可以自行设定预设面部特征，本实施例对预设面部特征不够成限定。

在一种可能的实施方式中，图片浏览过程中，且相册界面中包含隐私图片，若用户需要暂时将隐私图片传递给他人查看，可以通过连续眨眼三次，即终端接收到该眼部变化特征，则可以停止通过前置摄像头采集实时图像，并设置第二定时器。

步骤802，当第二定时器达到定时器时长时，通过前置摄像头采集实时图像并进行人脸识别。

其中，定时器时长可以由开发人员预先设置，比如，定时器时长为5min。

在一种可能的实施方式中，当终端检测到第二定时器达到5min，则继续启动前置摄像头采集实时图像，并进行人脸识别。

本实施例中，终端在识别到预设面部特征时，可以暂时停止通过前置摄像头采集实时图像，并设置第二定时器，以便在定时器时长内，用户可以将隐私图片暂时传递给不具有隐私图片查看权限的用户查看。

在一种可能的实施方式中，如图9所示，其示出了本申请一个示例性实施例示出的隐私图片显示方法的流程图，该方法包括：

步骤901，对相册中的图片进行聚类，得到至少一个候选类别。

步骤902，对候选类别中目标类别进行标记操作。

步骤903，将该目标类别包含的图片确定为隐私图片。

步骤904，接收相册开启指令，通过前置摄像头采集实时图像。

步骤905，识别出实时图像中包含目标人脸。

步骤906，识别出实时图像中不包含目标人脸。

步骤907，在相册界面显示隐私图片。

步骤908，图片浏览过程中，通过前置摄像头持续采集实时图像，对实时图像中的目标人脸进行人脸跟踪。

步骤909，若人脸跟踪失败，则对实时图像进行人脸识别。

步骤910，图片浏览过程中，停止通过前置摄像头采集实时图像，并设置第一定时器。

步骤911，当第一定时器达到定时器时长时，通过前置摄像头采集实时图像并进行人脸识别。

步骤912，识别实时图像中是否包含目标人脸。

若识别出实时图像中包含目标人脸，则进入步骤907，若识别出实时图像中不包含目标人脸，则进入步骤913。

步骤913，停止在相册界面显示隐私图片。

请参考图10，其示出了本申请一个示例性实施例提供的隐私图片显示装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：

第一识别模块1001，用于当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；

显示模块1002，用于若识别出所述实时图像中包含目标人脸，则在相册界面显示隐私图片，所述目标人脸是具有隐私图片查看权限的用户的人脸；

第二识别模块1003，用于图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别；

停止显示模块1004，用于若识别出所述实时图像中不包含所述目标人脸，则停止在所述相册界面显示所述隐私图片。

可选的，所述第二识别模块1003，包括：

采集单元，用于图片浏览过程中，通过所述前置摄像头持续采集所述实时图像；

跟踪单元，用于对所述实时图像中的所述目标人脸进行人脸跟踪；

第一识别单元，用于若人脸跟踪失败，则对所述实时图像进行人脸识别。

可选的，所述跟踪单元还用于：

通过MedianFlow算法对所述实时图像中的所述目标人脸进行人脸跟踪，其中，所述MedianFlow算法运行在CPU上。

可选的，所述第二识别模块1003，包括：

第一设置单元，用于图片浏览过程中，停止通过所述前置摄像头采集所述实时图像，并设置第一定时器；

第二识别单元，用于当所述第一定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

可选的，所述装置还包括：

聚类模块，用于对相册中的图片进行聚类，得到至少一个候选类别，同一候选类别中包含的图片具有相同图像特征；

第一确定模块，用于接收对所述候选类别中目标类别的标记操作，并将所述目标类别中包含的图片确定为所述隐私图片。

可选的，所述装置还包括：

获取模块，用于获取新增图片；

第二确定模块，用于根据所述新增图片和各个所述候选类别对应的图像特征，确定所述新增图片所属的候选类别；

第三确定模块，用于若所述新增图片所属的候选类别为所述目标类别，则将所述新增图片确定为所述隐私图片。

可选的，所述第一识别模块1001，包括：

检测单元，用于将所述实时图像输入人脸检测模型，得到所述人脸检测模型输出的人脸区域，并根据所述人脸区域从所述实时图像中提取人脸图像；

特征提取单元，用于将所述人脸图像输入人脸特征提取模型，得到所述人脸特征提取模型输出的人脸面部特征；

第一确定单元，用于根据所述人脸面部特征与目标人脸面部特征，确定每一对特征之间的欧式距离，所述目标人脸面部特征是所述目标人脸对应的面部特征，且所述每一对特征对应相同人脸部位；

第二确定单元，用于根据所述每一对特征的所述欧式距离，确定所述人脸区域与所述目标人脸的相似度；

第三确定单元，用于若所述相似度高于相似度阈值，则确定所述实时图像中包含所述目标人脸。

可选的，所述人脸检测模型为BlazeFace模型，所述人脸特征提取模型为MobileFaceNet模型，且所述BlazeFace模型和所述MobileFaceNet模型运行于GPU上。

可选的，所述第二识别模块1003，包括：

第二设置单元，用于图片浏览过程中，当识别出所述实时图像中的所述目标人脸存在预设面部变化特征，则停止通过所述前置摄像头采集所述实时图像，并设置第二定时器，所述预设面部变化特征包括眼部变化特征和嘴部变化特征中的至少一种；

第三识别单元，用于当所述第二定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

综上所述，本申请实施例中，当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别，若识别出实时图像中包含目标人脸，则在相册界面显示隐私图片，其中，目标人脸是具有隐私图片查看权限的用户的人脸；在图片浏览过程中，当满足人脸识别条件时，通过前置摄像头采集实时图像并进行人脸识别，若识别出实时图像中不包含目标人脸，则停止在相册界面显示隐私图片。在相册开启时以及图片浏览过程中，通过对前置摄像头采集到实时图像进行人脸识别，并在识别到目标人脸时显示隐私图片，可以避免为隐私图片设置的加密信息泄漏时，无法保护隐私图片，从而提高终端的数据安全性。

请参考图11，其示出了本申请一个示例性实施例提供的终端1100的结构方框图。该终端1100可以是智能手机、平板电脑、电子书、便携式个人计算机等安装并运行有应用程序的电子设备。本申请中的终端1100可以包括一个或多个如下部件：处理器1110、存储器1120和屏幕1130。

处理器1110可以包括一个或者多个处理核心。处理器1110利用各种接口和线路连接整个终端1100内的各个部分，通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集，以及调用存储在存储器1120内的数据，执行终端1100的各种功能和处理数据。可选地，处理器1110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器1110可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责屏幕1130所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块通信芯片进行实现。

存储器1120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器1120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储终端1100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

屏幕1130可以为电容式触摸显示屏，该电容式触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在终端1100的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本申请实施例对此不加以限定。

终端1100还包括拍摄组件(图中未示出)，该拍摄组件可以包括至少一个摄像头、感光器件等，该摄像头可以是数字摄像头，也可以是模拟摄像头。本申请实施例中所采用的摄像头可以是彩色(Red Green Blue，RGB)摄像头，也可以是飞时测距(Time of Flight，TOF)摄像头。可选的，感光器件可以采用电荷藕合器件图像传感器(Charge CoupledDevice，CCD)，也可以采用互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，CMOS)。

除此之外，本领域技术人员可以理解，上述附图所示出的终端1100的结构并不构成对终端1100的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端1100中还包括射频电路、传感器、音频电路、无线保真(WirelessFidelity，WiFi)组件、电源、蓝牙组件等部件，在此不再赘述。

本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的隐私图片显示方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的隐私图片显示方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种隐私图片显示方法，其特征在于，所述方法包括：

当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；

若识别出所述实时图像中包含目标人脸，则在相册界面显示隐私图片，所述目标人脸是具有隐私图片查看权限的用户的人脸；

图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别；

若识别出所述实时图像中不包含所述目标人脸，则停止在所述相册界面显示所述隐私图片。

2.根据权利要求1所述的方法，其特征在于，所述图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别，包括：

图片浏览过程中，通过所述前置摄像头持续采集所述实时图像；

对所述实时图像中的所述目标人脸进行人脸跟踪；

若人脸跟踪失败，则对所述实时图像进行人脸识别。

3.根据权利要求2所述的方法，其特征在于，所述对所述实时图像中的所述目标人脸进行人脸跟踪，包括：

通过中值流位MedianFlow算法对所述实时图像中的所述目标人脸进行人脸跟踪，其中，所述MedianFlow算法运行在中央处理器CPU上。

4.根据权利要求1所述的方法，其特征在于，所述图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别，包括：

图片浏览过程中，停止通过所述前置摄像头采集所述实时图像，并设置第一定时器；

当所述第一定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

5.根据权利要求1至4任一所述的方法，其特征在于，所述当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别之前，所述方法还包括：

对相册中的图片进行聚类，得到至少一个候选类别，同一候选类别中包含的图片具有相同图像特征；

接收对所述候选类别中目标类别的标记操作，并将所述目标类别中包含的图片确定为所述隐私图片。

6.根据权利要求5所述的方法，其特征在于，所述接收对所述候选类别中目标类别的标记操作，并将所述目标类别中包含的图片确定为所述隐私图片之后，所述方法还包括：

获取新增图片；

根据所述新增图片和各个所述候选类别对应的图像特征，确定所述新增图片所属的候选类别；

若所述新增图片所属的候选类别为所述目标类别，则将所述新增图片确定为所述隐私图片。

7.根据权利要求1至4任一所述的方法，其特征在于，所述对前置摄像头采集到的实时图像进行人脸识别，包括：

将所述实时图像输入人脸检测模型，得到所述人脸检测模型输出的人脸区域，并根据所述人脸区域从所述实时图像中提取人脸图像；

将所述人脸图像输入人脸特征提取模型，得到所述人脸特征提取模型输出的人脸面部特征；

根据所述人脸面部特征与目标人脸面部特征，确定每一对特征之间的欧式距离，所述目标人脸面部特征是所述目标人脸对应的面部特征，且所述每一对特征对应相同人脸部位；

根据所述每一对特征的所述欧式距离，确定所述人脸区域与所述目标人脸的相似度；

若所述相似度高于相似度阈值，则确定所述实时图像中包含所述目标人脸。

8.根据权利要求7所述的方法，其特征在于，所述人脸检测模型为传播人脸BlazeFace模型，所述人脸特征提取模型为移动面部网络MobileFaceNet模型，且所述BlazeFace模型和所述MobileFaceNet模型运行于图形处理器GPU上。

9.根据权利要求1至4任一所述的方法，其特征在于，所述图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别，包括：

图片浏览过程中，当识别出所述实时图像中的所述目标人脸存在预设面部变化特征，则停止通过所述前置摄像头采集所述实时图像，并设置第二定时器，所述预设面部变化特征包括眼部变化特征和嘴部变化特征中的至少一种；

当所述第二定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

10.一种隐私图片显示装置，其特征在于，所述装置包括：

第一识别模块，用于当接收到相册开启指令时，对前置摄像头采集到的实时图像进行人脸识别；

显示模块，用于若识别出所述实时图像中包含目标人脸，则在相册界面显示隐私图片，所述目标人脸是具有隐私图片查看权限的用户的人脸；

第二识别模块，用于图片浏览过程中，当满足人脸识别条件时，通过所述前置摄像头采集所述实时图像并进行人脸识别；

停止显示模块，用于若识别出所述实时图像中不包含所述目标人脸，则停止在所述相册界面显示所述隐私图片。

11.根据权利要求10所述的装置，其特征在于，所述第二识别模块，包括：

采集单元，用于图片浏览过程中，通过所述前置摄像头持续采集所述实时图像；

跟踪单元，用于对所述实时图像中的所述目标人脸进行人脸跟踪；

第一识别单元，用于若人脸跟踪失败，则对所述实时图像进行人脸识别。

12.根据权利要求11所述的装置，其特征在于，所述跟踪单元还用于：

通过MedianFlow算法对所述实时图像中的所述目标人脸进行人脸跟踪，其中，所述MedianFlow算法运行在CPU上。

13.根据权利要求10所述的装置，其特征在于，所述第二识别模块，包括：

第一设置单元，用于图片浏览过程中，停止通过所述前置摄像头采集所述实时图像，并设置第一定时器；

第二识别单元，用于当所述第一定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

14.根据权利要求10至13任一所述的装置，其特征在于，所述装置还包括：

聚类模块，用于对相册中的图片进行聚类，得到至少一个候选类别，同一候选类别中包含的图片具有相同图像特征；

第一确定模块，用于接收对所述候选类别中目标类别的标记操作，并将所述目标类别中包含的图片确定为所述隐私图片。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取新增图片；

第二确定模块，用于根据所述新增图片和各个所述候选类别对应的图像特征，确定所述新增图片所属的候选类别；

第三确定模块，用于若所述新增图片所属的候选类别为所述目标类别，则将所述新增图片确定为所述隐私图片。

16.根据权利要求10至13任一所述的装置，其特征在于，所述第一识别模块，包括：

检测单元，用于将所述实时图像输入人脸检测模型，得到所述人脸检测模型输出的人脸区域，并根据所述人脸区域从所述实时图像中提取人脸图像；

特征提取单元，用于将所述人脸图像输入人脸特征提取模型，得到所述人脸特征提取模型输出的人脸面部特征；

第一确定单元，用于根据所述人脸面部特征与目标人脸面部特征，确定每一对特征之间的欧式距离，所述目标人脸面部特征是所述目标人脸对应的面部特征，且所述每一对特征对应相同人脸部位；

第二确定单元，用于根据所述每一对特征的所述欧式距离，确定所述人脸区域与所述目标人脸的相似度；

第三确定单元，用于若所述相似度高于相似度阈值，则确定所述实时图像中包含所述目标人脸。

17.根据权利要求16所述的装置，其特征在于，所述人脸检测模型为BlazeFace模型，所述人脸特征提取模型为MobileFaceNet模型，且所述BlazeFace模型和所述MobileFaceNet模型运行于GPU上。

18.根据权利要求10至13任一所述的装置，其特征在于，所述第二识别模块，包括：

第二设置单元，用于图片浏览过程中，当识别出所述实时图像中的所述目标人脸存在预设面部变化特征，则停止通过所述前置摄像头采集所述实时图像，并设置第二定时器，所述预设面部变化特征包括眼部变化特征和嘴部变化特征中的至少一种；

第三识别单元，用于当所述第二定时器达到定时器时长时，通过所述前置摄像头采集所述实时图像并进行人脸识别。

19.一种终端，其特征在于，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至9任一所述的隐私图片显示方法。

20.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至9任一所述的隐私图片显示方法。

Images