CN110210194A - 电子合同显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种基于人脸识别的电子合同显示方法、装置、电子设备及存储介质。所述方法包括：获取人脸图像；根据已经训练好的预设深度学习模型提取所述人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量；基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值；根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配；及当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

Description

电子合同显示方法、装置、电子设备及存储介质

技术领域

本发明涉及人脸识别领域，具体涉及一种基于人脸识别的电子合同显示方法、装置、电子设备及存储介质。

背景技术

目前电子合同在电子装置中的显示控制都要依赖于触摸操作触发显示。然而，由于电子合同保密性一般都比较高，而基于用户的触摸操作打开电子合同的方式安全性不高。此外，人们一般在上下班或出差的路途上查看电子合同，然而通过手动触发上下或左右翻页及其不便。

发明内容

鉴于以上内容，有必要提出一种电子合同显示方法、装置、电子设备及计算机可读存储介质，以提高查看电子合同的安全性及便利性。

本申请的第一方面提供一种电子合同显示方法，所述方法包括步骤：

获取人脸图像；

根据已经训练好的预设深度学习模型提取所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量；

基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与目标人脸图像的相似度取值；

根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配；及

当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

优选地，所述方法还包括：对所述预设深度学习模型进行训练，其中，对所述预设深度学习模型进行训练包括：

存储预设数量的人脸图像样本，并且对所述人脸图像样本进行分类；

按照所述人脸图像样本所归属的用户对所述人脸图像样本进行分类，并将每一个分类的人脸图像样本按照所属的用户进行标定；

当所述预设数量的人脸图像样本分类完成后将所述人脸图像样本作为训练样本输入到所述预设深度学习模型中进行训练，并根据预设深度学习模型输出的分类结果，对所述预设深度学习模型各基层上节点之间的连接的权重参数进行调整；

每次调整后将输出的分类结果与对所述人脸图像样本进行标定后得到的分类结果相比，若准确度达到预先设置的准确度阈值时所述预设深度学习模型中各基层节点之间连接的权重参数均为最佳权重参数，则所述预设深度学习模型训练完毕。

优选地，所述基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值包括：

计算所述人脸图像的人脸特征向量与所述目标人脸图像的人脸特征向量之间的向量距离，然后根据预先建立的向量距离与相似度取值的对应关系列表确定与所述向量距离对应的相似度值，其中所述向量距离可以是余弦距离或欧氏距离。

优选地，所述方法还包括步骤：

获取所述人脸图像并利用训练好的面部动作分类模型确定所述人脸图像中的面部动作；及

根据分析出的用户的面部动作从预设的面部操作指令关系表中查找与所述面部动作相对应的操作指令，并根据确定的操作指令对所述电子合同进行控制。

优选地，所述面部动作分类模型的训练过程包括：

获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作类别作为面部动作类别标签，其中，所述面部动作类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别；

将正样本的面部动作数据及负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率；

当所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述人脸图像中的面部动作类别；及

当所述准确率小于预设准确率时，增加正样本的面部动作数据数量及负样本的面部动作数据数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。

优选地，所述方法还包括：

接收用户的设置操作设置面部操作指令关系表中面部动作与操作指令的对应关系。

优选地，所述方法还包括步骤：

当识别出的人脸图像与所述目标人脸图像不相匹配时，显示一提醒信息提醒用户不具有阅读权限。

本申请的第二方面提供一种电子合同显示装置，所述装置包括：

获取模块，用于获取人脸图像；

人脸识别模块，用于：

根据已经训练好的预设深度学习模型提取所述人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量；

基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值；及

根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配；及

显示模块，用于当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述电子合同显示方法。

本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述电子合同显示方法。

本发明利用已训练好的预设深度学习模型识别所述人脸图像并判断识别出的人脸图像是否与存储的目标人脸图像相匹配，及当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看，从而提高查看电子合同的安全性。本发明还获取所述人脸图像并利用训练好的面部动作分类模型确定所述人脸图像中的面部动作，及根据分析出的用户的面部动作从预设的面部操作指令关系表中查找与所述面部动作相对应的操作指令，并根据确定的操作指令对所述电子合同进行控制，如此方便用户对电子合同的操作。

附图说明

图1为本发明一实施方式中电子合同显示方法的应用环境图。

图2是本发明一实施方式中电子合同显示方法的流程图。

图3是本发明一实施方式中电子合同显示装置的结构图。

图4为本发明电子设备的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

优选地，本发明电子合同显示方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。

所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

实施例1

图1是本发明一实施方式中电子合同显示方法的应用环境示意图。

参阅图1所示，所述电子合同显示方法应用在用户终端1中。所述用户终端1通过网络3与服务器2通信连接，用于将采集的人脸图像上传到所述服务器2中。本实施方式中，所述用户终端1可以为移动手机、计算机装置、平板电脑等装置。所述服务器2可以为单一的服务器、服务器集群或云端服务器。用于支持用户终端1与服务器2进行通信的网络3可以是有线网络，也可以是无线网络，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。

图2是本发明一实施方式中电子合同显示方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

参阅图2所示，所述电子合同显示方法具体包括以下步骤：

步骤S201、获取人脸图像。

本实施方式中，所述用户终端1包括一图像采集单元11。所述图像采集单元11用于采集人脸图像。例如，在一实现方式中，所述图像采集单元11可以为2D摄影机，所述用户终端1通过所述2D摄影机获取用户的人脸图像作为人脸图像。在另一实施方式中，所述图像采集单元也可以为3D摄像机，所述用户终端1通过所述3D摄像机获取用户的3D人脸图像作为人脸图像。本实施方式中，所述获取的人脸图像可以是人脸图片，也可以是人脸视频等。

步骤S202、利用已训练好的预设深度学习模型识别所述人脸图像并判断所述人脸图像是否与存储的目标人脸图像相匹配。

本实施方式中，用户终端1在识别出人脸图像后将识别出的人脸图像与所述目标人脸图像进行比较，并根据比较结果确定是否解锁并显示电子合同。本实施方式中，所述目标人脸图像存储在所述用户终端1或服务器2中。当识别出的人脸图像与所述目标人脸图像不相匹配则执行步骤S206，否则执行步骤S203。本实施方式中，所述目标人脸图像存储在所述用户终端1或服务器2中。

在一实施方式中，所述利用已训练好的预设深度学习模型识别所述人脸图像并判断识别出的人脸图像是否与存储的目标人脸图像相匹配包括：

(S2021)根据已经训练好的预设深度学习模型提取人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量。

本实施方式中，所述预设深度学习模型为基于多层神经网络的深度学习模型。所述预设深度学习模型包括多个基层，每一个基层可作为独立的特征提取层对人脸图像的局部特征进行提取。在一具体实施方式中，所述多层神经网络可以为卷积神经网络。也即，所述预设深度学习模型包括输入层、多个用于进行特征提取的卷积层、全连接层以及输出层。输入层用于为人脸图像或目标人脸图像提供输入通道；卷积层可以作为独立的特征提取层对所述人脸图像或所述目标人脸图像的局部特征进行训练提取；全连接层可以对各卷积层所训练提取出的局部特征进行整合，将各卷积层训练提取出的图像特征连接为一个一维向量；输出层用于输出对输入的人脸图像样本的分类结果。

本实施方式中，所述方法还包括：对所述预设深度学习模型进行训练。具体的，在对预设深度学习模型进行训练时，可以在服务器2中存储预设数量的人脸图像样本，并且由用户对这些人脸图像样本进行分类；例如，可以准备1万张人脸图像样本，然后按照这些人脸图像样本所归属的用户对这1万张人脸图像样本进行分类，并将每一个分类的人脸图像样本按照所属的用户进行标定，比如，可以将分类后的每一个分类分别标定为甲、乙、丙等，每一个用户具备10～100张不等的图片，此时每一个分类中的人脸图像样本均归属于同一个用户。当准备的预设数量的人脸图像样本分类完成后，此时可以将所述预设深度学习模型作为分类模型，将这些人脸图像样本作为训练样本输入到所述预设深度学习模型中进行训练，并根据预设深度学习模型输出的分类结果，对所述预设深度学习模型各基层上节点之间的连接的权重参数进行调整。所述预设深度学习模型在每次调整后基于输入的训练样本进行训练后，输出的分类结果与用户标定的分类结果相比，准确度将会逐渐提高。与此同时，用户可以预先设置一个准确度阈值，在不断的调整过程中，如果所述预设深度学习模型输出的分类结果与用户标定的分类结果相比，准确度达到预先设置的准确度阈值后，此时所述预设深度学习模型中各基层节点之间连接的权重参数均为最佳权重参数，可以认为所述预设深度学习模型已经训练完毕。

本实施方式中，在预设深度学习模型训练完毕后，用户终端1使用已训练好的所述预设深度学习模型，对人脸图像以及目标人脸图像进行人脸特征向量的提取。在具体实施方式中，在用户终端1中可以预先创建一个目标人脸图像数据库，所述目标人脸图像数据库中的每一张目标人脸图像均可在对人脸图像进行人脸识别时，作为与所述人脸图像进行比对的参照物。在针对目标人脸图像数据库中的目标人脸图像进行人脸特征提取时，用户终端1可以将目标人脸图像数据库中的目标人脸图像作为输入图像在所述预设深度学习模型中包含的多个卷积层中依次进行特征训练。当各卷积层均训练完成后，可以提取全连接层输出的特征向量作为所述目标人脸图像的人脸特征向量。

在本实施方式中，在针对人脸图像进行人脸特征提取时，用户终端1可以按照相同的处理方式，将所述人脸图像作为输入图像在所述预设深度学习模型中包含的多个卷积层中依次进行特征训练，当各卷积层均训练完成后，可以提取全连接层输出的特征向量作为所述人脸图像的人脸特征向量。

(S2022)基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值。

本实施方式中，用户终端1可以计算所述人脸图像的人脸特征向量与所述目标人脸图像的人脸特征向量之间的向量距离，然后根据预先建立的向量距离与相似度取值的对应关系列表确定与所述向量距离对应的相似度值。

具体的，所述用户终端1根据特征向量与相似度之间的关系预先建立一个向量距离与相似度取值的对应关系列表，所述对应关系列表中可以根据预设的向量距离阈值划分为多个不同的相似度等级，并为每一个相似度等级设置一个对应的相似度取值，由于特征向量之间的向量距离通常与特征向量之间的相似度成反比，因此当向量距离越小时，相似度取值越高，当向量距离越大时，相似度取值越低。用户终端1通过这种方式可以通过查询所述对应关系列表就可以得到与计算出的向量距离对应的相似度取值。本实施方式中，所述向量距离可以是余弦距离或欧氏距离，在本实施方式中不进行特别限定。

(S2023)根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配。

本实施方式中，当将计算出的向量距离转换成对应的相似度取值后，所述用户终端1进一步判断所述相似度取值是否达到相似度阈值，如果所述相似度取值达到相似度阈值时，此时用户终端1可以确认所述人脸图像与所述目标人脸图像是相同或相匹配的人脸图像，并将所述目标人脸图像作为识别结果进行输出。如果所述相似度取值未达到相似度阈值时，此时用户终端1确认所述人脸图像与所述目标人脸图像不是相同或相匹配的人脸图像，此时用户终端1可以重复以上过程，继续计算所述人脸图像与数据库中的下一个目标人脸图像的相似度取值，直到查找到相同或相匹配的人脸图像，或者遍历整个数据库未发现与所述人脸图像相同或相匹配的人脸图像时停止。

应该理解，本案不受具体采用的人脸识别方法的限制，无论是现有的人脸识别方法还是将来开发的人脸识别方法，都可以应用于本案的人脸识别方法中，并且也应包括在本发明的保护范围内。

步骤S203、解锁并显示电子合同以供用户观看。

本实施方式中，用户终端1在确定出所述人脸图像与所述目标人脸图像相匹配时将所述电子合同解锁并显示在用户终端1上供用户查看。在一具体实施方式，在确定出所述人脸图像与所述目标人脸图像相匹配时在用户终端1上显示一文件列表。所述文件列表中包括多个保密合同文件选项，所述用户终端1响应用户选择一保密合同文件选项的操作显示与所述保密合同文件选项对应的保密合同文件供用户查看。

步骤S204、获取人脸图像并利用训练好的面部动作分类模型确定所述人脸图像中的面部动作。本实施方式中，所述面部动作为用户的面部动作特征。在本发明实施方式中，所述面部动作类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别。

本实施方式中，面部动作分类模型包括，但不限于：支持向量机(Support VectorMachine，SVM)模型。将包含有眨左眼、眨右眼、眨双眼、皱眉或张口等人脸图像作为所述面部动作分类模型的输入，经过面部动作分类模型计算后，输出对应所述人脸图像的面部动作类别。

在一实施方式中，所述面部动作分类模型的训练过程包括：

1)获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作类别作为面部动作类别标签。

例如，分别选取500眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别对应的面部动作数据，并对每个面部动作数据标注类别，可以以“1”作为眨左眼的面部动作数据标签，以“2”作为眨右眼的面部动作数据标签，以“3”作为皱眉的面部动作数据标签，以“4”作为眨双眼的面部动作数据标签，以“5”作为张口的面部动作数据标签。

2)将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率。

先将不同面部动作类别的训练集中的训练样本分发到不同的文件夹里。例如，将眨左眼类别的训练样本分发到第一文件夹里、将眨右眼类别的训练样本分发到第二文件夹里、将皱眉类别的训练样本分发到第三文件夹里、将眨双眼类别训练样本分发到第四文件夹里及将张口类别的训练样本分发到第五文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行面部动作分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的面部动作分类模型进行准确性验证。

3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别人脸图像中的面部动作类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。

步骤S205、根据分析出的用户的面部动作从预设的面部操作指令关系表中查找与所述面部动作相对应的操作指令，并根据确定的操作指令对电子合同进行控制。

本实施方式中，所述面部操作指令关系表中定义有多个面部动作与操作指令的对应关系，其中，眨左眼的面部动作与向左翻页的控制指令对应，眨右眼的面部动作与向右翻页的控制指令对应，皱眉的面部动作与锁定页面的控制指令对应，眨双眼的面部动作与解除锁定页面的控制指令对应，张口的面部动作与保存的控制指令对应。本实施方式中，当确定面部动作为眨左眼时，所述用户终端1从预设的面部操作指令关系表中查找与眨左眼相对应的操作指令为向左翻页，并控制所述电子合同向左进行翻页。当确定面部动作为眨右眼时，所述用户终端1从预设的面部操作指令关系表中查找与眨右眼相对应的操作指令为向右翻页，并控制所述电子合同向右进行翻页。当确定面部动作为皱眉时，所述用户终端1从预设的面部操作指令关系表中查找与皱眉相对应的操作指令为锁定页面，并控制所述电子合同锁定页面。

在另一实施方式中，用户终端1可以通过生物电传感器、肌肉振动传感器以及红外扫描传感器中的至少一种获取用户的面部特征。本案采用的生物电传感器和肌肉振动传感器所提取的信息为人体的生理信息。本案采用的红外扫描传感器是利用红外线的物理性质来进行测量的传感器，其可以测量出面部表情的变化类型以及变化幅度，如此根据面部表情的不同变化类型及变化幅度确定出用户的表情动作。

步骤S206、显示一提醒信息提醒用户不具有阅读权限。

本实施方式中，当确定出所述人脸图像与所述目标人脸图像不相匹配时显示一提醒信息提醒用户不具有阅读权限，并记录人脸图像与目标人脸图像不相匹配的错误次数。当人脸图像与目标人脸图像不相匹配的错误次数超过预设次数时发出报警信息。

本实施方式中，所述方法还包括步骤：接收用户的设置操作设置面部操作指令关系表中面部动作与操作指令的对应关系。在一具体实施方式中，所述用户终端1通过所述图像采集单元11获取带有面部动作的人脸图像，将所述人脸图像输入到面部动作分类模型中以解析出所述人脸图像的面部动作，并将解析出的面部动作与用户设定的操作指令建立对应的关系，如此，用户终端1在解析出人脸图像中的面部动作时，控制所述电子合同按照与所述面部动作相对应的操作指令进行操作。

实施例2

图3为本发明一实施方式中电子合同显示装置40的结构图。

在一些实施例中，所述电子合同显示装置40运行于用户终端1中。所述电子合同显示装置40可以包括多个由程序代码段所组成的功能模块。所述电子合同显示装置40中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行电子合同显示的功能。

本实施例中，所述电子合同显示装置40根据其所执行的功能，可以被划分为多个功能模块。参阅图3所示，所述电子合同显示装置40可以包括获取模块401、人脸识别模块402、显示模块403、面部动作识别模块404、操作执行模块405、提醒模块406及设定模块407。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。所述在一些实施例中，关于各模块的功能将在后续的实施例中详述。

所述获取模块401用于获取人脸图像。

本实施方式中，所述用户终端1包括一图像采集单元11。所述图像采集单元11用于采集人脸图像。例如，在一实现方式中，所述图像采集单元11可以为2D摄影机，所述获取模块401通过所述2D摄影机获取用户的人脸图像作为人脸图像。在另一实施方式中，所述图像采集单元也可以为3D摄像机，所述获取模块401通过所述3D摄像机获取用户的3D人脸图像作为人脸图像。本实施方式中，所述获取的人脸图像可以是人脸图片，也可以是人脸视频等。

所述人脸识别模块402用于利用已训练好的预设深度学习模型识别所述人脸图像并判断所述人脸图像是否与存储的目标人脸图像相匹配。

本实施方式中，所述人脸识别模块402在识别出人脸图像后将识别出的人脸图像与所述目标人脸图像进行比较，并根据比较结果确定是否解锁并显示电子合同。本实施方式中，所述目标人脸图像存储在所述用户终端1或服务器2中。在一实施方式中，所述人脸识别模块402利用已训练好的预设深度学习模型识别所述人脸图像并判断识别出的人脸图像是否与存储的目标人脸图像相匹配包括：

a)根据已经训练好的预设深度学习模型提取人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量；

b)基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值；及

c)根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配。

本实施方式中，所述预设深度学习模型为基于多层神经网络的深度学习模型。所述预设深度学习模型包括多个基层，每一个基层可作为独立的特征提取层对人脸图像的局部特征进行提取。在一具体实施方式中，所述多层神经网络可以为卷积神经网络。也即，所述预设深度学习模型包括输入层、多个用于进行特征提取的卷积层、全连接层以及及输出层。输入层用于为人脸图像或目标人脸图像提供输入通道；卷积层可以作为独立的特征提取层对所述人脸图像或所述目标人脸图像的局部特征进行训练提取；全连接层可以对各卷积层所训练提取出的局部特征进行整合，将各卷积层训练提取出的图像特征连接为一个一维向量；输出层用于输出对输入的人脸图像样本的分类结果。

本实施方式中，在对预设深度学习模型进行训练时，可以在服务器2中存储预设数量的人脸图像样本，并且由用户对这些人脸图像样本进行分类；例如，可以准备1万张人脸图像样本，然后按照这些人脸图像样本所归属的用户对这1万张人脸图像样本进行分类，并将每一个分类的人脸图像样本按照所属的用户进行标定，比如，可以将分类后的每一个分类分别标定为甲、乙、丙等，每一个用户具备10～100张不等的图片，此时每一个分类中的人脸图像样本均归属于同一个用户。当准备的预设数量的人脸图像样本分类完成后，此时可以将所述预设深度学习模型作为分类模型，将这些人脸图像样本作为训练样本输入到所述预设深度学习模型中进行训练，并根据预设深度学习模型输出的分类结果，对所述预设深度学习模型各基层上节点之间的连接的权重参数进行调整。所述预设深度学习模型在每次调整后基于输入的训练样本进行训练后，输出的分类结果与用户标定的分类结果相比，准确度将会逐渐提高。与此同时，用户可以预先设置一个准确度阈值，在不断的调整过程中，如果所述预设深度学习模型输出的分类结果与用户标定的分类结果相比，准确度达到预先设置的准确度阈值后，此时所述预设深度学习模型中各基层节点之间连接的权重参数均为最佳权重参数，可以认为所述预设深度学习模型已经训练完毕。

本实施方式中，在预设深度学习模型训练完毕后，用户终端1使用已训练好的所述预设深度学习模型，对人脸图像以及目标人脸图像进行人脸特征向量的提取。在具体实施方式中，在用户终端1中可以预先创建一个目标人脸图像数据库，所述目标人脸图像数据库中的每一张目标人脸图像均可在对人脸图像进行人脸识别时，作为与所述人脸图像进行比对的参照物。在针对目标人脸图像数据库中的目标人脸图像进行人脸特征提取时，用户终端1可以将目标人脸图像数据库中的目标人脸图像作为输入图像在所述预设深度学习模型中包含的多个卷积层中依次进行特征训练。当各卷积层均训练完成后，可以提取全连接层输出的特征向量作为所述目标人脸图像的人脸特征向量。

在本实施方式中，在针对人脸图像进行人脸特征提取时，用户终端1可以按照相同的处理方式，将所述人脸图像作为输入图像在所述预设深度学习模型中包含的多个卷积层中依次进行特征训练，当各卷积层均训练完成后，可以提取全连接层输出的特征向量作为所述人脸图像的人脸特征向量。

本实施方式中，用户终端1可以计算所述人脸图像的人脸特征向量与所述目标人脸图像的人脸特征向量之间的向量距离，然后根据预先建立的向量距离与相似度取值的对应关系列表确定与所述向量距离对应的相似度值。

具体的，所述用户终端1根据特征向量与相似度之间的关系预先建立一个向量距离与相似度取值的对应关系列表，所述对应关系列表中可以根据预设的向量距离阈值划分为多个不同的相似度等级，并为每一个相似度等级设置一个对应的相似度取值，由于特征向量之间的向量距离通常与特征向量之间的相似度成反比，因此当向量距离越小时，相似度取值越高，当向量距离越大时，相似度取值越低。用户终端1通过这种方式可以通过查询所述对应关系列表就可以得到与计算出的向量距离对应的相似度取值。本实施方式中，所述向量距离可以是余弦距离或欧氏距离，在本实施方式中不进行特别限定。

本实施方式中，当将计算出的向量距离转换成对应的相似度取值后，所述用户终端1进一步判断所述相似度取值是否达到相似度阈值，如果所述相似度取值达到相似度阈值时，此时用户终端1可以确认所述人脸图像与所述目标人脸图像是相同或相匹配的人脸图像，并将所述目标人脸图像作为识别结果进行输出。如果所述相似度取值未达到相似度阈值时，此时用户终端1确认所述人脸图像与所述目标人脸图像不是相同或相匹配的人脸图像，此时用户终端1可以重复以上过程，继续计算所述人脸图像与数据库中的下一个目标人脸图像的相似度取值，直到查找到相同或相匹配的人脸图像，或者遍历整个数据库未发现与所述人脸图像相同或相匹配的人脸图像时停止。

应该理解，本案不受具体采用的人脸识别方法的限制，无论是现有的人脸识别方法还是将来开发的人脸识别方法，都可以应用于本案的人脸识别方法中，并且也应包括在本发明的保护范围内。

所述显示模块403用于当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

本实施方式中，所述显示模块403在确定出所述人脸图像与所述目标人脸图像相匹配时将所述电子合同解锁并显示在用户终端1上供用户查看。在一具体实施方式，在确定出所述人脸图像与所述目标人脸图像相匹配时在用户终端1上显示一文件列表。所述文件列表中包括多个保密合同文件选项，所述显示模块403响应用户选择一保密合同文件选项的操作显示与所述保密合同文件选项对应的保密合同文件供用户查看。

所述面部动作识别模块404用于获取人脸图像并利用训练好的面部动作分类模型确定所述人脸图像中的面部动作。本实施方式中，所述面部动作为用户的面部动作特征。在本发明实施方式中，所述面部动作类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别。

本实施方式中，面部动作分类模型包括，但不限于：支持向量机(Support VectorMachine，SVM)模型。将包含有眨左眼、眨右眼、眨双眼、皱眉或张口等人脸图像作为所述面部动作分类模型的输入，经过面部动作分类模型计算后，输出对应所述人脸图像的面部动作类别。

在一实施方式中，所述面部动作分类模型的训练过程包括：

1)获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作类别作为面部动作类别标签。

例如，分别选取500眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别对应的面部动作数据，并对每个面部动作数据标注类别，可以以“1”作为眨左眼的面部动作数据标签，以“2”作为眨右眼的面部动作数据标签，以“3”作为皱眉的面部动作数据标签，以“4”作为眨双眼的面部动作数据标签，以“5”作为张口的面部动作数据标签。

2)将所述正样本的面部动作数据及所述负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率。

先将不同面部动作类别的训练集中的训练样本分发到不同的文件夹里。例如，将眨左眼类别的训练样本分发到第一文件夹里、将眨右眼类别的训练样本分发到第二文件夹里、将皱眉类别的训练样本分发到第三文件夹里、将眨双眼类别训练样本分发到第四文件夹里及将张口类别的训练样本分发到第五文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行面部动作分类模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的面部动作分类模型进行准确性验证。

3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别人脸图像中的面部动作类别；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。

所述操作执行模块405根据分析出的用户的面部动作从预设的面部操作指令关系表中查找与所述面部动作相对应的操作指令，并根据确定的操作指令对电子合同进行控制。

本实施方式中，所述面部操作指令关系表中定义有多个面部动作与操作指令的对应关系，其中，眨左眼的面部动作与向左翻页的控制指令对应，眨右眼的面部动作与向右翻页的控制指令对应，皱眉的面部动作与锁定页面的控制指令对应，眨双眼的面部动作与解除锁定页面的控制指令对应，张口的面部动作与保存的控制指令对应。本实施方式中，当确定面部动作为眨左眼时，所述操作执行模块405从预设的面部操作指令关系表中查找与眨左眼相对应的操作指令为向左翻页，并控制所述电子合同向左进行翻页。当确定面部动作为眨右眼时，所述操作执行模块405从预设的面部操作指令关系表中查找与眨右眼相对应的操作指令为向右翻页，并控制所述电子合同向右进行翻页。当确定面部动作为皱眉时，所述操作执行模块405从预设的面部操作指令关系表中查找与皱眉相对应的操作指令为锁定页面，并控制所述电子合同锁定页面。

在另一实施方式中，所述操作执行模块405可以通过生物电传感器、肌肉振动传感器以及红外扫描传感器中的至少一种获取用户的面部特征。本案采用的生物电传感器和肌肉振动传感器所提取的信息为人体的生理信息。本案采用的红外扫描传感器是利用红外线的物理性质来进行测量的传感器，其可以测量出面部表情的变化类型以及变化幅度，如此根据面部表情的不同变化类型及变化幅度确定出用户的表情动作。

所述提醒模块406用于当识别出的人脸图像与所述目标人脸图像不相匹配时显示一提醒信息提醒用户不具有阅读权限。

本实施方式中，当确定出所述人脸图像与所述目标人脸图像不相匹配时显示一提醒信息提醒用户不具有阅读权限，并记录人脸图像与目标人脸图像不相匹配的错误次数。当人脸图像与目标人脸图像不相匹配的错误次数超过预设次数时发出报警信息。

本实施方式中，所述设定模块407用于接收用户的设置操作设置面部操作指令关系表中面部动作与操作指令的对应关系。在一具体实施方式中，所述设定模块407通过所述图像采集单元11获取带有面部动作的人脸图像，将所述人脸图像输入到面部动作分类模型中以解析出所述人脸图像的面部动作，并将解析出的面部动作与用户设定的操作指令建立对应的关系，如此，在解析出人脸图像中的面部动作时，所述操作执行模块405控制所述电子合同按照与所述面部动作相对应的操作指令进行操作。

实施例3

图4为本发明一实施方式中电子设备6的示意图。

在一实施方式中，所述电子设备6可以为本发明中的用户终端1。所述电子设备6包括存储器61、处理器62以及存储在所述存储器61中并可在所述处理器62上运行的计算机程序63。所述处理器62执行所述计算机程序63时实现上述电子合同显示方法实施例中的步骤，例如图2所示的步骤S201～S206。或者，所述处理器62执行所述计算机程序63时实现上述电子合同显示装置实施例中各模块/单元的功能，例如图3中的模块401～407。

示例性的，所述计算机程序63可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器62执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序63在所述电子设备6中的执行过程。例如，所述计算机程序63可以被分割成图3中的获取模块401、人脸识别模块402、显示模块403、面部动作识别模块404、操作执行模块405、提醒模块406及设定模块407，各模块具体功能参见实施例二。

所述电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备6还可以包括输入输出设备、网络接入设备、总线等。

所称处理器62可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器62也可以是任何常规的处理器等，所述处理器62是所述电子设备6的控制中心，利用各种接口和线路连接整个电子设备6的各个部分。

所述存储器61可用于存储所述计算机程序63和/或模块/单元，所述处理器62通过运行或执行存储在所述存储器61内的计算机程序和/或模块/单元，以及调用存储在存储器61内的数据，实现所述计电子设备6的各种功能。所述存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备6的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述电子设备6集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种电子合同显示方法，其特征在于，所述方法包括步骤：

获取人脸图像；

根据已经训练好的预设深度学习模型提取所述人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量；

基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值；

根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配；及

当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

2.如权利要求1所述的电子合同显示方法，其特征在于，所述基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与所述目标人脸图像的相似度取值包括：

计算所述人脸图像的人脸特征向量与所述目标人脸图像的人脸特征向量之间的向量距离；及

根据预先建立的向量距离与相似度取值的对应关系列表确定与所述向量距离对应的相似度值，其中所述向量距离可以是余弦距离或欧氏距离。

3.如权利要求1所述的电子合同显示方法，其特征在于，所述方法还包括：对所述预设深度学习模型进行训练，其中，对所述预设深度学习模型进行训练包括：

存储预设数量的人脸图像样本，并且对所述人脸图像样本进行分类；

按照所述人脸图像样本所归属的用户对所述人脸图像样本进行分类，并将每一个分类的人脸图像样本按照所属的用户进行标定；

当所述预设数量的人脸图像样本分类完成后将所述人脸图像样本作为训练样本输入到所述预设深度学习模型中进行训练，并根据预设深度学习模型输出的分类结果，对所述预设深度学习模型各基层上节点之间的连接的权重参数进行调整；

每次调整后将输出的分类结果与对所述人脸图像样本进行标定后得到的分类结果相比，若准确度达到预先设置的准确度阈值时所述预设深度学习模型中各基层节点之间连接的权重参数均为最佳权重参数，则所述预设深度学习模型训练完毕。

4.如权利要求1所述的电子合同显示方法，其特征在于，所述方法还包括步骤：

获取所述人脸图像并利用训练好的面部动作分类模型确定所述人脸图像中的面部动作；及

根据分析出的用户的面部动作从预设的面部操作指令关系表中查找与所述面部动作相对应的操作指令，并根据确定的操作指令对所述电子合同进行控制。

5.如权利要求4所述的电子合同显示方法，其特征在于，所述面部动作分类模型的训练过程包括：

获取正样本的面部动作数据及负样本的面部动作数据，并将正样本的面部动作数据标注面部动作类别作为面部动作类别标签，其中，所述面部动作类别包括：眨左眼类别、眨右眼类别、皱眉类别、眨双眼类别、张口类别；

将正样本的面部动作数据及负样本的面部动作数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述面部动作分类模型，并利用所述验证集验证训练后的所述面部动作分类模型的准确率；

当所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述面部动作分类模型作为分类器识别所述人脸图像中的面部动作类别；及

当所述准确率小于预设准确率时，增加正样本的面部动作数据数量及负样本的面部动作数据数量以重新训练所述面部动作分类模型直至所述准确率大于或者等于预设准确率。

6.如权利要求4所述的电子合同显示方法，其特征在于，所述方法还包括：

接收用户的设置操作设置面部操作指令关系表中面部动作与操作指令的对应关系。

7.如权利要求1所述的电子合同显示方法，其特征在于，所述方法还包括步骤：

当识别出的人脸图像与所述目标人脸图像不相匹配时，显示一提醒信息提醒用户不具有阅读权限。

8.一种电子合同显示装置，其特征在于，所述装置包括：

获取模块，用于获取人脸图像；

人脸识别模块，用于：

根据已经训练好的预设深度学习模型提取所述人脸图像的人脸特征向量以及目标人脸图像的人脸特征向量；

基于所述人脸图像的人脸特征向量以及所述目标人脸图像的人脸特征向量计算所述人脸图像与目标人脸图像的相似度取值；及

根据计算出的所述相似度取值判断识别出的所述人脸图像是否与存储的所述目标人脸图像相匹配；及

显示模块，用于当识别出的人脸图像与所述目标人脸图像相匹配时解锁并显示电子合同以供用户观看。

9.一种电子设备，其特征在于：所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一项所述电子合同显示方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述电子合同显示方法。