CN107766785A

CN107766785A - 一种面部识别方法

Info

Publication number: CN107766785A
Application number: CN201710061249.7A
Authority: CN
Inventors: 丁贤根
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-01-25
Filing date: 2017-01-25
Publication date: 2018-03-06
Anticipated expiration: 2037-01-25
Also published as: WO2018137595A1; CN107766785B

Abstract

一种面部识别方法，包括采集用户的人脸视频、图像序列和音频步骤，面部动作识别和访问对象身份识别步骤，输出动作指令和依据保密关系访问保密信息步骤，实现用面部动作来驱动宿主系统的指令和隐私保密，实现用户账户密码活体认证。可识别出无意识动作如眨眼睛；识别出有意识动作，如眨眼、皱眉、张嘴、点头等动作，同时还提出语义指令识别方法，用这些动作去驱动宿主子系统的各种功能。此外，在访问对象和被访问信息之间建立一一对应的保密关系，依据人脸识别，完成保密信息面向访问对象的保密。采用人工智能网络算法、模糊识别算法、遗传算法来完成面部动作的识别。用于保密社交、保密隐私、VR、AR、MR、头盔操作、金融支付、游戏和手机APP。

Description

一种面部识别方法

技术领域

本发明涉及人脸识别技术，尤其是涉及一种面部识别方法，一种基于人脸识别与人工智能技术实现表情识别并实现后续驱动的方法，属于信息处理技术领域。

背景技术

随着人脸识别与人工智能的发展，认人这一工作也越来越成熟。百度推出的人工智能人脸识别，在很多方面已经超过人类的水平。但是作为使用人脸的表情动作的识别以及驱动智能化设备，目前的研究及成果尚数鲜见。

本发明人对于现有技术进行了大量的研究发现：

1、基于人脸识别的技术虽然很多，但都是通过人脸识别来确定用户身份。

2、中国专利申请201510297334.4披露了一种基于人脸表情动作识别的技术，其核心特征是云服务器端接受用户的表情照片作为账户注册，然后用于账户验证。另一个中国专利申请201210061716.3，也是用于云服务器端接受用户发送的表情再予以验证。

3、中国专利申请201410301696.1披露了基于眼球运动检测的技术，其核心特征是通过拍摄眼睛前后的图片，来判断眼睛的运动方向，从而实现翻页功能。

4、中国专利申请201410227002.4披露了一种眼睛开闭状态检测装置和方法，其核心特征是通过眼睛的照片来判断眼睛的开闭，提出计算方法。

因此，现有技术中存在如下的不足：没有使用人脸面部动作来操作；没有采用一一对应的保密关系；社交聊天是没有利用人脸动作来增加趣味性。

现有技术之所以存在上述不足，一方面，是因为应用的推动尚没有到来。以智能手机APP为例：现在还是处在替代PC软件的末期，一个全新的、完全脱胎换骨的人工智能时代尚处于萌芽阶段；另外一方面，基于人脸表情动作的识别技术也刚刚引起创新者的注意，这方面的研究成果很少，相关的技术信息也非常少；第三，本领域技术人员现阶段的注意力还是集中在通过人脸来识别人的身份，而不是识别人的意图。

本发明人经过长期的研究认为：人脸的表情动作，例如：眨眼、皱眉、张嘴、点头、摇头灯动作，不仅是人们习惯的表情方式，更是符合人类的心理活动的表达。再进一步，语义识别，更是最直接表达人类意图的最佳方式。如果能够较好地识别它们，在很多场景中，将会改善对于设备的操作。例如智能头盔，可以让驾驶员凭借这项技术，就可以解放手脚；在隐私保密和社交保密场合，这项技术也能够改善对于隐私的保护。

发明内容

本发明的目的是提供一种面部识别方法，通过对面部视频或图像序列，识别面部动作，以此去驱动宿主系统的下一步指令。

本发明的目的是采用如下技术方案实现的：

一种面部识别方法，以下简称本方法，它至少包含：

采集人脸视频和/或人脸图像序列的步骤；

依据所述人脸视频和/或人脸图像序列识别面部动作的步骤；

基于所述面部动作输出驱动指令的步骤。

在前述技术方案的基础上，在本发明的另一些方案中可以采用如下列的一种或者多种局部改进的措施：前述采集人脸视频和/或人脸图像序列的采样频率不小于每秒5帧。

对于本方法所涉及到的程序、数据的存储，包括但不限于本地存储、网络存储、云计算存储；对于程序的实现模式，包括单机模式、C/S模式、B/S模式和SaaS模式。

作为智能手机的APP应用，利用手机正面的摄像机采集用户的人脸视频，并且识别和驱动指令，是本方法的选择之一。

所述依据所述人脸视频和/或人脸图像序列识别面部动作的步骤，包括但不限于以下步骤以及它们的组合：

过滤无意识动作S14；

报警疲劳动作S15、报警异常动作S16和/或S17；

执行有意识动作S1、S2-S12和/或S13；

其中：

S1为左眼眨动动作，周期大于T1并且小于T2；例如驱动“左划屏”；

S2为右眼眨动动作，周期大于T1并且小于T2；例如驱动“右划屏”；

S3为双眼眨动动作，周期大于T1并且小于T2；例如驱动“关闭显示或换屏保”；

S4为皱眉动作，周期大于T1并且小于T4；例如驱动“增加音量”；

S5为张嘴动作，周期大于T1并且小于T4；例如驱动“减小音量”；

S6为点头动作，周期大于T1并且小于T4；例如驱动“确认”；

S7为仰头动作，周期大于T1并且小于T4；例如驱动“上划屏”；

S8为低头动作，周期大于T1并且小于T4；例如驱动“下划屏”；

S9为摇头动作，周期大于T1并且小于T4；例如驱动“取消”；

S10为左向偏头动作，周期大于T1并且小于T4；例如驱动“后悔”；

S11为右向偏头动作，周期大于T1并且小于T4；例如驱动“向前”；

S12为拉左脸肌肉动作，周期大于T1并且小于T4；例如驱动“左划屏”；

S13为拉右脸肌肉动作，周期大于T1并且小于T4；例如驱动“右划屏”；

S14为双眼眨眼动作，周期小于T0；过滤，不执行任何驱动；

S15为呵欠动作，周期大于T3并且小于T4；疲劳报警；

S16为双眼闭眼动作，时间大于T5；异常情况报警；

S17为张嘴动作，时间大于T6；异常情况报警；

其中包含周期长短关系是：T6≥T5≥T4≥T3≥T2≥T1≥T0；

所述T0是在所述人脸视频和/或人脸图像序列中定位及计算眼睛完成一次无意识自然眨眼次动作从开始到结束的时间；根据人的生理反应敏感度，该时间值设定在0.1秒到0.4秒之间。

所述T1是在所述人脸视频和/或人脸图像序列中定位及计算眼睛、眉部、嘴部、头部、脸部肌肉完成一次有意识动作从开始到结束的最短时间；该时间应该大于人的生理反应敏感度，并且，作为一个有意识动作，优化的区间应该为0.4秒到1秒。

所述T2是在所述人脸视频和/或人脸图像序列中定位及计算眼睛完成一次有意识动作从开始到结束的最长时间；根据人的生理及心理反应，确定该时间为0.6秒到1.5秒。

所述T3是在所述人脸视频和/或人脸图像序列中定位及计算完成一次有意识的眉部、嘴部、头部、脸部肌肉动作从开始到结束的最长时间；根据人的生理及心理反应，确定该时间为0.6秒到1.5秒。

所述T4是在所述人脸视频和/或人脸图像序列中定位及计算头部完成一次打哈欠动作从开始到结束的最短时间；根据人的生理及心理反应，确定该时间为0.7秒到2.5秒。

所述T5、T6分别是在所述人脸视频和/或人脸图像序列中定位及计算完成一次因疲劳闭眼和张嘴打瞌睡动作从开始到结束的最短时间。这个时间值设定的意图是判断人出现异常情况，例如睡眠、过度疲劳而产生的失意状态，因此确定为大于2.5秒。

在前述技术方案的基础上，还包括但并不限于音频采集和语音识别、语言指令识别步骤；所述语音识别，是对于所述音频采集的信号进行人类语音的识别，排除环境噪音信号；所述语言指令识别，是对于音频信号进行语义识别，以识别出所述用户的语言指令；所述语音识别和语言指令识别，其识别方法包括并不限于：滤波算法、人工智能网络识别算法、模糊识别算法；基于设定，包括并不限于识别：

V0为说话动作，张嘴周期大于所述T1并且小于所述T3，并且同时伴有语音产生；

V1为“关闭”语言指令，例如关闭文件、关闭显示；

V2为“打开”语言指令，例如打开文件、打开显示；

V3为“向上”语言指令，例如光标向上移动、屏显内容向上移动；

V4为“向下”语言指令，例如光标向下移动、屏显内容向下移动；

V5为“向左”语言指令，例如光标向左移动、屏显内容向左移动；

V6为“向右”语言指令，例如光标向右移动、屏显内容向右移动；

V7为“退出”语言指令，例如退出文件、退出屏显、退出聊天；

V8为“删除”语言指令，例如删除文件、删除屏显、删除聊天记录；

V9为“隐藏”语言指令，例如隐藏文件、隐藏屏显、隐藏聊天记录；

V10为“后悔”语言指令，例如后悔上一步操作；

V11为“向前”语言指令，例如向前(即反后悔)一步操作；

V12-Vn为用户自定义语言指令，n为根据用户的意愿设定值；

通过智能化的语义训练和识别，用户可以实现更多的个性化的、带有方言和个人发音特征的指令。

所述依据所述人脸视频和/或人脸图像序列识别面部动作的步骤包括并不限于：采用人工智能网络算法、模糊识别算法和/或遗传算法，对所述人脸视频和/或人脸图像序列识进行包括并不限于图像尺寸归一化、滤波与特征提取、抗干扰处理、视频稳像、运动估算、深度学习、训练矫正、遗传矫正和/或贝叶斯矫正操作。

所述图像尺寸归一化，包括并不限于把采集到的所述人脸视频和/或人脸图像序列中人脸部分的尺寸，进行放大或者缩小，得到尺寸统一的视频和/或图像，以便于后续进一步的识别步骤。

在前述技术方案的基础上，还包括并不限于：依据所述人脸视频和/或人脸图像序列识别用户身份的步骤；包括并不限于：

采用人工智能网络算法、模糊识别算法和/或遗传算法，对所述人脸视频和/或人脸图像序列识进行包括并不限于图像尺寸归一化、滤波与特征提取、抗干扰处理、视频稳像、运动估算、深度学习、训练矫正、遗传矫正和/或贝叶斯矫正操作。

在前述技术方案的基础上，还包括并不限于：基于设定，将通过识别出的用户标识为公开对象和/或保密对象。

还包括在社交通信系统的应用中，发送所述面部动作种类和/或语义文字给社交通信系统中的对方，并且在对方显示器上用动画复现面部动作的步骤；

在本方法用在隐私保密和社交保密的系统设计时，在访问对象和信息和/或社交对象之间，建立一一对应的保密关系；对于不需要保密的信息和/或社交对象，任何访问对象都可以访问，并且把这部分的访问对象标识为公开对象；而需要保密的信息和/或社交对象，将其对应的访问对象标识为保密对象；根据保密关系，任何需要保密的信息和/或社交对象，都有对应的保密对象。

由于此项设定，作为公开对象，只能够访问所述保密关系中不需要保密的信息和/或社交对象，不能够访问需要保密的信息和/或社交对象；而作为保密对象，不能够访问所述保密关系中对他需要保密的信息和/或社交对象，只能够访问对他不需要保密的信息和/或社交对象。

在前述技术方案的基础上，还包括并不限于：基于设定，对于数据的存储、传输和/或显示进行加密和/或解密的步骤；其中：所述加密和/或解密步骤采用的算法包括并不限于：DES、3DES、AES、RC2、RC4、IDEA、RSA、DSA、ECC、BLOWFISH、KPCS、DM5、SHA、SSF33，SSF28，SCB2和/或SM系列的任意组合。

还包括并不限于，基于设定，所述方法还包括网络系统以及网络系统对于终端客户的账户和/或密码进行活体认证的步骤，以达到账户自动识别、密码自动识别、账户和密码均自动识别的效果；所述活体认证，至少包括：

用户使用所述网络系统为自己建立身份信息和动作编码组合并且保存到所述网络系统中存在的用户账户数据库中；所述身份信息是通过所述网络系统采集用户的所述人脸视频和/或人脸图像序列、识别所述该用户身份和的结果数据，所述动作编码组合是用户设定的若干面部动作结果数据的组合，例如S1+S1+S5；这一步骤是在此前用户正常输入账户和密码后设定完成的；

所述网络系统提供所述活体认证界面，所述用户通过该界面，重现步骤1，进入其账户和/或重新设定该账户的密码。

在前述技术方案的基础上，还包括并不限于利用驱动指令对宿主设备下一步操作提供驱动的步骤；具体包括：利用驱动指令提供程序函数代码，以使宿主软件能够根据所述程序函数代码进行判断并执行下一步功能的；和/或，

利用驱动指令提供控制接口的信号，以使宿主设备根据所述信号，执行后续的操作。

基于上述方法的组合使用，还包括并不限于隐私保密应用、社交保密应用、XR和头盔操作应用、金融支付应用、手机APP应用、电子游戏应用，具体包括并不限于以下步骤：

对于所述隐私保密应用，基于设定，在用户和隐私信息之间建立一一对应的保密关系，通过所述识别用户身份，查找并访问所述保密关系中允许该用户访问的隐私信息，包括使用所述S1-S13以及它们的组合去驱动操作功能；和/或，

对于所述社交保密的步骤包括：基于设定，在用户和社交对象之间建立一一对应的保密关系；把社交对象分成公开对象和保密对象；通过所述识别用户身份，查找并访问所述保密关系中允许该用户访问的保密社交对象；在用户跟保密对象通信时，使用所述S1-S13以及它们的组合去驱动保密和操作功能；所述社交对象包括社交对象个人和群组；所述动作识别的结果还可以发送给社交对象，在社交对象和/或用户自己的界面上采用动画和音效复现；设定眨双眼为关闭或更换保密对象的屏幕显示、眨左眼为切换上一个保密社交对象、眨右眼为切换下一个保密社交对象、点头为确认，摇头为取消；和/或，

对于所述XR和头盔操作应用，基于设定，在所述头盔内测安装摄像头，拍摄面部视频图像；在所述头盔中安装运动传感器，用于替代所述S6-S11，并和S1-S5、S10-S13及其它们的组合，用于控制连接设备的动作、显示XR内容，S15用于疲劳报警，S16、S17用于异常报警，过滤S14和S18；和/或，

对于所述金融支付系统，基于设定，采用所述识别用户身份来完成身份验证，使用所述S1-S13以及它们的组合去驱动账户操作功能；和/或，

对于所述手机APP应用，基于设定，采用所述S1-S13以及它们的组合去驱动APP操作功能；和/或，

对于所述电子游戏应用，所述S1-S13以及它们的组合去驱动指定的动作。

本方法的实施方式包含软件方式、硬件方式和软硬件融合方式；所述软件方式，是指本方法功能的实现，是运行在宿主平台上的软件；所述硬件方式，是指本方法功能的实现，是连接到宿主平台上的一些硬件，包含通用集成电路和/或专用集成电路和/或常规电子元器件，所述专用集成电路是指专门为本系统设计的集成电路；所述软硬件融合方式，是指包含通用集成电路和/或专用集成电路和/或常规电子元器件，以及运行在这些电路上的和/或宿主平台上的软件；所述专用集成电路包含在可编程器件上按照本系统功能进行编程后所形成的专用集成电路和/或按照本系统功能进行设计的SoC芯片和/或上述专用集成电路以及SoC芯片的组合。

与现有技术相比，本发明具有以下有益效果：

实现人脸面部动作识别，实现人脸表情的识别与判断。

实现面部动作驱动，解放了手脚，使得应用更加智能化。

实现面向对象的保密，有利于更加细致地保密隐私。

用人工智能改善用户体验，应用更加灵活和增加趣味性。

附图说明

图1：是本发明主题的示例性说明；

图2：是本发明手机用户的前摄像机摄像示意图；

图3：是本发明人脸视频及人脸图像序列中眨眼动作示例性图；

图4：是本发明面部动作识别的示例性识别流程图；

图5：是本发明驱动指令执行的中断方式的示例性中断流程图；

图6：是本发明访问对象和访问信息之间的保密关系图；

图7：是本发明保密访问的示例性保密流程图；

图8：是本发明执行动作指令的流程图；

图9：是本发明执行活体认证的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行描述。

本发明的一类具体实施方式如下：

具体实施方式一、面部动作驱动和隐私保护的社交系统常规的社交系统，如微信，在一次认证通过后就再也没有其他认证了。因此，只要是进入了一个微信号，任何人就可以查看所有的聊天信息和跟任何聊天对象聊天。这种设计，虽然使用方便，但是带来的问题是丝毫没有隐私可言，更无保护隐私的办法。另外一方面，作为隐私动作指令或者基于趣味性的考虑，人脸的动作识别和驱动也是一件有价值的设想。

本发明的这个实施例就是试图设计一种采用面部动作驱动来实现操作，采用人脸身份识别来实现隐私保护。

本实施方式是本发明面向智能手机的面部动作驱动和隐私保护的社交系统(以下简称“社交系统”，如微信、QQ、Facebook等)的示例性例子。

该社交系统是基于目前常用的智能手机上开发的一套社交软件系统，或者是目前流行的社交软件的修改版，修改的内容包括以下的基本要求：

1、200图2中，201是手机，202是手机上的正面摄像头，203是用户的人头示意，204是用户的眼睛，205是用户的嘴巴，还有其他，例如：眉毛、面部肌肉、头部轮廓。在社交系统中，202在需要的时候，实时地在软件后台监视用户头像，要求用户尽可能将201手机放在用户的正面位置，以便于摄像机能够较好地拍摄到用户的面部。

2、社交系统包括依照本发明设计的面部动作识别子系统，它是采用人工智能特征设计的。

第一，将摄像头对于人脸的视频或图像采样频率设定在每秒5～30帧，为了保证采样的时间精度，建议按照PAL制式的每秒25帧或者按照NTSC制式的每秒30帧采集视频数据。

第二，在视频或图像处理时，先捕捉人脸区域，用一个矩形框子套住人脸区域，然后做尺寸归一化处理。所述尺寸归一化处理，是由于随着人脸离摄像头的距离远近的不同，所采集的人脸尺寸也有所不同，为了方便后续的图像或图像处理，所以确定一个标准尺寸。当所采集的图像人脸区域大于这个尺寸时，就缩小图像，达到标准尺寸；反之就放大图像，以达到标准尺寸。所述尺寸，这里是按照像素为单位，建议以最小200×200、最大200×300为准。

第三，滤波与特征提取，对于上述处理后的视频或图像，对于每一帧图像，均做灰度处理，去掉彩色，仅保留黑白灰度值，再依据现有公知共用的图像特征提取方法，例如LBP(Local Binary Pattener)方法，提取出眉毛、眼睛、嘴巴、颧骨肌肉、头部轮廓的特征。

第四，依据图像帧序列的特征变化，识别动作。如300图3所示，从301到309，上下眼睑的缝隙由大到小再由小到大，可以看出人眼是在做眨眼动作。以此类推，可识别出嘴巴的张合。将从301到309所经历的时间值作为动作周期T。对于眼睛，由于人类的自然眨眼不是一个有意识的行为，这些必须予以过滤或者忽略。由医学数据中可以看出：人类自然眨眼的周期值通常在0.2秒到0.4秒。于是，我们确定T0＝0.4秒。为了区别有意识眨眼和自然眨眼，我们设定所述有意识眨眼周期为T1＝0.8秒，并且以此作为有意识动作的时间下线，包括皱眉、张嘴、点头、仰头、低头、摇头、偏头、颧骨肌肉等动作。由于人对于时间的记忆是模糊的，所以，有意识动作的时间上限T2需要拉开一些距离，这里确定T2＝1.5秒。T3是打哈欠周期的最短时间，这个时间是因人而异，这里建议T3＝1.5秒。T4是打哈欠周期的最长时间，基于同样的理由，这里建议T4＝2.5秒。

3、作为优化，所述社交系统加入图像的抗干扰处理、视频稳像、运动估算、深度学习、训练矫正、遗传矫正和/或贝叶斯矫正操作。

4、如400图4是面部识别驱动的流程图。从401开始，首先进入402“终端禁止”，这是因为摄像机在至少采集一帧视频期间，程序不能被中断，以免影响图像采集质量。此后，进入403，“采集一帧视频或者一幅图像”，根据设定，还可以同步采集音频信号404，采集完成后，进入405“开放中断”。406是“预识别面部动作”，之所以定义为“预识别”，这是因为，一个完整的面部动作，是由301到309所确定的过程，其时间将超过一个视频帧的采集周期，例如以上确定的视频NTSC制式的每秒30帧，那么每帧周期为t＝1/30＝0.033秒，基于T0＝0.4秒，可见T0远大于t，从时间上看，完全是够用的。407是“预识别成功”判断，如果成功，则在408记录“预识别编码”，然后进入409“识别成功”判断。如果预识别成功判断为失败，则进入413，然后进入409“识别成功”判断。这里所述“识别成功”，是指一个完整的动作(如眨眼)识别成功。如果识别成功，则进入411“形成识别动作码，并且申请动作中断”，这里是采用所述“中断”方式来完成所述“驱动指令”。然后返回414点，进入下一帧图像的识别。如果409识别不成功，则执行410“准备下一个域识别流程”，并且返回414点，进入下一帧图像的识别。

5、如500图5，是500“驱动指令中断”的程序流程图。501为中断程序开始，502为“取识别动作编码”，这是在411中形成的，503为“执行动作指令”，这是根据所述动作编码来执行的，所述动作编码是系统中在设计时确认的，主要内容为每个编码所对应的动作。动作指令执行完成后，进入504,“记录动作执行状况”，然后执行505“结束返回中断”。

6、如800，图8，是“执行动作指令”的流程图，实际上，800是所述505的分解步骤，而505又是411根据面部动作识别形成的。例如，用户做了一次“仅眨左眼”动作，在411中形成“S1”动作编码，产生中断后，在505中执行800程序，在800中，根据“S1”，执行具体的“左划屏”动作，依次类推，实现从S1到S17的全部动作。此外，还可以设定更多的动作识别以及重新定义所述“动作”和具体执行的“操作”对应关系。

7、如600图6，建立“信息”和“访问对象”之间的保密关系，其中，所述信息只是系统中的各种信息，例如一张照片、一段文字、段视频、一段音频等，也可以是一个聊天群组、一个聊天对象、一段聊天记录等。信息分为602“保密信息”和603“非保密信息”。所述访问对象是指使用手机的用户，通常，手机都是私人物品，应该只有唯一的用户，可是在实际情况中，还是有很大的可能性不止一个用户的，因此，本发明将用户对象分为606“公开对象”和605“保密对象”。所述601“保密关系”是这样建立的，在602“保密信息”和605“保密对象”之间，建立一一对应的601“保密关系”，所述606“公开对象”，是指能够访问全部603“非保密信息”的用户，605“保密对象”是指在601“保密关系”中能够访问那些“允许访问”的605“保密信息”中的部分信息，而不能够访问那些601“保密关系”中能够访问那些“禁止访问”的605“保密信息”中的部分信息。因此，本发明采用识别用户身份的步骤，来完成用户身份的识别，再进一步，由601“保密关系”来确定能不能访问？以及允许访问那些“保密信息”。

8、如700，图7，是基于上述“保密关系”的方法所设计的所述保密访问的流程图。在进入701“保密访问”后，进行702“系统认证”，这一步就是类似微信的输入用户名和密码工作步骤。通过703的判断，如果认证不通过，则返回711重新认证；如果认证通过，则进入704“识别用户身份”，在识别出用户身份后进入705“查询保密关系”，如果查询结果，进入706判断出该用户的访问对象是“公开对象”，则进入708“访问非保密信息”，再进入循环体710点；如果查询结果，进入706判断出该用户的访问对象是“保密对象”，则进入707“访问保密信息中允许访问的信息”，再进入循环体710点。在这个设计里，其特征是：使用一个循环体来循环识别用户，以实时地、连续地确认其身份，一旦手机换到例外一个人的手上，原来的“保密对象”身份改变，变成另外一个保密对象或者非保密对象，则所允许访问的信息立即改变。本发明就是用这个方法实现用户的隐私保护的。

9、基于趣味性考虑，把一对聊天用户的彼此的面部动作和语义发给对方，进而在彼此界面上用动画复现面部动作。发送方式可以采用约定的动作编码和语义文字，如S1到S17，V0到Vn，然后在彼此的屏幕上通过这个编码来复现面部动作动画和语义文字，还可以配上相应的音效。此外，这个设计除了趣味性之外，本身就是对于对方的一种动作通知。这一步的实现，在503中完成。

10、如900，图9，基于安全考虑，系统设定所述“活体认证”功能。把所述“识别用户身份”和“识别面部动作”功能用于社交网络系统对于用户进行“身份认证”和“账户密码找回”。所述“活体认证”功能不同于此前常规的身份认证是采用各种需要记忆的密码和回答设定的问题来实现，而是活体的、实时的身份认证，不需要用户记忆，黑客也无法模仿和攻击。这是通过以下步骤实现的：

10.1、用户使用所述社交网络系统，为自己建立身份信息和动作编码组合，并且保存到所述网络系统中存在的用户账户数据库中；所述身份信息是通过所述网络系统采集用户的所述人脸视频和/或人脸图像序列、识别所述该用户身份和的结果数据，为了防止黑客使用该用户的照片进行网络欺骗，所述身份信息是一段视频或者多幅人脸图像，其中包括头部的微动作，如微微摇头、微微点头；所述动作编码组合是用户设定的若干面部动作结果数据的组合，例如S1+S1+S5；这一步骤是在此前用户正常输入账户和密码后设定完成的；

10.2、当用户忘记账户和/或密码时，所述社交网络系统提供所述活体认证界面900，所述用户通过该界面，如图9中，首先进入901“活体认证”，然后在902“系统认证”输入认证密码，在903中判断，如果密码正确，说明无需进一步认证，转到701，进入正常的访问流程；如果密码不正确，系统认证失败，则进入904“失败用户身份”；从904到909；所述社交网络系统得到所述身份信息904和动作编码组合数据905后，与所述社交网络系统中存储的用户账户数据库比较906、907，吻合，即通过认证、进入账户908和/或重新设定该账户的密码909，转到710，进入正常的访问流程；不吻合就拒绝进入账户，返回910。

11、作为同类的设计，基于同样的发明思路，可以做如下改变：

11.1、利用动作组合来完成用户特殊指令，例如用“眨左眼”+“向左偏头”来隐藏当前信息，用“眨右眼”+“向右偏头”来删除当前信息，以此类推。

11.2、在407中加入语义识别，并在503中去执行用户定义的指令。

11.3、设计成用户可自定义的动作-操作指令对应关系，让用户可以修改800，重新自定义操作指令。

11.4、用户可以任意组合所述“面部动作识别”和“用户身份识别”，或者只用“面部动作识别”，或者只用“用户身份识别”。

11.5、修改412和500，把中断模式改成顺序执行模式，或依此类推把例如视频、语音采集的改成中断模式。

11.6、用户的数据存储采用加密存储，访问采用同样加密原理的解密方式，加解密算法包括并不限于：DES、3DES、AES、RC2、RC4、IDEA、RSA、DSA、ECC、BLOWFISH、KPCS、DM5、SHA、SSF33，SSF28，SCB2和/或SM系列的任意组合。

11.7、用户软件可以采用本地模式、B/S模式、C/S模式、SaaS模式。

11.8、用户的数据可以存储于本地，也可以存储于网络，还可以存储于云数据中心。

特别说明

需要特别说明的是：1、该实施方式是本发明面向智能手机用户的面部动作驱动和隐私保护的社交系统的示例性例子，并不能全面展示本发明的全部类容。2、对于流程类似图1(具体参见图1所示的100中所包含的步骤101-103)到图9，其不同点的修改对于业内的中级技术人员来说，属于公知共用的技能，不需要加以创新即可完成，这里不予重复说明。3、上述流程只是关键提示性步骤，在实际系统设计时，需要按照常规的系统设计和程序设计，按照业内中级技术人员公知共用的程序设计原则去加以细化和完善。4、本实施例中关于面部动作识别、用户身份识别和语义识别的算法，将采用目前公知共用的AI算法。另外，对于访问对象的信号采集，包含但不限于人脸识别、语音识别、指纹识别、虹膜识别等现有技术。

具体实施方式二、面部动作驱动和隐私保护的浏览器

该实施方式是本发明面向面部动作驱动和隐私保护的浏览器的示例性例子。所述浏览器，是兼具互联网网页和本地信息浏览的软件，宿主设备是带有摄像头和/或话筒的智能化设备，例如智能手机、PDA、PC、笔记本电脑、专用设备等。

系统差异化说明

本实施方式与前述实施方式相比，相同之处不予复述，差异之处在于：

1、针对前述实施方式的第7条和第8条，在图6中，被访问的信息去掉聊天群组、聊天对象和聊天记录，增加对于互联网网页，将一部分网站和网页作为所述“保密信息”。

2、针对前述实施方式的第9条，取消该功能。

3、增加网页保存功能，根据用户的设定，所保存的网页可以是所述“保密信息”，也可以是“非保密信息”。

具体实施方式三、面部动作驱动头盔

该实施方式是本发明面向面部动作驱动头盔的示例性例子。

系统差异化说明

本实施方式与前述实施方式一相比，相同之处不予复述，差异之处在于：

1、摄像头安装在头盔内部，正对着人脸或者人眼。

2、取消人脸的身份识别。

3、增加瞳孔运动跟踪功能，并且同步用面部动作执行设定的功能。

4、增加凝视功能，并且同步用面部动作执行设定的功能。

具体实施例方式、面部动作驱动金融支付

该实施方式是本发明面向面部动作驱动金融支付示例性例子。

系统差异化说明

本实施方式与实施方式一相比，相同之处不予复述，差异之处在于：

采用面部动作及其序列，作为金融账户的验证密码和/或辅助验证密码。

取消账户自动识别。

总结

非限制性说明

上述实施方式只是本发明的几个示例性例子，并不表示对于本发明技术方案的限制。具体是：

所述实施方式的框图，只是按照业内的约定俗成的习惯画法，实际上还可以有其它的画法；框图单元的内容并不是图中所限制的内容划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，可以相互组合和/或各自拆分和/或拆分后再组合，所述结合和/或拆分可以集成到另一个系统，一些特征可以被忽略，或不执行。框图单元之间的连接是逻辑性的，一些连接可以是电性的，也可以是机械的，还可以是无线的，包含但不限于无线电、光线、声音、磁、热等。

所述实施方式的流程图，同样只是按照业内的约定俗成的习惯画法，实际上还可以有其它的画法。流程图单元的内容并不是图中所限制的内容划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。流程图单元可以相互组合和/或各自拆分和/或拆分后再组合，所述结合和/或拆分可以集成到另一个流程图，一些单元可以被忽略，或不执行。流程图中一些单元的前后顺序，也可以有另外的排序。流程图中的一些断和跳转，也可以有另外的组合。流程图的实现，既可以是采用软件方式，也可以是采用硬件方式，还可以是它们的组合。

所述实施方式的原理性图示，同样只是按照业内的约定俗成的习惯画法，只是一种示意图，实际上还可以有其它的画法。图中的线条是直线还是曲线、是虚线还是实线，除非图中或者说明文字中特别声明，否则并不具备特殊含义。

所述实施方式的实物图，仅仅是示例，可以按照业内通用的解释，选用其它类似实物图。

所述实施方式的名词，同样只是按照业内的约定俗成的习惯命名，除非特别声明，否则也可以有其它的同意名词取代，并且不影响描述。

所述实施方式的模式，同样只是按照业内的约定俗成的习惯命名，除非特别声明，否则也可以有其它的名词取代，并且不影响描述。

所述宿主平台是指包含并不限于PC，手机，VR设备，AR设备，MR设备，服务器，或者网络设备或其他可编程设备等。

Claims

1.一种面部识别方法，包括：

采集人脸视频和/或人脸图像序列的步骤；

依据所述人脸视频和/或人脸图像序列识别面部动作的步骤；

基于所述面部动作输出驱动指令的步骤。

2.根据权利要求1所述的方法，其特征在于：

所述依据所述人脸视频和/或人脸图像序列识别面部动作的步骤，包括：

过滤无意识动作S14；和/或，

报警疲劳动作S15、报警异常动作S16和/或S17；和/或，

执行有意识动作S1、S2-S12和/或S13；

其中：

S1为左眼眨动动作，周期大于T1并且小于T2；

S2为右眼眨动动作，周期大于T1并且小于T2；

S3为双眼眨动动作，周期大于T1并且小于T2；

S4为皱眉动作，周期大于T1并且小于T3；

S5为张嘴动作，周期大于T1并且小于T3；

S6为点头动作，周期大于T1并且小于T3；

S7为仰头动作，周期大于T1并且小于T3；

S8为低头动作，周期大于T1并且小于T3；

S9为摇头动作，周期大于T1并且小于T3；

S10为左向偏头动作，周期大于T1并且小于T3；

S11为右向偏头动作，周期大于T1并且小于T3；

S12为拉左脸肌肉动作，周期大于T1并且小于T3；

S13为拉右脸肌肉动作，周期大于T1并且小于T3；

S14为双眼眨眼动作，周期小于T0；

S15为呵欠动作，周期大于T4并且小于T5；

S16为双眼闭眼动作，时间大于T5；

S17为张嘴动作，时间大于T6；

其中周期长短关系是：T6≥T5≥T4≥T3≥T2≥T1≥T0；

所述T0是在所述人脸视频和/或人脸图像序列中定位及计算眼睛完成一次无意识自然眨眼动作从开始到结束的时间；

所述T1是在所述人脸视频和/或人脸图像序列中定位及计算眼睛、眉部、嘴部、头部、脸部肌肉完成一次有意识动作从开始到结束的最短时间；

所述T2是在所述人脸视频和/或人脸图像序列中定位及计算眼睛完成一次有意识动作从开始到结束的最长时间；

所述T3是在所述人脸视频和/或人脸图像序列中定位及计算完成一次有意识的眉部、嘴部、头部、脸部肌肉动作从开始到结束的最长时间；

所述T4是在所述人脸视频和/或人脸图像序列中定位及计算头部完成一次打哈欠动作从开始到结束的最短时间；

所述T5、T6分别是在所述人脸视频和/或人脸图像序列中定位及计算完成一次因疲劳闭眼或者张嘴打瞌睡动作从开始到结束的最短时间。

3.根据权利要求2所述的方法，其特征在于：还包括音频采集和语音识别、语言指令识别步骤；

所述语音识别，是对于所述音频采集的信号进行人类语音的识别，排除环境噪音信号；

所述语言指令识别，是对于音频信号进行语义识别，以识别出所述用户的语言指令；

所述语音识别和语言指令识别的方法包括：滤波算法、人工智能网络识别算法、模糊识别算法；基于设定，包括识别：

V1为“关闭”语言指令；

V2为“打开”语言指令；

V3为“向上”语言指令；

V4为“向下”语言指令；

V5为“向左”语言指令；

V6为“向右”语言指令；

V7为“退出”语言指令；

V8为“删除”语言指令；

V9为“隐藏”语言指令；

V10为“后悔”语言指令；

V11为“向前”语言指令；

V12-Vn为用户自定义语言指令，n为根据用户的意愿设定值。

4.根据权利要求1所述的方法，其特征在于，所述依据所述人脸视频和/或人脸图像序列识别面部动作的步骤包括：

采用人工智能网络算法、模糊识别算法和/或遗传算法，对所述人脸视频和/或人脸图像序列识进行图像尺寸归一化、滤波与特征提取、抗干扰处理、视频稳像、运动估算、深度学习、训练矫正、遗传矫正和/或贝叶斯矫正操作。

5.根据权利要求1所述的方法，其特征在于，还包括：依据所述人脸视频和/或人脸图像序列识别用户身份的步骤；具体包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

基于设定，将通过识别出的用户标识为公开对象和/或保密对象；和/或，

基于设定，在社交通信系统的应用中，发送所述面部动作种类和/或语义文字给社交通信系统中的对方，并且在对方显示器上用动画和/或复现面部动作的步骤。

7.根据权利要求1所述的方法，其特征在于，还包括：

基于设定，对于数据的存储、传输和/或显示进行加密和/或解密的步骤；其中：所述加密和/或解密步骤采用的算法包括：DES、3DES、AES、RC2、RC4、IDEA、RSA、DSA、ECC、BLOWFISH、KPCS、DM5、SHA、SSF33，SSF28，SCB2和/或SM系列的任意组合；和/或，

基于设定，网络系统对于终端客户的账户和/或密码进行活体认证的步骤；所述活体认证包括：

客户预先在所述网络系统为自己建立的身份信息和动作编码组合信息的步骤；和/或，

所述网络系统基于提供的活体认证界面，根据所述客户预先在所述网络系统为自己建立的身份信息和动作编码组合信息，接受客户登录账户和/或重新设定所述账户密码的操作。

8.根据权利要求2或3所述的方法，其特征在于，还包括利用驱动指令对宿主设备下一步操作提供驱动的步骤，具体包括：

利用驱动指令提供程序函数代码，以使宿主软件能够根据所述程序函数代码进行判断并执行下一步功能；和/或，

9.根据权利要求5或6所述的方法，其特征在于，还包括隐私保密的步骤、社交保密的步骤、XR和头盔操作的步骤、金融支付的步骤、手机APP的步骤和/或电子游戏的步骤；其中：

所述隐私保密的步骤包括：基于设定，在用户和隐私信息之间建立一一对应的保密关系；通过所述识别用户身份，查找并访问所述保密关系中允许该用户访问的隐私信息；

所述社交保密的步骤包括：基于设定，在用户和社交对象之间建立一一对应的保密关系；把社交对象分成公开对象和保密对象；通过所述识别用户身份，查找并访问所述保密关系中允许该用户访问的保密社交对象；在用户跟保密对象通信时，使用所述S1-S13以及它们的组合去驱动保密和操作功能；所述社交对象包括社交对象个人和群组；所述动作识别的结果还可以发送给社交对象，在社交对象和/或用户自己的界面上采用动画和音效复现；

所述XR和头盔操作的步骤包括：基于设定，在所述头盔内测安装摄像头，拍摄面部视频图像；

所述金融支付的步骤包括：基于设定，采用所述识别用户身份来完成身份验证，使用所述S1-S13以及它们的组合去驱动账户操作功能；

所述手机APP的步骤包括：基于设定，采用所述S1-S13以及它们的组合去驱动APP操作功能；

所述电子游戏的步骤包括：所述S1-S13以及它们的组合去驱动指定的动作。

10.根据权利要求1-7所述的任一方法，其特征在于：

所述采集人脸视频和/或人脸图像序列的采样频率大于或者等于每秒5帧。