CN116453196A - 一种人脸识别方法及系统 - Google Patents

一种人脸识别方法及系统 Download PDF

Info

Publication number
CN116453196A
CN116453196A CN202310441054.0A CN202310441054A CN116453196A CN 116453196 A CN116453196 A CN 116453196A CN 202310441054 A CN202310441054 A CN 202310441054A CN 116453196 A CN116453196 A CN 116453196A
Authority
CN
China
Prior art keywords
user
face recognition
facial
password sequence
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310441054.0A
Other languages
English (en)
Other versions
CN116453196B (zh
Inventor
项玉凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhonghui Weiye Technology Co ltd
Original Assignee
Beijing Yizhi Huanyu Cultural Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhi Huanyu Cultural Media Co ltd filed Critical Beijing Yizhi Huanyu Cultural Media Co ltd
Priority to CN202310441054.0A priority Critical patent/CN116453196B/zh
Publication of CN116453196A publication Critical patent/CN116453196A/zh
Application granted granted Critical
Publication of CN116453196B publication Critical patent/CN116453196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种人脸识别方法及系统，获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；在用户通过初步人脸识别后，提示用户进行面部动作表情验证；分析用户的面部动作表情，判断与预存的密码序列是否匹配；若匹配，则通过最终人脸识别验证，否则验证失败。采用本发明的技术方案，通过在人脸识别的基础上增加由一系列面部动作表情数据生成密码序列进行验证，相当于在人脸上附加私有密码，避免了犯罪分子利用照片、面具等攻击并欺骗人脸识别系统，保障了人脸识别的安全性，尤其是刷脸支付，保障了安全领域、金融领域和社交领域人脸识别的稳定性。

Description

一种人脸识别方法及系统
【技术领域】
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法及系统。
【背景技术】
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，由于其快速身份验证且生物特征不可复制的特点得到了广泛的应用。
但如果使用者通过照片、佩戴伪装的面具或伪装来模拟真实用户的面具可能会攻击并成功欺骗人脸识别系统，尤其是随着3D扫描打印技术的发展，让“人皮面具”进展达到了以假乱真的地步，这给人脸识别技术带来的很大的挑战，也会在安全领域、金融领域和社交领域带来极大的风险。
【发明内容】
有鉴于此，本发明实施例提供了一种人脸识别方法及系统。
第一方面，本发明提供了一种人脸识别方法。该方法包括：
S1、获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
S2、在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
S3、分析用户的面部动作表情，判断与预存的密码序列是否匹配；
S4、若匹配，则通过最终人脸识别验证，否则验证失败。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1之前包括：
S10、采集真实的人脸视频和佩戴有面具的人脸视频，获取真实的人脸图像和佩戴有面具的人脸图像，作为训练数据；
S11、构建第一机器学习模型，通过训练数据对第一机器学习模型进行训练；
S12、利用训练好的第一机器学习模型判断进行人脸识别的用户是否佩戴面具，输出的佩戴面具的风险高和风险低两种结果；
S13、若判断进行人脸识别的用户佩戴面具的风险低，则通过人脸识别算法对用户进行人脸识别；
S14、若判断进行人脸识别的用户佩戴面具的风险高，则通过S1-S4进行面部动作表情验证。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S13中通过人脸识别算法对用户进行人脸识别，具体包括：
S131、根据数据库存储的用户面部动作表情数据，随机生成一条选定的密码序列；
S132、对选定的密码序列建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制；
S133、请求进行人脸识别的用户按照选定的密码序列进行相应的表情动作，生成验证数据；
S134、将验证数据通过建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制进行一一比对；
S135、若比对成功，则成功通过人脸识别，否则失败。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述密码序列由用户一系列面部动作表情数据生成，具体包括：
S15、从采集视频中提取图像帧，检测图像帧中人脸的存在并添加时间戳；
S16、从人脸图像中检测和提取面部特征点；
S17、根据检测到的面部特征点对用户的面部动作表情进行识别和分类；
S18、根据一系列面部动作表情数据生成密码序列，并进行加密存储。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述一系列面部动作表情数据包括：
至少两个不同的面部动作表情；
不同面部动作表情的时间顺序；
每个面部动作表情的持续时间；
每个面部动作表情的动作幅度。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中判断与预存的密码序列是否匹配，具体包括：
S31、通过预存的密码序列判断面部动作表情的类型和数量是否正确，若错误，则认定为不匹配，否则进入S32；
S32、判断面部动作表情的动作顺序是否正确，若错误，则认定为不匹配，否则进入S33；
S33、计算各面部动作表情的持续时间，与预存的密码序列对应的各面部动作表情的持续时间进行比较，获取的第一参考值F1；
S34、计算各面部动作表情的动作幅度，与预存的密码序列对应的面部动作表情的动作幅度进行比较，获取的第二参考值F2；
S35、基于第一参考值F1与第二参考值F2计算置信度分数C，比较置信度分数C与置信度阈值C0大小，若置信度分数C小于置信度阈值C0，则认定为不匹配，否则认定为匹配成功。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一参考值F1根据以下公式进行计算：
其中，F1表示第一参考值，ti′表示当前识别用户第i个面部动作表情的持续时间持续时间，ti表示预存的密码序列对应第i个面部动作表情的持续时间持续时间，n表示面部动作表情图像数量；
所述第二参考值F2根据以下公式进行计算：
其中，F2表示第二参考值，xi′表示当前识别用户第j个面部动作表情图像中第i个标定点横坐标，xi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点横坐标，yi′表示当前识别用户第j个面部动作表情图像中第i个标定点纵坐标，yi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点纵坐标，m表示第j个面部动作表情图像中标定点数量，n表示面部动作表情图像数量；
其中，C表示置信度分数，λ表示调节系数，M表示设定的常数，α和β分别表示比例因子且α+β＝1。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
S5、通过最终人脸识别验证后，在接收到其他识别终端发送的绑定请求并验证通过后，则将本识别终端与其他识别终端设置为亲密关联终端，所述亲密关联终端之间在验证失败次数达到要求时自动发送协助认证请求和警示信息；
S6、在接收到其他识别终端发送的协助认证请求时，根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，所述第一密码序列和第二密码序列的人脸不同但一系列面部动作表情相同；
S7、提示本识别终端用户进行面部动作表情验证，将录入的面部动作表情与第二密码序列进行比较，计算置信度分数C1，比较置信度分数C1与第二置信度阈值C2大小，若置信度分数C1小于置信度阈值C2，则认定为不匹配，否则认定为匹配成功，其中，置信度阈值C2小于信度阈值C0；
S8、若认定为匹配成功，则本识别终端生成是否向其他识别终端发送的协助认证通过指令权限；
S9、若其他识别终端接收到本识别终端发送协助认证通过指令，则清除预存的密码序列，提示录入新的密码序列。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，具体包括：
S60、获取本识别终端和其他识别终端的人脸图像作为训练数据；
S61、构建第二机器学习模型，以本识别终端特定人脸图像作为输入，以其他识别终端对应特定人脸图像作为输处，通过训练数据对第二机器学习模型进行训练；
S62、利用训练好的第二机器学习模型建立第一密码序列与第二密码序列的映射关系。
第二方面，本发明提供了一种人脸识别系统。该系统包括：
存储模块，用于获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
人脸识别模块，用于在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
处理模块，用于分析用户的面部动作表情，判断与预存的密码序列是否匹配；
结果发送模块，用于若匹配，则通过最终人脸识别验证，否则验证失败。
上述技术方案中的一个技术方案具有如下有益效果：
本发明实施例的方法中提出了一种人脸识别方法，获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；在用户通过初步人脸识别后，提示用户进行面部动作表情验证；分析用户的面部动作表情，判断与预存的密码序列是否匹配；若匹配，则通过最终人脸识别验证，否则验证失败，通过在人脸识别的基础上增加由一系列面部动作表情数据生成密码序列进行验证，相当于在人脸上附加私有密码，避免了犯罪分子利用照片、面具等攻击并欺骗人脸识别系统，保障了人脸识别的安全性，尤其是刷脸支付，保障了安全领域、金融领域和社交领域人脸识别的稳定性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的人脸识别方法S1-S4的流程示意图；
图2是本发明实施例所提供的人脸识别方法S10-S14的流程示意图；
图3是本发明实施例所提供的人脸识别方法S131-S135的流程示意图；
图4是本发明实施例所提供的人脸识别方法S15-S18的流程示意图；
图5是本发明实施例所提供的人脸识别方法S31-S35的流程示意图；
图6是本发明实施例所提供的人脸识别方法S5-S9的流程示意图；
图7是本发明实施例所提供的人脸识别方法S60-S61的流程示意图；
图8是本发明实施例所提供的人脸识别系统的结构框图。
【具体实施方式】
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其为本发明实施例所提供的人脸识别方法S1-S4的流程示意图。如图1所示，该方法包括以下步骤：
S1、获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
S2、在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
S3、分析用户的面部动作表情，判断与预存的密码序列是否匹配；
S4、若匹配，则通过最终人脸识别验证，否则验证失败。
本发明实施例的方法中提出了一种人脸识别方法，通过在人脸识别的基础上增加由一系列面部动作表情数据生成密码序列进行验证，相当于在人脸上附加私有密码，避免了犯罪分子利用照片、面具等攻击并欺骗人脸识别系统，保障了人脸识别的安全性，尤其是刷脸支付，保障了安全领域、金融领域和社交领域人脸识别的稳定性。
在本发明优选实施例中，所述一系列面部动作表情数据包括：
至少两个不同的面部动作表情；
不同面部动作表情的时间顺序；
每个面部动作表情的持续时间；
每个面部动作表情的动作幅度。
本发明用户在通过初步人脸识别后，初步人脸识别可以采用现有技术普通的人脸识别算法进行初步验证，例如在一些不重要要场所或者账户或者一些低额度交易等情景下，用户可以设置并只通过初步人脸识别进行认证即可。但为了用户真实性，实现认证安全，尤其是针对用户特别重要的资金安全和账户安全时，用户还可以自定义的一系列面部动作表情作为具有生物特征的私有密码，然后通过该特定私有密码进行保护。举例说明，预存的密码序列可以是：闭上左眼同时睁开右眼持续3秒，然后闭上右眼同时睁开左眼持续2秒，然后睁开双眼同时大口张嘴持续1秒，最后大口张嘴同时闭上左眼持续2秒。需要说明的是持续时间是个固定值也可以是个范围值，甚至在用户认证过程中提供计时提示。预存的密码序列可以由用户自己设定并牢记，很难被他人获取准确的密码序列，这样即便人脸信息泄露，在其基础上的密码序列也不会被别人窃取，极大保障了安全，在人脸识别的同时就可完成验证，方便牢记，方便快捷，同时又不像简单的数字密码，不具有唯一性，易被窃取，易遗忘。另外，传统的基于生物特征的认证方式容易被模拟或复制，而基于面部动作密码的认证方式，用户的面部动作是实时生成的，难以被模拟或复制，提高了认证的安全性；传统的基于生物特征的认证方式需要用户配备特定的硬件或软件，而基于面部动作密码的认证方式无需配备任何硬件或软件，用户只需要在认证过程中按照正确的顺序完成密码序列中的每个面部动作即可。
请参考图2，其为本发明实施例所提供的人脸识别方法S10-S14的流程示意图。如图2所示，所述S1之前包括：
S10、采集真实的人脸视频和佩戴有面具的人脸视频，获取真实的人脸图像和佩戴有面具的人脸图像，作为训练数据；
S11、构建第一机器学习模型，通过训练数据对第一机器学习模型进行训练；
S12、利用训练好的第一机器学习模型判断进行人脸识别的用户是否佩戴面具，输出的佩戴面具的风险高和风险低两种结果；
S13、若判断进行人脸识别的用户佩戴面具的风险低，则通过人脸识别算法对用户进行人脸识别；
S14、若判断进行人脸识别的用户佩戴面具的风险高，则通过S1-S4进行面部动作表情验证。
本发明实施例利用机器学习模型判断进行人脸识别的用户是否佩戴面具，可以利用机器学习模型提取两者差异性，可以快速准确的识别用户的真假，尤其机器学习模型还具备成长性，训练的数据越多，识别的越快越准确，可以判断用户是否佩戴面具或者人皮面具，提高了认证的安全性和可靠性。需要说明的是第一机器学习模型可以是卷积神经网络模型或者深度学习模型或者深度强化学习网络模型，或者能够实现上述功能的其他现有的改进的及其学习模型。
请参考图3，其为本发明实施例所提供的人脸识别方法S131-S135的流程示意图。如图3所示，所述S13中通过人脸识别算法对用户进行人脸识别，具体包括：
S131、根据数据库存储的用户面部动作表情数据，随机生成一条选定的密码序列；
S132、对选定的密码序列建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制；
S133、请求进行人脸识别的用户按照选定的密码序列进行相应的表情动作，生成验证数据；
S134、将验证数据通过建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制进行一一比对；
S135、若比对成功，则成功通过人脸识别，否则失败。
请参考图4，其为本发明实施例所提供的人脸识别方法S15-S18的流程示意图。如图4所示，所述密码序列由用户一系列面部动作表情数据生成，具体包括：
S15、从采集视频中提取图像帧，检测图像帧中人脸的存在并添加时间戳；
S16、从人脸图像中检测和提取面部特征点；
S17、根据检测到的面部特征点对用户的面部动作表情进行识别和分类；
S18、根据一系列面部动作表情数据生成密码序列，并进行加密存储。
请参考图5，其为本发明实施例所提供的人脸识别方法S31-S35的流程示意图。如图5所示，所述S3中判断与预存的密码序列是否匹配，具体包括：
S31、通过预存的密码序列判断面部动作表情的类型和数量是否正确，若错误，则认定为不匹配，否则进入S32；
S32、判断面部动作表情的动作顺序是否正确，若错误，则认定为不匹配，否则进入S33；
S33、计算各面部动作表情的持续时间，与预存的密码序列对应的各面部动作表情的持续时间进行比较，获取的第一参考值F1；
S34、计算各面部动作表情的动作幅度，与预存的密码序列对应的面部动作表情的动作幅度进行比较，获取的第二参考值F2；
S35、基于第一参考值F1与第二参考值F2计算置信度分数C，比较置信度分数C与置信度阈值C0大小，若置信度分数C小于置信度阈值C0，则认定为不匹配，否则认定为匹配成功。
具体的，第一参考值F1根据以下公式进行计算：
其中，F1表示第一参考值，ti′表示当前识别用户第i个面部动作表情的持续时间持续时间，ti表示预存的密码序列对应第i个面部动作表情的持续时间持续时间，n表示面部动作表情图像数量；
所述第二参考值F2根据以下公式进行计算：
其中，F2表示第二参考值，xi′表示当前识别用户第j个面部动作表情图像中第i个标定点横坐标，xi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点横坐标，yi′表示当前识别用户第j个面部动作表情图像中第i个标定点纵坐标，yi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点纵坐标，m表示第j个面部动作表情图像中标定点数量，n表示面部动作表情图像数量；
其中，C表示置信度分数，λ表示调节系数，M表示设定的常数，α和β分别表示比例因子且α+β＝1。
本发明实施例判断与预存的密码序列是否匹配，首先通过预存的密码序列判断面部动作表情的类型和数量是否正确，再判断面部动作表情的动作顺序是否正确，最后基于各面部动作表情的持续时间和各面部动作表情的动作幅度计算置信度分数来认定是否匹配，因此，方法全面准确，即便犯罪分子佩戴人皮面具也无法逃脱上述算法的侦查，甚至，用户认证过程中密码序列被犯罪分子观测到并通过佩戴人皮面具来攻击这种极端情况，犯罪分子也很难获取准确的密码序列，上述方法也可以鉴别出真假用户区别，从而保证安全。
请参考图6，其为本发明实施例所提供的人脸识别方法S5-S9的流程示意图。如图6所示，所述方法还包括：
S5、通过最终人脸识别验证后，在接收到其他识别终端发送的绑定请求并验证通过后，则将本识别终端与其他识别终端设置为亲密关联终端，所述亲密关联终端之间在验证失败次数达到要求时自动发送协助认证请求和警示信息；
S6、在接收到其他识别终端发送的协助认证请求时，根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，所述第一密码序列和第二密码序列的人脸不同但一系列面部动作表情相同；
S7、提示本识别终端用户进行面部动作表情验证，将录入的面部动作表情与第二密码序列进行比较，计算置信度分数C1，比较置信度分数C1与第二置信度阈值C2大小，若置信度分数C1小于置信度阈值C2，则认定为不匹配，否则认定为匹配成功，其中，置信度阈值C2小于信度阈值C0；
S8、若认定为匹配成功，则本识别终端生成是否向其他识别终端发送的协助认证通过指令权限；
S9、若其他识别终端接收到本识别终端发送协助认证通过指令，则清除预存的密码序列，提示录入新的密码序列。
请参考图7，其为本发明实施例所提供的人脸识别方法S60-S62的流程示意图。如图7所示，，所述根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，具体包括：
S60、获取本识别终端和其他识别终端的人脸图像作为训练数据；
S61、构建第二机器学习模型，以本识别终端特定人脸图像作为输入，以其他识别终端对应特定人脸图像作为输处，通过训练数据对第二机器学习模型进行训练；
S62、利用训练好的第二机器学习模型建立第一密码序列与第二密码序列的映射关系。
本发明实施例通过用户之间的亲密绑定，并通过密码序列映射识别，既给辅助验证者提供验证渠道，又限定了只有请求验证的用户才知道的验证权限，从而最大程度保障了用户的真实意愿，保证了安全。
请参考图8，其为本发明实施例所提供的人脸识别系统的结构框图。如图8所示，该人脸识别系统包括：
存储模块，用于获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
人脸识别模块，用于在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
处理模块，用于分析用户的面部动作表情，判断与预存的密码序列是否匹配；
结果发送模块，用于若匹配，则通过最终人脸识别验证，否则验证失败。
基于相同的技术构思，本申请实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行计算机可读指令时实现上述各实施例中的基于人脸识别的直播互动方法的步骤。
基于相同的技术构思，本申请实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行所述计算机可读指令时实现上述各实施例中的基于人脸识别的直播互动方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccessMemory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：
S1、获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
S2、在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
S3、分析用户的面部动作表情，判断与预存的密码序列是否匹配；
S4、若匹配，则通过最终人脸识别验证，否则验证失败。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述S1之前包括：
S10、采集真实的人脸视频和佩戴有面具的人脸视频，获取真实的人脸图像和佩戴有面具的人脸图像，作为训练数据；
S11、构建第一机器学习模型，通过训练数据对第一机器学习模型进行训练；
S12、利用训练好的第一机器学习模型判断进行人脸识别的用户是否佩戴面具，输出的佩戴面具的风险高和风险低两种结果；
S13、若判断进行人脸识别的用户佩戴面具的风险低，则通过人脸识别算法对用户进行人脸识别；
S14、若判断进行人脸识别的用户佩戴面具的风险高，则通过S1-S4进行面部动作表情验证。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述S13中通过人脸识别算法对用户进行人脸识别，具体包括：
S131、根据数据库存储的用户面部动作表情数据，随机生成一条选定的密码序列；
S132、对选定的密码序列建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制；
S133、请求进行人脸识别的用户按照选定的密码序列进行相应的表情动作，生成验证数据；
S134、将验证数据通过建立LABboosted分类模型、第二层至四层SURF、MLP分类模型以及NMS非极大值抑制进行一一比对；
S135、若比对成功，则成功通过人脸识别，否则失败。
4.根据权利要求1所述的人脸识别方法，其特征在于，所述密码序列由用户一系列面部动作表情数据生成，具体包括：
S15、从采集视频中提取图像帧，检测图像帧中人脸的存在并添加时间戳；
S16、从人脸图像中检测和提取面部特征点；
S17、根据检测到的面部特征点对用户的面部动作表情进行识别和分类；
S18、根据一系列面部动作表情数据生成密码序列，并进行加密存储。
5.根据权利要求1或者4任一所述的人脸识别方法，其特征在于，所述一系列面部动作表情数据包括：
至少两个不同的面部动作表情；
不同面部动作表情的时间顺序；
每个面部动作表情的持续时间；
每个面部动作表情的动作幅度。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述S3中判断与预存的密码序列是否匹配，具体包括：
S31、通过预存的密码序列判断面部动作表情的类型和数量是否正确，若错误，则认定为不匹配，否则进入S32；
S32、判断面部动作表情的动作顺序是否正确，若错误，则认定为不匹配，否则进入S33；
S33、计算各面部动作表情的持续时间，与预存的密码序列对应的各面部动作表情的持续时间进行比较，获取的第一参考值F1；
S34、计算各面部动作表情的动作幅度，与预存的密码序列对应的面部动作表情的动作幅度进行比较，获取的第二参考值F2；
S35、基于第一参考值F1与第二参考值F2计算置信度分数C，比较置信度分数C与置信度阈值C0大小，若置信度分数C小于置信度阈值C0，则认定为不匹配，否则认定为匹配成功。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述第一参考值F1根据以下公式进行计算：
其中，F1表示第一参考值，ti′表示当前识别用户第i个面部动作表情的持续时间持续时间，ti表示预存的密码序列对应第i个面部动作表情的持续时间持续时间，n表示面部动作表情图像数量；
所述第二参考值F2根据以下公式进行计算：
其中，F2表示第二参考值，xi′表示当前识别用户第j个面部动作表情图像中第i个标定点横坐标，xi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点横坐标，yi′表示当前识别用户第j个面部动作表情图像中第i个标定点纵坐标，yi表示预存的密码序列对应第j个面部动作表情图像中第i个标定点纵坐标，m表示第j个面部动作表情图像中标定点数量，n表示面部动作表情图像数量；
其中，C表示置信度分数，λ表示调节系数，M表示设定的常数，α和β分别表示比例因子且α+β＝1。
8.根据权利要求6所述的人脸识别方法，其特征在于，所述方法还包括：
S5、通过最终人脸识别验证后，在接收到其他识别终端发送的绑定请求并验证通过后，则将本识别终端与其他识别终端设置为亲密关联终端，所述亲密关联终端之间在验证失败次数达到要求时自动发送协助认证请求和警示信息；
S6、在接收到其他识别终端发送的协助认证请求时，根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，所述第一密码序列和第二密码序列的人脸不同但一系列面部动作表情相同；
S7、提示本识别终端用户进行面部动作表情验证，将录入的面部动作表情与第二密码序列进行比较，计算置信度分数C1，比较置信度分数C1与第二置信度阈值C2大小，若置信度分数C1小于置信度阈值C2，则认定为不匹配，否则认定为匹配成功，其中，置信度阈值C2小于信度阈值C0；
S8、若认定为匹配成功，则本识别终端生成是否向其他识别终端发送的协助认证通过指令权限；
S9、若其他识别终端接收到本识别终端发送协助认证通过指令，则清除预存的密码序列，提示录入新的密码序列。
9.根据权利要求8所述的人脸识别方法，其特征在于，所述根据协助认证请求携带的加密的第一密码序列生成对应的第二密码序列，具体包括：
S60、获取本识别终端和其他识别终端的人脸图像作为训练数据；
S61、构建第二机器学习模型，以本识别终端特定人脸图像作为输入，以其他识别终端对应特定人脸图像作为输处，通过训练数据对第二机器学习模型进行训练；
S62、利用训练好的第二机器学习模型建立第一密码序列与第二密码序列的映射关系。
10.一种人脸识别系统，其特征在于，包括：
存储模块，用于获取用户预存的密码序列，所述密码序列由用户一系列面部动作表情数据生成；
人脸识别模块，用于在用户通过初步人脸识别后，提示用户进行面部动作表情验证；
处理模块，用于分析用户的面部动作表情，判断与预存的密码序列是否匹配；
结果发送模块，用于若匹配，则通过最终人脸识别验证，否则验证失败。
CN202310441054.0A 2023-04-22 2023-04-22 一种人脸识别方法及系统 Active CN116453196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310441054.0A CN116453196B (zh) 2023-04-22 2023-04-22 一种人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310441054.0A CN116453196B (zh) 2023-04-22 2023-04-22 一种人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN116453196A true CN116453196A (zh) 2023-07-18
CN116453196B CN116453196B (zh) 2023-11-17

Family

ID=87119997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310441054.0A Active CN116453196B (zh) 2023-04-22 2023-04-22 一种人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN116453196B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151722A (zh) * 2023-10-30 2023-12-01 山东大学 一种基于联盟区块链的人脸识别密码验证方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135096A1 (zh) * 2018-12-26 2020-07-02 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备
KR102139548B1 (ko) * 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법
CN112528259A (zh) * 2020-12-23 2021-03-19 平安普惠企业管理有限公司 身份验证方法、装置、计算机设备和存储介质
WO2022045746A1 (ko) * 2020-08-26 2022-03-03 주식회사 로보러스 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법
CN114218543A (zh) * 2021-11-29 2022-03-22 华南理工大学 一种基于多场景表情识别的加密解锁系统及方法
CN114826604A (zh) * 2022-03-25 2022-07-29 上海东普信息科技有限公司 基于人脸识别的小程序登录验证方法、装置、设备及存储介质
RU2021122101A (ru) * 2018-12-26 2023-01-26 Сюньтэн (Гуандун) Текнолоджи Ко., Лтд. Способ и устройство для принятия решения о выполнении операции на основе групп выражений лица и электронное устройство

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135096A1 (zh) * 2018-12-26 2020-07-02 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备
RU2021122101A (ru) * 2018-12-26 2023-01-26 Сюньтэн (Гуандун) Текнолоджи Ко., Лтд. Способ и устройство для принятия решения о выполнении операции на основе групп выражений лица и электронное устройство
KR102139548B1 (ko) * 2020-04-16 2020-07-30 주식회사 한국정보보호경영연구소 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법
WO2022045746A1 (ko) * 2020-08-26 2022-03-03 주식회사 로보러스 얼굴 특징점 정보를 포함한 패턴 코드 인증을 수행하는 컴퓨팅 장치 및 그 방법
CN112528259A (zh) * 2020-12-23 2021-03-19 平安普惠企业管理有限公司 身份验证方法、装置、计算机设备和存储介质
CN114218543A (zh) * 2021-11-29 2022-03-22 华南理工大学 一种基于多场景表情识别的加密解锁系统及方法
CN114826604A (zh) * 2022-03-25 2022-07-29 上海东普信息科技有限公司 基于人脸识别的小程序登录验证方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘红艳;张积家;: "情绪面部表情的组内优势效应及其理论", 神经疾病与精神卫生, no. 01 *
唐守军;: "基于人脸识别和密码认证的文件夹加密方法", 现代电子技术, no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151722A (zh) * 2023-10-30 2023-12-01 山东大学 一种基于联盟区块链的人脸识别密码验证方法及系统
CN117151722B (zh) * 2023-10-30 2024-02-23 山东大学 一种基于联盟区块链的人脸识别密码验证方法及系统

Also Published As

Publication number Publication date
CN116453196B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN106302330B (zh) 身份验证方法、装置和系统
Galbally et al. Iris image reconstruction from binary templates: An efficient probabilistic approach based on genetic algorithms
CN105468950B (zh) 身份认证方法、装置、终端及服务器
CN109756458B (zh) 身份认证方法和系统
US20210089635A1 (en) Biometric identity verification and protection software solution
CN110751025A (zh) 基于人脸识别的业务办理方法、装置、设备及介质
KR101823145B1 (ko) 기준 포인트 이용 및 미이용에 의한 확실한 생체 특징 추출
US11704937B2 (en) Iris authentication device, iris authentication method and recording medium
CN107977559A (zh) 一种身份认证方法、装置、设备和计算机可读存储介质
CN104036254A (zh) 一种人脸识别方法
CN111753271A (zh) 基于ai识别的开户身份验证方法、装置、设备及介质
CN116453196B (zh) 一种人脸识别方法及系统
CN110378209B (zh) 一种司机身份验证方法及装置
CN109857766B (zh) 用户信息验证方法、装置、计算机设备及计算机存储介质
US20230012235A1 (en) Using an enrolled biometric dataset to detect adversarial examples in biometrics-based authentication system
KR101057720B1 (ko) 사용자 인증 시스템 및 방법
CN112862491B (zh) 基于安全单元和可信执行环境的人脸支付安全方法及平台
KR102215535B1 (ko) 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
Mtibaa et al. Privacy‐preserving speaker verification system based on binary I‐vectors
Zolotarev et al. Liveness detection methods implementation to face identification reinforcement in gaming services
WO2024042674A1 (ja) 情報処理装置、認証方法および記憶媒体
CN109299945B (zh) 一种基于生物识别算法的身份验证的方法及装置
KR102523598B1 (ko) 출입자 신원 무인 인증시스템
KR102474577B1 (ko) 입력 패턴을 이용한 안면 인증 방법 및 인증 서버
Hakami Combining Face Recognition with Keystrokes to Reduce Spoofing Attacks on Mobile Touchscreens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231025

Address after: 518000 Room 802, 8th floor, No.5, Huike Industrial Park, No.1, Gongye 2nd Road, Shilong community, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN ZHONGHUI WEIYE TECHNOLOGY Co.,Ltd.

Address before: No.81 Shunfu Road, Daxingzhuang Town, Pinggu District, Beijing

Applicant before: Beijing Yizhi Huanyu Cultural Media Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant