CN108509781A - 用于解锁的方法及装置 - Google Patents

用于解锁的方法及装置 Download PDF

Info

Publication number
CN108509781A
CN108509781A CN201810256337.7A CN201810256337A CN108509781A CN 108509781 A CN108509781 A CN 108509781A CN 201810256337 A CN201810256337 A CN 201810256337A CN 108509781 A CN108509781 A CN 108509781A
Authority
CN
China
Prior art keywords
video
locking
unlock
sample
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810256337.7A
Other languages
English (en)
Other versions
CN108509781B (zh
Inventor
杨锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810256337.7A priority Critical patent/CN108509781B/zh
Publication of CN108509781A publication Critical patent/CN108509781A/zh
Application granted granted Critical
Publication of CN108509781B publication Critical patent/CN108509781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于解锁的方法及装置。该方法的一具体实施方式包括:响应于检测到解锁信号,获取用户的人脸图像;查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项;按照所述提示信息选项录制用户的解锁视频;将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签;响应于所述识别结果标签为内容相同,执行解锁操作。该实施方式提高了解锁的安全性。

Description

用于解锁的方法及装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于解锁的方法及装置。
背景技术
随着科技的发展,电子设备的应用范围也越来越广。电子设备可以采集人脸图像,并将人脸图像作为电子设备上某些应用或功能操作条件。例如,电子设备可以采集用户的人脸图像,并将人脸图像作为该电子设备的解锁信息。当电子设备检测到保存的用于解锁的人脸图像时,对电子设备的屏幕进行解锁操作。
发明内容
本申请实施例的目的在于提出了用于解锁的方法及装置。
第一方面,本申请实施例提供了一种用于解锁的方法,该方法包括:响应于检测到解锁信号,获取用户的人脸图像;查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;按照所述提示信息选项录制用户的解锁视频;将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;响应于所述识别结果标签为内容相同,执行解锁操作。
在一些实施例中,所述方法还包括录制上锁视频的步骤,所述录制上锁视频的步骤包括:响应于检测到上锁视频录制信号,显示提示信息选项集合;响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
在一些实施例中,所述按照所述至少一个提示信息选项录制上锁视频,包括:为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
在一些实施例中,所述视频识别模型包括卷积神经网络、循环神经网络和全连接层。
在一些实施例中,所述将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,包括:将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量,其中,所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系;将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量,其中,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系;将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签,其中,所述全连接层用于表征视频特征向量与识别结果标签之间的对应关系。
在一些实施例中,所述视频识别模型按照如下步骤训练得到:获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签;将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型。
在一些实施例中,所述将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型,包括:执行以下训练步骤:将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应样本解锁视频的预测识别结果标签,将所述预测识别结果标签与对应样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率,确定所述识别准确率是否大于预设准确率阈值,若大于所述预设准确率阈值,则将所述初始视频识别模型作为训练完成的视频识别模型。
在一些实施例中,所述将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型,还包括:响应于不大于所述预设准确率阈值,调整所述初始视频识别模型的参数,并继续执行所述训练步骤。
第二方面,本申请实施例提供了一种用于解锁的装置,该装置包括:人脸图像获取单元,用于响应于检测到解锁信号,获取用户的人脸图像;提示信息选项获取单元,用于查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;解锁视频录制单元,用于按照所述提示信息选项录制用户的解锁视频;识别结果标签获取单元,用于将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;解锁单元,用于响应于所述识别结果标签为内容相同,执行解锁操作。
在一些实施例中,所述装置还包括上锁视频录制单元,用于录制上锁视频,所述上锁视频录制单元包括:信息显示子单元,用于响应于检测到上锁视频录制信号,显示提示信息选项集合;上锁视频录制子单元,用于响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
在一些实施例中,所述上锁视频录制子单元包括:为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
在一些实施例中,所述视频识别模型包括卷积神经网络、循环神经网络和全连接层。
在一些实施例中,所述识别结果标签获取单元包括:图像特征向量获取子单元,用于将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量,其中,所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系;视频特征向量获取子单元,用于将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量,其中,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系;识别结果标签获取子单元,用于将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签,其中,所述全连接层用于表征视频特征向量与识别结果标签之间的对应关系。
在一些实施例中,所述装置还包括视频识别模型训练单元,所述视频识别模型训练单元包括:样本获取子单元,用于获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签;视频识别模型训练子单元,用于将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型。
在一些实施例中,所述视频识别模型训练子单元包括:视频识别模型训练模块,用于将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应样本解锁视频的预测识别结果标签,将所述预测识别结果标签与对应样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率,确定所述识别准确率是否大于预设准确率阈值,若大于所述预设准确率阈值,则将所述初始视频识别模型作为训练完成的视频识别模型。
在一些实施例中,所述视频识别模型训练子单元还包括:参数调整模块,用于响应于不大于所述预设准确率阈值,调整所述初始视频识别模型的参数,并继续执行所述训练步骤。
第三方面,本申请实施例提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,摄像头,用于获取图像和/或视频;当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述第一方面的用于解锁的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述第一方面的用于解锁的方法。
本申请实施例提供的用于解锁的方法及装置,首先在检测到解锁信号后获取用户的人脸图像;然后查找与人脸图像对应的上锁视频和提示信息选项,并按照提示信息选项录制用户的解锁视频;之后通过视频识别模型得到上锁视频和解锁视频的识别结果标签;最后在识别结果标签为内容相同时执行解锁操作。提高了执行主体对活体攻击的防范能力,提高了解锁的安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于解锁的方法的一个实施例的流程图;
图3是根据本申请的视频识别模型训练方法的一个实施例的流程图;
图4是根据本申请的用于解锁的方法的一个应用场景的示意图;
图5是根据本申请的用于解锁的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于解锁的方法或用于解锁的装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种图像处理应用,例如图像采集应用、图像识别应用、视频采集应用、视频识别应用等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有可见光摄像头、近红外摄像头和显示屏,并且支持图像识别和视频处理的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103获取的图像和/或视频进行处理的服务器。服务器可以对接收到的图像和/或视频等数据进行分析处理,并将处理结果(例如识别结果标签)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于解锁的方法可以由终端设备101、102、103单独执行,或者也可以由终端设备101、102、103和服务器105共同执行。相应地,用于解锁的装置可以设置于终端设备101、102、103中,也可以设置于服务器105中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的用于解锁的方法的一个实施例的流程200。该用于解锁的方法包括以下步骤:
步骤201,响应于检测到解锁信号,获取用户的人脸图像。
在本实施例中,用于解锁的方法的执行主体(例如图1所示的终端设备101、102、103)可以通过有线连接方式或者无线连接方式检测解锁信号,并获取用户的人脸图像。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
现有的电子设备可以采集用户的人脸图像或人脸视频,并将人脸图像或人脸视频作为电子设备的解锁操作等条件。当电子设备再次采集到的人脸图像或人脸视频时,可以将人脸图像或人脸视频与保存的人脸图像或人脸视频进行比较。当比较结果相同时,可以执行相应的解锁操作等。但是,由于电子设备可能存在采集到的人脸图像或人脸视频来自非活体的情况,电子设备可能在采集到非活体的人脸图像或人脸视频时也进行解锁等操作。如此,导致电子设备容易受到活体攻击,电子设备的解锁安全性不高。
本实施例的执行主体在检测到解锁信号后,可以首先通过可见光摄像头或近红外摄像头获取用户的人脸图像。其中,解锁信号可以是执行主体检测到屏幕由黑屏状态(相当于锁屏状态)到亮屏状态(相当于屏幕解锁前的亮屏状态)时的屏幕状态信号,或其他执行主体能够检测到的信号,此处不再一一赘述。
步骤202,查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项。
在对执行主体进行解锁前,执行主体上可以预先保存有对应的上锁视频。其中,所述上锁视频为预先录制的用户视频。为了提高解锁的安全性,上述的上锁视频可以是按照设定的提示信息选项进行录制的。即,上锁视频对应有提示信息选项。所述提示信息选项用于指示用户选择录入的视频内容。例如,提示信息选项可以是设置问答信息或输入密码等选项,还可以是其他类型的选项,此处不再一一赘述。
在本实施例的一些可选的实现方式中,所述方法还包括录制上锁视频的步骤,所述录制上锁视频的步骤可以包括以下步骤:
第一步,响应于检测到上锁视频录制信号,显示提示信息选项集合。
当执行主体检测到上锁视频录制信号时,可以通过执行主体的屏幕显示录制上锁视频时的提示信息选项集合。其中,上锁视频录制信号可以是用户录制上锁视频前,从执行主体的录制上锁视频的操作中选择的信号。例如,上锁视频录制信号可以是执行主体上录制上锁视频时的选项之一。提示信息选项集合包含了执行主体提供的、用于录制上锁视频的各种选项。可选的,提示信息选项集合可以包括“人脸图像”选项、“我的特有物品”选项、“我的专属动作”选项等提示信息选项。其中,“人脸图像”选项可以用于录制用户的人脸图像;“我的特有物品”选项可以用于录制用户指定的物品的图像;“我的专属动作”选项可以用于录制用户做出的某个动作的图像或视频。提示信息选项还可以是用户自定义的其他提示信息选项,此处不再一一赘述。
第二步,响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
执行主体的屏幕显示录制上锁视频时的提示信息选项集合后,用户可以选择至少一个提示信息选项作为录制上锁视频的内容。选择提示信息选项后,执行主体可以通过语音或文字等形式提示用户当前录制的、对应提示信息选项的上锁视频。
在本实施例的一些可选的实现方式中,所述按照所述至少一个提示信息选项录制上锁视频,可以包括:为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
用户选定了提示信息选项后,执行主体还可以对用户选定的提示信息选项设置录制上锁视频的顺序编号。设置好顺序编号后,执行主体可以按照顺序编号通过语音或文字等形式,向用户展示对应顺序编号的提示信息选项。在展示后的设置时间(例如可以是3秒)后录制对应提示信息选项的视频片段。通过对提示信息选项设置顺序编号,进一步提高了后续对执行主体进行解锁的安全性。其中,顺序编号也可以通过用户设置。
步骤203,按照所述提示信息选项录制用户的解锁视频。
为了实现对执行主体的解锁,解锁视频需要与上锁视频具有相同的视频内容。在获取到上锁视频对应的提示信息选项后,执行主体可以按照上述提示信息选项录制用户的解锁视频。
执行主体可以在屏幕上显示提示信息选项,提示用户选择提示信息选项的顺序,可以进一步提高对执行主体解锁的安全性。
步骤204,将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签。
录制好解锁视频后,执行主体可以将上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签。其中,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同。
在本实施例的一些可选的实现方式中,本实施例中的视频识别模型可以包括卷积神经网络、循环神经网络和全连接层。将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,可以包括以下步骤:
第一步,将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量。
在本实施例中国,执行主体可以将上锁视频和解锁视频输入至所述卷积神经网络,得到分别对应上锁视频和解锁视频的各帧图像的第一图像特征向量和第二图像特征向量。例如,上锁视频包含某一用户拿着某个物品在镜头的设定位置的内容。则,对应的第一图像特征向量可以是对应视频中的人脸特征(例如可以是人脸的结构)向量、物品特征(例如可以是物品的大小、结构、颜色等)向量、位置特征向量等图像特征向量。执行主体可以通过多种方式训练用于表征视频(此处为上锁视频或解锁视频)与视频的各帧图像的图像特征向量之间的对应关系的卷积神经网络。上述的图像特征向量可以通过在图像上设置标记点,并以标记点在平面坐标或空间坐标的坐标值来实现。
在本实施例中,卷积神经网络可以是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。通常,卷积神经网络的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。这里,电子设备可以将视频片段从卷积神经网络的输入侧输入,依次经过卷积神经网络中的各层的参数的处理,并从卷积神经网络的输出侧输出,输出侧输出的信息即为视频片段的各帧图像的特征向量。
作为一种示例,执行主体可以基于对大量样本视频与样本视频的各帧图像的图像特征向量进行统计而生成存储有多个样本视频与样本视频的各帧图像的图像特征向量的对应关系的对应关系表,并将该对应关系表作为卷积神经网络。如此,执行主体可以将视频(此处为上锁视频或解锁视频)与该对应关系表中的多个样本视频依次进行比较。若该对应关系表中的某个样本视频与该视频相同或相似,则可以将该对应关系表中的该样本视频的各帧图像的图像特征向量作为该视频的各帧图像的图像特征向量(此处为第一图像特征向量或第二图像特征向量)。
作为另一种示例,执行主体可以首先获取样本视频和样本视频的各帧图像的图像特征向量;然后将样本视频作为输入,将样本视频的各帧图像的图像特征向量作为输出,训练得到能够表征样本视频和样本视频的各帧图像的图像特征向量之间的对应关系的卷积神经网络。如此,电子设备可以将视频(此处为上锁视频或解锁视频)从卷积神经网络的输入侧输入,依次经过卷积神经网络中的各层的参数的处理,并从卷积神经网络的输出侧输出,输出侧输出的信息即为视频的各帧图像的图像特征向量(此处为第一图像特征向量或第二图像特征向量)。
第二步,将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量。
在本实施例中,执行主体可以将视频(此处为上锁视频或解锁视频)的各帧图像的图像特征向量(此处为第一图像特征向量或第二图像特征向量)输入至循环神经网络,从而得到视频的视频特征向量(此处为第一视频特征向量或第二视频特征向量)。其中,视频的视频特征向量可以用于表征视频的各帧图像的图像特征向量之间的关联关系。执行主体可以通过多种方式训练可以表征视频的各帧图像的图像特征向量与视频的视频特征向量之间的关联关系的循环神经网络。即,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系。
在本实施例中,循环神经网络是一种节点定向连接成环的人工神经网络。这种网络的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接,其内部状态可以展示动态时序行为。
作为示例,执行主体可以基于对大量样本视频的各帧图像的图像特征向量和样本视频的视频特征向量进行统计而生成存储有多个样本视频的各帧图像的图像特征向量与样本视频的视频特征向量的对应关系的对应关系表,并将该对应关系表作为循环神经网络。如此,电子设备可以计算视频的各帧图像的图像特征向量与该对应关系表中的多个样本视频的各帧图像的图像特征向量之间的欧式距离等参数。若该对应关系表中的某个样本视频的各帧图像的图像特征向量与视频的各帧图像的图像特征向量之间的欧式距离小于预设的距离阈值,可以将该对应关系表中的该样本视频的视频特征向量作为该视频的视频特征向量。
作为另一个示例,执行主体可以获取样本视频的各帧图像的图像特征向量和样本视频的视频特征向量;然后将样本视频的各帧图像的图像特征向量作为输入,将样本视频的视频特征向量作为输出,训练得到能够表征样本视频的各帧图像的图像特征向量与样本视频的视频特征向量之间的对应关系的循环神经网络。如此,执行主体可以将视频的各帧图像的图像特征向量从循环神经网络的输入侧输入,依次经过循环神经网络中的各层的参数的处理,并从循环神经网络的输出侧输出,输出侧输出的信息即为视频的视频特征向量。
第三步,将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签。
在本实施例中,执行主体可以将视频特征向量(此处为第一视频特征向量或第二视频特征向量)输入至全连接层,从而得到视频(上锁视频或解锁视频)的识别结果标签。执行主体可以通过多种方式训练可以表征视频的视频特征向量与识别结果标签之间的对应关系的全连接层。
在本实施例中,全连接层的每一个节点都与循环神经网络的输出层的所有节点相连,用来把循环神经网络输出层输出的视频的视频特征向量综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。同时,在利用全连接层的参数对视频的视频特征向量进行线性变换后,可以加上一个非线性激励函数对线性变换的结果进行转换,从而引入非线性因素,以增强视频识别模型的表达能力。其中,激励函数可以是softmax函数,softmax函数是人工神经网络中常见的一种激励函数,在此不再详细赘述。
作为一种示例,执行主体可以基于对大量样本视频的视频特征向量和样本识别结果标签进行统计而生成存储有多个样本视频的视频特征向量与样本识别结果标签的对应关系的对应关系表,并将该对应关系表作为全连接层。如此,执行主体可以计算视频的视频特征向量与该对应关系表中的多个样本视频的视频特征向量之间的欧氏距离。若该对应关系表中的某个样本视频的视频特征向量与该视频的视频特征向量之间的欧式距离小于预设的距离阈值,则将该对应关系表中的样本视频对应的样本识别结果标签作为该视频的识别结果标签。
作为另一个示例,执行主体可以首先获取样本视频的视频特征向量和样本识别结果标签。然后,将样本视频的视频特征向量作为输入,将样本识别结果标签作为输出,训练得到能够表征样本视频的视频特征向量与样本识别结果标签之间的对应关系的全连接层。如此,执行主体可以将视频的视频特征向量从全连接层的输入侧输入,经过全连接层的参数和激励函数的处理,并从全连接层的输出侧输出,输出侧输出的信息即为识别结果标签。其中,所述全连接层用于表征视频特征向量与识别结果标签之间的对应关系。
步骤205,响应于所述识别结果标签为内容相同,执行解锁操作。
当识别结果标签的内容为相同时,执行主体可以执行解锁操作;否则,执行主体提示用户再次录制解锁视频或发出告警信号。通过本实施例方法,有利于提高执行主体对活体攻击的防御能力,提高了执行主体解锁的灵活性和可操作性,提高了解锁的安全性。
进一步参考图3,其示出了根据本申请的视频识别模型训练方法的一个实施例的流程300。该视频识别模型训练方法的流程300,包括以下步骤:
步骤301,获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签。
在本实施例中,视频识别模型训练方法运行于其上的执行主体(例如图1所示的服务器105)可以获取多个样本上锁视频和多个样本上锁视频中的样本上锁视频对应的样本解锁视频和识别结果标签。为了实现通过视频识别模型对视频内容的识别,对应的样本上锁视频可以有对应的正确的样本解锁视频和正确的识别结果标签,以及错误的样本解锁视频和错误的识别结果标签。即样本解锁视频可以包括正样本解锁视频和负样本解锁视频。识别结果标签可以包括对应正样本解锁视频的正识别结果标签和对应负样本解锁视频的负识别结果标签。其中,正样本解锁视频在视频内容、视频内容的顺序等方面与样本上锁视频相同;负样本解锁视频在视频内容、视频内容的顺序等至少一方面与样本上锁视频不相同。
在本实施例中,执行主体可以获取多个样本上锁视频和样本解锁视频,并为本领域技术人员播放。本领域技术人员可以根据经验对多个样本上锁视频中每个样本上锁视频对应的样本解锁视频进行识别,并为样本解锁视频设置对应的识别结果标签。其中,本实施例的识别结果标签用于标识样本上锁视频和样本解锁视频是否相同。
步骤302,将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应所述样本解锁视频的预测识别结果标签。
在本实施例中,基于所获取的多个样本上锁视频和样本解锁视频,执行主体可以将多个样本上锁视频中的每个样本上锁视频和该样本上锁视频对应的样本解锁视频输入至初始视频识别模型,得到每个样本解锁视频所对应的预测识别结果标签。这里,执行主体可以将每个样本上锁视频和对应该样本上锁视频的样本解锁视频从初始视频识别模型的输入侧输入,依次经过初始视频识别模型中的各层的参数的处理,并从初始视频识别模型的输出侧输出,输出侧输出的信息即为该样本解锁视频所对应的预测识别结果标签。其中,初始视频识别模型可以是未经训练的视频识别模型或未训练完成的视频识别模型,其各层设置有初始化参数,初始化参数在视频识别模型的训练过程中可以被不断地调整。
初始视频识别模型可以按照如下步骤训练得到:
第一步,获取多个测试上锁视频和所述多个测试上锁视频中每个测试上锁视频对应的测试解锁视频,所述测试解锁视频具有对应的测试识别结果标签。
其中,上述的多个测试上锁视频可以在视频内容和/或视频内容的顺序等方面彼此不同,以尽量测试各种上锁情况。
训练初始视频识别模型时,当测试上锁视频和测试解锁视频在视频内容和视频内容的顺序等方面彼此相同时,可以为测试解锁视频设置标签内容为内容相同的测试识别结果标签。当测试上锁视频和测试解锁视频在视频内容和/或视频内容的顺序等方面中,至少有一方面彼此不同时,可以为测试解锁视频设置标签内容为内容不同的测试识别结果标签。
第二步,利用机器学习方法,将所述多个测试上锁视频中每个测试上锁视频和对应该测试上锁视频的测试解锁视频作为输入,将该测试解锁视频对应的测试识别结果标签作为输出,训练得到初始视频识别模型。
构建初始视频识别模型时,技术人员可以获取到数量有限的多个测试上锁视频和测试解锁视频,并为测试解锁视频设置测试识别结果标签。之后,执行主体可以将测试上锁视频和对应该测试上锁视频的测试解锁视频作为输入,将该测试解锁视频对应的测试识别结果标签作为输出,训练得到初始视频识别模型。初始视频识别模型可以基于深度学习模型等模型实现,并且可以具有包含卷积神经网络、循环神经网络和全连接层等结构。
步骤303,将所述预测识别结果标签与所述样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率。
在本实施例中,基于步骤302所得到的每个样本解锁视频所对应的预测识别结果标签,执行主体可以将多个样本上锁视频中的每个样本上锁视频所对应的样本解锁视频的预测识别结果标签与该样本解锁视频所对应的识别结果标签进行比较,从而得到初始视频识别模型的识别准确率。这里,执行主体可以计算预测识别结果标签正确的数目与预测识别结果标签的总数的比值,并作为初始视频识别模型的识别准确率。
步骤304,确定所述识别准确率是否大于预设准确率阈值。
在本实施例中,基于步骤303所得到的初始视频识别模型的识别准确率,执行主体可以将初始视频识别模型的识别准确率与预设准确率阈值进行比较,若大于预设准确率阈值,则执行步骤305;若大于预设准确率阈值,则执行步骤306。
步骤305,将所述初始视频识别模型作为训练完成的视频识别模型。
在本实施例中,在初始视频识别模型的识别准确率大于预设准确率阈值的情况下,说明该视频识别模型训练完成。此时,执行主体可以将初始视频识别模型作为训练完成的视频识别模型。
步骤306,调整所述初始视频识别模型的参数。
在本实施例中,在初始视频识别模型的识别准确率不大于预设准确率阈值的情况下,执行主体可以调整初始视频识别模型的参数,并返回执行步骤302,直至训练出能够识别视频中人物、物品、位置胡动作的视频识别模型为止。本实施例通过对视频识别模型的训练,提高了执行主体对活体攻击的防御能力,提高了对执行主体解锁的灵活性和可操作性,提高了解锁的安全性。
继续参见图4,图4是根据本实施例的用于解锁的方法的应用场景的一个示意图。在图4的应用场景中,用户在按下终端设备102的电源键后,终端设备102检测到解锁信号。终端设备102可以通过摄像头获取用户的人脸图像。然后,终端设备102通过对人脸图像进行识别,查找是否存储有该人脸图像的上锁视频。若有,则按照上锁视频对应的提示信息选项(例如可以是:1,请提供特征物品图像;2,请提供您的专属动作等)指示用户录制解锁视频。之后,将上锁视频和解锁视频导入视频识别模型,得到识别结果标签。当识别结果标签为内容相同时,说明解锁视频在视频内容和视频内容顺序等方面与上锁视频相同,终端设备102执行解锁操作。
本申请的上述实施例提供的方法首先在检测到解锁信号后获取用户的人脸图像;然后查找与人脸图像对应的上锁视频和提示信息选项,并按照提示信息选项录制用户的解锁视频;之后通过视频识别模型得到上锁视频和解锁视频的识别结果标签;最后在识别结果标签为内容相同时执行解锁操作。提高了执行主体对活体攻击的防范能力,提高了解锁的安全性。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于解锁的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于解锁的装置500可以包括:人脸图像获取单元501、提示信息选项获取单元502、解锁视频录制单元503、识别结果标签获取单元504和解锁单元505。其中,人脸图像获取单元501用于响应于检测到解锁信号,获取用户的人脸图像;提示信息选项获取单元502用于查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;解锁视频录制单元503用于按照所述提示信息选项录制用户的解锁视频;识别结果标签获取单元504用于将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;解锁单元505用于响应于所述识别结果标签为内容相同,执行解锁操作。
在本实施例的一些可选的实现方式中,用于解锁的装置500还包括可以上锁视频录制单元(图中未示出),用于录制上锁视频,所述上锁视频录制单元可以包括信息显示子单元(图中未示出)和上锁视频录制子单元(图中未示出)。其中,信息显示子单元用于响应于检测到上锁视频录制信号,显示提示信息选项集合;上锁视频录制子单元用于响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
在本实施例的一些可选的实现方式中,所述上锁视频录制子单元可以包括:为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
在本实施例的一些可选的实现方式中,所述视频识别模型可以包括卷积神经网络、循环神经网络和全连接层。
在本实施例的一些可选的实现方式中,所述识别结果标签获取单元503可以包括:图像特征向量获取子单元(图中未示出)、视频特征向量获取子单元(图中未示出)和识别结果标签获取子单元(图中未示出)。其中,图像特征向量获取子单元用于将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量,其中,所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系;视频特征向量获取子单元用于将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量,其中,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系;识别结果标签获取子单元用于将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签,其中,所述全连接层用于表征频特征向量与识别结果标签之间的对应关系。
在本实施例的一些可选的实现方式中,用于解锁的装置500还可以包括视频识别模型训练单元(图中未示出),所述视频识别模型训练单元可以包括:样本获取子单元(图中未示出)和视频识别模型训练子单元(图中未示出)。其中,样本获取子单元用于获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签;视频识别模型训练子单元用于将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型。
在本实施例的一些可选的实现方式中,所述视频识别模型训练子单元可以包括:视频识别模型训练模块(图中未示出),用于将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应样本解锁视频的预测识别结果标签,将所述预测识别结果标签与对应样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率,确定所述识别准确率是否大于预设准确率阈值,若大于所述预设准确率阈值,则将所述初始视频识别模型作为训练完成的视频识别模型。
在本实施例的一些可选的实现方式中,所述视频识别模型训练子单元还可以包括:参数调整模块(图中未示出),用于响应于不大于所述预设准确率阈值,调整所述初始视频识别模型的参数,并继续执行所述训练步骤。
本实施例还提供了一种服务器,包括:一个或多个处理器;存储器,用于存储一个或多个程序,摄像头,用于获取图像和/或视频;当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述的用于解锁的方法。
本实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述的用于解锁的方法。
下面参考图6,其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。摄像头612也根据需要连接至I/O接口605。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括人脸图像获取单元、提示信息选项获取单元、解锁视频录制单元、识别结果标签获取单元和解锁单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,解锁单元还可以被描述为“用于在识别结果标签的内容为相同时,进行解锁操作的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:响应于检测到解锁信号,获取用户的人脸图像;查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;按照所述提示信息选项录制用户的解锁视频;将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;响应于所述识别结果标签为内容相同,执行解锁操作。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于解锁的方法,包括:
响应于检测到解锁信号,获取用户的人脸图像;
查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;
按照所述提示信息选项录制用户的解锁视频;
将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;
响应于所述识别结果标签为内容相同,执行解锁操作。
2.根据权利要求1所述的方法,其中,所述方法还包括录制上锁视频的步骤,所述录制上锁视频的步骤包括:
响应于检测到上锁视频录制信号,显示提示信息选项集合;
响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
3.根据权利要求2所述的方法,其中,所述按照所述至少一个提示信息选项录制上锁视频,包括:
为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
4.根据权利要求1所述的方法,其中,所述视频识别模型包括卷积神经网络、循环神经网络和全连接层。
5.根据权利要求4所述的方法,其中,所述将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,包括:
将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量,其中,所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系;
将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量,其中,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系;
将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签,其中,所述全连接层用于表征视频特征向量与识别结果标签之间的对应关系。
6.根据权利要求1所述的方法,其中,所述视频识别模型按照如下步骤训练得到:
获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签;
将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型。
7.根据权利要求6所述的方法,其中,所述将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型,包括:
执行以下训练步骤:将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应样本解锁视频的预测识别结果标签,将所述预测识别结果标签与对应样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率,确定所述识别准确率是否大于预设准确率阈值,若大于所述预设准确率阈值,则将所述初始视频识别模型作为训练完成的视频识别模型。
8.根据权利要求7所述的方法,其中,所述将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型,还包括:
响应于不大于所述预设准确率阈值,调整所述初始视频识别模型的参数,并继续执行所述训练步骤。
9.一种用于解锁的装置,包括:
人脸图像获取单元,用于响应于检测到解锁信号,获取用户的人脸图像;
提示信息选项获取单元,用于查找与所述人脸图像对应的上锁视频,并获取所述上锁视频对应的提示信息选项,所述上锁视频为预先录制的用户视频,所述提示信息选项用于指示用户选择录入的视频内容;
解锁视频录制单元,用于按照所述提示信息选项录制用户的解锁视频;
识别结果标签获取单元,用于将所述上锁视频和解锁视频导入预先训练的视频识别模型,得到识别结果标签,所述视频识别模型用于按照所述提示信息选项识别上锁视频的内容和解锁视频的内容是否相同;
解锁单元,用于响应于所述识别结果标签为内容相同,执行解锁操作。
10.根据权利要求9所述的装置,其中,所述装置还包括上锁视频录制单元,用于录制上锁视频,所述上锁视频录制单元包括:
信息显示子单元,用于响应于检测到上锁视频录制信号,显示提示信息选项集合;
上锁视频录制子单元,用于响应于用户从所述提示信息选项集合中选择的至少一个提示信息选项,按照所述至少一个提示信息选项录制上锁视频。
11.根据权利要求10所述的装置,其中,所述上锁视频录制子单元包括:
为所述至少一个提示信息选项包含的每个提示信息选项设置顺序编号,按照所述顺序编号向用户展示对应该顺序编号的提示信息选项,并录制对应该提示信息选项的视频片段。
12.根据权利要求9所述的装置,其中,所述视频识别模型包括卷积神经网络、循环神经网络和全连接层。
13.根据权利要求12所述的装置,其中,所述识别结果标签获取单元包括:
图像特征向量获取子单元,用于将所述上锁视频和解锁视频输入至所述卷积神经网络,分别得到所述上锁视频的各帧图像的第一图像特征向量和所述解锁视频的各帧图像的第二图像特征向量,其中,所述卷积神经网络用于表征视频与视频的各帧图像的图像特征向量之间的对应关系;
视频特征向量获取子单元,用于将所述第一图像特征向量和第二图像特征向量输入至所述循环神经网络,得到所述上锁视频的第一视频特征向量和所述解锁视频的第二视频特征向量,其中,所述循环神经网络用于表征视频的各帧图像的图像特征向量与视频特征向量之间的对应关系,视频特征向量用于表征视频的各帧图像的图像特征向量之间的关联关系;
识别结果标签获取子单元,用于将所述第一视频特征向量和第二视频特征向量输入至所述全连接层,得到所述上锁视频和解锁视频的识别结果标签,其中,所述全连接层用于表征视频特征向量与识别结果标签之间的对应关系。
14.根据权利要求9所述的装置,其中,所述装置还包括视频识别模型训练单元,所述视频识别模型训练单元包括:
样本获取子单元,用于获取多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频和识别结果标签;
视频识别模型训练子单元,用于将所述多个样本上锁视频中的每个样本上锁视频和对应该样本上锁视频的样本解锁视频作为输入,将对应样本解锁视频的识别结果标签作为输出,训练得到所述视频识别模型。
15.根据权利要求14所述的装置,其中,所述视频识别模型训练子单元包括:
视频识别模型训练模块,用于将所述多个样本上锁视频和所述多个样本上锁视频中的每个样本上锁视频对应的样本解锁视频输入到初始视频识别模型,得到对应样本解锁视频的预测识别结果标签,将所述预测识别结果标签与对应样本解锁视频的识别结果标签进行比较,得到所述初始视频识别模型的识别准确率,确定所述识别准确率是否大于预设准确率阈值,若大于所述预设准确率阈值,则将所述初始视频识别模型作为训练完成的视频识别模型。
16.根据权利要求15所述的装置,其中,所述视频识别模型训练子单元还包括:
参数调整模块,用于响应于不大于所述预设准确率阈值,调整所述初始视频识别模型的参数,并继续执行所述训练步骤。
17.一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
摄像头,用于获取图像和/或视频;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一所述的方法。
CN201810256337.7A 2018-03-27 2018-03-27 用于解锁的方法及装置 Active CN108509781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810256337.7A CN108509781B (zh) 2018-03-27 2018-03-27 用于解锁的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810256337.7A CN108509781B (zh) 2018-03-27 2018-03-27 用于解锁的方法及装置

Publications (2)

Publication Number Publication Date
CN108509781A true CN108509781A (zh) 2018-09-07
CN108509781B CN108509781B (zh) 2023-04-07

Family

ID=63378678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810256337.7A Active CN108509781B (zh) 2018-03-27 2018-03-27 用于解锁的方法及装置

Country Status (1)

Country Link
CN (1) CN108509781B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN105740688A (zh) * 2016-02-01 2016-07-06 腾讯科技(深圳)有限公司 解锁的方法和装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN107220667A (zh) * 2017-05-24 2017-09-29 北京小米移动软件有限公司 图像分类方法、装置及计算机可读存储介质
CN107424266A (zh) * 2017-07-25 2017-12-01 上海青橙实业有限公司 人脸识别解锁的方法和装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术(北京)有限公司 用于识别人脸的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN105740688A (zh) * 2016-02-01 2016-07-06 腾讯科技(深圳)有限公司 解锁的方法和装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN107220667A (zh) * 2017-05-24 2017-09-29 北京小米移动软件有限公司 图像分类方法、装置及计算机可读存储介质
CN107424266A (zh) * 2017-07-25 2017-12-01 上海青橙实业有限公司 人脸识别解锁的方法和装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术(北京)有限公司 用于识别人脸的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
上海金融业联合会 编: "《上海金融改革理论与实践》", 30 June 2017, 上海交通大学出版社 *

Also Published As

Publication number Publication date
CN108509781B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108154196B (zh) 用于输出图像的方法和装置
CN108038880A (zh) 用于处理图像的方法和装置
CN107909065A (zh) 用于检测人脸遮挡的方法及装置
CN108171191B (zh) 用于检测人脸的方法和装置
CN109446990A (zh) 用于生成信息的方法和装置
CN108985257A (zh) 用于生成信息的方法和装置
CN109308490A (zh) 用于生成信息的方法和装置
CN109871834A (zh) 信息处理方法和装置
CN107578034A (zh) 信息生成方法和装置
CN109376267A (zh) 用于生成模型的方法和装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN109934191A (zh) 信息处理方法和装置
CN108171211A (zh) 活体检测方法和装置
CN107958247A (zh) 用于人脸图像识别的方法和装置
CN108062544A (zh) 用于人脸活体检测的方法和装置
CN108509921A (zh) 用于生成信息的方法和装置
CN108062416A (zh) 用于在地图上生成标签的方法和装置
CN107038784A (zh) 安全验证方法和装置
CN107729928A (zh) 信息获取方法和装置
CN108427941A (zh) 用于生成人脸检测模型的方法、人脸检测方法和装置
CN108133197A (zh) 用于生成信息的方法和装置
CN108509888A (zh) 用于生成信息的方法和装置
CN108364029A (zh) 用于生成模型的方法和装置
CN110110666A (zh) 目标检测方法和装置
CN108399401A (zh) 用于检测人脸图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant