CN115270093A - 身份校验方法、装置、电子设备以及存储介质 - Google Patents

身份校验方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN115270093A
CN115270093A CN202210900796.0A CN202210900796A CN115270093A CN 115270093 A CN115270093 A CN 115270093A CN 202210900796 A CN202210900796 A CN 202210900796A CN 115270093 A CN115270093 A CN 115270093A
Authority
CN
China
Prior art keywords
wearer
eye
head
mounted display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210900796.0A
Other languages
English (en)
Inventor
韦燕华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN202210900796.0A priority Critical patent/CN115270093A/zh
Priority to PCT/CN2022/118800 priority patent/WO2024021251A1/zh
Publication of CN115270093A publication Critical patent/CN115270093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例公开一种身份校验方法、装置、电子设备和存储介质；该方法包括：通过头戴式显示器的屏下摄像头拍摄头戴式显示器佩戴者的虹膜图像；头戴式显示器还包括显示屏幕和至少两个眼部摄像头；屏下摄像头设置在显示屏幕背面，至少两个眼部摄像头围绕显示屏幕设置，且分别对应的拍摄视角不同；通过至少两个眼部摄像头分别拍摄佩戴者的眼睛，得到至少两帧眼部图像；根据虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征；根据用户身份特征对佩戴者的身份进行校验，并根据校验结果确定是否对佩戴者输入的用户操作进行响应，从而能够对头戴式显示器的佩戴者进行身份校验，提高头戴式显示器的使用安全性。

Description

身份校验方法、装置、电子设备以及存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及身份校验方法、装置、电子设备以及存储介质。
背景技术
随着虚拟现实(Virtual Reality，VR)、混合现实(Mixed Reality)技术的发展，头戴式显示器被广泛应用于VR、MR的应用场景中。用户佩戴头戴式显示器后，可通过头戴式显示器的显示屏幕观看各种内容，在视觉上接收信息输入，以达到沉浸式的用户体验。
然而，在实践中发现，在一些应用场景中，存在头戴式显示器被非法使用的风险。例如，头戴式显示器有被盗的风险。头戴式显示器一旦丢失，任何人都可以使用，这为原主人造成了财产损失，还存在一定的隐私泄露风险。
发明内容
本申请实施例公开了一种身份校验方法、装置、电子设备以及存储介质，能够对头戴式显示器的佩戴者进行身份校验，提高头戴式显示器的使用安全性。
本申请实施例一种身份校验方法，所述方法包括：通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像；所述头戴式显示器包括屏下摄像头和至少两个眼部摄像头；所述头戴式显示器还包括显示屏幕，所述屏下摄像头设置在所述显示屏幕背面，所述至少两个眼部摄像头围绕所述显示屏幕设置，所述至少两个眼部摄像头对应的拍摄视角不同；通过所述至少两个眼部摄像头分别拍摄所述头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像；根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征；根据所述用户身份特征对所述佩戴者的身份进行校验，并根据校验结果确定是否对所述佩戴者输入的用户操作进行响应。
在一个实施例中，所述头戴式显示器还包括驱动装置；所述驱动装置设置在所述显示屏幕背面，与所述屏下摄像头连接，用于控制所述屏下摄像头移动；以及，通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像，包括：检测所述佩戴者的瞳孔移动数据；通过所述驱动装置驱动所述屏下摄像头按照所述瞳孔移动数据移动，以使所述屏下摄像头的拍摄视角正对所述佩戴者的瞳孔；在所述屏下摄像头移动后，通过所述屏下摄像头拍摄所述佩戴者的虹膜图像。
在一个实施例中，所述头戴式显示器还包括眼动追踪传感器，所述眼动追踪传感器设置在所述显示屏幕的一侧；所述瞳孔移动数据包括：瞳孔移动距离和瞳孔移动方向；以及，所述检测所述佩戴者的瞳孔移动数据，包括：通过所述眼动追踪传感器当前采集到的眼动数据确定所述头戴式显示器佩戴者当前的瞳孔位置；获取基于所述眼动追踪传感器上一次采集到的眼动数据确定出的所述佩戴者上一次的瞳孔位置；将当前的瞳孔位置与上一次的瞳孔位置进行比较，确定所述佩戴者的瞳孔移动距离和瞳孔移动方向。
在一个实施例中，在得到所述至少两帧眼部图像之后，以及在所述根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征之前，所述方法还包括：将所述至少两帧眼部图像进行融合，得到融合图像；以及，所述根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征，包括：从所述虹膜图像中提取所述虹膜特征，并从所述融合图像中提取眼部特征；将所述虹膜特征和所述眼部特征进行融合，得到用户身份特征。
在一个实施例中，所述将所述至少两帧眼部图像进行融合，得到融合图像，包括：将与参考视角对应的虹膜图像确定为参考图像；所述参考视角对应的虹膜图像是所述佩戴者注视所述显示屏幕时由所述屏下摄像头拍摄到的；以所述参考图像为基准，将所述至少两帧眼部图像转换到所述参考视角下，得到与所述参考视角对应的至少两帧眼部图像；将与所述参考视角对应的至少两帧眼部图像进行融合，得到融合图像。
在一个实施例中，所述头戴式显示器还包括多个红外光源；所述红外光源呈环状围绕所述显示屏幕设置；以及，所述方法还包括：在所述屏下摄像头拍摄所述虹膜图像时，通过所述多个红外光源发光。
在一个实施例中，在所述根据所述用户身份特征对所述佩戴者的身份进行校验之后，所述方法还包括：若所述身份校验结果为所述佩戴者的身份不合法，则向手柄发送震动指令；所述手柄与所述头戴式显示器通信连接，所述震动指令用于指示所述手柄以预设频率震动。
本申请实施例公开一种身份校验装置，，所述装置包括：第一拍摄模块，用于通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像；所述头戴式显示器包括屏下摄像头和至少两个眼部摄像头；所述头戴式显示器还包括显示屏幕，所述屏下摄像头设置在所述显示屏幕背面，所述至少两个眼部摄像头围绕所述显示屏幕设置，所述至少两个眼部摄像头对应的拍摄视角不同；第二拍摄模块，用于通过所述至少两个眼部摄像头分别拍摄所述头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像；提取模块，用于根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征；校验模块，用于根据所述用户身份特征对所述佩戴者的身份进行校验，并根据校验结果确定是否对所述佩戴者输入的用户操作进行响应。
本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种身份校验方法。
本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种身份校验方法。
与相关技术相比，本申请实施例具有以下有益效果：
本申请实施例公开的头戴式显示器包括显示屏幕、屏下摄像头和至少两个眼部摄像头；屏下摄像头设置在所述显示屏幕背面，至少两个眼部摄像头围绕显示屏幕设置，且各个眼部摄像头对应的拍摄视角不同。屏下摄像头可拍摄头戴式显示器佩戴者的虹膜图像，各个眼部摄像头可分别拍摄头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像。拍摄得到虹膜图像和至少两帧眼部图像后，可进一步从虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征，能够通过用户身份特征对佩戴者的身份进行校验，拒绝非法用户使用头戴式显示器，可以提高头戴式显示器的使用安全性。
此外，不同视角的眼部摄像头分别拍摄得到的眼部图像中可包括不同的图像内容，使得眼部图像中图像信息更丰富，从而可以提高基于眼部图像提取出的用户身份特的准确性。并且，在对头戴式显示器的佩戴者进行身份校验时，可以融合虹膜图像中的虹膜特征，以及多个视角分别对应的眼部图像中的眼部特征对佩戴者的身份进行校验，虹膜特征与眼部特征可以互为补充，增加了非法使用者的造假难度，可以极大地提高头戴式显示器的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是是一个实施例公开的一种身份校验方法的应用场景示意图；
图1B是本申请实施例公开的一种头戴式显示器的结构示意图；
图2是一个实施例公开的一种红外光源的排布示例图；
图3是本申请实施例公开的一种身份校验方法的方法流程示意图；
图4是一个实施例公开的另一种身份校验方法的方法流程示意图；
图5是一个实施例公开的另一种身份校验方法的方法流程示意图；
图6是一个实施例公开的一种身份校验装置的结构示意图；
图7是一个实施例公开的一种头戴式显示器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种身份校验方法、装置、电子设备以及存储介质，能够对头戴式显示器的佩戴者进行身份校验，提高头戴式显示器的使用安全性。以下分别进行详细说明。
请参阅图1A，图1A是一个实施例公开的一种身份信息采集方法的应用场景示意图。如图1所示，给出第一种运行环境，该运行环境可以包括头戴式显示器101、终端设备102和服务器103。
用户可以佩戴头戴式显示器101以使头戴式显示器101获取数据。这里，头戴式显示器101不具备数据处理能力，其在获取到数据后，可以与终端102之间通过近距离通信技术传输数据。
终端设备102可以包括智能电视、三维视觉显示设备、大型投影系统、多媒体播放设备、手机、平板电脑、游戏主机、PC(PersonalComputer，个人计算机)等电子设备。终端设备102可以接收头戴式显示器101传输的数据，对数据进行处理。
服务器103用于为终端102提供后台服务，以供终端102对接收到的头戴式显示器101传输的数据进行处理，从而完成本申请所提供的身份信息采集方法。可选的，服务器103还可根据数据处理结果生成相对应的控制指令，控制指令可分别发送至终端102和/或头戴式显示器101，以对终端102和/或头戴式显示103进行控制。例如，服务器103可以是后台服务器。服务器103可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。可选地，服务器103同时为多个终端102提供后台服务。
再给出第二种运行环境，该运行环境可以包括头戴式显示器101和终端设备102。
这里，头戴式显示器101可以包括上述所陈述的各种类型的设备，头戴式显示器101不具备数据处理能力，其在获取到数据后，可以与终端102之间通过近距离通信技术传输数据。
终端设备102可以包括上述所陈述的各种类型的电子设备。终端设备102可以接收头戴式显示器101传输的数据，对数据进行处理，以完成本申请所提供的身份信息采集方法。可选的，终端102还可根据数据处理结果生成相对应的控制指令，控制指令可分别发送头戴式显示器101，以对头戴式显示103进行控制。
再给出第三种运行环境，该运行环境仅包括头戴式显示器101。这里，头戴式显示器101不仅具有数据获取能力，还具有数据处理能力，即能够通过头戴式显示器101中的处理器调用程序代码来实现本申请提供的身份信息采集方法所实现的功能，当然程序代码可以保存在计算机存储介质中，可见，该头戴式显示器至少包括处理器和存储介质。
请参阅图1B，图1B是本申请实施例公开的一种头戴式显示器的结构示意图。需要说明的是，头戴式显示器还可包括图1B中未示出的固定带等部件，固定带可将头戴式显示器固定在佩戴者头部。
如图1所示，该头戴式显示器10可包括两个显示屏幕20，分别与人体的左眼和右眼对应。每个显示屏幕20的背面可设置有一个屏下摄像头70。屏下摄像头70隐藏在显示屏幕20的背面，可以透过显示屏幕20拍摄到显示屏幕前方的景象。
头戴式显示器10还可包括至少两个眼部摄像头，每个显示屏幕20周边都可围绕设置有一个或多个眼部摄像头。在头戴式显示器10被佩戴时，显示屏幕20中可输出数字渲染而成的虚拟画面或者输出虚拟与现实混合的混合画面。
示例性的，如图1所示，头戴式显示器10可包括多个眼部摄像头，比如7个眼部摄像头，分别为眼部摄像头装置31、眼部摄像头装置32、眼部摄像头装置33、眼部摄像头装置34、眼部摄像头装置35、眼部摄像头装置36和眼部摄像头装置37，分别在每个显示屏幕20的上、下、左、右四个方向上设置。并且，两个显示屏幕20的中间位置可共用同一个眼部摄像头32。
可选的，头戴式显示器10还可设置有多个红外光源40。红外光源40可以是任意一种能够发射红外光线的元件，如红外LED灯粒，但不限于此。多个红外光源40可呈环状围绕显示屏幕20设置。
示例性的，请参阅图2，图2是一个实施例公开的一种红外光源的排布示例图。如图2所示，多个红外光源40可呈环状排布，形成一个环带。如图1所示，每个显示屏幕20周边都可对应有一个由红外光源40构成的环带。
红外光源40可用于发射红外光，为屏下摄像头的拍摄进行补光。以红外光作为补光光源，可以避免光照照射引起人眼眩晕。多个红外光源40形成环状，可以提高补光的均匀性，使得红外光线可以从不同的角度均匀照射，避免局部高亮。示例性的，红外光源40可用于发射波长为850毫米的红外线。
可选的，头戴式显示器10还可设置有眼动追踪传感器50。眼动传感器50可设置在显示屏幕20的一侧，例如设置在显示屏幕20的左侧或者右侧。眼动追踪传感器可用于采集眼动数据。例如，瞳孔位置、视线落点等。示例性的，眼动追踪传感器可以是电极式的眼动传感器，通过传感器中的电极检测眼睛周边的肌肉动作，从而得到眼动数据。
可选的，头戴式显示器10还可包括驱动装置60，驱动装置60与屏下摄像头连接，设置在显示屏幕20的背面。驱动装置可60用于控制屏下摄像头移动，例如驱动装置60可包括连接杆和马达，连接杆连接马达和屏下摄像头，马达转动时带动连接杆，连接杆的移动带动屏下摄像头移动。
基于前述的头戴式显示器，以下内容对本申请实施例公开的身份校验方法进行说明。需要说明的是，以下内容以头戴显示器包括的其中一个显示屏幕为例，描述头戴式显示器对与该显示屏幕对应的屏下摄像头、眼部摄像头、眼动追踪传感器、驱动装置等部件进行控制，以及处理各个部件采集到的数据的方法。当头戴式显示器包括两个或以上的显示屏幕时，其余显示屏幕及相关部件的控制和数据处理方法可参考以下内容，具体不再赘述。
请参阅图3，图3是本申请实施例公开的一种身份校验方法的方法流程示意图，该身份校验方法可应用于具有数据处理能力的任意一种电子设备，包括但不限于前述的任意一种头戴式显示器、与头戴式显示器通信连接的终端设备，或者为与头戴式显示器通信连接的终端设备提供后台服务的后台服务器。其中，该方法由头戴式显示器执行时,可由头戴式显示器的中央处理器(Central Progressing Unit，CPU)、微处理器(Micro ControlUnit，MCU)等具有计算能力的器件执行。如图3所示，该方法可包括以下步骤：
310、通过屏下摄像头拍摄头戴式显示器佩戴者的虹膜图像。
在本申请实施例中，当头戴式显示器被佩戴者佩戴时，显示屏幕可正对佩戴者的眼睛，屏下摄像头可执行拍摄操作，拍摄得到的图像可以作为佩戴者的虹膜图像。需要说明的是，虹膜图像中包括虹膜，也可能包括睫毛、眼睑等部位，可根据屏下摄像头的视野范围，以及佩戴者的眼睛与屏下摄像头之间的距离确定。
可选的，在屏下摄像头拍摄虹膜图像时，可控制显示屏幕停止发光，以增加外界光线透过显示屏幕到达屏下摄像头的概率，增强显示屏幕的透光性能，从而增加拍摄到的虹膜图像的清晰度。
320、通过至少两个眼部摄像头分别拍摄头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像。
在本申请实施例中，每个摄像头执行拍摄操作后得到的图像可以作为一帧眼部图像。需要说明的是，由于各个眼部摄像头在头戴式显示器上的设置位置不同，不同的眼部摄像头拍摄到的眼部图像可能包括部分相同的眼睛部位，以及部分不同的眼睛部位。
示例性的，请结合图2，图2所示的眼部摄像头33拍摄得到的眼部图像可以包括眼球以及眼睛的下眼睑，但不包括上眼睑；图2所示的眼部摄像头31拍摄得到的眼部图像可以包括眼球以及眼睛的上眼睑，不包括下眼睑。眼部摄像头32拍摄得到的眼部图像可以包括左眼和右眼的眼角部分，以及两眼之间的鼻梁。
需要说明的是，前述的步骤310和步骤320在逻辑上没有必然的先后顺序，步骤310和步骤320也可以同时执行，具体不做限定。
在一些实施例中，若头戴式显示器包括前述的眼动追踪传感器，则电子设备可根据眼动追踪传感器采集到的眼动数据判断头戴式显示器的佩戴者是否注视显示屏幕。若判断出佩戴者注视显示屏幕，则可执行前述的步骤310和步骤320。
330、根据虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征。
在本申请实施例中，用户身份特征可以是虹膜图像和眼部图像中提取出的任意一种或多种身份特征。例如，用户身份特征可包括从虹膜图像中提取出的虹膜特征；或者，用户身份特征也可包括从眼部图像中提取出的与眼周、眉毛、睫毛等相关的眼部特征；或者用户身份特征可包括从虹膜图像中提取出的虹膜特征，以及从眼部图像中提取出的与眼周、眉毛、睫毛等相关的眼部特征。
作为一种可选的实施方式，电子设备可对至少两帧眼部图像中的每一帧眼部图像都进行身份特征的提取。或者，电子设备也可以先对至少两帧眼部图像进行融合，并对融合后得到的融合图像进行身份特征的提取，具体不做限定。
在本申请实施例中，电子设备在从虹膜图像中提取出虹膜特征，以及从眼部图像中提取出眼部特征之后，电子设备可通过拼接(Concat)或合并(Add)等方式将虹膜特征和眼部特征进行融合，以形成佩戴者的用户身份特征。
340、根据用户身份特征对佩戴者的身份进行校验，根据校验结果确定是否对佩戴者输入的用户操作进行响应。
作为一种可选的实施方式，电子设备可获取头戴式显示器的合法用户对应的合法身份特征，并将从图像中提取出的用户身份特征与合法身份特征进行匹配；若用户身份特征与合法身份特征相匹配，则可确定头戴式显示器佩戴者的身份合法；若用户身份特征与合法身份特征不匹配，则可确定头戴式显示器佩戴者的身份不合法。
作为另一种可选的实施方式，电子设备还可以合法用户对应的合法身份特征对分类模型进行训练，然后利用训练好的分类模型对用户身份特征进行分类，通过分类模型判断用户身份特征与合法身份特征是否属于同一分类；若是，则可确定头戴式显示器佩戴者的身份合法；若否，则可确定头戴式显示器佩戴者的身份不合法。其中，分类模型可以包括但不限于支持向量机(Support Vector Machine，SVM)、深度神经网络。
在本申请实施例中，若校验结果为头戴式显示器佩戴者的身份合法，则头戴式显示器可以对佩戴者输入的用户操作进行响应；若校验结果为头戴式显示器佩戴者的身份不合法，则头戴式显示器可以拒绝对佩戴者输入的用户操作进行响应。
示例性的，佩戴者输入的用户操作可以包括：开启头戴式显示器的开机操作、打开头戴式显示器内置的某一应用程序的触发操作、登录头戴式显示器中的游戏应用程序、影音播放软件等娱乐应用程序的登录操作，具体不做限定。
可见，在前述实施例中，电子设备可通过头戴式显示器的屏下摄像头拍摄虹膜图像，并通过屏幕周边设置的两个或以上的眼部摄像头拍摄佩戴者的眼部图像。其中，两个或以上的眼部摄像头对应的拍摄视角不同，分别拍摄得到的眼部图像中可用于表征用户身份的图像内容也不相同，使得眼部图像中图像信息更丰富，有利于提高用户身份校验的准确性。从虹膜图像和至少两帧眼部图像中提取出的用户身份特征，可用于表征佩戴者的身份，从而可用于判断佩戴者是否合法，以对用户身份进行校验，可以提高头戴式显示器的使用安全性。
并且，在对头戴式显示器的佩戴者进行身份校验时，电子设备可以融合虹膜图像中的虹膜特征，以及多个视角分别对应的眼部图像中的眼部特征对佩戴者的身份进行校验，虹膜特征与眼部特征可以互为补充，增加了非法使用者的造假难度，可以极大地提高头戴式显示器的安全性。
请参阅图4，图4是一个实施例公开的另一种身份校验方法的方法流程示意图，该身份校验方法应用于电子设备。在本申请实施例中，头戴式显示器包括上述实施例包括的屏下摄像头、至少两个眼部摄像头以及驱动装置。
如图4所示，该方法可包括以下步骤：
410、检测佩戴者的瞳孔移动数据。
在本申请实施例中，瞳孔移动数据可包括瞳孔移动距离和瞳孔移动方向。
作为一种可选的实施方式，电子设备可包括前述的眼动追踪传感器，眼动追踪传感器可用于采集眼动数据，眼动数据可包括包括瞳孔位置、瞳孔的注视时长、眼睛跳动次数、瞳孔扩张等数据。电子设备可对眼动数据进行处理，以得到佩戴者的瞳孔移动数据。其中，电子设备获取基于眼动追踪传感器上一次采集到的眼动数据确定出的佩戴者上一次的瞳孔位置，并基于眼动追踪传感器当前采集到的眼动数据确定佩戴者当前的瞳孔位置；电子设备可将当前的瞳孔位置与上一次的瞳孔位置进行比较，确定佩戴者的瞳孔移动距离和瞳孔移动方向。
作为另一种可选的实施方式，电子设备可对屏下摄像头上一次拍摄到的虹膜图像进行识别，以得到上一次的瞳孔位置；电子设备还可控制屏下摄像头先拍摄一帧预识别的虹膜图像，对预识别的虹膜图像进行识别，得到当前的瞳孔位置，并将当前的瞳孔位置与上一次的瞳孔位置进行比较，确定佩戴者的瞳孔移动距离和瞳孔移动方向。
可选的，电子设备在执行步骤410得到瞳孔移动数据之后，还可对瞳孔移动数据包括的瞳孔移动距离进行判断；若瞳孔移动距离大于距离阈值，则电子设备可以继续执行下述的步骤420-步骤430，对屏下摄像头进行移动；若瞳孔移动距离小于或等于距离阈值，则电子设备可以直接控制屏下摄像头拍摄虹膜图像，可以不移动屏下摄像头。
420、通过驱动装置驱动屏下摄像头按照瞳孔移动数据移动，以使屏下摄像头的拍摄视角正对佩戴者的瞳孔。
430、在屏下摄像头移动后，通过屏下摄像头拍摄佩戴者的虹膜图像。
在前述的步骤420中，头戴式显示器可控制驱动装置在上述的瞳孔移动方向上移动瞳孔移动距离，从而带动屏下摄像头的移动。
在头戴式显示器被佩戴时，佩戴者的眼睛可能并非是一直注视着显示屏幕的，佩戴者的眼睛可能会移动或者转动，从而导致屏下摄像头拍摄到的虹膜图像中的虹膜发生形变，不利于虹膜特征的提取。因此，在本申请实施例中，电子设备可以通过驱动装置驱动屏下摄像头移动。在屏下摄像头移动后，屏下摄像头可以较为完整地拍摄到虹膜，并且虹膜可以处于虹膜图像的中央，以便于从虹膜图像中提取出虹膜特征，有利于提高虹膜特征的提取准确性。
440、通过至少两个眼部摄像头分别拍摄头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像。
450、根据虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征。
460、根据用户身份特征对佩戴者的身份进行校验，并根据校验结果确定是否对佩戴者输入的用户操作进行响应。
前述的步骤440-步骤460的实施方式可参见前述实施例，以下内容不再赘述。
可见，在前述实施例中，电子设备在拍摄虹膜图像之前，可检测瞳孔移动数据，并根据瞳孔移动数据控制驱动装置驱动屏下摄像头移动，使得屏下摄像头拍摄到的虹膜图像可以较为完整地拍摄到佩戴者的瞳孔，以提高瞳孔特征的提取准确性。此外，若头戴式显示器包括眼动追踪传感器，则可以利用眼动追踪传感器检测到的眼动数据确定瞳孔移动数据；若头戴式显示器不包括眼动追踪传感器，则可以利用虹膜图像确定瞳孔移动数据。
请参阅图5，图5是一个实施例公开的另一种身份校验方法的方法流程示意图，该身份校验方法应用于前述的任意一种电子设备。如图5所示，该方法可包括以下步骤：
510、通过屏下摄像头拍摄头戴式显示器佩戴者的虹膜图像。
520、通过至少两个眼部摄像头分别拍摄头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像。
530、将至少两帧眼部图像进行融合，得到融合图像。
作为一种可选的实施方式，电子设备可以对各帧眼部图像进行特征点匹配，根据特征点匹配的结果确定任意两帧眼部图像之间对应位置的像素点，并将对应位置的像素点进行求和平均。也就是说，对于各帧图像中重合的像素点而言，电子设备可以将重合的像素点的像素值进行求和平均，对于未重合的像素点而言，头戴式显示器可以将未重合的像素点的像素值直接设置为融合图像中对应位置的像素点的像素值，从而得到由多帧眼部图像拼合而成的融合图像。
作为另一种可选的实施方式，电子设备还可以将与参考视角对应的虹膜图像确定为参考图像。其中，参考视角对应的虹膜图像是佩戴者注视显示屏幕时由屏下摄像头拍摄到的。
以及，电子设备可以参考图像为基准，将至少两帧眼部图像转换到参考视角下，得到与参考视角对应的至少两帧眼部图像。其中，每帧眼部图像都可至少包括一部分虹膜，因此头戴式显示器可对每帧眼部图像与参考图像进行特征点匹配，并根据特征点匹配结果计算每帧眼部图像与参考图像之间的配准矩阵。电子设备可将每帧眼部图像对应的配准矩阵与该帧眼部图像包括的各个像素点的像素值相乘，以将每帧眼部图像转换至参考视角之下。
在视角转换后，电子设备可以将与参考视角对应的至少两帧眼部图像进行融合，得到融合图像。其中，将参考视角对应的至少两帧眼部图像进行融合，可包括将各帧眼部图像中重合的像素点的像素值进行求和平均，将未重合的像素点的像素值直接设置为融合图像中对应位置的像素点的像素值。
将多帧眼部图像进行视角转换后再进行融合，可以提高图像融合的准确性，可以最大程度保留各帧眼部图像中的图像细节信息，有利于提高提取眼部特征的准确性。
540、从虹膜图像中提取虹膜特征。
在本申请实施例中，电子设备从虹膜图像中提取虹膜特征可包括一下步骤：
S1、将虹膜图像转换成灰度图，得到灰度虹膜图像。可选的，在得到灰度虹膜图像之后，以及在执行下述的步骤S2之前，头戴式显示器还可以对灰度虹膜图像中的边界灰度值进行非线性变化，以增强边界灰度值。
S2、对灰度虹膜图像中的虹膜进行定位，识别出虹膜在灰度虹膜图像中的虹膜区域。其中，头戴式显示器可以对灰度虹膜图像中的虹膜进行识别，以定位出虹膜在灰度虹膜虹膜图像中的图像位置，并以虹膜的图像位置为中心，以预设半径或者以预设长度和预设宽度构建虹膜区域。
S3、去除虹膜区域中的睫毛、眼脸以及光斑，并对虹膜区域进行去噪处理。其中，头戴式显示器可以采用霍夫(Hough)变换方法、微积分方法等对虹膜区域中的灰度值进行计算，以此去除噪点。
S4、通过径向对称变换方法粗定位虹膜区域中的瞳孔位置，得到瞳孔的圆心点位置和半径。
S5、根据瞳孔的圆心点和半径确定瞳孔的边界，并在瞳孔边界周围的区域中，采用圆周差分算法精定位虹膜的外边缘位置。定位虹膜的外边缘的实施方式可包括：获取虹膜区域中各个灰度值分别对应的梯度值；需要说明的是，灰度值对应的梯度值计算可以在步骤S1将虹膜图像转换成灰度图是进行。在得到虹膜区域中各个灰度值分别对应的梯度值之后，以瞳孔圆心作为虹膜外边缘搜索的起始点，以为瞳孔半径作为搜索的起始半径，采用圆周差分算法计算以起始点和起始半径所形成的圆弧的梯度值的积分；逐步增加起始半径的长度，进一步对增加起始半径后形成的圆弧进行梯度积分计算；根据梯度积分变化趋势确定虹膜的外边缘。
S6、根据瞳孔的圆心位置和半径确定瞳孔的外边缘，并根据瞳孔的外边缘以及虹膜的外边缘对虹膜区域进行修正，得到修正后的虹膜区域。
S7、从修正后的虹膜区域中提取出虹膜特征。
也就是说，在本申请实施例中，电子设备可以对虹膜的外边缘进行准确识别，以从虹膜图像中定位出准确的虹膜区域，再从虹膜区域中提取出虹膜特征，可以减少眼球其余部位对应的图像信息被错误地提取为虹膜特征的可能性，提高虹膜特征的提取精度。
550、从融合图像中提取眼部特征。
在本申请实施例中，眼部特征是从融合图像中提取出的，电子设备可以减少从眼部图像中提取眼部特征的重复次数，减少眼部特征中的冗余信息，有利于减少计算量，加快用户身份校验的响应速度。
560、将虹膜特征和眼部特征进行融合，得到用户身份特征。
570、根据用户身份特征对佩戴者的身份进行校验，根据校验结果确定是否对佩戴者输入的用户操作进行响应。
前述步骤560-步骤570的实施方式可参见前述实施例，以下内容不再赘述。
此外，在一些可能的实施例中，当佩戴者的身份校验结果为头戴式显示器的佩戴者身份不合法时，头戴式显示器还可执行以下一种或多种操作：
操作一：电子设备可向与头戴式显示器通信连接的手柄发送震动指令，以使手柄在接收到震动之后后，以预设频率震动。一般而言，头戴式显示器与手柄配合使用，形成一套完整的VR或MR交互设备。当头戴式显示器判断出佩戴者为非法用户时，可以通过震动指令控制手柄震动，使得非法用户既无法正常使用头戴式显示器，也无法正常使用手柄。并且，当非法用户握持手柄时，手柄的震动还会对非法用户造成不适。
操作二：电子设备也可以控制头戴式显示器通过扬声器播放蜂鸣声，从听觉上对非法用户带来不适感，使得非法用户可以尽早停止使用头戴式显示器。
操作三：电子设备可触发头戴式显示器可扫描周边的蓝牙设备或超宽带(UltraWide Band，UWB)设备，并向可连接的蓝牙设备或UWB设备发送头戴式显示器的设备标识。任意一个目标设备通过与头戴式显示器的蓝牙或UWB连接接收到头戴式显示器的设备标识之后，可以将头戴式显示器的设备标识以及目标设备的定位信息发送至服务器。服务器可根据头戴式显示器的设备标识查询与头戴式显示器绑定的终端设备，并将目标设备的定位信息发送至终端设备，使得终端设备的使用者可以通过目标设备的定位信息确认头戴式显示器的位置，以便于终端设备的使用者根据该定位信息找寻丢失的头戴式显示器。
可见，在前述实施例中，可以通过手柄震动或蜂鸣声输出等操作对非法用户进行警告；或者，还可将头戴式显示器可能的定位信息发送至绑定的终端设备，以便于寻找头戴式显示器。
应该理解的是，虽然图3-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图6，图6是一个实施例公开的一种身份校验装置的结构示意图。该身份校验装置可应用于前述的任意一种电子设备。如图6所示，该身份校验装置可包括：第一拍摄模块610、第二拍摄模块620、提取模块630、校验模块640。
第一拍摄模块610，可用于通过头戴式显示器的屏下摄像头拍摄头戴式显示器佩戴者的虹膜图像；
第二拍摄模块620，可用于通过至少两个眼部摄像头分别拍摄头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像；
提取模块630，可用于根据虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征；
校验模块640，可用于根据用户身份特征对佩戴者的身份进行校验，并根据校验结果确定是否对佩戴者输入的用户操作进行响应。
在一个实施例中，第一拍摄模块610还可用于在屏下摄像头拍摄虹膜图像时控制显示屏幕停止发光。
在一个实施例中，头戴式显示器还包括驱动装置；驱动装置设置在显示屏幕背面，与屏下摄像头连接，用于控制屏下摄像头移动；第一拍摄模块610，可包括：检测单元、驱动单元和拍摄单元。
检测单元，可用于检测佩戴者的瞳孔移动数据；
驱动单元，可用于通过驱动装置驱动屏下摄像头按照瞳孔移动数据移动，以使屏下摄像头的拍摄视角正对佩戴者的瞳孔；
拍摄单元，可用于在屏下摄像头移动后，通过屏下摄像头拍摄佩戴者的虹膜图像。
可选的，检测单元还可用于在检测到佩戴者的瞳孔移动数据之后，判断瞳孔移动数据包括的瞳孔移动距离是否大于距离阈值，若是，则触发驱动单元执行通过驱动装置驱动屏下摄像头按照瞳孔移动数据移动的操作；若否，则触发拍摄单元执行通过屏下摄像头拍摄佩戴者的虹膜图像的操作。
在一个实施例中，头戴式显示器还包括眼动追踪传感器，眼动追踪传感器设置在显示屏幕的一侧；瞳孔移动数据包括：瞳孔移动距离和瞳孔移动方向；
检测单元，还可用于通过眼动追踪传感器当前采集到的眼动数据确定头戴式显示器佩戴者当前的瞳孔位置；以及，获取基于眼动追踪传感器上一次采集到的眼动数据确定出的佩戴者上一次的瞳孔位置；以及，将当前的瞳孔位置与上一次的瞳孔位置进行比较，确定佩戴者的瞳孔移动距离和瞳孔移动方向。
在一个实施例中，身份校验装置还可包括：融合模块；
融合模块，可用于在第二拍摄模块620拍摄得到至少两帧眼部图像之后，以及在提取模块根据虹膜图像和至少两帧眼部图像提取佩戴者的用户身份特征之前，将至少两帧眼部图像进行融合，得到融合图像；
提取模块630，还可用于从虹膜图像中提取虹膜特征，并从融合图像中提取眼部特征；以及，将虹膜特征和眼部特征进行融合，得到用户身份特征。
在一个实施例中，融合模块可包括：确定单元、转换单元、融合单元。
确定单元，可用于将与参考视角对应的虹膜图像确定为参考图像；参考视角对应的虹膜图像是佩戴者注视显示屏幕时由屏下摄像头拍摄到的；
转换单元，可用于以参考图像为基准，将至少两帧眼部图像转换到参考视角下，得到与参考视角对应的至少两帧眼部图像；
融合单元，可用于将与参考视角对应的至少两帧眼部图像进行融合，得到融合图像。
在一个实施例中，头戴式显示器还包括多个红外光源；红外光源呈环状围绕显示屏幕设置。
第二拍摄模块620，还可用于在屏下摄像头拍摄虹膜图像时，通过多个红外光源发光。
在一个实施例中，身份校验装置还可包括：通信模块。
通信模块，可用于在校验模块640校验出的身份校验结果为佩戴者的身份不合法时，向手柄发送震动指令；手柄与头戴式显示器通信连接，震动指令用于指示手柄以预设频率震动。
可见，前述实施例公开的身份校验装置，可通过屏下摄像头拍摄虹膜图像，并通过屏幕周边设置的两个或以上的眼部摄像头拍摄佩戴者的眼部图像。其中，两个或以上的眼部摄像头对应的拍摄视角不同，分别拍摄得到的眼部图像中可用于表征用户身份的图像内容也不相同，使得眼部图像中图像信息更丰富，有利于提高用户身份校验的准确性。身份校验装置从虹膜图像和至少两帧眼部图像中提取出的用户身份特征，可用于表征佩戴者的身份，从而可用于判断佩戴者是否合法，以对用户身份进行校验，可以提高头戴式显示器的使用安全性。并且，虹膜特征与眼部特征可以互为补充，增加了非法使用者的造假难度，可以极大地提高头戴式显示器的安全性。
关于身份校验装置的具体限定可以参见上文中对于身份校验方法的限定，在此不再赘述。上述身份校验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图7，图7是一个实施例公开的一种电子设备的结构示意图。如图7所示，该电子设备可以包括：
存储有可执行程序代码的存储器710；
与存储器710耦合的处理器720；
其中，处理器720调用存储器710中存储的可执行程序代码，执行本申请实施例公开的任意一种身份校验方法的步骤。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种身份校验方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种身份校验方法的步骤。
可见，基于前述的实施例，可通过头戴式显示器的屏下摄像头拍摄虹膜图像，并通过屏幕周边设置的两个或以上的眼部摄像头拍摄佩戴者的眼部图像。其中，两个或以上的眼部摄像头对应的拍摄视角不同，分别拍摄得到的眼部图像中可用于表征用户身份的图像内容也不相同，使得眼部图像中图像信息更丰富，有利于提高用户身份校验的准确性。从虹膜图像和至少两帧眼部图像中提取出的用户身份特征，可用于表征佩戴者的身份，从而可用于判断佩戴者是否合法，以对用户身份进行校验，可以提高头戴式显示器的使用安全性。并且，在对头戴式显示器的佩戴者进行身份校验时，电子设备可以融合虹膜图像中的虹膜特征，以及多个视角分别对应的眼部图像中的眼部特征对佩戴者的身份进行校验，虹膜特征与眼部特征可以互为补充，增加了非法使用者的造假难度，可以极大地提高头戴式显示器的安全性。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种身份校验方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种身份校验方法，其特征在于，所述方法包括：
通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像；所述头戴式显示器包括屏下摄像头和至少两个眼部摄像头；所述头戴式显示器还包括显示屏幕，所述屏下摄像头设置在所述显示屏幕背面，所述至少两个眼部摄像头围绕所述显示屏幕设置，所述至少两个眼部摄像头对应的拍摄视角不同；
通过所述至少两个眼部摄像头分别拍摄所述头戴式显示器佩戴者的眼部区域，得到至少两帧眼部图像；
根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征；
根据所述用户身份特征对所述佩戴者的身份进行校验，并根据校验结果确定是否对所述佩戴者输入的用户操作进行响应。
2.根据权利要求1所述的方法，其特征在于，所述头戴式显示器还包括驱动装置；所述驱动装置设置在所述显示屏幕背面，与所述屏下摄像头连接，用于控制所述屏下摄像头移动；以及，通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像，包括：
检测所述佩戴者的瞳孔移动数据；
通过所述驱动装置驱动所述屏下摄像头按照所述瞳孔移动数据移动，以使所述屏下摄像头的拍摄视角正对所述佩戴者的瞳孔；
在所述屏下摄像头移动后，通过所述屏下摄像头拍摄所述佩戴者的虹膜图像。
3.根据权利要求2所述的方法，其特征在于，所述头戴式显示器还包括眼动追踪传感器，所述眼动追踪传感器设置在所述显示屏幕的一侧；所述瞳孔移动数据包括：瞳孔移动距离和瞳孔移动方向；以及，所述检测所述佩戴者的瞳孔移动数据，包括：
通过所述眼动追踪传感器当前采集到的眼动数据确定所述头戴式显示器佩戴者当前的瞳孔位置；
获取基于所述眼动追踪传感器上一次采集到的眼动数据确定出的所述佩戴者上一次的瞳孔位置；
将当前的瞳孔位置与上一次的瞳孔位置进行比较，确定所述佩戴者的瞳孔移动距离和瞳孔移动方向。
4.根据权利要求1所述的方法，其特征在于，在得到所述至少两帧眼部图像之后，以及在所述根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征之前，所述方法还包括：
将所述至少两帧眼部图像进行融合，得到融合图像；
以及，所述根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征，包括：
从所述虹膜图像中提取所述虹膜特征，并从所述融合图像中提取眼部特征；
将所述虹膜特征和所述眼部特征进行融合，得到用户身份特征。
5.根据权利要求4所述的方法，其特征在于，所述将所述至少两帧眼部图像进行融合，得到融合图像，包括：
将与参考视角对应的虹膜图像确定为参考图像；所述参考视角对应的虹膜图像是所述佩戴者注视所述显示屏幕时由所述屏下摄像头拍摄到的；
以所述参考图像为基准，将所述至少两帧眼部图像转换到所述参考视角下，得到与所述参考视角对应的至少两帧眼部图像；
将与所述参考视角对应的至少两帧眼部图像进行融合，得到融合图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述头戴式显示器还包括多个红外光源；所述红外光源呈环状围绕所述显示屏幕设置；以及，所述方法还包括：
在所述屏下摄像头拍摄所述虹膜图像时，通过所述多个红外光源发光。
7.根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述用户身份特征对所述佩戴者的身份进行校验之后，所述方法还包括：
若所述身份校验结果为所述佩戴者的身份不合法，则向手柄发送震动指令；所述手柄与所述头戴式显示器通信连接，所述震动指令用于指示所述手柄以预设频率震动。
8.一种身份校验装置，其特征在于，所述装置包括：
第一拍摄模块，用于通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的虹膜图像；所述头戴式显示器包括屏下摄像头和至少两个眼部摄像头；所述头戴式显示器还包括显示屏幕，所述屏下摄像头设置在所述显示屏幕背面，所述至少两个眼部摄像头围绕所述显示屏幕设置，所述至少两个眼部摄像头对应的拍摄视角不同；
第二拍摄模块，用于通过所述至少两个眼部摄像头分别拍摄所述头戴式显示器佩戴者的眼睛，得到至少两帧眼部图像；
提取模块，用于根据所述虹膜图像和所述至少两帧眼部图像提取所述佩戴者的用户身份特征；
校验模块，用于根据所述用户身份特征对所述佩戴者的身份进行校验，并根据校验结果确定是否对所述佩戴者输入的用户操作进行响应。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202210900796.0A 2022-07-28 2022-07-28 身份校验方法、装置、电子设备以及存储介质 Pending CN115270093A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210900796.0A CN115270093A (zh) 2022-07-28 2022-07-28 身份校验方法、装置、电子设备以及存储介质
PCT/CN2022/118800 WO2024021251A1 (zh) 2022-07-28 2022-09-14 身份校验方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900796.0A CN115270093A (zh) 2022-07-28 2022-07-28 身份校验方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115270093A true CN115270093A (zh) 2022-11-01

Family

ID=83770443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900796.0A Pending CN115270093A (zh) 2022-07-28 2022-07-28 身份校验方法、装置、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN115270093A (zh)
WO (1) WO2024021251A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205485072U (zh) * 2016-03-04 2016-08-17 北京加你科技有限公司 一种头戴式显示设备
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN107392192A (zh) * 2017-09-19 2017-11-24 信利光电股份有限公司 一种身份识别方法、装置及多摄像头模组
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN108960937B (zh) * 2018-08-10 2019-07-30 陈涛 Ar智能眼镜的应用基于眼动追踪技术的广告推送方法
CN109190509B (zh) * 2018-08-13 2023-04-25 创新先进技术有限公司 一种身份识别方法、装置和计算机可读存储介质
CN111091103B (zh) * 2019-12-23 2023-04-07 深圳职业技术学院 一种基于深度强化学习的人脸识别新方法
CN216352422U (zh) * 2021-09-22 2022-04-19 北京鹰瞳科技发展股份有限公司 多模态图像采集装置

Also Published As

Publication number Publication date
WO2024021251A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN105184277B (zh) 活体人脸识别方法以及装置
JP6417676B2 (ja) 情報処理装置、情報処理方法、アイウェア端末および認証システム
KR102151898B1 (ko) 가상 현실 환경 기반 신원 인증 방법 및 장치
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
CN107886032B (zh) 终端设备、智能手机、基于脸部识别的认证方法和系统
JP6880214B2 (ja) 仮想現実シーンベースのビジネス検証方法およびデバイス
EP3284016B1 (en) Authentication of a user of a device
CN104537292B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN109376592B (zh) 活体检测方法、装置和计算机可读存储介质
CN109086726A (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
KR20190129826A (ko) 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
US20150186708A1 (en) Biometric identification system
JP2020515945A5 (zh)
CN106845414A (zh) 用于生物特征验证的质量度量的方法和系统
EP3627362A1 (en) Method of password authentication by eye tracking and related device
CN106774929B (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
CN106709303B (zh) 一种显示方法、装置及智能终端
CN109002248B (zh) Vr场景截图方法、设备及存储介质
WO2018125563A1 (en) Identification, authentication, and/or guiding of a user using gaze information
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112784655A (zh) 基于注视信息的活体检测方法及装置、检测设备
CN115270093A (zh) 身份校验方法、装置、电子设备以及存储介质
CN114967128A (zh) 一种应用于vr眼镜的视线追踪系统及方法
CN110941344B (zh) 获取注视点数据的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination