CN115205957A - 身份信息采集方法、装置、电子设备以及存储介质 - Google Patents

身份信息采集方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN115205957A
CN115205957A CN202210900800.3A CN202210900800A CN115205957A CN 115205957 A CN115205957 A CN 115205957A CN 202210900800 A CN202210900800 A CN 202210900800A CN 115205957 A CN115205957 A CN 115205957A
Authority
CN
China
Prior art keywords
image
screen
wearer
camera
iris image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210900800.3A
Other languages
English (en)
Inventor
韦燕华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN202210900800.3A priority Critical patent/CN115205957A/zh
Priority to PCT/CN2022/118799 priority patent/WO2024021250A1/zh
Publication of CN115205957A publication Critical patent/CN115205957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例公开一种身份信息采集方法、装置、电子设备和存储介质,该方法包括:通过头戴式显示器的屏下摄像头拍摄佩戴者的第一虹膜图像。其中,头戴式显示器还可包括显示屏幕和用于发射可见光线的可见光光源,各个光源围绕显示屏幕设置;根据佩戴者的瞳孔在第一虹膜图像中的图像位置,判断佩戴者的瞳孔相对于屏下摄像头的相对位置与参考位置是否匹配;参考位置是屏下摄像头的中心线与各个可见光线的交点相对于屏下摄像头的位置;若匹配,则控制屏下摄像头拍摄第二虹膜图像,并从第二虹膜图像中提取佩戴者的身份信息。实施本申请实施例,能够采集到更高质量的虹膜图像,可以提高从虹膜图像中提取出的身份信息的准确性。

Description

身份信息采集方法、装置、电子设备以及存储介质
技术领域
本申请涉及图像处理技术领域,具体涉及身份信息采集方法、装置、电子设备以及存储介质。
背景技术
随着虚拟现实(Virtual Reality,VR)、混合现实(Mixed Reality)技术的发展,头戴式显示器被广泛应用于VR、MR的应用场景中。用户佩戴头戴式显示器后,可通过头戴式显示器的显示屏幕观看各种内容,在视觉上接收信息输入,以达到沉浸式的用户体验。
在一些VR或MR的应用场景中,需要对用户的身份信息进行采集。例如,对登录VR游戏的用户进行身份验证、或者在VR场景中创造与用户的外貌相似的虚拟角色等场景下,都有可能使用到用户的身份信息。目前,部分头戴式显示器可从用户的脸部提取出用户身份信息,但仍然存在准确性不足的问题。
发明内容
本申请实施例公开了一种身份信息采集方法、装置、电子设备以及存储介质,能够采集到更高质量的虹膜图像,可以提高从虹膜图像中提取出的身份信息的准确性。
本申请实施例公开了一种身份信息采集方法,所述方法包括:
通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像;所述头戴式显示器包括显示屏幕、屏下摄像头和可见光光源,所述可见光光源用于发射可见光线;所述屏下摄像头设置在所述显示屏幕背面,所述至少两个光源围绕所述显示屏幕设置;
根据所述佩戴者的瞳孔在所述第一虹膜图像中的图像位置,判断所述佩戴者的瞳孔相对于所述屏下摄像头的相对位置与参考位置是否匹配;所述参考位置是所述屏下摄像头的中心线与各个可见光线的交点相对于所述屏下摄像头的位置;
若所述相对位置与所述参考位置匹配,则控制所述屏下摄像头拍摄第二虹膜图像;
从所述第二虹膜图像中提取所述佩戴者的身份信息。
在一个实施例中,所述头戴式显示器还包括:驱动装置;所述驱动装置设置在所述显示屏幕背面,与所述屏下摄像头连接,所述驱动装置用于控制所述屏下摄像头移动;所述方法还包括:
若所述相对位置与所述参考位置不匹配,则识别所述相对位置偏离所述参考位置的偏离方向;
当所述偏离方向包括平行于所述显示屏幕的第一方向,确定所述相对位置在所述第一方向上偏离所述参考位置的偏离距离;
通过所述驱动装置驱动所述屏下摄像头按照所述第一方向移动所述偏离距离。
在一个实施例中,所述方法还包括:
重新校准所述屏下摄像头的中心线位置;
根据校准后的所述中心线位置重新确定所述屏下摄像头的中心线与各个可见光线的交点相对于所述显示屏幕的位置,以对所述参考位置进行更新。
在一个实施例中,所述方法还包括:
若所述相对位置与所述参考位置不匹配,则识别所述相对位置偏离所述参考位置的偏离方向;
当所述偏离方向包括垂直于所述显示屏幕的第二方向,通过所述头戴式显示器输出移动提示信息;所述移动提示信息用于提示所述佩戴者按照所述第二方向移动。
在一个实施例中,所述头戴式显示器还包括:至少两个眼部摄像头;所述至少两个眼部摄像头围绕所述显示屏幕设置,且所述至少两个眼部摄像头分别对应的拍摄视角不同;在所述从所述第二虹膜图像中提取所述佩戴者的身份信息之前,所述方法还包括:
通过所述至少两个眼部摄像头分别拍摄所述佩戴者的眼部区域,得到至少两帧眼部图像;
以及,所述从所述第二虹膜图像中提取所述佩戴者的身份信息,包括:
通过图像融合模型对所述第二虹膜图像以及所述至少两帧眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像;
从所述人脸融合图像中提取出所述佩戴者的身份信息。
在一个实施例中,所述方法还包括:
计算所述第二虹膜图像与所述至少两帧眼部图像中每帧所述眼部图像分别对应的配准矩阵;
根据每帧所述眼部图像分别对应的配准矩阵,将每帧所述眼部图像转换至参考视角;所述参考视角是所述屏下摄像头拍摄所述第二虹膜图像时的拍摄视角;
以及,所述通过图像融合模型对所述第二虹膜图像以及所述至少两帧眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像,包括:
通过图像融合模型对所述第二虹膜图像以及转换至所述参考角度下的各帧所述眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像。
在一个实施例中,所述头戴式显示器还包括:眼动追踪传感器,所述眼动追踪传感器设置在所述显示屏幕的一侧;所述通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像,包括:
通过所述眼动追踪传感器检测所述佩戴者的视线方向;
在检测到所述佩戴者的视线方向为注视所述显示屏幕时,通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像。
本申请实施例公开一种身份信息采集装置,所述装置包括:
拍摄模块,用于通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像;所述头戴式显示器包括显示屏幕、屏下摄像头和至少两个可见光光源,所述可见光光源用于发射可见光线;所述屏下摄像头设置在所述显示屏幕背面,所述至少两个光源围绕所述显示屏幕设置;
判断模块,用于根据所述佩戴者的瞳孔在所述第一虹膜图像中的图像位置,判断所述佩戴者的瞳孔相对于所述屏幕的相对位置与参考位置是否匹配;所述参考位置是所述屏下摄像头的中心线与各个可见光线的交点相对于所述显示屏幕的位置;
所述拍摄模块,还用于在所述判断模块判断出所述相对位置与所述参考位置匹配后,控制所述屏下摄像头拍摄第二虹膜图像;
提取模块,用于从所述第二虹膜图像中提取所述佩戴者的身份信息。
本申请实施例公开一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任意一种身份信息采集方法。
本申请实施例公开一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例公开的任意一种身份信息采集方法。
与相关技术相比,本申请实施例具有以下有益效果:
可先通过头戴式显示器的屏下摄像头拍摄佩戴者的第一虹膜图像,并根据第一虹膜图像中瞳孔的图像位置判断当前瞳孔相对于屏下摄像头的相对位置是否与参考位置匹配。其中,参考位置是根据屏下摄像头的中心线与头戴式显示器的各个可见光光源发射的可见光线的交点确定的。当瞳孔处于参考位置时,可见光线在人眼上的反光点落在瞳孔位置,且人眼处于屏下摄像头的焦距范围内。因此,参考位置是一个可以拍摄到高质量的虹膜图像的拍摄位置。
若瞳孔的相对位置与该参考位置匹配,则可再通过屏下摄像头拍摄用于进行身份信息提取的第二虹膜图像。由于第二虹膜图像是在合理的拍摄位置上拍摄得到的,因此第二虹膜图像的图像质量较高,从第二虹膜图像中提取出的身份信息准确性更高,可以更准确地表征佩戴者的身份。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是是一个实施例公开的一种身份信息采集方法的应用场景示意图;
图1B是一个实施例公开的一种头戴式显示器的结构示意图;
图2A是一个实施例公开的一种可见光光源的排布示例图;
图2B是一个实施例公开的另一种可见光光源的排布示例图;
图3是一个实施例公开的一种身份信息采集方法的方法流程示意图;
图4是一个实施例公开的一种参考位置的示例图;
图5是一个实施例公开的一种身份信息采集方法的方法流程示意图;
图6是一个实施例公开的另一种头戴式显示器的结构示意图;
图7是一个实施例公开的一种身份信息采集方法的方法流程示意图;
图8是一个实施例公开的一种身份信息采集装置的结构示意图;
图9是一个实施例公开的另一种头戴式显示器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种身份信息采集方法、装置、电子设备以及存储介质,能够采集到更加准确的虹膜图像,提高从虹膜图像中提取出的身份信息的准确性。以下分别进行详细说明。
请参阅图1A,图1A是一个实施例公开的一种身份信息采集方法的应用场景示意图。如图1所示,给出第一种运行环境,该运行环境可以包括头戴式显示器101、终端设备102和服务器103。
用户可以佩戴头戴式显示器101以使头戴式显示器101获取数据。这里,头戴式显示器101不具备数据处理能力,其在获取到数据后,可以与终端102之间通过近距离通信技术传输数据。
终端设备102可以包括智能电视、三维视觉显示设备、大型投影系统、多媒体播放设备、手机、平板电脑、游戏主机、PC(PersonalComputer,个人计算机)等电子设备。终端设备102可以接收头戴式显示器101传输的数据,对数据进行处理。
服务器103用于为终端102提供后台服务,以供终端102对接收到的头戴式显示器101传输的数据进行处理,从而完成本申请所提供的身份信息采集方法。可选的,服务器103还可根据数据处理结果生成相对应的控制指令,控制指令可分别发送至终端102和/或头戴式显示器101,以对终端102和/或头戴式显示103进行控制。例如,服务器103可以是后台服务器。服务器103可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。可选地,服务器103同时为多个终端102提供后台服务。
再给出第二种运行环境,该运行环境可以包括头戴式显示器101和终端设备102。
这里,头戴式显示器101可以包括上述所陈述的各种类型的设备,头戴式显示器101不具备数据处理能力,其在获取到数据后,可以与终端102之间通过近距离通信技术传输数据。
终端设备102可以包括上述所陈述的各种类型的电子设备。终端设备102可以接收头戴式显示器101传输的数据,对数据进行处理,以完成本申请所提供的身份信息采集方法。可选的,终端102还可根据数据处理结果生成相对应的控制指令,控制指令可分别发送头戴式显示器101,以对头戴式显示103进行控制。
再给出第三种运行环境,该运行环境仅包括头戴式显示器101。这里,头戴式显示器101不仅具有数据获取能力,还具有数据处理能力,即能够通过头戴式显示器101中的处理器调用程序代码来实现本申请提供的身份信息采集方法所实现的功能,当然程序代码可以保存在计算机存储介质中,可见,该头戴式显示器至少包括处理器和存储介质。
请参阅图1B,图1B是一个实施例公开的一种头戴式显示器的结构示意图。需要说明的是,头戴式显示器还可包括图1B中未示出的固定带等部件,固定带可将头戴式显示器固定在佩戴者头部。
如图1B所示,该头戴式显示器101可包括两个显示屏幕20,分别与人体的左眼和右眼对应。每个显示屏幕20的背面可设置有一个屏下摄像头70。屏下摄像头70隐藏在显示屏幕20的背面,可以透过显示屏幕20拍摄到显示屏幕前方的景象。
头戴式显示器101还可包括一个或多个可见光光源40。可见光光源40可以是任意一种能够发射可见光的元件,如单色LED灯粒。各个可见光光源40可围绕显示屏幕20设置。并且每个可见光光源发射的可见光线可与屏下摄像头70的中心线呈一定角度。
通过设置可见光光源40,可以提高屏下摄像头70拍摄虹膜图像时的光照度,避免拍摄的图像局部过亮。并且,光线越亮,瞳孔越小,虹膜越大,有利于增加拍摄到的虹膜图像中的虹膜细节,以便于提取出更丰富的身份信息。此外,相对于红外光而言,可见光光源40的成本较少、占用的设备体积较少、对眼睛的伤害也较小。
请参阅图2A,图2A是一个实施例公开的一种可见光光源的排布示例图。如图2A所示,显示屏幕20的周边可围绕设置有多个可见光光源40,多个可见光光源40可呈环状排布,形成一个环带。当多个可见光光源40成环状分布时,可以使得各个角度的可见光光线均匀地照射在人眼的虹膜上,有利于得到高质量的虹膜图像,有利于减少局部亮斑的产生。
请参阅图2B,图2B是一个实施例公开的另一种可见光光源的排布示例图。如图2B所示,显示屏幕20的周边可围绕设置有两个可见光光源40,分别设置在显示屏幕20的正上方和正下方。
基于前述的头戴式显示器,以下内容对本申请实施例公开的身份信息采集方法进行说明。需要说明的是,以下内容以头戴显示器包括的其中一个显示屏幕为例,描述头戴式显示器对与该显示屏幕对应的屏下摄像头、可见光光源等部件进行控制,以及处理各个部件采集到的数据的方法。当头戴式显示器包括两个或以上的显示屏幕时,其余显示屏幕及相关部件的控制和数据处理方法可参考以下内容,具体不再赘述。
请参阅图3,图3是一个实施例公开的一种身份信息采集方法的方法流程示意图,该身份信息采集方法可应用于具有数据处理能力的任意一种电子设备,包括但不限于前述的任意一种头戴式显示器、与头戴式显示器通信连接的终端设备,或者为与头戴式显示器通信连接的终端设备提供后台服务的后台服务器。其中,该方法由头戴式显示器执行时可由头戴式显示器的中央处理器(Central Progressing Unit,CPU)、微处理器(MicroControl Unit,MCU)等具有计算能力的器件执行。如图3所示,该方法可包括以下步骤:
310、通过屏下摄像头拍摄头戴式显示器佩戴者的第一虹膜图像。
在本申请实施例中,当头戴式显示器被佩戴者佩戴时,显示屏幕可正对佩戴者的眼睛,屏下摄像头可执行拍摄操作,拍摄得到的图像可以作为佩戴者的第一虹膜图像。需要说明的是,虹膜图像中包括虹膜,也可能包括睫毛、眼睑等部位,可根据屏下摄像头的视野范围,以及佩戴者的眼睛与屏下摄像头之间的距离确定。
可选的,在屏下摄像头拍摄虹膜图像时,可控制显示屏幕停止发光,以增加外界光线透过显示屏幕到达屏下摄像头的概率,增强显示屏幕的透光性能,从而增加拍摄到的虹膜图像的清晰度。
320、根据佩戴者的瞳孔在第一虹膜图像中的图像位置,判断佩戴者的瞳孔相对于屏下摄像头的相对位置与参考位置是否匹配;若是,则执行步骤330;若否,则结束本流程。
在本申请实施例中,电子设备可对第一虹膜图像中的瞳孔进行定位,以确定瞳孔的图像位置。其中,电子设备可通过特征匹配或者深度学习等方法识别瞳孔的图像位置,具体不做限定。
参考位置是屏下摄像头的中心线与各个可见光光源的可见光线的交点相对于屏下摄像头的位置。当人眼的瞳孔位于参考位置时,可见光线在人眼上的反光点落在瞳孔位置,有利于减少虹膜区域出现的亮斑。并且,当人眼的瞳孔位于参考位置时,人眼处于屏下摄像头的焦距范围内,有利于拍摄到清晰的虹膜图像。
示例性的,请参阅图4,图4是一个实施例公开的一种参考位置的示例图。如图4所示,屏下摄像头410设置在显示屏幕420的后方,即显示屏幕的背面,显示屏幕420的前方还可设置有透镜430,透镜430可透光,并将佩戴者与显示屏幕420进行隔离。可见光光源440可设置在显示屏幕420的上方,可见光光源440发射的可见光线与屏下摄像头410的中心线之间可存在一个夹角A。如图4所示,屏下摄像头410的中心线与可见光光源440发射的可见光线可相较于点D,点D所示出的位置可为前述的参考位置。
作为一种可选的实施方式,电子设备可获取到屏下摄像头的内参,内参是相机坐标系与图像坐标系进行转换的转换参数。
因此,在识别到瞳孔在第一虹膜图像中的图像位置之后,头戴式显示器可根据屏下摄像头的内参,将瞳孔的图像位置从图像坐标系转换到相机坐标系,得到瞳孔在相机坐标系下的位置作为瞳孔相对于屏下摄像头的相对位置。
参考位置也可通过相机坐标系下的坐标进行表示,头戴式显示器可根据参考位置和相对位置在相机坐标系下的坐标判断相对位置与参考位置是否匹配。例如,头戴式显示器可根据各自的坐标计算参考位置和相对位置之间的距离,若两个位置之间的距离超过距离阈值,则可确认相对位置与参考位置不匹配;若两个位置之间的距离未超过距离阈值,则可确认相对位置与参考位置匹配。
作为另一种可选的实施方式,电子设备也可以获取瞳孔在标准图像中的图像位置,标准图像可以是瞳孔处于参考位置时屏下摄像头拍摄到的虹膜图像。
电子设备在识别到瞳孔在第一虹膜图像中的图像位置之后,可根据瞳孔分别在第一虹膜图像和标准图像中的图像位置判断前述的相对位置和参考位置是否匹配。例如,若瞳孔在第一虹膜图像中的图像位置与瞳孔在标准图像中的图像位置相同,则可确认前述的相对位置与参考位置匹配;若瞳孔在第一虹膜图像中的图像位置与瞳孔在标准图像中的图像位置不相同,则可确认前述的相对位置与参考位置不匹配。
可选的,若瞳孔在第一虹膜图像和标准图像中的图像位置相同,在确认相对位置于参考位置匹配之前,头戴式显示器还可进一步判断瞳孔在第一虹膜图像和标准图像中分别对应的图像区域的面积是否相同;若瞳孔在第一虹膜图像中对应的图像区域面积与标准图像中对应的图像区域面积相同,则可以确认前述的相对位置与参考位置匹配;否则,则可确认前述的相对位置与参考位置不匹配。
330、控制屏下摄像头拍摄第二虹膜图像。
当前述步骤320中判断出瞳孔相对于屏下摄像头的相对位置与参考位置相匹配时,说明佩戴者的瞳孔当前可能处于最佳的拍摄位置,可以拍摄到清晰且局部亮斑较小的虹膜图像。因此,电子设备可控制屏下摄像头执行拍摄操作,以得到第二虹膜图像。
340、从第二虹膜图像中提取佩戴者的身份信息。
在本申请实施例中,电子设备可从第二虹膜图像中提取虹膜的颜色、纹理等特征作为佩戴者的身份信息。
可见,在前述实施例中,可先通过头戴式显示器的屏下摄像头拍摄佩戴者的第一虹膜图像,并根据第一虹膜图像中瞳孔的图像位置判断当前瞳孔相对于屏下摄像头的相对位置是否处于较为合理的拍摄位置(参考位置)。若是,则再通过屏下摄像头拍摄用于进行身份信息提取的第二虹膜图像。由于第二虹膜图像是在合理的拍摄位置上拍摄得到的,因此第二虹膜图像的图像质量较高,从第二虹膜图像中提取出的身份信息准确性更高,可以更准确地表征佩戴者的身份。
基于本申请实施例公开的身份信息采集方法得到的身份信息,可用于对佩戴者进行身份校验、账号登录、佩戴者虚拟形象的构建等,具体不做限定。
在一些实施例中,头戴式显示器还可包括驱动装置,驱动装置与屏下摄像头连接,设置在显示屏幕的背面。驱动装置可用于控制屏下摄像头移动,例如驱动装置可包括连接杆和马达,连接杆连接马达和屏下摄像头,马达转动时带动连接杆,连接杆的移动带动屏下摄像头移动。
基于包括驱动装置的头戴式显示器,请参阅图5,图5是一个实施例公开的一种身份信息采集方法的方法流程示意图。如图5所示,该方法可以包括以下步骤:
510、通过屏下摄像头拍摄头戴式显示器佩戴者的第一虹膜图像。
520、根据佩戴者的瞳孔在第一虹膜图像中的图像位置,判断佩戴者的瞳孔相对于屏下摄像头的相对位置与参考位置是否匹配;若是,则执行步骤530-步骤540;若否,则执行步骤550。
530、控制屏下摄像头拍摄第二虹膜图像。
540、从第二虹膜图像中提取佩戴者的身份信息。
其中,步骤510-步骤540的实施方式可参见前述实施例,以下内容不再赘述。
550、识别瞳孔相对于屏下摄像头的相对位置偏离参考位置的偏离方向。
在本申请实施例中,偏离方向可以包括平行于显示屏幕的第一方向和/或垂直于显示屏幕的第二方向。即,相对位置可能单独在平行或垂直于显示屏幕的方向上偏离参考位置;或者,相对位置也可能同时在平行和垂直与显示屏幕的方向上偏离参考位置。
示例性的,假设佩戴者以合理的姿势佩戴头戴式显示器,且佩戴者的视线方向注视显示屏幕时,佩戴者的瞳孔可位于参考位置。
若佩戴者佩戴头戴式显示器的姿势不变,但视线方向发生了改变,则可能会导致瞳孔的相对位置在平行于显示屏幕的方向上偏离参考位置,偏离方向可以是平行于显示屏幕的上、下、左、右等任意一种第一方向。
若佩戴者仍注视显示屏幕,但佩戴头戴式显示器的姿势发生了改变,例如把头戴式显示器往远离或靠近身体的方向拉扯,则可能会导致瞳孔的相对位置在垂直于显示屏幕的方向上偏离参考位置,偏离方向可以是靠近显示屏幕或远离显示屏幕的第二方向。
作为一种可选的实施方式,若头戴式显示器在前述的步骤520中可通过相对位置和参考位置在相机坐标系中的坐标判断上述两个位置是否匹配,则在步骤550中可进一步根据上述两个位置分别对应的坐标判断相对位置偏离参考位置的偏离方向。
作为另一种可选的实施方式,若头戴式显示器在前述的步骤520中通过瞳孔在第一虹膜图像和标准图像中的图像位置判断相对位置和参考位置是否匹配,则在步骤550中可进一步根据瞳孔在上述两个图像中的图像位置,或者根据瞳孔在上述两个图像中分别对应的图像区域面积判断相对位置偏离参考位置的偏离方向。
其中,若瞳孔在第一虹膜图像和标准图像中的图像位置不相同,则可以确定偏离方向包括第一方向。例如,若瞳孔在第一虹膜图像中的图像位置位于标准图像的上方,则可以确定偏离方向包括第一方向,且第一方向可以是平行于显示屏幕的上方。
其中,若瞳孔在第一虹膜图像和标准图像中分别对应的图像区域的面积不同,则可以确定偏离方向包括第二方向。例如,若瞳孔在第一虹膜图像中对应的图像区域面积小于标准图像中对应的图像区域面积,则可以确定偏离方向包括第二方向,且第二方向为远离显示屏幕的方向。若瞳孔在第一虹膜图像中对应的图像区域面积大于标准图像中对应的图像区域面积,则可以确定第二方向为靠近显示屏幕的方向。
560、当偏离方向包括平行于显示屏幕的第一方向,确定相对位置在第一方向上偏离参考位置的偏离距离,并通过驱动装置驱动屏下摄像头按照第一方向移动上述的偏离距离。
在本申请实施例中,电子设备可进一步计算相对位置在平行于显示屏幕的方向上偏离参考位置的偏离距离。
可选的,电子设备可根据相对位置和参考位置在相机坐标系下的坐标计算上述两个位置在第一方向上的距离分量,从而得到相对位置在第一方向上的偏离距离。
可选的,电子设备也可计算瞳孔在第一虹膜图像和标准图像中的图像位置之间的距离,并根据屏下摄像头的内参将瞳孔的图像位置距离转换成相机坐标系下的距离,得到相对位置在第一方向上的偏离距离。
在计算得到偏离距离之后,电子设备可控制驱动装置驱动屏下摄像头在第一方向上移动上述的偏离距离。在屏下摄像头移动完毕之后,屏下摄像头的中心线与各个可见光线的交点位置可与瞳孔位置重合,从而可以在头戴式显示器的佩戴者不做任何动作的情况下,通过调正屏下摄像头的位置改变参考位置,使得瞳孔处于较为合理的拍摄位置上,以拍摄得到高质量的虹膜图像。
在一些实施例中,电子设备在通过驱动装置驱动屏下摄像头在第一方向上移动上述的偏离距离之后,可以重新校准所述屏下摄像头的中心线位置,并根据校准后的中心线位置重新确定屏下摄像头的中心线与各个可见光线的交点相对于显示屏幕的位置,以对参考位置进行更新。更新后的参考位置可用于与下一次确定出的虹膜相对位置进行匹配判断,可以更准确地判断瞳孔的相对位置是否处于合理的拍摄位置上。
570、当偏离方向包括垂直于显示屏幕的第二方向,通过头戴式显示器输出提示佩戴者按照第二方向移动的移动提示信息。
在本申请实施例中,屏下摄像头在垂直于显示屏幕的方向上的设置位置较为固定。因此,当瞳孔在垂直与显示屏幕的方向上偏离参考位置时,电子设备可通过移动提示信息提醒佩戴者移动,在参考位置不变的情况调整瞳孔相对于屏下摄像头的相对位置,使得瞳孔处于较为合理的拍摄位置上,以拍摄得到高质量的虹膜图像。
其中,头戴式显示器可通过文字、语音、视频等一种或多种方式输出移动提示信息,具体不做限定。可选的,移动提示信息可以是模拟动画,该模拟动画可用于示出佩戴者按照第二方向移动的移动轨迹。头戴式显示器可以在在显示屏幕中输出该模拟动画,使得佩戴者可以直观地看到需要移动的第二方向,有利于降低使用门槛。
需要说明的是,在一些实施例中,电子设备可以在偏离方向包括第一方向时执行步骤560,并且在偏离方向包括第二方向时执行与步骤570不同的步骤。或者,头戴式显示器也可以在偏离方向包括第二方向时执行步骤570,在偏离方向包括第一方向时执行与步骤560不同的步骤,具体不做限定。
此外,在一些实施例中,电子设备在步骤560或步骤570执行完毕之后,可以直接返回执行步骤530,以拍摄用于提取身份信息的第二虹膜图像。或者,在另一些实施例中,电子设备在步骤560或步骤570执行完毕时,可以返回执行步骤510,以重新确定虹膜相对于屏下摄像头的相对位置,并重新判断是否可以拍摄用于提取身份信息的第二虹膜图像。
可见,在前述实施例中,电子设备可对佩戴者的瞳孔相对于屏下摄像头的相对位置与参考位置进行匹配,以提高用于进行身份信息提取的虹膜图像的图像质量。并且,电子设备还可以在判断出瞳孔的相对位置与参考位置不匹配时,通过驱动装置驱动屏下摄像头移动的方式对参考位置进行调整;或者,通过输出移动提示信息对瞳孔的相对位置进行调整,从而可以通过屏下摄像头的移动或佩戴者的移动提高虹膜图像的拍摄质量。
请参阅图6,图6是一个实施例公开的另一种头戴式显示器的结构示意图。图6所示的头戴式显示器可以是对图1所示的头戴式显示器进行优化得到的。如图6所示,该头戴式显示器还可包括:
至少两个眼部摄像头,每个显示屏幕20周边都可围绕设置有一个或多个眼部摄像头。在头戴式显示器101被佩戴时,显示屏幕20中可输出数字渲染而成的虚拟画面或者输出虚拟与现实混合的混合画面。
示例性的,如图1所示,头戴式显示器101可包括多个眼部摄像头,例如可包括7个眼部摄像头,分别为眼部摄像头装置31、眼部摄像头装置32、眼部摄像头装置33、眼部摄像头装置34、眼部摄像头装置35、眼部摄像头装置36和眼部摄像头装置37,分别在每个显示屏幕20的上、下、左、右四个方向上设置。并且,两个显示屏幕20的中间位置可共用同一个眼部摄像头32。
可选的,头戴式显示器101还可设置有眼动追踪传感器50。眼动传感器50可设置在显示屏幕20的一侧,例如设置在显示屏幕20的左侧或者右侧。眼动追踪传感器可用于检测眼睛的视线方向等。示例性的,眼动追踪传感器可以是电极式的眼动传感器,通过传感器中的电极检测眼睛周边的肌肉动作,从而得到眼睛的是视线方向。
可选的,头戴式显示器101还可包括驱动装置60,驱动装置60与屏下摄像头连接,设置在显示屏幕20的背面。
基于前述的头戴式显示器,请参阅图7,图7是一个实施例公开的一种身份信息采集方法的方法流程示意图。如图7所示,该方法可以包括以下步骤:
710、通过眼动追踪传感器检测佩戴者的视线方向。
720、在检测到佩戴者的视线方向为注视显示屏幕时,通过屏下摄像头拍摄头戴式显示器佩戴者的第一虹膜图像。
在本申请实施例中,当检测到佩戴者的视线方向为注视显示屏幕时,佩戴者的瞳孔处于参考位置的可能性较大,此时拍摄第一虹膜图像并利用第一虹膜图像对瞳孔的相对位置进行校验,虹膜的相对位置与参考位置匹配的可能性较高,有利于减少调整,更快速地拍摄得到高质量的虹膜图像。
730、通过屏下摄像头拍摄头戴式显示器佩戴者的第一虹膜图像。
740、根据佩戴者的瞳孔在第一虹膜图像中的图像位置,判断佩戴者的瞳孔相对于屏下摄像头的相对位置与参考位置是否匹配;若是,则执行步骤760;若否,执行步骤750。
750、移动屏下摄像头的位置和/或输出移动提示信息,并执行步骤760。
其中,头戴式显示器执行步骤750的实施方式可参见前述的实施例,以下内容不再赘述。
760、控制屏下摄像头拍摄第二虹膜图像。
770、通过至少两个眼部摄像头分别拍摄佩戴者的眼部区域,得到至少两帧眼部图像。
在本申请实施例中,每个摄像头执行拍摄操作后得到的图像可以作为一帧眼部图像。需要说明的是,由于各个眼部摄像头在头戴式显示器上的设置位置不同,不同的眼部摄像头拍摄到的眼部图像可能包括部分相同的眼睛部位,以及部分不同的眼睛部位。
示例性的,请结合图5,图5所示的眼部摄像头33拍摄得到的眼部图像可以包括眼球以及眼睛的下眼睑,但不包括上眼睑;图5所示的眼部摄像头31拍摄得到的眼部图像可以包括眼球以及眼睛的上眼睑,不包括下眼睑。眼部摄像头32拍摄得到的眼部图像可以包括左眼和右眼的眼角部分,以及两眼之间的鼻梁。
需要说明的是,步骤770与前述的步骤720-步骤760在逻辑上没有必然的先后顺序。在一些可能的实施例中,电子设备也可以在执行步骤710之后,在检测到佩戴者的视线方向为注视显示屏幕时,执行步骤770以拍摄得到两帧或以上的眼部图像。
780、通过图像融合模型对第二虹膜图像以及至少两帧眼部图像进行融合,得到图像融合模型输出的人脸融合图像。
在本申请实施例中,图像融合模型可以是经过训练的神经网络。
示例性的,图像融合模型可以是Transformer结构,包括编码器和解码器。
编码器可由并列的两层网络组成,第一层网络可包括一个3X3的卷积层,用于提取第二虹膜图像和各帧眼部图像中的深度特征。第二层网络可包括3个卷积层,每个卷积层的输出级联下一层的输入。编码器的结构可以尽可能的保留第二虹膜图像和各帧眼部图像中的深度特征和显著特征。
解码器包括四个级联的卷积层,解码器可将编码器提取出的第二虹膜图像和各帧眼部图像中的深度特征和显著特征进行融合,并将融合后的特征还原成图像的像素点,从而得到人脸融合图像。
示例性的,图像融合模型也可以是脉冲耦合神经网络(Pulse Coupled NeuralNetwork,PCNN),PCNN具有传统神经网络所没有的特性,如脉冲发放同步、变阈值、波的形成与传播等特性,可以更好地将第一虹膜图像与多帧眼部图像进行融合。
作为一种可选的实施方式,电子设备在执行前述的步骤780时,可以直接原始拍摄得到的第二虹膜图像和各帧眼部图像输入至图像融合模型。
作为另一种可选的实施方式,电子设备在执行步骤780时,也可以先计算第二虹膜图像与至少两帧眼部图像中每帧眼部图像分别对应的配准矩阵。即,以屏下摄像头拍摄第二虹膜图像时的拍摄视角作为参考视角。然后,根据每帧眼部图像分别对应的配准矩阵,将每帧眼部图像转换至参考视角,再将参考视角下的第二虹膜图像和参考视角输入至图像融合模型,通过图像融合模型对第二虹膜图像以及转换至参考角度下的各帧眼部图像进行融合,得到图像融合模型输出的人脸融合图像。
需要说明的是,每帧眼部图像可至少包括一部分的虹膜,在计算每帧眼部图像与第二虹膜图像之间的配准矩阵时,电子设备可对每帧眼部图像与第二虹膜图像进行特征点匹配,并根据特征点匹配结果计算每帧眼部图像与第二虹膜图像之间的配准矩阵。
790、从人脸融合图像中提取出佩戴者的身份信息。
人脸融合图像融合了第二虹膜图像和各帧眼部图像的深度特征和显著特征,从人脸融合图像中提取出的身份信息,可以更准确地表征头戴式显示器佩戴者的身份,提取出的身份信息更加准确。
可见,在前述实施例中,电子设备可将屏下摄像头拍摄得到的虹膜图像,以及不同拍摄视角的眼部摄像头分别拍摄得到的眼部图像进行融合,融合得到的人脸融合图像中既包括虹膜图像提供的虹膜信息,也包括不同视角的眼部图像提供的睫毛、眼睑、眼周、鼻梁等眼部信息。因此,从人脸融合图像中提取出的身份信息可以更准确地表征佩戴者的身份。
应该理解的是,虽然图3、图5、图7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、图5、图7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图8,图8是一个实施例公开的一种身份信息采集装置的结构示意图。该身份信息采集装置可应用于前述的任意一种电子设备。如图8所示,身份信息采集装置800可包括:拍摄模块810、判断模块820和提取模块830。
拍摄模块810,用于通过头戴式显示器的屏下摄像头拍摄头戴式显示器佩戴者的第一虹膜图像;
判断模块820,用于根据佩戴者的瞳孔在第一虹膜图像中的图像位置,判断佩戴者的瞳孔相对于屏幕的相对位置与参考位置是否匹配;参考位置是屏下摄像头的中心线与各个可见光线的交点相对于显示屏幕的位置;
拍摄模块820,还用于在判断模块820判断出相对位置与参考位置匹配后,控制屏下摄像头拍摄第二虹膜图像;
提取模块830,用于从第二虹膜图像中提取佩戴者的身份信息。
在一个实施例中,头戴式显示器还包括:驱动装置;驱动装置设置在显示屏幕背面,与屏下摄像头连接,驱动装置用于控制屏下摄像头移动;身份信息采集装置800可包括:识别模块和驱动模块。
识别模块,可用于在判断模块820判断出相对位置与参考位置不匹配时,识别相对位置偏离参考位置的偏离方向。
驱动模块,可用于当偏离方向包括平行于显示屏幕的第一方向,时,确定相对位置在第一方向上偏离参考位置的偏离距离;并通过驱动装置驱动屏下摄像头按照第一方向移动偏离距离。
在一个实施例中,身份信息采集装置800可包括:校准模块。
校准模块,可用于重新校准屏下摄像头的中心线位置;以及,根据校准后的中心线位置重新确定屏下摄像头的中心线与各个可见光线的交点相对于显示屏幕的位置,以对参考位置进行更新。
在一个实施例中,身份信息采集装置800可包括:识别模块和输出模块。
识别模块,可用于在判断模块820判断出相对位置与参考位置不匹配时,识别相对位置偏离参考位置的偏离方向。
输出模块,可用于在偏离方向包括垂直于显示屏幕的第二方向时,输出移动提示信息;移动提示信息用于提示佩戴者按照第二方向移动。
在一个实施例中,头戴式显示器还包括:至少两个眼部摄像头;至少两个眼部摄像头围绕显示屏幕设置,且至少两个眼部摄像头分别对应的拍摄视角不同;
拍摄模块820,还用于通过至少两个眼部摄像头分别拍摄佩戴者的眼部区域,得到至少两帧眼部图像;
提取模块830,可包括:融合单元和提取单元。
融合单元,可用于通过图像融合模型对第二虹膜图像以及至少两帧眼部图像进行融合,得到图像融合模型输出的人脸融合图像;
提取单元,可用于从人脸融合图像中提取出佩戴者的身份信息。
在一个实施例中,提取模块830,还可包括:转换单元。
转换单元,可用于计算第二虹膜图像与至少两帧眼部图像中每帧眼部图像分别对应的配准矩阵;以及,根据每帧眼部图像分别对应的配准矩阵,将每帧眼部图像转换至参考视角;参考视角是屏下摄像头拍摄第二虹膜图像时的拍摄视角。
融合单元,还可用于通过图像融合模型对第二虹膜图像以及转换至参考角度下的各帧眼部图像进行融合,得到图像融合模型输出的人脸融合图像。
可见,实施前述实施例公开的身份信息采集装置,可以通过屏下摄像头拍摄佩戴者的第一虹膜图像,并根据第一虹膜图像中瞳孔的图像位置判断当前瞳孔相对于屏下摄像头的相对位置是否处于较为合理的拍摄位置(参考位置)。若是,则头戴式显示器再通过屏下摄像头拍摄用于进行身份信息提取的第二虹膜图像。由于第二虹膜图像是在合理的拍摄位置上拍摄得到的,因此第二虹膜图像的图像质量较高,从第二虹膜图像中提取出的身份信息准确性更高,可以更准确地表征佩戴者的身份。
关于身份信息采集的具体限定可以参见上文中对于身份信息采集方法的限定,在此不再赘述。上述身份信息采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参阅图9,图9是一个实施例公开的另一种电子设备的结构示意图。
如图9所示,该电子设备可以包括:
存储有可执行程序代码的存储器910;
与存储器910耦合的处理器920;
其中,处理器920调用存储器910中存储的可执行程序代码,执行本申请实施例公开的任意一种身份信息采集方法的步骤。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行本申请实施例公开的任意一种身份信息采集方法的步骤。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种身份信息采集方法。
可见,基于前述的实施例,可先通过头戴式显示器的屏下摄像头拍摄佩戴者的第一虹膜图像,并根据第一虹膜图像中瞳孔的图像位置判断当前瞳孔相对于屏下摄像头的相对位置是否处于较为合理的参考位置。若是,则再通过屏下摄像头拍摄用于进行身份信息提取的第二虹膜图像。由于第二虹膜图像是在合理的拍摄位置上拍摄得到的,因此第二虹膜图像的图像质量较高,从第二虹膜图像中提取出的身份信息准确性更高,可以更准确地表征佩戴者的身份。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种身份信息采集方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种身份信息采集方法,其特征在于,所述方法包括:
通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像;所述头戴式显示器包括显示屏幕、所述屏下摄像头和可见光光源,所述可见光光源用于发射可见光线;所述屏下摄像头设置在所述显示屏幕背面,所述可见光光源围绕所述显示屏幕设置;
根据所述佩戴者的瞳孔在所述第一虹膜图像中的图像位置,判断所述佩戴者的瞳孔相对于所述屏下摄像头的相对位置与参考位置是否匹配;所述参考位置是所述屏下摄像头的中心线与各个可见光线的交点相对于所述屏下摄像头的位置;
若所述相对位置与所述参考位置匹配,则控制所述屏下摄像头拍摄第二虹膜图像;
从所述第二虹膜图像中提取所述佩戴者的身份信息。
2.根据权利要求1所述的方法,其特征在于,所述头戴式显示器还包括:驱动装置;所述驱动装置设置在所述显示屏幕背面,与所述屏下摄像头连接,所述驱动装置用于控制所述屏下摄像头移动;所述方法还包括:
若所述相对位置与所述参考位置不匹配,则识别所述相对位置偏离所述参考位置的偏离方向;
当所述偏离方向包括平行于所述显示屏幕的第一方向,确定所述相对位置在所述第一方向上偏离所述参考位置的偏离距离;
通过所述驱动装置驱动所述屏下摄像头按照所述第一方向移动所述偏离距离。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
重新校准所述屏下摄像头的中心线位置;
根据校准后的所述中心线位置重新确定所述屏下摄像头的中心线与各个可见光线的交点相对于所述显示屏幕的位置,以对所述参考位置进行更新。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述相对位置与所述参考位置不匹配,则识别所述相对位置偏离所述参考位置的偏离方向;
当所述偏离方向包括垂直于所述显示屏幕的第二方向,通过所述头戴式显示器输出移动提示信息;所述移动提示信息用于提示所述佩戴者按照所述第二方向移动。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述头戴式显示器还包括:至少两个眼部摄像头;所述至少两个眼部摄像头围绕所述显示屏幕设置,且所述至少两个眼部摄像头分别对应的拍摄视角不同;在所述从所述第二虹膜图像中提取所述佩戴者的身份信息之前,所述方法还包括:
通过所述至少两个眼部摄像头分别拍摄所述佩戴者的眼部区域,得到至少两帧眼部图像;
以及,所述从所述第二虹膜图像中提取所述佩戴者的身份信息,包括:
通过图像融合模型对所述第二虹膜图像以及所述至少两帧眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像;
从所述人脸融合图像中提取出所述佩戴者的身份信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
计算所述第二虹膜图像与所述至少两帧眼部图像中每帧所述眼部图像分别对应的配准矩阵;
根据每帧所述眼部图像分别对应的配准矩阵,将每帧所述眼部图像转换至参考视角;所述参考视角是所述屏下摄像头拍摄所述第二虹膜图像时的拍摄视角;
以及,所述通过图像融合模型对所述第二虹膜图像以及所述至少两帧眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像,包括:
通过图像融合模型对所述第二虹膜图像以及转换至所述参考角度下的各帧所述眼部图像进行融合,得到所述图像融合模型输出的人脸融合图像。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述头戴式显示器还包括:眼动追踪传感器,所述眼动追踪传感器设置在所述显示屏幕的一侧;所述通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像,包括:
通过所述眼动追踪传感器检测所述佩戴者的视线方向;
在检测到所述佩戴者的视线方向为注视所述显示屏幕时,通过所述屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像。
8.一种身份信息采集装置,其特征在于,所述装置包括:
拍摄模块,用于通过头戴式显示器的屏下摄像头拍摄所述头戴式显示器佩戴者的第一虹膜图像;所述头戴式显示器包括显示屏幕、所述屏下摄像头和可见光光源,所述可见光光源用于发射可见光线;所述屏下摄像头设置在所述显示屏幕背面,所述可见光光源围绕所述显示屏幕设置;
判断模块,用于根据所述佩戴者的瞳孔在所述第一虹膜图像中的图像位置,判断所述佩戴者的瞳孔相对于所述屏幕的相对位置与参考位置是否匹配;所述参考位置是所述屏下摄像头的中心线与各个可见光线的交点相对于所述显示屏幕的位置;
所述拍摄模块,还用于在所述判断模块判断出所述相对位置与所述参考位置匹配后,控制所述屏下摄像头拍摄第二虹膜图像;
提取模块,用于从所述第二虹膜图像中提取所述佩戴者的身份信息。
9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202210900800.3A 2022-07-28 2022-07-28 身份信息采集方法、装置、电子设备以及存储介质 Pending CN115205957A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210900800.3A CN115205957A (zh) 2022-07-28 2022-07-28 身份信息采集方法、装置、电子设备以及存储介质
PCT/CN2022/118799 WO2024021250A1 (zh) 2022-07-28 2022-09-14 身份信息采集方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900800.3A CN115205957A (zh) 2022-07-28 2022-07-28 身份信息采集方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115205957A true CN115205957A (zh) 2022-10-18

Family

ID=83584966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900800.3A Pending CN115205957A (zh) 2022-07-28 2022-07-28 身份信息采集方法、装置、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN115205957A (zh)
WO (1) WO2024021250A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206193792U (zh) * 2016-08-25 2017-05-24 北京中科虹霸科技有限公司 支持头戴模式人机交互与身份认证的虚拟现实设备
CN106934265A (zh) * 2017-03-13 2017-07-07 深圳市金立通信设备有限公司 一种穿戴式电子设备及身份认证系统
US11238143B2 (en) * 2018-06-05 2022-02-01 Google Llc Method and system for authenticating a user on a wearable heads-up display
CN110287687A (zh) * 2019-06-26 2019-09-27 Oppo广东移动通信有限公司 注册方法、注册装置、头戴设备和存储介质
CN112149473B (zh) * 2019-06-28 2023-04-07 北京眼神科技有限公司 虹膜图像采集方法

Also Published As

Publication number Publication date
WO2024021250A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
KR102151898B1 (ko) 가상 현실 환경 기반 신원 인증 방법 및 장치
US11170087B2 (en) Virtual reality scene-based business verification method and device
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
US10846927B2 (en) Method and apparatus for displaying a bullet-style comment in a virtual reality system
KR20180057693A (ko) 눈 추적 가능한 웨어러블 디바이스들
JP2020515945A5 (zh)
CN106406509B (zh) 一种头戴式眼控虚拟现实设备
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN109952759A (zh) 用于具有hmd的视频会议的改进的方法和系统
CN104956252A (zh) 用于近眼显示设备的外围显示器
JP6298563B1 (ja) ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
CN106774929B (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
CN110909654A (zh) 训练图像的生成方法及装置、电子设备和存储介质
CN110211211B (zh) 图像处理方法、装置、电子设备及存储介质
US20220270302A1 (en) Content distribution system, content distribution method, and content distribution program
CN109002248A (zh) Vr场景截图方法、设备及存储介质
CN111601373A (zh) 背光亮度控制方法、装置、移动终端及存储介质
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
JP2014182597A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN112702533B (zh) 视线修正方法及视线修正装置
US11842453B2 (en) Information processing device, information processing method, and program
CN115205957A (zh) 身份信息采集方法、装置、电子设备以及存储介质
CN111142660A (zh) 一种显示装置、画面显示方法和存储介质
EP2827589A1 (en) Display device and device for adapting an information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination