CN115128803A - 电子设备及其控制方法 - Google Patents
电子设备及其控制方法 Download PDFInfo
- Publication number
- CN115128803A CN115128803A CN202110328563.3A CN202110328563A CN115128803A CN 115128803 A CN115128803 A CN 115128803A CN 202110328563 A CN202110328563 A CN 202110328563A CN 115128803 A CN115128803 A CN 115128803A
- Authority
- CN
- China
- Prior art keywords
- light
- camera module
- light source
- display
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 83
- 238000003780 insertion Methods 0.000 claims abstract description 47
- 230000037431 insertion Effects 0.000 claims abstract description 47
- 230000004424 eye movement Effects 0.000 claims description 50
- 230000010287 polarization Effects 0.000 claims description 30
- 210000003786 sclera Anatomy 0.000 claims description 20
- 238000002834 transmittance Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 49
- 230000003190 augmentative effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 235000012771 pancakes Nutrition 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000005445 natural material Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请实施例提供一种电子设备的控制方法及电子设备。所述电子设备包括光源、透镜组、显示屏和摄像模组，所述光源用于向用户的眼球发射第一光线，所述第一光线经所述眼球反射，透过所述透镜组进入摄像模组；所述显示屏发射的第二光线部分经所述透镜组反射或透射进入摄像模组，所述控制方法包括：控制所述显示屏按照显示周期进行显示，所述显示周期包括交替排布的显示时段和插黑时段；控制所述摄像模组在所述插黑时段曝光，以获得所述第一光线，且在所述显示时段停止曝光；依据所述第一光线形成眼球图像。该控制方法能够有效提高用户体验。
Description
技术领域
本申请涉及电子设备技术领域，特别涉及一种电子设备及其控制方法。
背景技术
用户在使用例如头戴显示设备等类似的电子设备时，每次使用头戴显示设备前均需要进行眼动校准，以校准得到眼球的视轴。但是眼动校准时间较长，在校准时间内用户无法使用设备，用户体验较差。
发明内容
本申请实施例提供一种电子设备的控制方法及电子设备。该控制方法能够有效提高用户体验。
第一方面，提供了一种电子设备的控制方法。所述电子设备包括光源、透镜组、显示屏和摄像模组，所述光源用于向用户的眼球发射第一光线，所述第一光线经所述眼球反射，透过所述透镜组进入摄像模组；所述显示屏发射的第二光线部分经所述透镜组反射或透射进入摄像模组，所述控制方法包括：
控制所述显示屏按照显示周期进行显示，所述显示周期包括交替排布的显示时段和插黑时段；
控制所述摄像模组在所述插黑时段曝光，以获得所述第一光线，且在所述显示时段停止曝光；
依据所述第一光线形成眼球图像。
可以理解的是，本申请的光源、透镜组和摄像模组构成身份识别装置，以对用户进行身份识别，可以在用户首次使用电子设备时注册其眼球图像信息，并将其眼动校准的参数保存在个人档案中，当用户再次使用电子设备时，系统通过巩膜识别确认用户的身份后，直接调用用户的眼动校准参数，用户可以不用再次进行眼动校准，节约了用户的时间，大大提升用户体验。同时本申请通过控制摄像模组在显示屏处于插黑时段曝光，而在显示屏处于显示时段停止曝光，从而在身份识别过程中，显示屏的第二光线不会被摄像模组感测，防止来自显示屏的杂散光进入摄像模组，有效提高身份识别的精度。
一种可能的实现方式中，在控制所述摄像模组曝光之前，所述控制方法还包括点亮光源，从而摄像模组在曝光时就能接收到第一光线。
一种可能的实现方式中，所述点亮光源包括在点亮时段点亮光源，所述点亮时段覆盖至少一个所述显示时段和至少一个所述插黑时段；或者所述点亮时段覆盖至少一个所述插黑时段。也就是说，光源可以处于长亮状态，也可以仅在插黑时段显示，即光源在摄像模组曝光时点亮，在摄像模组不曝光时关闭，能够有效节约能源。
一种可能的实现方式中，所述光源为可见光源，所述眼球图像用于巩膜识别。由于眼球的眼纹在可见光照明下的对比度较高，因此巩膜识别采用可见光照明能提高身份识别的精度。
一种可能的实现方式中，所述光源包括可见光源和近红外光源，所述摄像模组为近红外光和可见光双通摄像模组，所述控制方法还包括：
响应于用户识别指令，控制所述可见光源发出所述第一光线，所述摄像模组曝光，以获得第一眼球图像，所述第一眼球图像用于巩膜识别；
响应于眼动追踪指令，控制所述近红外光源发出所述第一光线，所述摄像模组曝光，以获得第二眼球图像，所述第二眼球图像用于眼动追踪。
本申请的控制方法可以摄像模组为近红外光和可见光双通摄像模组，眼动追踪和用户识别均可使用同一个摄像模组，有效节省成本及电子设备的空间。
一种可能的实现方式中，所述控制方法还包括：将所述第一眼球图像与预存图像进行对比；若两者匹配，则调用预存眼动校准数据，所述预存眼动校准数据与所述预存图像对应。
本申请提供的控制方法通过对用户进行身份识别，可以在用户首次使用电子设备时注册其巩膜信息，并将其眼动校准的参数保存在个人档案中，当用户再次使用电子设备时，系统通过巩膜识别确认用户的身份后，直接调用用户的眼动校准参数，用户可以不用再次进行眼动校准，节约了用户的时间，大大提升用户体验。当然，身份识别还能用于电子设备在使用过程中的场景，例如用巩膜识别支付代替密码支付。
一种可能的实现方式中，所述控制方法应用于电子设备开启且处于开机界面时，所述控制方法还包括：将所述第一眼球图像与预存图像进行对比；若两者匹配，则解锁所述电子设备，以使所述电子设备进入主界面。本申请的控制方法还可以同于电子设备的解锁，通过巩膜识别解锁速度快，提高用户体验。
一种可能的实现方式中，所述控制方法还包括：若所述第一眼球图像与所述预存图像不匹配，则对用户的眼动进行校准，获取眼动校准数据，并将眼动校准数据存入眼动校准数据库中，以供下次使用。
第二方面，提供了一种电子设备。所述电子设备包括光源、透镜组、摄像模组、显示屏和控制器，所述显示屏设于所述透镜组的出光侧，所述光源设于所述透镜组远离所述显示屏的一侧，所述摄像模组的入光侧朝向所述透镜组；所述显示屏的显示周期包括交替排布的显示时段和插黑时段；所述光源用于向用户的眼球发射第一光线，所述第一光线经所述眼球反射，透过所述透镜组进入摄像模组；所述显示屏发射的第二光线部分经所述透镜组反射或透射进入摄像模组；所述光源、所述摄像模组和所述显示屏均与所述控制器电连接，所述控制器用于控制所述摄像模组在所述插黑时段曝光，以获得所述第一光线，且在所述显示时段停止曝光，并依据所述第一光线形成眼球图像。
可以理解的是，电子设备具有身份识别功能，本申请通过控制器控制摄像模组在插黑时段曝光，而在显示屏处于显示时段停止曝光，从而在身份识别过程中，显示屏的第二光线不会被摄像模组感测，有效防止来自显示屏的杂散光进入摄像模组，以使得到的眼球图像更加清晰，有效提高身份识别的精度。
一种可能的实现方式中，所述光源为可见光源。由于眼球的眼纹在可见光照明下的对比度较高，因此巩膜识别采用可见光照明能提高身份识别的精度。
一种可能的实现方式中，所述光源包括可见光源和近红外光源，所述摄像模组为近红外光和可见光双通摄像模组，从而眼动追踪和用户识别均可使用同一个摄像模组，有效节省成本及电子设备的空间。
一种可能的实现方式中，所述透镜组包括透镜和半反半透膜，所述半反半透膜设于所述透镜的出光侧。来自显示屏的第二光线一半通过半反半透膜反射，一半透过半反半透膜，在透镜组中产生折叠，增长了第二光线的光路但是不会增加电子设备的厚度，有利于电子设备的小型化。
一种可能的实现方式中，所述半反半透膜在第一波段的透过率大于95％，反射率小于1％，其中，所述第一波段为近红外光所在的频段。第一光线为近红外光，该方案一方面能有效减少经半反半透膜反射且最终进入摄像模组的光线，减少形成的鬼像，另一方面能减小第一光线强度的损耗，以使最终被摄像模组接收的第一光线的强度足够大，摄像模组能够识别清晰的第一光线，有利于眼动追踪装置进行算法技术，提高了眼动追踪的精度，进而提高用户体验。
一种可能的实现方式中，所述透镜组还包括反射偏振片和第一波片，所述第一波片设于所述透镜背向所述半反半透膜一侧，所述反射偏振片设于所述第一波片背向所述透镜一侧；所述摄像模组还包括第一线偏振片和第二波片，所述第一线偏振片位于所述第二波片与所述摄像模组的镜头之间，所述反射偏振片的偏振方向与所述第一线偏振片的偏振方向相同或相互垂直，所述第一波片与所述第二波片均为四分之一波片。反射偏振片、第一波片及半反半透膜可以理解为Pancake镜组中的多层膜结构，目的在于使得光线在膜层之间折叠。摄像模组包括第一线偏振片和第二波片，可以有效地消除经透镜组折叠后出射的光线，大大降低鬼像亮度。
一种可能的实现方式中，所述透镜组还包括反射偏振片和第一波片，所述第一波片设于所述透镜背向所述半反半透膜一侧，所述反射偏振片设于所述第一波片背向所述透镜一侧；所述摄像模组还包括第一圆偏振片，所述第一圆偏振片与所述第一波片的旋向相同，所述第一圆偏振片与所述反射偏振片的偏振方向相同或相互垂直。反射偏振片、第一波片及半反半透膜可以理解为Pancake镜组中的多层膜结构，目的在于使得光线在膜层之间折叠。摄像模组包括第一圆偏振片，可以有效地消除经透镜组折叠后出射的光线，大大降低鬼像亮度。
一种可能的实现方式中，所述电子设备还包括第二线偏振片和第三波片，所述第二线偏振片设于所述显示屏的出光侧，所述第三波片设于所述第二线偏振片和所述透镜组之间。本申请通过在显示屏和透镜组之间设置第二线偏振片和第三波片，能够拦截从显示屏发出的第二光线经透镜组反射后回到显示屏的部分，减少电子设备中由于反射光线产生的鬼影现象，使用户能够观看到更清晰的画面。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是相关技术中的头戴显示设备的校准示意图；
图2是本申请实施例提供的一种电子设备的结构示意图；
图3是图2所示结构的增强现实组件的结构示意图；
图4是眼球示意图；
图5是图3所示的增强现实组件的第一光线的传播路径示意图；
图6是图3所示的增强现实组件的另一光线的传播路径示意图；
图7是图3所示结构的第二光线的一种传播路径示意图；
图8是图3所示结构的第二光线的另一种传播路径示意图；
图9是本申请实施例提供的一种电子设备的控制方法的流程示意图；
图10是图3所示的增强现实组件的显示屏的显示示意图；
图11是图9所示的控制方法的控制示意图；
图12是图9所示的控制方法的另一种控制示意图；
图13是图9所示的控制方法的另一种控制示意图；
图14是图9所示的控制方法的另一种控制示意图；
图15是图9所示的控制方法的部分操作流程示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，“连接”可以是可拆卸地连接，也可以是不可拆卸地连接；可以是直接连接，也可以通过中间媒介间接连接。其中，“固定连接”是指彼此连接且连接后的相对位置关系不变。“转动连接”是指彼此连接且连接后能够相对转动。本申请实施例中所提到的方位用语，例如，“左”、“右”、“内”、“外”等，仅是参考附图的方向，因此，使用的方位用语是为了更好、更清楚地说明及理解本申请实施例，而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。
“多个”是指至少两个。
可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是相关技术中的头戴显示设备的校准示意图。
相关技术中的头戴显示设备能对用户的进行眼动追踪，在使用头戴显示设备之前需要对用户的进行眼动校准。一般校准过程是，在显示屏上依次显示5～9个点，并提示用户依次看这些点。具体地，如图1所示，在显示屏上显示5个点，并用不同的颜色来标识引导用户看的点，例如图1中的正中间的点变成红色，然后依次沿箭头将下一个点换成红色，以提示用户去看。每个点变成红色的时长约2秒，加上校准前的说明教程，整个眼动校准的时长约20～40秒。由于用户每次佩戴电子设备之前都需要进行眼动校准，因此用户佩戴电子设备后半分钟内无法使用电子设备，用户体验较差。
本申请实施例提供一种电子设备，用于佩戴在用户的头部。电子设备可以为头戴显示设备，例如电子设备可以为增强现实(augmented reality，AR)眼镜、AR头盔、混合现实(mixrtual reality，MR)眼镜或MR头盔等将数字内容和现实场景结合在一起的电子产品。电子设备还可以不佩戴在头部。本申请的电子设备解决了相关技术中的电子设备用户体验差的问题。本申请以电子设备是AR眼镜为例进行具体说明。
请参阅图2，图2是本申请实施例提供的一种电子设备的结构示意图。
本实施例中，电子设备100包括镜架10以及安装于镜架10的增强现实组件20。其中，增强现实组件20有两个，两个增强现实组件20间隔安装于镜架10。
镜架10包括镜身11以及与镜身11连接的镜腿12。其中，镜腿12有两个，两个镜腿12连接于镜身11的相对两端。需要说明的是，在其他实施例中，镜架10也可以包括镜身11和与镜身11连接的固定带，本申请对此不作具体限定。
镜身11可以包括安装面110和眼罩111，眼罩111设于安装面110并与安装面110形成收容腔112。本实施例中，收容腔112的数量为两个，两个收容腔112分别用于收容电子设备100的电子元器件。示例的，眼罩111位于两个收容腔112之间的位置形成鼻托，以便于佩戴。镜身11可以为一体结构，以保证镜身11的整体强度。其中，镜身11的材料包括且不限于金属、塑料、树脂或天然材料等。应当理解的是，镜身11不仅限于图2所示的结构，也可以为半框型或无框型的眼镜式框架，只要能够收容电子设备100的电子元器件即可。
两个镜腿12转动连接于镜身11的相对两端。在电子设备100处于展开状态(如图2所示)时，两个镜腿12通过相对镜身11转动至彼此相对，此时电子设备100的两个镜腿12可分别架设于用户的两个耳朵上，鼻托架设于用户的鼻梁上，以穿戴于用户的头部。佩戴时，用户的两个眼球分别与其对应的收容腔112相对，以便于观看位于收容腔112中的电子元器件呈现的画面。在电子设备100处于折叠状态时，两个镜腿12通过相对镜身11转动，至彼此至少部分地重叠且收容于镜身11的内侧，此时电子设备100可收纳起来。
示例的，眼罩111可以具有一定柔性，当用户佩戴电子设备100时，眼罩111与用户的皮肤接触，防止外界的光从用户的皮肤和眼罩111之间的缝隙透过，影响用户的观赏体验。同时，眼罩111为柔性，能够缓冲电子设备100的重力，给用户带来很好的佩戴体验。当然，在其他实施例中，眼罩111仅接触用户的部分为柔性。或者眼罩111也可以不为柔性。
可以理解的是，在其他实施例中，两个镜腿12可以分别固定连接于镜身11的相对两端。或者，两个镜腿12可以与镜身11一体成型，即电子设备100始终处于展开状态，本申请对此不作具体限定。需要说明的是，镜腿12的内部也可以设有收容腔，镜腿12的收容腔也可以收容电子设备100的电子元器件。
需要说明的是，本申请提及电子设备100时所采用“内侧”、“外侧”等方位用词主要依据电子设备100被用户佩戴于头部时的方位进行阐述。电子设备100被用户佩戴时，以靠近用户头部为内侧，以远离用户头部为外侧，其并不形成对电子设备100于其他场景中的方位的限定。
接下来，为了便于描述，如图2所示，定义电子设备100的长度方向为x轴方向，电子设备100的宽度方向为y轴方向，电子设备100的厚度方向为z轴方向，且x轴方向、y轴方向和z轴方向彼此两两垂直。其中，x轴方向即为收容腔112中一个收容腔112至另一个收容腔112的方向，z轴方向即为镜身11朝向镜腿12的方向。
本实施例中，两个增强现实组件20的结构相同。具体的，两个增强现实组件20分别安装于与其对应的镜身11的收容腔112内。即两个增强现实组件20沿x轴方向并排设置。电子设备100穿戴于用户头部时，一个增强现实组件20对应于用户的左眼，另一个增强现实组件20对应于用户的右眼，此时用户的双眼可以通过两个增强现实组件20观看虚拟场景和真实场景。需要说明的是，在其他实施例中，两个增强现实组件20的结构也可以不同，本申请对此不作具体限定。
接下来，为了便于理解，以与用户的右眼相对应的增强现实组件20为例对增强现实组件20的结构进行具体描述。请参阅图3，图3是图2所示结构的增强现实组件20的结构示意图。
增强现实组件20包括光源21、透镜组22、显示屏23、摄像模组24和控制器25。摄像模组24位于透镜组22和显示屏23之间，摄像模组24的入光侧朝向透镜组22，光源21设于透镜组22远离摄像模组24的一侧，光源21用于向用户的眼球发射第一光线，第一光线经眼球反射，透过透镜组22进入摄像模组24。显示屏23发射的第二光线部分经透镜组22反射进入摄像模组24。光源21、摄像模组24和显示屏23均与控制器25电连接，控制器25用于根据显示屏23的显示周期控制光源21和摄像模组24。
可以理解的是，两个增强现实组件20各自均有一个显示屏23，或者两个增强现实组件20共用一个显示屏23。
其中，光源21、透镜组22、摄像模组24和控制器25构成眼动追踪装置或者身份识别装置，显示屏23和透镜组22构成显示装置。眼动追踪装置/身份识别装置、显示装置共用透镜组22。由于增强现实组件20与用户的眼球正对，可以通过巩膜识别对用户进行身份识别。巩膜识别又称眼纹识别，是通过用户眼球巩膜区域内的毛细血管分布来进行身份识别。图4是眼球示意图，其中灰色的弯曲短线即为巩膜区域内的毛细血管，又称为眼纹。
可以理解的是，本实施例中的增强现实组件20既能通过显示装置用于模拟虚拟环境。例如，可以在显示屏23上显示立体图像以模拟深度的错觉，即制造虚拟环境，使用户产生置身于该虚拟环境的错觉。增强现实组件20又能通过眼动追踪装置来估计用户正在查看虚拟环境的哪一部分。也就是说，增强现实组件20的显示装置能够为用户呈现虚拟环境的同时，眼动追踪装置能够检测用户目光注视的位置，即用户目光注视的虚拟环境的具体位置，并根据用户目光注视的位置更好的调整呈现给用户的虚拟环境，提高用户体验。增强现实组件20还能通过身份识别装置对用户进行身份识别，以便于减少相关校准步骤及提高用户体验。
具体的，光源21包括可见光源211和近红外光源212，可见光源211、透镜组22、摄像模组24和控制器25构成身份识别装置。近红外光源212、透镜组22、摄像模组24和控制器25构成眼动追踪装置。由于眼动追踪和巩膜识别均需要用户的眼球图像，眼动追踪和巩膜识别可以共用一个摄像模组24，有效节省成本及电子设备100的空间。
当电子设备100需要对用户进行眼动追踪时，控制器25控制近红外光源212点亮，第一光线为近红外光，被摄像模组24感测形成眼球图像。由于眼动追踪可能伴随大部分电子设备100的体验过程，眼动追踪时使用近红外光源212，用户察觉不到，提高用户体验。当电子设备100需要对用户进行身份识别时，控制器25控制可见光源211点亮，第一光线为可见光，被摄像模组24感测形成眼球图像。由于眼球的眼纹在可见光照明下的对比度较高，因此巩膜识别采用可见光照明能提高身份识别的精度。
当然，在其他实施例中，眼动追踪装置的光源还可以是可见光源，身份识别装置的光源可以是近红外光源。或者，眼动追踪装置和身份识别装置的光源均为可见光源。或者，眼动追踪装置和身份识别装置的光源均为近红外光源。
可以理解的是，可见光源211和近红外光源212可以是两个单独的光源。可见光源211和近红外光源212可以设于透镜组22背向显示屏23的一侧，便于对用户的眼球发射光线，以对用户进行眼动追踪或身份识别。具体的，光源21可以固定于镜身11或者镜腿12，或通过中间连接件固定于镜身11或者镜腿12(图2)。可见光源211和近红外光源212的数量都可以为一个或多个。
当然，在其他实施例中，可见光源和近红外光源还可以为一体的光源21，也就是说，光源既可以发射可见光，也可以近红外光，可通过控制器控制光源发射可见光或近红外光。或者，光源仅为可见光源。
图3所示的实施例中增强现实组件20仅示出一个可见光源211和一个近红外光源212，当然，在其他实施例中，可见光源211和近红外光源212的数量还可以是多个。当可见光源211和近红外光源212的数量为多个时，相比于可见光源211和近红外光源212的数量为一个的方案，多个可见光源211和近红外光源212中的单个光源21的发光强度可以设置得更弱，能够减小用户眼球受到过强光线照射而损伤的风险。可见光源211和近红外光源212还可以设置在增强现实组件20的其他位置，本申请不对可见光源211和近红外光源212的数量和设置位置进行限定。
本申请的电子设备100通过增加身份识别装置，可以在用户首次使用电子设备100时注册其巩膜信息，并将其眼动校准的参数保存在个人档案中，当用户再次使用电子设备100时，系统通过巩膜识别确认用户的身份后，直接调用用户的眼动校准参数，用户可以不用再次进行眼动校准，节约了用户的时间，大大提升用户体验。当然，身份识别装置还能用于电子设备100在使用过程中的场景，例如用巩膜识别支付代替密码支付。
本实施例中，透镜组22为薄饼(Pancake)镜组，透镜组22包括反射偏振片221、第一波片222、透镜223和半反半透膜(Beam Splitter，BS)224，第一波片222设于透镜223的入光侧，可以理解的是，透镜223的入光侧为光源21的光线进入透镜223的一侧，反射偏振片221设于第一波片222背向透镜223的一侧，半反半透膜224设于透镜223的出光侧，也就是透镜223背向第一波片222的一侧，并位于透镜223和显示屏23之间。也就是说，在透镜223的光轴上，反射偏振片221、第一波片222、透镜223及半反半透膜224依次设置。示例的，透镜223的数量为一片，当然，透镜223的数量还可以是多片，且反射偏振片221、第一波片222和半反半透膜224的数量也可以不限于一片。透镜组22可以直接固定于镜架10的镜身11(图2)，也可以间接固定于镜架10的镜身11。在其他实施例中，透镜组22还可以是除Pancake镜组以外的其他类型的透镜组22。
本实施例中，第一波片222贴合于透镜223位于入光侧的表面，半反半透膜224贴合于透镜223位于出光侧的表面，反射偏振片221贴合于第一波片222背向透镜223的表面。也就是说，反射偏振片221、第一波片222及半反半透膜224均直接或间接贴合固定于透镜223，透镜223固定于镜身11，避免了使用其他支架固定反射偏振片221、第一波片222及半反半透膜224，有利于透镜组22的小型化。反射偏振片221、第一波片222及半反半透膜224可以理解为Pancake镜组中的多层膜结构，目的在于使得光线在膜层之间折叠。当然，在其他实施例中，第一波片222、反射偏振片221和半反半透膜224还可以通过其他固定结构固定于镜身11。
示例的，反射偏振片221为反射偏振膜(Reflective Polarizer，RP)，第一波片222是四分之一波片(Quarter Wave-plate，QWP)。其中，偏振反射膜的功能是透射偏振方向与x轴方向垂直的偏振光，反射偏振方向与x轴方向平行的偏振光，即反射偏振片221可以反射x轴方向的偏振光，透射y轴方向的偏振光。也就是说，反射偏振片221的偏振方向沿y轴方向。四分之一波片是具有一定厚度的双折射单晶波片。第一波片222的快轴方向与y轴成45度。
本实施例中，半反半透膜224在第一波段的透过率大于95％，反射率小于1％，其中，第一波段为近红外光所在的频段，即第一波段的频段为850nm±20nm。也就是说，当近红外光源212发射光线时，也就是第一光线为近红外光时，第一光线通过半反半透膜224时，大部分都能从半反半透膜224射出，光线的极少部分会被反射。该方案一方面能有效减少经半反半透膜224反射且最终进入摄像模组24的光线，减少形成的鬼像，另一方面能减小第一光线强度的损耗，以使最终被摄像模组24接收的第一光线的强度足够大，摄像模组24能够识别清晰的第一光线，有利于眼动追踪装置进行算法技术，提高了眼动追踪的精度，进而提高用户体验。
半反半透膜224在第二波段半反半透，即半反半透膜224在第二波段的透过率为50％，反射率为50％。其中，第二波段为可见光(或者说是显示屏23发出的光线)所在的波段，即第二波段的频段为400nm～720nm。来自可见光源211的第一光线一半通过半反半透膜224透射，进入摄像模组24。来自显示屏23的第二光线一半通过半反半透膜224反射，一半透过半反半透膜，在透镜组22中产生折叠，增长了第二光线的光路但是不会增加增强现实组件20的厚度，有利于增强现实组件20的小型化。
本实施例中，摄像模组24为近红外光和可见光双通摄像模组24，即摄像模组24能够拍摄近红外光也能拍摄可见光。摄像模组24可以包括镜头241、感测第一光线的图像传感器242和光学元件243。光学元件243设于镜头241的入光侧。本实施例中，图像传感器242为感光芯片，摄像模组24固定于镜身11。摄像模组24可以直接固定于镜身11，也可以间接固定于镜身11。
如图3，光学元件243包括第一线偏振片2431和第二波片2432，第一线偏振片2431设于镜头241的入光侧，第二波片2432设于第一线偏振片2431背向镜头241的一侧。即第一线偏振片2431位于镜头241和第二波片2432之间。本实施例中，反射偏振片221的偏振方向与第一线偏振片2431的偏振方向垂直。第一线偏振片2431为偏振膜。第二波片2432为四分之一波片。示例的，第一线偏振片2431可以通过粘接固定于镜头241的入光侧所在的表面，第二波片2432可以通过粘接固定于第一线偏振片2431背向镜头241的表面。
当然，在其他实施场景中，第一线偏振片2431和第二波片2432还可以通过卡环固定于镜头241的入光侧。或者第一线偏振片2431和第二波片2432还可通过中间件螺接固定于镜头241。或者第一线偏振片2431和第二波片2432还可以固定于镜架10的镜身11。
当然，在其他实施例的一种实施场景中，反射偏振片221的偏振方向与第一线偏振片2431的偏振方向相同。在其他实施例的另一种实施场景中，光学元件243包括第一圆偏振片，第一圆偏振片与第一波片222的旋向相同，第一圆偏振片和反射偏振片221的偏振方向相同或相互垂直。也就是说，第一圆偏振片能够代替第一线偏振片2431和第二波片2432。
为了便于描述，如图5所示，定义摄像模组24的光轴方向为z’轴，定义x轴的反方向为x’轴，定义垂直于摄像模组24的光轴方向的方向为y’轴，且x’轴方向、y’轴方向和z’轴方向彼此两两垂直。第一线偏振片2431的光轴沿y’轴方向，第二波片2432的快轴方向与第一线偏振片2431的偏振方向夹角为45度，即，第二波片2432的快轴方向与x’轴成45度。
为了清晰地描述摄像模组24拍摄用户眼球的过程，该过程可以是眼动追踪拍摄的眼球图像，也可以是身份识别拍摄的眼球图像。图5是眼球反射的第一光线210a到摄像模组24的图像传感器242的过程中经过不同元件后的偏振状态。第一光线210a可以是可见光源211发出的可见光，也可以是近红外光源212发出的近红外光。
可见光源或近红外光源出射的光线为自然光，自然光包括各个方向振动的偏振光，自然光经过用户眼球200反射后形成第一光线210a，仍为自然光。经过反射偏振片221后，第一光线210a被调制为偏振方向与x轴垂直的线偏光。第一波片222的快轴方向与x轴成45度，经过第一波片222后第一光线210a的偏振态被调制为左旋偏振光。由于半反半透膜224不改变第一光线210a的偏振态，因此第一光线210a穿过半反半透膜224后仍为左旋偏振光。左旋偏振光经过第二波片2432调制后，变成偏振方向沿x’轴方向的线偏光。第一线偏振片2431的透光轴沿x’轴方向，因此线偏光会穿过第一线偏振片2431，并经由摄像模组24的镜头2412聚焦在图像传感器242上，即摄像模组24拍摄到了用户眼球200反射的光线，形成图像。
本实施例中的半反半透膜224在第一波段(近红外光850nm±20nm)高透低反，因此第一光线210a为近红外光时，半反半透膜224相当于一片平行平板，由半反半透膜224表面反射造成的杂散光或鬼像较为轻微。半反半透膜224在第二波段(可见光400nm～720nm)半反半透，当第一光线210a为可见光时，第一光线210a一半透过半反半透膜224进入摄像模组24。
与此同时，如图6所示，本实施例还可以有效地消除经透镜组22折叠后出射的光线，大大降低鬼像亮度。在本实施例中，可见光源或近红外光源出射的光线为自然光，经过用户眼球200反射后，形成光线210b，仍为自然光。经过反射偏振片221后，光线210b被调制为偏振方向与x轴垂直的线偏光。第一波片222的快轴方向与x轴成45度，经过第一波片222后光线210b的偏振态被调制为左旋偏振光。由于半反半透膜224不改变光线210b的偏振态，光线210b部分经半反半透膜224反射形成右旋偏振光，此后，光线210b穿过第二波片2432，并被其调制为偏振方向与x’轴方向呈90°的线偏光。由于该偏振方向与第一线偏振片2431的透光轴方向垂直，因此该光线210b被第一线偏振片2431吸收，即经过折叠的光线210b会被第一线偏振片2431吸收掉，不会打在摄像模组24的图像传感器242上，无法与第一光线210a形成的像叠加在一起，能有效消除鬼像，提高眼动追踪算法或身份识别的精确度。
当然，在其他实施例中，若第一线偏振片2431的透光轴与反射偏振片221的透光轴相同，则第一光线210a会被第一线偏振片2431阻挡，不会被摄像模组24感测，而光线210b会透过第一线偏振片2431，被摄像模组24感测。从而眼球反射的光线210b在反射偏振片221和半反半透膜224之间折叠了一次，因此相比于直接透过透镜组22拍摄用户眼球的情况，摄像模组24可以以更小的倾斜角度拍摄到用户的眼球，便于摄像模组24拍摄光线210b，减小摄像模组24的相差和畸变，提高眼动追踪或身份识别的精度。
本实施例中，显示屏23包括但不限于快速液晶显示屏(Fast liquid crystaldisplay,Fast LCD)，Micro-OLED、基于硅基液晶(Liquid Crystal on Silicon,LCOS)、数字光处理器(Digital Light Processing,DLP)、Micro-LED等。
可以理解的是，为了消除用户头动时画面的拖影现象，会对显示屏23进行插黑处理，即在显示周期内仅约20％的时间内显示屏23处于点亮状态，该时段为显示时段，其他的时间显示屏23处在关闭的状态，该时段为插黑时段。控制器25通过与显示屏23电连接，以获取显示屏23处于插黑时段还是处于显示时段。电子设备100需要对用户进行眼球追踪或者需要对用户进行身份识别时，控制器25可以控制可见光源211或近红外光源212点亮，当显示屏23处于插黑时段时，控制摄像模组24进行曝光，以获得第一光线，当显示屏23处于显示时段，控制器25控制摄像模组24停止曝光，并依据第一光线形成眼球图像。
由于摄像模组24在显示屏23处于插黑时段时曝光，处于显示时段时停止曝光，因此第一光线会被摄像模组24感测，第二光线不会被摄像模组24感测，有效防止来自显示屏23的杂散光进入摄像模组24，以使得到的眼球图像更加清晰，提高眼动追踪或身份识别的精度。
如图3，增强现实组件20还包括第二线偏振片26和第三波片27，第二线偏振片26设于显示屏23的出光侧，第三波片27设于第二线偏振片26和半反半透膜224之间。本实施例中，第二线偏振片26为偏振膜，第三波片27为四分之一波片。第二线偏振片26可以粘接固定于显示屏23的显示面，第三波片27可以粘接固定于第二线偏振片26背向显示屏23的表面。
当然，在其他实施例中，第二线偏振片26和第三波片27还可以通过中间件依次固定于显示屏23的显示面朝向的一侧。或者，增强现实组件20还包括第二圆偏振片，第二圆偏振片设于半反半透膜224和显示屏23之间，也就是说，第二圆偏振片可以替换第二线偏振片26和第三波片27。
为了清晰地描述用户观看显示屏23显示画面的过程，请参阅图7，图7是图3所示结构的一种第二光线路径示意图。图7给出了显示屏23发射的第二光线到用户的眼球的过程中经过不同元件后的偏振状态。如图7所示，来自显示屏23的第二光线在透镜组22中进行折叠，最终出射到用户的眼球中。
具体的，显示屏23出射的第二光线230先经过第二线偏振片26后被调制为线偏光，不失一般性地，可设偏振方向沿y轴方向。经过第三波片27后第二光线230变为右旋偏振光，第三波片27的快轴方向与y轴成45度。此后，第二光线230到达半反半透膜224，第二光线230的一部分反射，第二光线230的另一部分透射，并穿过第一波片222到达反射偏振片221。第一波片222的快轴方向与第三波片27相同，此时，第二光线230重新被调制为线偏光，偏振方向沿x轴方向。反射偏振片221可以反射x轴方向的偏振光，透射y轴方向的偏振光。因此，第二光线230被反射，并透过第一波片222到达半反半透膜224，此时，第二光线230为右旋偏振光。与此前相同，第二光线230的一部分透射，第二光线230的另一部分反射。第二光线230的偏振态变为左旋偏振光，再经过第一波片222后，第二光线230再次被调制为线偏光，偏振方向沿y轴方向。根据反射偏振片221的特性，第二光线230将透过反射偏振片221出射，最终进入眼球。从上述第二光线230路径描述可知，显示屏23发射的第二光线230在透镜组22中经过折叠，最终进入到眼球，通过透镜组22以使显示屏23发射的第二光线230发生折叠，增长了第二光线230的光路但是不会增加增强现实组件20的厚度，有利于增强现实组件20的小型化。
同时，在第二光线230到达半反半透膜224，第二光线230的一部分透射，最终进入眼球，第二光线230的另一部分经半反半透膜224反射形成左旋偏振光，部分反射至第三波片27，形成线偏光，偏振方向沿x轴方向，根据第二线偏振片26的特性，第二光线230被第二线偏振片26拦截(图7中虚线箭头所代表的光路部分)。
本申请通过在显示屏23和透镜组22之间设置第二线偏振片26和第三波片27，能够拦截从显示屏23发出的第二光线230经透镜组22反射后回到显示屏23的部分，减少增强现实组件20中由于反射光线产生的鬼影现象，使用户能够观看到更清晰的画面。
如图8，经半反半透膜224反射形成的第二光线230还有部分反射至第二波片2432，经第二波片2432调制变为偏振方向沿x’轴方向的线偏光，第一线偏振片2431的透光轴沿x’轴方向，因此线偏光会穿过第一线偏振片2431进入摄像模组24。由于本申请通过控制器25控制摄像模组24在显示屏23处于插黑时段时曝光，在显示屏23处于显示时段时停止曝光，从而在眼动追踪和身份识别过程中，显示屏23的第二光线230不会被摄像模组24感测，有效防止来自显示屏23的杂散光进入摄像模组24，提高眼动追踪或身份识别的精度。
当然，在其他实施例中，摄像模组还可以设于透镜组的入光侧并朝向透镜组设置，此时，第二光线部分经过透镜组透射进入摄像模组。或者，摄像模组还可以嵌设于显示屏内部并朝向透镜组设置，在此种情况下，显示屏处于显示时段时，显示屏发射的光线也不会进入摄像模组，增强现实设备可以不包括控制器，也就是说，控制器可以不用控制摄像模组在插黑时段曝光，在显示时段停止曝光可以防止来之显示屏的杂光进入到摄像模组。
请参阅图9，图9是本申请实施例提供的一种电子设备100的控制方法的流程示意图。该控制方法应用于如图3所示的电子设备100。该如图9所示，电子设备100的控制方法包括如下的S110～S130。
S110：控制显示屏23按显示周期进行显示，显示周期包括交替排布的显示时段和插黑时段。
具体的，在电子设备100中，为了消除头动时画面的拖影现象，会对显示屏23进行插黑处理，即在显示周期内仅约20％的时间内显示屏23处于点亮状态，该时段为显示时段，其他的时间显示屏23处在关闭的状态，该时段为插黑时段。如图10所示，本实施例以帧率为90fps的显示屏为例，两个Vsync信号之间的间隔为显示的帧间隔，约为11.1ms，Vsync信号之后的8.9ms时间内显示屏23处于关闭状态，在帧间隔的最后约2.2ms内显示屏23处于点亮状态，然后进入下一帧周期。也就是说，显示屏23在一帧内依次为插黑时段和点亮时段，接着下一帧也依次为插黑时段和点亮时段，如此周期重复。
S120：控制摄像模组24在插黑时段曝光，以获得第一光线，且在显示时段停止曝光。
具体的，在控制摄像模组24曝光之前，点亮光源。具体的，首先控制器25响应于用户识别指令或者响应于眼动追踪指令。用户识别指令和眼动追踪指令可以通过电子设备100的中央处理器下达给控制器25。当然，控制器25也可以获取电子设备100的状态，根据电子设备100的状态开启用户识别指令或者眼动追踪指令。
请参阅图11，当控制器25响应于用户识别指令时，控制可见光源211发出第一光线，摄像模组24在插黑时段曝光，且在显示时段停止曝光。
请参阅图12，当控制器25响应于眼动追踪指令，控制近红外光源212发出第一光线，摄像模组24在插黑时段曝光，且在显示时段停止曝光。
示例的，光源在点亮时段点亮，图11和图12的实施例中，可见光源211和近红外光源212在点亮时段点亮，点亮时段覆盖显示时段和插黑时段，也就是说，可见光源211在响应于身份识别指令时，处于长亮状态，近红外光源212在响应于眼动追踪指令时，处于长亮状态。在其他实施例中，点亮时段覆盖至少一个显示时段和至少一个插黑时段。
当然，在其他实施例中，光源在点亮时段点亮，点亮时段覆盖至少一个插黑时段。可以理解的是，光源还可以在摄像模组24曝光时点亮，也就是说，光源的点亮和摄像模组曝光同时进行。示例的，如图13，当控制器25响应于用户识别指令时，控制可见光源211和摄像模组24在插黑时段分别点亮和曝光。控制可见光源211和摄像模组24在显示时段分别关闭和停止曝光。也就是说，由于摄像模组24在显示屏23处于显示时段时不曝光，不需要拍摄用户眼球的照片，因此也不需要点亮可见光源211，有效节约能源。
如图14，当控制器25响应于眼动追踪指令时，控制近红外光源212和摄像模组24在插黑时段分别点亮和曝光。控制近红外光源212和摄像模组24在显示时段分别关闭和停止曝光。也就是说，由于摄像模组24在显示屏23处于显示时段时不曝光，不需要拍摄用户眼球的照片，因此也不需要点亮近红外光源212，有效节约能源。
当然，点亮时段可以覆盖多个相邻的插黑时段，也可以覆盖多个间隔的插黑时段。点亮时段还可以覆盖插黑时段和插黑时段前的部分显示时段。
本申请通过控制摄像模组24在显示屏23处于插黑时段曝光，而在显示屏23处于显示时段停止曝光，从而在眼动追踪和身份识别过程中，显示屏23的第二光线不会被摄像模组24感测，有效防止来自显示屏23的杂散光进入摄像模组24，有效提高眼动追踪或身份识别的精度。
S130：依据第一光线形成眼球图像。
具体的，当控制器25响应于身份识别指令时，则摄像模组24曝光，以获得第一眼球图像，第一眼球图像用于巩膜识别；当控制器25响应于眼动追踪指令时，则摄像模组24曝光，以获得第二眼球图像，第二眼球图像用于眼动追踪。
可以理解的是，眼球图像(第一眼球图像或第二眼球图像)可以是摄像模组24在一帧中的插黑时段曝光得到的图像，也可以是摄像模组24在多帧中的插黑时段曝光得到的图像，其中多帧中的插黑时段可以是多个相邻的插黑时段，也可以是多个间隔的插黑时段。示例的，摄像模组24在第一帧的插黑时段曝光，接着在第一帧的显示时段停止曝光，然后在第二帧的插黑时段继续曝光，得到眼球图像，则该眼球图像就是摄像模组24在两个两邻的插黑时段累加曝光形成的图像。同样，摄像模组24还可以在第一帧的插黑时段曝光，在第一帧的显示时段停止曝光，在第二帧均不曝光，然后在第三帧的插黑时段曝光，得到眼球图像，则该眼球图像就是摄像模组24在两个间隔的插黑时段累加曝光形成的图像。
如图15，控制方法还包括将第一眼球图像与预存图像进行对比，若两者匹配，则调用数据库中的预存眼动校准数据，预存眼动校准数据与预存图像对应。眼动校准数据用于眼动追踪算法，根据眼动追踪算法输出眼球注视点位置，眼球注视点位置用于协助处理显示数据，即注视点渲染。若第一眼球图像与预存图像不匹配，则对用户的眼动进行校准，获取眼动校准数据。眼动校准数据用于眼动追踪算法，根据眼动追踪算法输出眼球注视点位置，眼球注视点位置用于协助处理显示数据，即注视点渲染，并将眼动校准数据存入眼动校准数据库中，以供下次使用。
当然，在其他实施例中，上述的控制方法可以应用于电子设备开启且处于开机界面时，将第一眼球图像与预存图像进行对比，若两者匹配，则解锁电子设备，以使电子设备进入主界面。若第一眼球图像与预存图像不匹配，则弹出解锁密码。该控制方法解锁电子设备的速度快，提高用户体验。
本申请提供的控制方法通过对用户进行身份识别，可以在用户首次使用电子设备100时注册其巩膜信息，并将其眼动校准的参数保存在个人档案中，当用户再次使用电子设备100时，系统通过巩膜识别确认用户的身份后，直接调用用户的眼动校准参数，用户可以不用再次进行眼动校准，节约了用户的时间，大大提升用户体验。当然，身份识别还能用于电子设备100在使用过程中的场景，例如用巩膜识别支付代替密码支付。
以上，仅为本申请的部分实施例和实施方式，本申请的保护范围不局限于此，任何熟知本领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种电子设备的控制方法，其特征在于，所述电子设备包括光源、透镜组、显示屏和摄像模组，所述光源用于向用户的眼球发射第一光线，所述第一光线经所述眼球反射，透过所述透镜组进入摄像模组；所述显示屏发射的第二光线部分经所述透镜组反射或透射进入摄像模组，所述控制方法包括：
控制所述显示屏按照显示周期进行显示，所述显示周期包括交替排布的显示时段和插黑时段；
控制所述摄像模组在所述插黑时段曝光，以获得所述第一光线，且在所述显示时段停止曝光；
依据所述第一光线形成眼球图像。
2.根据权利要求1所述的控制方法，其特征在于，在控制所述摄像模组曝光之前，所述控制方法还包括点亮光源。
3.根据权利要求2所述的控制方法，其特征在于，所述点亮光源包括在点亮时段点亮光源，所述点亮时段覆盖至少一个所述显示时段和至少一个所述插黑时段；或者所述点亮时段覆盖至少一个所述插黑时段。
4.根据权利要求1-3中任一项所述的控制方法，其特征在于，所述光源为可见光源，所述眼球图像用于巩膜识别。
5.根据权利要求1-3中任一项所述的控制方法，其特征在于，所述光源包括可见光源和近红外光源，所述摄像模组为近红外光和可见光双通摄像模组，所述控制方法还包括：
响应于用户识别指令，控制所述可见光源发出所述第一光线，所述摄像模组曝光，以获得第一眼球图像，所述第一眼球图像用于巩膜识别；
响应于眼动追踪指令，控制所述近红外光源发出所述第一光线，所述摄像模组曝光，以获得第二眼球图像，所述第二眼球图像用于眼动追踪。
6.根据权利要求5所述的控制方法，其特征在于，所述控制方法还包括：
将所述第一眼球图像与预存图像进行对比；
若两者匹配，则调用预存眼动校准数据，所述预存眼动校准数据与所述预存图像对应。
7.根据权利要求5所述的控制方法，其特征在于，所述控制方法应用于电子设备开启且处于开机界面时，所述控制方法还包括：
将所述第一眼球图像与预存图像进行对比；
若两者匹配，则解锁所述电子设备，以使所述电子设备进入主界面。
8.根据权利要求6所述的控制方法，其特征在于，所述控制方法还包括：若所述第一眼球图像与所述预存图像不匹配，则对用户的眼动进行校准，获取眼动校准数据。
9.一种电子设备，其特征在于，所述电子设备包括光源、透镜组、摄像模组、显示屏和控制器，所述显示屏设于所述透镜组的出光侧，所述光源设于所述透镜组远离所述显示屏的一侧，所述摄像模组的入光侧朝向所述透镜组；所述显示屏的显示周期包括交替排布的显示时段和插黑时段；所述光源用于向用户的眼球发射第一光线，所述第一光线经所述眼球反射，透过所述透镜组进入摄像模组；所述显示屏发射的第二光线部分经所述透镜组反射或透射进入摄像模组；所述光源、所述摄像模组和所述显示屏均与所述控制器电连接，所述控制器用于控制所述摄像模组在所述插黑时段曝光，以获得所述第一光线，且在所述显示时段停止曝光，并依据所述第一光线形成眼球图像。
10.根据权利要求9所述的电子设备，其特征在于，所述光源为可见光源。
11.根据权利要求9所述的电子设备，其特征在于，所述光源包括可见光源和近红外光源，所述摄像模组为近红外光和可见光双通摄像模组。
12.根据权利要求9至11中任一项所述的电子设备，其特征在于，所述透镜组包括透镜和半反半透膜，所述半反半透膜设于所述透镜的出光侧。
13.根据权利要求12所述的电子设备，其特征在于，所述半反半透膜在第一波段的透过率大于95％，反射率小于1％，其中，所述第一波段为近红外光所在的频段。
14.根据权利要求12或13所述的电子设备，其特征在于，所述透镜组还包括反射偏振片和第一波片，所述第一波片设于所述透镜背向所述半反半透膜一侧，所述反射偏振片设于所述第一波片背向所述透镜一侧；所述摄像模组还包括第一线偏振片和第二波片，所述第一线偏振片位于所述第二波片与所述摄像模组的镜头之间，所述反射偏振片的偏振方向与所述第一线偏振片的偏振方向相同或相互垂直，所述第一波片与所述第二波片均为四分之一波片。
15.根据权利要求12或13所述的电子设备，其特征在于，所述透镜组还包括反射偏振片和第一波片，所述第一波片设于所述透镜背向所述半反半透膜一侧，所述反射偏振片设于所述第一波片背向所述透镜一侧；所述摄像模组还包括第一圆偏振片，所述第一圆偏振片与所述第一波片的旋向相同，所述第一圆偏振片与所述反射偏振片的偏振方向相同或相互垂直。
16.根据权利要求9至15中任一项所述的电子设备，其特征在于，所述电子设备还包括第二线偏振片和第三波片，所述第二线偏振片设于所述显示屏的出光侧，所述第三波片设于所述第二线偏振片和所述透镜组之间。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110328563.3A CN115128803B (zh) | 2021-03-26 | 2021-03-26 | 电子设备及其控制方法 |
| US18/552,553 US20240171846A1 (en) | 2021-03-26 | 2022-03-22 | Electronic Device and Control Method Thereof |
| PCT/CN2022/082282 WO2022199580A1 (zh) | 2021-03-26 | 2022-03-22 | 电子设备及其控制方法 |
| EP22774236.8A EP4293412A4 (en) | 2021-03-26 | 2022-03-22 | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110328563.3A CN115128803B (zh) | 2021-03-26 | 2021-03-26 | 电子设备及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115128803A true CN115128803A (zh) | 2022-09-30 |
| CN115128803B CN115128803B (zh) | 2023-04-18 |
Family
ID=83374339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110328563.3A Active CN115128803B (zh) | 2021-03-26 | 2021-03-26 | 电子设备及其控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240171846A1 (zh) |
| EP (1) | EP4293412A4 (zh) |
| CN (1) | CN115128803B (zh) |
| WO (1) | WO2022199580A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116009304A (zh) * | 2022-12-12 | 2023-04-25 | 苏州苏大维格科技集团股份有限公司 | 圆偏振分束膜、制备方法及vr显示系统 |
| CN117311004A (zh) * | 2023-11-03 | 2023-12-29 | 广州纳立多科技有限公司 | 短距离光学放大模组、头戴显示器及虚拟现实系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118151370A (zh) * | 2022-12-06 | 2024-06-07 | 北京字跳网络技术有限公司 | 眼动追踪装置和虚拟现实装置 |
| CN116679458B (zh) * | 2023-08-03 | 2023-11-07 | 歌尔光学科技有限公司 | 光学模组以及头戴显示设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194490A (ja) * | 1998-12-24 | 2000-07-14 | Canon Inc | 視線検出装置 |
| US20090041445A1 (en) * | 2007-08-10 | 2009-02-12 | Canon Kabushiki Kaisha | Image capturing apparatus and control method therefor |
| JP2015179917A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社Ｊｖｃケンウッド | 画像表示装置および画像表示方法 |
| JP2017142533A (ja) * | 2017-04-25 | 2017-08-17 | 株式会社Ｊｖｃケンウッド | 画像表示装置および画像表示方法 |
| CN108986752A (zh) * | 2018-08-31 | 2018-12-11 | 厦门天马微电子有限公司 | 显示装置及其控制方法 |
| CN110824699A (zh) * | 2019-12-25 | 2020-02-21 | 歌尔科技有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| CN111766702A (zh) * | 2020-06-29 | 2020-10-13 | 京东方科技集团股份有限公司 | 眼球追踪的近眼显示光学系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474229B1 (en) * | 2017-11-01 | 2019-11-12 | Facebook Technologies, Llc | Folded viewing optics with high eye tracking contrast ratio |
| EP3514606A1 (en) * | 2018-01-23 | 2019-07-24 | BAE SYSTEMS plc | Eye tracking for head-worn display |
| US10429656B1 (en) * | 2018-01-18 | 2019-10-01 | Facebook Technologies, Llc | Eye tracking for a head mounted display including a pancake lens block |
| US10642048B2 (en) * | 2018-08-07 | 2020-05-05 | Facebook Technologies, Llc | Reflective circular polarizer for head-mounted display |
| CN109143581A (zh) * | 2018-08-28 | 2019-01-04 | 北京七鑫易维信息技术有限公司 | 一种头戴式显示设备及其眼球追踪方法 |
| US10816804B2 (en) * | 2018-08-31 | 2020-10-27 | Google Llc | Near-eye display system with polarization-based optical path folding and variable focus catadioptric lens assembly |
| WO2020154524A1 (en) * | 2019-01-25 | 2020-07-30 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
-
2021
- 2021-03-26 CN CN202110328563.3A patent/CN115128803B/zh active Active
-
2022
- 2022-03-22 EP EP22774236.8A patent/EP4293412A4/en active Pending
- 2022-03-22 US US18/552,553 patent/US20240171846A1/en active Pending
- 2022-03-22 WO PCT/CN2022/082282 patent/WO2022199580A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194490A (ja) * | 1998-12-24 | 2000-07-14 | Canon Inc | 視線検出装置 |
| US20090041445A1 (en) * | 2007-08-10 | 2009-02-12 | Canon Kabushiki Kaisha | Image capturing apparatus and control method therefor |
| JP2015179917A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社Ｊｖｃケンウッド | 画像表示装置および画像表示方法 |
| JP2017142533A (ja) * | 2017-04-25 | 2017-08-17 | 株式会社Ｊｖｃケンウッド | 画像表示装置および画像表示方法 |
| CN108986752A (zh) * | 2018-08-31 | 2018-12-11 | 厦门天马微电子有限公司 | 显示装置及其控制方法 |
| CN110824699A (zh) * | 2019-12-25 | 2020-02-21 | 歌尔科技有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| CN111766702A (zh) * | 2020-06-29 | 2020-10-13 | 京东方科技集团股份有限公司 | 眼球追踪的近眼显示光学系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116009304A (zh) * | 2022-12-12 | 2023-04-25 | 苏州苏大维格科技集团股份有限公司 | 圆偏振分束膜、制备方法及vr显示系统 |
| CN117311004A (zh) * | 2023-11-03 | 2023-12-29 | 广州纳立多科技有限公司 | 短距离光学放大模组、头戴显示器及虚拟现实系统 |
| CN117311004B (zh) * | 2023-11-03 | 2024-07-05 | 广州纳立多科技有限公司 | 短距离光学放大模组、头戴显示器及虚拟现实系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022199580A1 (zh) | 2022-09-29 |
| EP4293412A4 (en) | 2024-08-28 |
| US20240171846A1 (en) | 2024-05-23 |
| EP4293412A1 (en) | 2023-12-20 |
| CN115128803B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115128803B (zh) | 电子设备及其控制方法 | |
| US10983341B2 (en) | Eye tracking based on polarization volume grating | |
| US10600352B1 (en) | Display device with a switchable window and see-through pancake lens assembly | |
| EP3499341B1 (en) | Eye tracking module for video eyeglasses | |
| US9087471B2 (en) | Adaptive brightness control of head mounted display | |
| CN111522141B (zh) | 头戴设备 | |
| JP2005514652A (ja) | 投映インサートを有する眼鏡レンズ | |
| JP2008533507A (ja) | 特に視力強化光学系のための基板案内光学装置 | |
| CN104274151A (zh) | 视线检测装置和视线检测方法 | |
| CN110426853B (zh) | 镜片和头戴式显示装置 | |
| US11480800B1 (en) | Compact catadioptric projector | |
| CN113448089A (zh) | 增强现实设备及其显示方法 | |
| CA3163674A1 (en) | Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element | |
| US11892649B2 (en) | Passive world-referenced eye tracking for smartglasses | |
| CN114563871B (zh) | 眼动追踪装置及电子设备 | |
| CN109743488A (zh) | 一种虹膜拍摄装置 | |
| US20210116727A1 (en) | Optical device including faraday rotator | |
| CN210666202U (zh) | 头戴式显示装置和设置于其的镜片 | |
| JPH11196351A (ja) | 表示装置 | |
| CN118259464A (zh) | 视线检测装置和头戴式显示装置 | |
| CN118259465A (zh) | 视线检测装置和头戴式显示装置 | |
| CN118259466A (zh) | 视线检测装置和头戴式显示装置 | |
| JP2024092950A (ja) | 視線検出装置 | |
| JP2000175126A (ja) | 頭部装着型映像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |