CN109890266B - 用于通过捕捉眼睛获得信息的方法和设备 - Google Patents

用于通过捕捉眼睛获得信息的方法和设备 Download PDF

Info

Publication number
CN109890266B
CN109890266B CN201780068143.8A CN201780068143A CN109890266B CN 109890266 B CN109890266 B CN 109890266B CN 201780068143 A CN201780068143 A CN 201780068143A CN 109890266 B CN109890266 B CN 109890266B
Authority
CN
China
Prior art keywords
electronic device
lens
wearable electronic
optical surface
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780068143.8A
Other languages
English (en)
Other versions
CN109890266A (zh
Inventor
李东熙
李基赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109890266A publication Critical patent/CN109890266A/zh
Application granted granted Critical
Publication of CN109890266B publication Critical patent/CN109890266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/281—Interference filters designed for the infrared light
    • G02B5/282—Interference filters designed for the infrared light reflecting for infrared and transparent for visible light, e.g. heat reflectors, laser protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/26—Reflecting filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于通过捕捉眼睛或眼睛周围的区域获得信息的方法和设备。根据本发明的各种实施例的可穿戴电子装置可包括：光源；至少一个透镜；光学表面，被布置在所述至少一个透镜的第一侧；以及相机，用于通过所述至少一个透镜和所述光学表面接收从所述光源输出并通过位于所述至少一个透镜的第二侧的对象散射的光。

Description

用于通过捕捉眼睛获得信息的方法和设备
技术领域
本公开涉及用于通过捕捉眼睛获得信息的方法和设备。
背景技术
近来，便携式电子装置已改变为在人体上可穿戴的形式(或可穿戴装置)。例如，便携式电子装置已经被提供为可附接到身体或衣服上或者可从身体或衣服拆卸的各种形式，诸如头戴型(例如，头戴式显示器或头戴式眼镜)、腕戴型(例如，手表或腕带)、隐形眼镜型、环型、鞋型、衣服型等。由于电子装置被提供为可穿戴装置，电子装置的用户可避免携带电子装置的不便。
近年来，已经发布了许多头戴型电子装置(以下，统称为头戴式显示器(HMD))。HMD的示例可包括提供增强现实(AR)的透视型HMD和提供虚拟现实(VR)的闭合型HMD。
发明内容
技术问题
同时，在用户的身体部位(例如，用户的头)上穿戴HMD向用户提供AR或VR环境，使得从用户接收输入的方式受到限制。具体而言，穿戴着HMD的用户在使用指纹认证或虹膜认证时有困难。
在此公开的各种实施例提供了一种用于解决前述及其他问题的方法和设备。根据本公开的实施例，穿戴着HMD的用户可执行虹膜识别而无需放下HMD。
解决方案
根据本公开的各种实施例的一种可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面和相机，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光。
根据本公开的各种实施例的一种通过捕捉眼睛获得信息的方法包括：通过使用可穿戴电子装置识别与通过相机接收到的光相应的图像，其中，可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面以及相机，所述相机被配置为接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光；并基于识别的图像对所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个进行控制。
有益效果
根据在此公开的各种实施例，提供了一种用户可执行虹膜识别而无需放下HMD的方法和设备。此外，通过扫描穿戴着HMD的用户的眼睛和眼睛的周围区域并通过在HMD中设置的显示器显示与扫描结果相应的虚拟图像，可改善HMD的用户和与HMD的用户通信的另一人的沉浸感。
附图说明
图1示出包括根据本公开的各种实施例的电子装置的网络环境。
图2是根据本公开的各种实施例的电子装置的框图。
图3是根据本公开的各种实施例的编程模块的框图。
图4是示出根据本公开的各种实施例的电子装置的透视图。
图5是用于描述根据本公开的各种实施例的电子装置的结构的示图。
图6是用于描述根据本公开的各种实施例的电子装置的结构的示图。
图7是根据本公开的各种实施例的电子装置的结构的框图。
图8a至图8c是用于描述根据本公开的各种实施例的测量电子装置与对象之间的距离的方法的示图。
图9是根据本公开的各种实施例的电子装置的控制方法的流程图。
图10是根据本公开的各种实施例的电子装置的控制方法的流程图。
具体实施方式
以下，将参照附图公开本公开的各种实施例。在此使用的实施例和术语不意图将本公开限定于特定实施例，并且应该解释为包括根据本公开的实施例的各种修改、等同形式和/或替换形式。对于附图的描述，类似的附图标号可被用于表示类似或相关的元件。应当理解，除非相关的上下文另有清楚地指示，否则与项目相应的名词的单数形式可包括一个或更多个事物。在本公开中，表述诸如“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可包括一起列出的项目的所有可能的组合。本文使用的表述诸如“第一”、“第二”“初级”或“次级”可表示各种元件而不考虑顺序和/或重要性并且不限制相应的元件。当描述元件(诸如第一元件)是“可操作地或可通信地结合到另一元件(诸如第二元件)/与所述另一元件结合”或“连接”到所述另一元件时，所述元件可直接地连接到所述另一元件或可通过另一元件(第三元件)连接到所述另一元件。
在本公开中使用的表述“被配置为(或设置)”根据情况可以被例如“适合于”、“具有……的能力”、“适配为”、“用作”、“能够”或“被设计为”替代。可选地，在一些情况下，表述“被配置为…的设备”可指设备“能够”与另一设备或组件一起操作。例如，短语“被配置(或设置)为执行A、B和C的处理器”可以是用于执行相应操作的专用处理器(例如，嵌入式处理器)或可通过执行存储在存储器装置上的至少一个软件程序来执行相应操作的通用处理器(诸如中央处理单元(CPU)或应用处理器)。
根据本公开的实施例的电子装置的示例可包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗装置、相机或可穿戴装置中的至少一个。可穿戴装置可包括配件型装置(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成装置(例如，电子衣服)、身体附着型装置(例如，皮肤垫或纹身)或身体可植入装置中的至少一个。在一些实施例中，电子装置可包括例如电视机(TV)、数字视频盘(DVD)播放器、音频设备、冰箱、空调、吸尘器、烤箱、微波率、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，SamsungHomeSyncTM、Apple TVTM、或Google TVTM)、游戏控制台(例如，XboxTM、PlayStationTM等)、电子词典、电子钥匙、摄录机或电子相框中的至少一个。
在其他实施例中，电子装置可包括各种医疗设备(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、成像装置或超声装置)、导航系统、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、用于船舶的电子设备(例如，用于船舶的导航系统和回转罗盘)、航空电子装置、安全装置、车辆头单元、工业或家庭机器人、无人机、自动取款机(ATM)、销售点(POS)或物联网(例如，电子灯泡、各种传感器、电表或燃气表、喷洒装置、火灾报警装置、恒温器、路灯、烤面包机、运动器械、热水箱、加热器、锅炉等等)中的至少一个。根据一些实施例，电子装置可包括家具、建筑物/结构的一部分或车辆的一部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如，水、电、燃气、电波测量装置等)。根据各种实施例，电子装置可以是柔性的或可以是上述各种装置中的两个或更多个装置的组合。根据本公开的实施例，电子装置不限于上述装置。这里，在本公开的各种实施例中使用的术语“用户”可表示使用电子装置的人或使用电子装置的装置。
参照图1，公开了根据各种实施例的在网络环境100中的电子装置101。电子装置101可包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160和通信接口170。在一些实施例中，电子装置101可以不包括前述元件之中的至少一个元件或还可包括其他元件。总线110可包括用于对例如元件110到170进行连接并在元件110到170之间传送通信(例如，控制消息或数据)的电路。处理器120可包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或更多个。处理器120执行用于例如电子装置101的至少一个其他元件的控制和/或通信的操作或数据处理。
存储器130可包括易失性和/或非易失性存储器。存储器130可存储例如与电子装置101的至少一个其他元件关联的指令或数据。根据实施例，存储器130可存储软件和/或程序140。程序140可包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147等中的至少一个。内核141、中间件143或API 145之中的至少一些可被称为操作系统(OS)。内核141可控制或管理例如用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130等)。另外，内核141提供这样的接口：中间件143、API 145或应用程序147通过该接口访问电子装置101的单独的组件以控制或管理系统资源。
中间件143可作为用于允许例如API 145或应用程序147与内核141通信以交换数据的中介工作。另外，中间件143可基于优先级处理从应用程序147接收到的一个或更多个任务请求。例如，中间件143可将用于使用电子装置101的系统资源(例如，总线110、处理器120或存储器130等)的优先级赋予应用程序147中的至少一个应用程序，并且可处理一个或更多个任务请求。API 145是用于应用147控制由内核141或中间件143提供的功能的接口，并且可包括例如用于文件控制、窗口控制、图像处理或角色控制的至少一个接口或者函数(例如，指令)。I/O接口150可将例如从用户或另一外部装置输入的指令或数据传送到电子装置的其他组件，或者将从电子装置的其他组件接收到的指令或数据输出给用户或另一外部装置。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可例如向用户显示各种内容(例如，文本、图像、视频、图标和/或符号等)。显示器160可包括触摸屏，并接收例如通过使用电子笔或用户的身体的一部分进行的触摸、手势、接近或悬浮输入。
通信接口170在电子装置101与外部装置(例如，第一外部电子装置102、第二外部电子装置104或服务器106)之间建立通信。例如，通信接口170可通过无线通信或有线通信连接到网络162以与外部装置(例如，第二外部电子装置104或服务器106)进行通信。
无线通信可包括使用例如以下项中的至少一个的蜂窝通信协议：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带码CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)\全球移动通信系统(GSM)等。根据实施例，无线通信可包括无线保真(WiFi)、蓝牙、蓝牙低能耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)中的至少一个。根据实施例，无线通信可包括GNSS。GNSS可包括例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(“北斗”)或伽利略(Galileo)、欧洲全球卫星导航系统中的至少一个。在下文，“GPS”可与“GNSS”互换使用。有线通信可包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)等中的至少一个。网络162可包括电信网络，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网之中的至少一个网络。
第一外部电子装置102和第二外部电子装置104中的每个装置可以是与电子装置101相同类型或不同类型的装置。根据各种实施例，由电子装置101执行的一些或所有操作可在另一电子装置或多个电子装置(例如，电子装置102、104或服务器106)中执行。根据实施例，当电子装置101不得不自动地或应请求执行功能或服务时，不执行功能或服务或者除了执行功能或服务之外，电子装置101可请求另一装置(例如，电子装置102或104或服务器106)执行与所述功能或服务关联的至少一些功能。另一电子装置(例如，电子装置102或104或服务器106)可执行请求的功能或附加的功能并将执行结果传送给电子装置101。电子装置101可随后处理或进一步处理接收到的结果以提供请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。
根据本公开的各种实施例的可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面、和相机，其中，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光。
根据本公开的各种实施例的可穿戴电子装置还可包括处理器，处理器被配置为识别与通过所述相机接收到的光相应的图像，其中，处理器还可被配置为基于识别的图像对所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个进行控制。
根据本公开的各种实施例的可穿戴电子装置还可包括输入/输出接口，所述输入/输出接口被配置为将可穿戴电子装置电连接到在可附接到可穿戴电子装置或可从可穿戴电子装置拆卸的移动电子装置中设置的处理器，其中，处理器还被配置为识别与通过所述相机接收到的光相应的图像并基于识别的图像对所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个进行控制。
在根据本公开的各种实施例的可穿戴电子装置中，处理器还可被配置为控制所述光源向对象照射至少一束红外光，控制所述相机接收从所述光学表面反射的与照射到对象的所述至少一束红外光相应的至少一束红外光，并且基于通过所述相机接收到的至少一束红外光获得关于对象的信息。
根据本公开的各种实施例的可穿戴电子装置还可包括至少一个传感器，所述至少一个传感器被配置为检测对象与可穿戴电子装置之间的距离，其中，处理器还被配置为从所述至少一个传感器周期性地接收关于对象与可穿戴电子装置之间的距离的信息，通过使用接收到的关于距离的信息识别对象的运动，并且基于识别的对象的运动获得关于对象的信息。
根据本公开的各种实施例的可穿戴电子装置还可包括在可穿戴电子装置的外侧上的至少一个显示器，其中，处理器还被配置为在所述至少一个显示器上显示与通过所述相机接收到的光相应的图像。
在根据本公开的各种实施例的可穿戴电子装置中，所述光源可位于对象和所述至少一个透镜之间。
在根据本公开的各种实施例的可穿戴电子装置中，所述光源可位于所述光学表面和所述至少一个透镜之间。
在根据本公开的各种实施例的可穿戴电子装置中，所述至少一个透镜可位于对象和所述光学表面之间并且包括凸透镜。
在根据本公开的各种实施例的可穿戴电子装置中，对象可包括穿戴着可穿戴电子装置的用户的眼睛，并且所述相机还可被配置为基于接收到的光获得对象的图像。
根据本公开的各种实施例的可穿戴电子装置还可包括位于所述第一侧的显示器，其中，所述光学表面位于显示器上。
在根据本公开的各种实施例的可穿戴电子装置中，所述光学表面可位于在可附接到可穿戴电子装置或可从可穿戴电子装置拆卸的移动电子装置中设置的显示器上。
在根据本公开的各种实施例的可穿戴电子装置中，所述光学表面可包括被配置为透过可见光并反射红外光的滤光器。
在根据本公开的各种实施例的可穿戴电子装置中，所述相机可包括红外相机，所述红外相机被配置为接收从所述光学表面反射的光线之中的红外光。
图2是根据各种实施例的电子装置201的框图。电子装置201可形成在图1中示出的整个电子装置101或在图1中示出的电子装置101的一部分。电子装置201可包括一个或更多个处理器(例如，应用处理器(AP))210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297和电机298。
处理器210通过驱动操作系统(OS)或应用程序对连接到处理器210的多个硬件或软件组件进行控制，并执行关于各种数据的处理和操作。处理器210可利用例如片上系统(SoC)来实现。根据实施例，处理器210可包括GPU和/或图像信号处理器。处理器210可包括图2中示出的元件之中的至少一些元件(例如，蜂窝模块221)。处理器210将从其他元件之中的至少一个元件(例如，非易失性存储器)接收到的命令或数据加载到易失性存储器以处理命令或数据，并将结果数据存储在非易失性存储器中。
通信模块220可具有与通信接口170相同或类似的配置。通信模块220可包括例如蜂窝模块221、WiFi模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228和射频(RF)模块229。蜂窝模块221可通过通信网络提供例如语音呼叫、视频呼叫、文本服务或互联网服务。根据实施例，蜂窝模块221通过使用SIM 224(例如，SIM卡)来识别和认证在通信网络中的电子装置201。根据实施例，蜂窝模块221执行可由处理器210提供的功能之中的至少一个功能。根据实施例，蜂窝模块221可包括通信处理器(CP)。根据一些实施例，蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一些(例如，两个或更多个)可被包括在一个集成芯片(IC)或IC封装中。RF模块229可例如发送和接收通信信号(例如，RF信号)。RF模块229可包括收发器、功率放大模块(PAM)、频率滤波器、低噪放大器(LNA)或天线。根据另一实施例，蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一个可通过单独的RF模块发送和接收RF信号。SIM 224可例如包括包含SIM或嵌入式SIM的卡，并且可包括唯一识别信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户标识(IMSI))。
存储器230(例如，存储器130)可例如包括内部存储器232或外部存储器234。内部存储器232可例如包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)等)、掩模式ROM、闪存ROM、闪存、硬盘驱动器或固态驱动器(SSD)中的至少一个。外部存储器234可包括闪存驱动器，例如，致密闪存(CF)、安全数字(SD)、微型SD、迷你SD、极速数字(xD)、多媒体卡(MMC)或记忆棒TM。外部存储器234可通过各种接口与电子装置201功能性地或物理地连接。
传感器模块240测量物理量或感测电子装置201的操作状态以将测量的或感测的信息转换为电信号。传感器模块240可例如包括手势传感器240A、陀螺仪传感器240B、压力传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红/绿/蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外线(UV)传感器240M中的至少一个。另外地或可选地，传感器模块240可包括电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制包括在其中的至少一个传感器的控制电路。在一些实施例中，电子装置201还可包括被配置为作为处理器210的部分或与处理器210分离地控制传感器模块240的处理器，以在处理器210的睡眠状态期间对传感器模块240进行控制。
输入装置250可包括例如触摸面板252、(数字)笔传感器254、按键256或超声输入装置258。触摸面板252可使用电容型、电阻型、IR型或超声波型中的至少一个。另外，触摸面板252还可包括控制电路。触摸面板252还可包括用于向用户提供触觉反应的触觉层。(数字)笔传感器254可包括识别片，该识别片是触摸面板252的一部分或单独的识别片。按键256也可包括物理按钮、光学按键或键盘。超声输入装置258通过麦克风(例如，麦克风288)感测由输入装置产生的超声波并对与感测的超声波相应的数据进行检查。
显示器260(例如，显示器160)可包括面板262、全息装置264、投影仪266、和/或用于控制面板262、全息装置264、投影仪266的电路。面板262可被实现为柔性的、透明的或可穿戴的。面板262可与触摸面板252被配置在一个模块中。根据实施例，面板262可包括能够测量由用户触摸的压力强度的压力传感器(或“力传感器”，以下可互换使用)。压力传感器可与触摸面板252一体地实现或可被实现为与触摸面板252分开的一个或更多个传感器。全息装置264可通过使用光的干涉将立体图像显示在空中。投影仪266可通过光的投射将图像显示在屏幕上。屏幕可位于电子装置201的内部或外部。
接口270可包括HDMI 272、USB 274、光学接口276或超小型(D-sub)278。接口270可包括在图1中示出的通信接口170中。另外地或可选地，接口270可包括移动高清晰度链接(MHL)接口、SD/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块280可将声音与电信号进行双向转换。音频模块280中的至少一个元件可包括在图1中示出的输入/输出接口145中。音频模块280可处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
相机模块291是例如能够捕捉静态图像或运动图像的装置，并且根据实施例，可包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)、或闪光灯(例如，LED、氙气灯等)。电力管理模块295管理电子装置201的电力。根据实施例，电力管理模块295可包括电力管理集成电路(PMIC)、充电器IC或电池燃料量表。PMIC可具有有线的和/或无线的充电方案。无线充电方案可包括磁共振型、磁感应型和电磁型，并且还可包括用于无线充电的附加电路，例如线圈回路、谐振电路或整流器。电池量表可测量电池296的剩余量或在充电期间电池296的电压、电流或温度。电池296可包括例如可充电电池和/或太阳能电池。指示器297显示电子装置201或电子装置201的一部分(例如，处理器210)的特定状态，例如，启动状态、消息状态或充电状态。电机298可将电信号转换为机械振动或者产生振动或触觉效果。电子装置201可包括根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM的标准处理媒体数据的用于支持移动TV的装置(例如，GPU)。这里描述的前述元件之中的每个元件可被配置有一个或更多个组件，所述所述一个或更多个组件的名称可随电子装置的类型而变化。在各种实施例中，电子装置(例如，电子装置201)的一些组件可被省略或还可包括其他元件，并且组件之中的一些组件可被结合以形成一个实体并同样地执行被结合之前的组件的功能。
图3是根据各种实施例的编程模块的框图。根据实施例，编程模块310(例如，程序140)可包括用于控制与电子装置(例如，电子装置101)关联的资源的OS和/或在OS上执行的各种应用(例如，应用程序147)。OS可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。参照图3，编程模块310可包括内核320(例如，内核141)、中间件330(例如，中间件143)、应用编程接口(API)360(例如，API 145)和/或应用370(例如，应用程序147)。编程模块310中的至少一部分可被预先加载在电子装置上或可从外部装置(例如，电子装置102或104或服务器106)被下载。
内核320可包括系统资源管理器321和/或装置驱动器323。系统资源管理器321可执行系统资源的控制、分配或恢复等。根据实施例，系统资源管理器321可包括进程管理单元、存储器管理单元或文件系统管理单元。装置驱动器323可包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、WiFi驱动器、音频驱动器或进程间通信(IPC)驱动器。中间件330可提供应用370共同需求的功能或通过API 360向应用370提供各种功能以允许应用370使用在电子装置中有限的系统资源。根据实施例，中间件330可包括以下项之中的至少一个：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电力管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
运行时库335可包括库模块，其中，当应用370被执行时，编译器使用该库模块通过编程语言添加新函数。运行时库335执行输入/输出管理、存储器管理或计算功能处理。应用管理器341管理应用370的生命周期。窗口管理器341管理在屏幕中使用的图形用户界面(GUI)资源。多媒体管理器343识别播放媒体文件必需的格式并通过使用适合于相应格式的编解码器对媒体文件执行编码或解码。资源管理器344管理应用370的资源代码或存储空间。电力管理器345管理电池或电力并提供电子装置的操作必需的电力信息。根据实施例，电力管理器345可与基本输入/输出系统(BIOS)一起操作。数据库管理器346产生、搜索或改变用于应用370之中的至少一个应用的数据库。包管理器347管理以包文件格式分布的应用的安装或更新。
连接管理348管理无线连接。通知管理器349提供例如到达消息、约会、接近通知等的事件。位置管理器350管理电子装置的位置信息。图形管理器351管理例如将被提供给用户的图形效果或与图形效果相关的用户界面。安全管理区352提供例如系统安全或用户认证。根据实施例，中间件330还可包括用于管理电子装置的语音或视频呼叫功能的电话管理器或者形成上述组件的功能的组合的中间件模块。根据实施例，中间件330提供专门用于每种类型的OS的模块。另外，中间件330可动态地删除现有元件之中的一些元件或添加新元件。API 360可被提供为根据OS具有不同配置的API编程函数集。在Android或iOS的情况下，例如，每个平台可提供一个API集，并且在Tizen的情况下，可提供两个或更多个API集。
应用370可包括能够提供功能的一个或更多个应用，例如，主页应用371、拨号器应用372、短消息服务/多媒体消息服务(SMS/MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、警报器应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、时钟应用384、健康护理应用(例如，用于测量运动量、血糖等的应用)或环境信息提供应用(例如，用于提供气压、湿度或温度信息等的应用)。根据实施例，应用370可包括支持在电子装置和外部电子装置之间的信息交换的信息交换应用。信息交换应用可包括例如用于向外部电子装置传送特定信息的通知转发应用或用于管理外部电子装置的装置管理应用。例如，通知转发应用可向外部电子装置传送在电子装置的另一应用中产生的通知信息或可从外部电子装置接收通知信息并将通知信息提供给用户。装置管理应用可管理(例如，安装、移除或更新)与电子装置通信的外部装置的功能(例如，外部电子装置本身(或其一部分)的打开/关闭或者显示器的亮度(或分辨率)的控制)、由在外部电子装置中运行的应用提供的或由外部电子装置提供的服务(例如，呼叫服务或消息服务)。根据实施例，应用370可包括根据外部电子装置的属性指定的应用(例如，移动医疗设备的装置健康护理应用)。根据实施例，应用370可包括从外部电子装置接收到的应用。编程模块310的至少一部分可由软件、固件、硬件(例如，处理器210)或它们中的两个或更多个的组合来实现，并且可包括例如用于执行一个或更多个功能的模块、程序、历程、指令集或处理。
图4是示出根据本公开的各种实施例的电子装置的透视图。
电子装置101可包括显示器。电子装置101可存储VR应用。VR应用可以是能够向用户提供类似于现实的可视数据的应用。在实施例中，VR应用可基于立体方案显示分别相应于用户的双眼的左眼图像和右眼图像。
电子装置102可以是头戴式显示器(HMD)。HMD可以戴在用户的头上因此即使用户移动HMD也可被固定在用户的头上。电子装置101可结合到电子装置102。当用户穿戴结合到电子装置101的电子装置102时，用户可观察在电子装置101的显示器上显示的左眼图像和右眼图像。用户可观察的左眼图像和右眼图像可通过在用户的眼睛和电子装置101的显示器之间设置的至少一个透镜(未示出)来放大。
根据实施例的电子装置102可包括被提供用于戴在用户的头上的壳体450、固定在壳体450上并且设置在与用户的眼睛的位置相应的区域中的遮蔽部分430、设置在壳体450的区域中的至少一个输入按钮421。电子装置102可包括能够接收来自用户的滑动输入的输入盘425。
用户可使眼睛与遮蔽部分430的紧密接触，由此观察从电子装置101提供的与VR应用相应的图像而不受外部光线的干扰。在实施例中，遮蔽部分430可包括向用户的眼睛照射包括多个波长的光的至少一个光源。从包括在遮蔽部分430中的光源照射的光在到达穿戴着电子装置102的用户的眼睛之后可被散射，并且散射的光在穿透设置在用户的眼睛和电子装置的显示器之间的透镜之后可被传送到电子装置101的显示器。
电子装置101可结合到电子装置102。电子装置101可与电子装置102无线/有线地连接。例如，电子装置101可通过使用通用串行总线(USB)与电子装置102连接，但是这仅仅是示例，本领域的普通技术人员可容易理解不存在限制只要在两个装置101和102之间的连接能够进行数据发送和接收即可。在另一示例中，电子装置101可简单地与电子装置102物理连接。
图5是用于描述根据本公开的各种实施例的电子装置的结构的示图。
电子装置502可以是HMD或VR装置。电子装置502可包括向对象500照射包括多个波长的光的光源510、折射各种光线的至少一个透镜520、反射图像的光学表面530、捕捉图像的相机540、处理器550和显示器560中的至少一个。根据实施例，对象500可包括穿戴着电子装置502的用户的眼睛和眼睛的周围区域。
光源510可发射包括多个波长的光。例如，光源510可发射可见光。可选地，光源510可发射具有比红色可见光的波长大的波长(750～1000nm)的红外光或具有比紫色可见光的波长小的波长(10～390nm)的紫外光。光源510可被安装在电子装置502内部，并且可向穿戴着电子装置502的用户的身体部位照射包括至少一种波长的光。光源510可被设置在向穿戴着电子装置502的用户的身体部位照射光的任何位置。
根据实施例，光源510作为能够发射红外光的红外光源可向穿戴着电子装置502的用户的眼睛和眼睛的周围区域照射光。例如，当用户穿戴着电子装置502时，用户的眼睛可位于电子装置502的(例如，遮蔽部分430)内部。从位于电子装置502内部的光源510照射的至少一束光可在到达用户的眼睛和眼睛的周围区域之后被散射。
至少一个透镜520可设置在电子装置502内部。例如，所述至少一个透镜520可位于用户穿戴着电子装置502的表面(例如遮蔽部分430位于的表面)与安装在电子装置502内部的光学表面530之间。从光学表面530发射的光可通过所述至少一个透镜520折射并传送给用户，并且从用户的眼睛散射的光可通过所述至少一个透镜520折射并传送给光学表面530。所述至少一个透镜520可包括凸透镜，但这仅仅是示例，本领域的普通技术人员可容易理解不存在限制，只要允许光穿透介质即可。
光学表面530可向穿戴着电子装置502的用户提供虚拟图像，并且可包括显示器160。例如，光学表面530可发射可见光来向穿戴着电子装置502的用户提供虚拟图像。
根据实施例，光学表面530可反射从穿戴着电子装置502的用户的身体部位散射的光或形成与用户的身体部位相应的图像。光学表面530可包括用于反射从对象500传送的光或形成与对象500相应的图像的滤光器或薄膜。例如，从光源510照射的红外光可以在到达对象500之后被散射。以这种方式散射的红外光可穿透至少一个透镜520并被传送到光学表面530。在包括在光学表面530中的滤光器或薄膜反射红外光并吸收除了红外光以外的光的情况下，光学表面530可选择性地反射传送到光学表面530的多个光线之中的红外光。包括反射红外光的滤光器或薄膜的光学表面530可反射与红外光照射到的对象500关联的图像，并且可以不反射从光学表面530发射的除了红外光以外的光，诸如可见光等。根据实施例的光学表面530可包括能够选择性地反射红外光或基于红外光形成图像的透明材料或半透明材料(例如，热镜)的滤光器或薄膜。
相机540可基于通过光学表面530反射的至少一束光来捕捉图像并可包括相机模块291。根据实施例，相机540可被配置为基于特定波长的光选择性地捕捉图像。例如，相机540可包括捕捉由红外光构成的图像的红外相机。
根据实施例，红外相机可包括能够反射或吸收从光学表面530发射的可见光的滤光器并由此可选择性地获得由从光学表面530反射的红外光构成的图像。相机540可基于红外光捕捉与电子装置502的用户的眼睛或眼睛的周围区域相应的从光学表面530被反射的图像。当使用高像素相机捕捉图像时，相机540可获得关于用户的眼睛的精确信息，诸如用户的眼睛周围的皱纹或眼睛的抽搐等。
处理器550可包括在电子装置502中以对光源510、至少一个透镜520、光学表面530、相机540和显示器560之中的至少一个的操作或配置进行控制。例如，当向穿戴着电子装置502的用户的眼睛照射红外光时，处理器550可对光源510进行控制以调整红外光的强度或红外光照射的时间等。另外，处理器550可对所述至少一个透镜520的位置进行调整以控制折射率等。另外，处理器550也可对通过光学表面530显示的图像或视频进行控制。另外，处理器550可对相机540进行控制以获得从光学表面530反射的至少一个图像。另外，处理器550可通过使用设置在电子装置502的外侧的显示器560来显示通过相机540获得的所述至少一个图像等。
显示器560可设置在电子装置502的外侧。例如，显示器560可设置在用户穿戴电子装置520的表面(例如，遮蔽部分430位于的表面)相对的表面上以将图像提供给面向穿戴着电子装置502的用户的另一人。
尽管在图5中示出了将穿透凸透镜的光线向外折射，但此图示仅仅为了便于描述。球面形状的透镜被选择用于简单地指示透镜，并且本领域的普通技术人员可容易理解对透镜的球形表面的类型、透镜的布置位置和透镜的数量没有限制，只要允许从对象500散射的光向光学表面530行进即可。
图6是用于描述根据本公开的各种实施例的电子装置的结构的示图。
电子装置601可包括反射图像的光学表面630、捕捉图像的相机640或处理器651之中的至少一个。光学表面630可包括显示器160，相机640可包括相机模块291。
电子装置602可以是HMD或VR装置。电子装置602可包括向对象600照射包括多个波长的光的光源610、折射各种光线的至少一个透镜620、处理器650、显示器660和反光镜670之中的至少一个。
电子装置601可结合到电子装置602。当用户穿戴着结合到电子装置601的电子装置602时，用户可观察在电子装置601的光学表面630(例如，显示器160)上显示的左眼图像Lens1和右眼图像Lens2。
电子装置602的光源610可发射包括多个波长的光。例如，光源610可发射可见光。光源510可发射具有比红色可见光的波长大的波长(750～1000nm)的红外光或具有比紫色可见光的波长小的波长(10～390nm)的紫外光。光源610可安装在电子装置602内部，并且可向穿戴着电子装置602的用户的身体部位照射包括至少一种波长的光。光源610可设置向穿戴着电子装置602的用户的身体部位照射光的任何位置。
根据实施例，光源610作为能够发射红外光的红外光源可向穿戴着电子装置602的用户的眼睛和眼睛的周围区域照射光。例如，当用户穿戴着电子装置602时，用户的眼睛可位于电子装置602的(例如，遮蔽部分430)内部。从位于电子装置602内部的光源610照射的至少一束光可在到达用户的眼睛和眼睛的周围区域之后被散射。
电子装置602的至少一个透镜620可设置在电子装置602内部。例如，所述至少一个透镜620可设置在用户穿戴电子装置602的表面(例如，遮蔽部分430位于的表面)与结合到电子装置602的电子装置601的光学表面630之间。从电子装置601的光学表面630发射的光可以通过所述至少一个透镜620折射并传送给用户，并且从用户的眼睛散射的光可通过所述至少一个透镜620折射并传送到光学表面630。所述至少一个透镜620可包括凸透镜，但这仅仅是示例，本领域的普通技术人员可容易理解不存在限制，只要允许光穿透介质即可。
电子装置601的光学表面630可将虚拟图像提供给穿戴着电子装置602的用户，并且可包括显示器160。例如，电子装置601可物理地或电子地结合到电子装置602以通过电子装置601的光学表面630向穿戴着电子装置602的用户提供虚拟图像。
根据实施例，电子装置601的光学表面630可反射从穿戴着电子装置602的用户的身体部位散射的光或形成与用户的身体部位相应的图像。光学表面630可包括用于反射从对象600传送的光或者形成与对象600相应的图像的滤光器或薄膜。例如，从光源610照射的红外光可以在到达对象600之后被散射。以这种方式散射的红外光可穿透至少一个透镜620并被传送到光学表面630。在光学表面630中包括的滤光器或薄膜反射红外光并吸收除了红外光以外的光的情况下，光学表面630可选择性地仅反射传送到光学表面630的多个光线之中的红外光。包括反射红外光的滤光器或薄膜的光学表面630可反射与红外光照射到的对象600关联的图像，并且可以不反射从光学表面630发射的除了红外光以外的光，诸如可见光等。根据实施例的光学表面630可包括能够选择性地反射红外光或基于红外光形成图像的透明材料或半透明材料(例如，热镜)的滤光器或薄膜。
电子装置601的相机640可基于通过光学表面630反射的至少一束光捕捉图像并且可包括相机模块291。根据实施例，相机640可被配置为基于特定波长的光选择性地捕捉图像。例如，相机640可包括捕捉由红外光构成的图像的红外相机。
根据实施例，红外相机可包括能够反射或吸收从光学表面630发射的可见光的滤光器并且由此可选择性地获得由从光学表面630反射的红外光构成的图像。相机640可基于红外光捕捉与电子装置602的用户的眼睛或眼睛的周围区域相应的从光学表面630反射的图像。当使用高像素相机捕捉图像时，相机640可获得关于用户的眼睛的精确信息，诸如用户眼睛周围的皱纹、眼睛的抽搐等。
根据实施例，从光学表面630反射的光的路径可通过反光镜670改变。反光镜670可被包括在电子装置601或电子装置602中。本领域的普通技术人员可容易理解，可设计各种光学结构以通过使用至少一个反光镜670将从光学表面630反射的光传送到相机640。
处理器650或651可被包括在电子装置601或电子装置602中以对光源610、至少一个透镜620、光学表面630、相机640、显示器660和反光镜670之中的至少一个的操作或配置进行控制。例如，当向穿戴着电子装置602的用户的眼睛照射红外光时，处理器650或651可对光源610进行控制以调整红外光的强度、红外光照射的时间等。另外，处理器650或651可对至少一个透镜620的位置进行调整以控制折射率等。另外，处理器650或651也可控制通过光学表面630显示的图像或视频。处理器650或651可对相机640进行控制以获得从光学表面630反射的至少一个图像。另外，处理器650或651可通过使用设置在电子装置602的外侧上的显示器660显示通过相机640获得的至少一个图像等。另外，处理器650或651可对反光镜670的位置或角度进行控制以高效地将从光学表面630反射的光传送到相机640。
显示器660可被设置在电子装置602的外侧上。例如，显示器660可被设置在用户穿戴着电子装置602的表面(例如，遮蔽部分430位于的表面)相对的表面上以向面对穿戴着电子装置602的用户的另一人提供图像。
在图6中公开的电子装置601或602的结构仅仅是可被不同地设计的电子装置的示例，并且电子装置601的结构或电子装置602的结构可与彼此互换或共享。
图7是根据本公开的各种实施例的电子装置的结构的框图。
电子装置702可以是HMD或VR装置。电子装置702可包括向对象700照射包括多个波长的光的光源单元710、折射从对象700发出的散射光的至少一个透镜单元720、反射与折射的散射光相应的图像的光学表面730、捕捉从光学表面730反射的图像的捕捉单元740、以及处理器750，其中，处理器750基于通过捕捉单元740捕捉的图像控制光源单元710、透镜单元720、光学表面730和捕捉单元740之中的至少一个。
例如，处理器750可通过光源单元710向穿戴着电子装置702的用户的虹膜照射红外光。照射到虹膜的红外光可以在达到虹膜之后被散射。处理器750可通过对透镜单元720进行控制来调整透镜的位置以将从虹膜散射的红外光传送到光学表面730。光学表面730可包括能够反射接收到的红外光并允许从光学表面730发出的可见光穿透的滤光器或薄膜。为了基于从光学表面730反射的红外光获得虚拟图像，处理器750可对捕捉单元740进行控制以捕捉虚拟图像。在这种情况下，由捕捉单元740捕捉的虚拟图像可包括与用户的虹膜相应的信息。处理器750可基于获得的虚拟图像识别用户的虹膜并通过使用识别的虹膜认证用户。
根据实施例，电子装置702中包括的处理器750的操作可以由包括在电子装置701中的可与电子装置702分开并且可独立于电子装置702操作的第一处理器751执行。
图8a至图8c是用于描述根据本公开的各种实施例的测量电子装置与对象之间的距离的方法的示图。
图8a是示出根据本公开的各种实施例的电子装置的后视图，并且图8b是根据本公开的各种实施例的穿戴着电子装置的用户的侧视图。
电子装置802可以是HMD或VR装置。电子装置802可包括设置在与用户眼睛的位置相应的区域中的遮蔽部分810和向穿戴着电子装置802的用户提供可视内容的光学单元820。
遮蔽部分810可被设置在穿戴着电子装置802的用户的双眼周围，并可在遮蔽部分810内部包括至少一个传感器830。所述至少一个传感器830可包括传感器模块240。例如，所述至少一个传感器830可包括能够测量电子装置802与穿戴电子装置802的用户之间的距离的接近传感器(例如，240G)。在用户已穿戴电子装置802的情况下，处理器可通过使用设置在遮蔽部分810内部的接近传感器来检测在用户的眼睛或眼睛的周围区域的运动。更具体地，在穿戴着电子装置802的用户的眼睛或眼睛的周围区域存在运动的情况下，接近传感器可检测遮蔽部分810的固定的内部与用户的眼睛或眼睛的周围区域之间的距离上的改变。处理器可检测用户眨眼、眼部的皱眉、眼睛的抽搐或眼睛附近皱纹的运动等。
图8c是用于描述通过电子装置802检测在用户的眼睛或眼睛的周围区域的运动的示图。
870和872示出在用户穿戴着在遮蔽部分810内部包括多个传感器的电子装置802的情况下可由多个传感器检测的用户的眼睛或眼睛的周围区域。例如，电子装置802的处理器可通过使用多个接近传感器检测穿戴着电子装置802的用户的眼睛或眼睛的周围区域的运动。当穿戴着电子装置802的用户眨眼或抽搐眼睛时，眼睛附近的肌肉会动或皱纹会出现在眼睛的周围区域中，并且电子装置802的接近传感器可检测与肌肉或皱纹的这样的运动相应的距离变化。
根据实施例，处理器可基于检测到的距离变化识别穿戴着电子装置802的用户的面部表情甚至可预测用户的情绪。处理器可通过使用预先存储在存储器中的关于用户的面部表情或情绪的数据来识别与检测到的距离变化相应的用户的面部表情或情绪。
如880中所示，关于用户的面部表情或情绪的数据可被预先存储在电子装置802的存储器或外部数据库中。处理器可通过电子装置802中包括的通信单元(例如，通信模块220)从外部数据库接收数据并通过使用接收到的数据识别用户的面部表情或情绪。
如890中所示，当识别与检测到的距离变化相应的面部表情或情绪时，处理器可通过电子装置802中包括的显示器860显示与用户的面部表情或情绪相应的虚拟图像。
根据实施例，处理器可将关于识别的用户的面部表情或情绪的数据发送给另一电子装置，所述另一电子装置可将与接收到的数据相应的信息传送给所述另一电子装置的用户。例如，当穿戴着第一HMD的第一用户和穿戴着第二HMD的第二用户彼此之间进行通信时，第一HMD可将与识别的第一用户的面部表情或情绪相应的信息发送给第二HMD，该第二HMD随后可基于接收到的信息将与第一用户的面部表情或情绪相应的内容提供给第二用户。
图9根据本公开的各种实施例的电子装置的控制方法的流程图。
根据实施例，电子装置可通过使用以下描述的方法来获得关于对象的信息，其中，电子装置包括向对象照射包括多个波长的光的光源、折射从对象发出的散射光的至少一个透镜、反射与折射的散射光相应的图像的光学表面、捕捉从光学表面反射的图像的相机和至少一个处理器。
在操作910中，处理器可控制光源向对象照射至少一束红外光。根据实施例，作为能够发出红外光的红外光源的光源可向穿戴着电子装置的用户的眼睛和眼睛的周围区域照射红外光。例如，当用户穿戴着电子装置时，用户的眼睛可位于电子装置的(例如，遮蔽部分430)内部。从位于电子装置内部的光源照射的至少一束光可在到达用户的眼睛和眼睛的周围区域后被散射。
在操作920中，处理器可对相机进行控制以捕捉与照射到对象的红外光相应的从光学表面反射的红外光。根据实施例，光学表面可对从穿戴着电子装置的用户的身体部位散射的光进行反射或形成与用户的身体部位相应的图像。光学表面可包括对从对象传送的光进行反射或形成与对象相应的图像的滤光器或薄膜。例如，从光源照射的红外光可在到达对象之后被散射。以这种方式散射的红外光可穿透至少一个透镜并被传送到光学表面。在包括在光学表面中的滤光器或薄膜反射红外光并吸收除了红外光以外的光的情况下，光学表面可选择性地仅反射传送到光学表面的多个光线之中的红外光。包括反射红外光的滤光器或薄膜的光学表面可反射与红外光照射到的对象关联的图像，并且可以不反射从光学表面发射的除了红外光以外的光，诸如可见光等。根据实施例的光学表面可包括能够选择性地反射红外光或基于红外光形成图像的透明材料或半透明材料(例如，热镜)的滤光器或薄膜。
根据实施例，红外相机可包括能够反射或吸收从光学表面发射的可见光的滤光器并由此可选择性地获得由从光学表面反射的红外光构成的图像。相机可基于红外光捕捉与电子装置的用户的眼睛或眼睛的周围区域相应的从光学表面被反射的图像。当使用高像素相机捕捉图像时，相机可获得关于用户的眼睛的精确信息，诸如用户的眼睛周围的皱纹或眼睛的抽搐等。
在操作930中，处理器可基于通过相机捕捉的红外光获得关于对象的信息。例如，为了基于从光学表面反射的红外光获得虚拟图像，处理器可控制相机捕捉虚拟图像。在这种情况下，通过相机捕捉的虚拟图像可包括与用户的虹膜相应的信息。处理器可基于获得的虚拟图像识别用户的虹膜并通过使用识别的虹膜认证用户。
图10是根据本公开的各种实施例的电子装置的控制方法的流程图。
根据实施例，电子装置可通过使用以下描述的方法获得关于对象的信息，其中，电子装置包括向对象照射包括多个波长的光的光源、折射从对象发出的散射光的至少一个透镜、反射与折射的散射光相应的图像的光学表面、捕捉从光学表面反射的图像的相机、检测距离的至少一个传感器和至少一个处理器。
在操作1010中，处理器可从至少一个传感器接收关于对象与电子装置之间的距离的信息。例如，处理器可通过使用电子装置中包括的至少一个接近传感器来周期性地或非周期性地接收关于穿戴着电子装置的用户的眼睛或眼睛的周围区域与电子装置的遮蔽部分的内部之间的距离的信息。
在操作1020中，处理器可通过使用接收到的关于距离的信息识别对象的运动。例如，通过周期性地测量穿戴着电子装置的用户的眼睛或眼睛的周围区域与电子装置的遮蔽部分的内部之间的距离，处理器可识别用户的眼睛或眼睛的周围区域的运动。
在操作1030中，处理器可基于识别的对象的运动控制包括在电子装置中的元件之中的至少一个元件。例如，处理器可基于识别的对象的运动对光源、至少一个透镜、光学表面和相机之中的至少一个进行控制。可选地，处理器可基于识别的用户的眼睛或眼睛的周围区域的运动来识别用户的面部表情或情绪。处理器可通过包括在电子装置中的显示器来显示与识别的面部表情或情绪相应的虚拟图像。
根据本公开的各种实施例的通过捕捉眼睛获得信息的方法包括：通过使用可穿戴电子装置识别与通过相机接收到的光相应的图像，其中，可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面以及所述相机，其中，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光；以及基于识别的图像控制所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个。
根据本公开的各种实施例的通过捕捉眼睛获得信息的方法包括：通过使用可穿戴电子装置控制光源向对象照射至少一束红外光，其中，可穿戴电子装置包括所述光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面和相机，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光；控制所述相机接收从所述光学表面反射的与照射到对象的所述至少一束红外光相应的至少一束红外光；并基于由相机接收到的至少一束红外光获得关于对象的信息。
根据本公开的各种实施例的通过捕捉眼睛获得信息的方法包括：通过使用可穿戴电子装置周期性地从至少一个传感器接收关于对象与可穿戴电子装置之间的距离的信息，可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面和相机，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光；通过使用接收到的关于距离的信息识别对象的运动；并基于识别的对象的运动获得关于对象的信息。
根据本公开的各种实施例的通过捕捉眼睛获得信息的方法包括通过使用可穿戴电子装置在至少一个显示器上显示与通过相机接收到的光相应的图像，其中，可穿戴电子装置包括光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面以及所述相机，所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光。
本公开可包括可由计算机读取的记录介质，在该记录介质上记录有用于执行这里公开的任何一种方法的程序。
在此描述的前述元件之中的每个元件可被配置有一个或更多个组件，所述一个或更多个组件的名称可随电子装置的类型而改变。在各种实施例中，电子装置可包括前述元件之中的至少一个元件，所述至少一个元件中的一些元件可以被忽略或其他元件可被添加到所述至少一个元件。另外，根据各种实施例的电子装置的元件中的一些元件可被集成为一个实体以按照与所述一些元件被集成之前相同的方式执行相应元件的功能。
在此使用的术语“模块”可包括被配置为硬件、软件或固件的单元，例如，可与诸如逻辑、逻辑块、部件或电路的术语互换使用。“模块”可以是整体地配置的部件、执行一个或更多个功能的最小单元或其一部分。“模块”可以被机械地或电子地实现，并且可包括执行一些已公知或将开发的操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件。
根据各种实施例的设备(例如设备的模块或功能)或方法(例如操作)的至少一部分可以以编程模块的形式利用存储在计算机可读存储介质(例如，存储器130)中的指令来实现。当由处理器(例如，处理器120)执行指令时，处理器可执行与指令相应的功能。
计算机可读记录介质包括硬盘、软盘或磁性介质(例如，磁带)、光学介质(例如，致密盘只读存储器(CD-ROM)或数字多功能光盘(DVD))、磁光介质(例如，光磁盘)、嵌入式存储器等。指令可包括由编译器产生的代码或由解释器可执行的代码。根据本公开的各种实施例的模块或编程模块可包括前述元件之中的一个或更多个元件，忽略前述元件之中的一些元件或还包括附加的其他元件。根据各种实施例的由模块、程序或另一组件执行的操作可被顺序地、并行地、重复地或启发式地执行，或所述操作中的一个或更多个操作可按照不同的顺序被执行或被省略，或一个或更多个操作可被添加。
在此公开的实施例被提供用于对公开的技术事项的描述和理解，并且不意图限制本公开的范围。因此，应解释的是，本公开的范围包括基于本公开的技术精神的任何改变或其他各种实施例。

Claims (15)

1.一种可穿戴电子装置，包括：
至少一个透镜；
光学表面，位于所述至少一个透镜的第一侧；
显示器；
光源，被配置为向位于所述至少一个透镜的第二侧的对象输出光，其中，对象包括穿戴着可穿戴电子装置的用户的眼睛和眼睛的周围区域；
相机，被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光；
至少一个传感器，被配置为检测对象与可穿戴电子装置的固定的内部之间的距离；
存储器，用于存储与面部表情和情绪中的至少一个相关的数据；以及
处理器，被配置为：
至少部分地基于通过相机接收到的光获得关于对象的第一信息，其中，第一信息包括通过所述至少一个传感器检测的从所述固定的内部距对象的第一距离，
基于先前通过所述至少一个传感器检测的第二距离识别第一距离的改变，
获得存储在存储器中的与面部表情和情绪中的至少一个相关的第一数据，
获得包括与相应于第一距离的所述改变的面部表情和情绪中的至少一个相关的第二数据的第二信息，其中，第二数据基于第一数据被识别出，并且
控制显示器显示基于第二信息获得的虚拟图像。
2.如权利要求1所述的可穿戴电子装置，其中，所述处理器，还被配置为：
识别与通过所述相机接收到的光相应的图像，并且
基于识别的图像对所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个进行控制。
3.如权利要求1所述的可穿戴电子装置，还包括：输入/输出接口，被配置为将可穿戴电子装置电连接到设置在可附接到可穿戴电子装置或从可穿戴电子装置可拆卸的移动电子装置中的处理器，
其中，所述处理器还被配置为：
识别与通过所述相机接收到的光相应的图像；并且
基于识别的图像来对所述光源、所述至少一个透镜、所述光学表面和所述相机之中的至少一个进行控制。
4.如权利要求2所述的可穿戴电子装置，其中，所述处理器还被配置为：
控制所述光源向对象照射至少一束红外光；
控制所述相机接收从所述光学表面反射的与照射到对象的所述至少一束红外光相应的至少一束红外光；并且
基于通过所述相机接收到的所述至少一束红外光获得关于对象的信息。
5.如权利要求2所述的可穿戴电子装置，其中，所述处理器还被配置为：
周期性地从所述至少一个传感器接收关于对象与可穿戴电子装置之间的距离的信息；
通过使用接收到的关于距离的信息识别对象的运动；并且
基于识别的对象的运动获得关于对象的信息。
6.如权利要求2所述的可穿戴电子装置，还包括：在可穿戴电子装置的外侧上的至少一个显示器，
其中，所述处理器还被配置为控制所述至少一个显示器显示与通过所述相机接收到的光相应的图像。
7.如权利要求1所述的可穿戴电子装置，其中，所述光源位于对象与所述至少一个透镜之间。
8.如权利要求1所述的可穿戴电子装置，其中，所述光源位于所述光学表面与所述至少一个透镜之间。
9.如权利要求1所述的可穿戴电子装置，其中，所述至少一个透镜位于对象与所述光学表面之间并且包括凸透镜。
10.如权利要求1所述的可穿戴电子装置，其中，对象包括穿戴着可穿戴电子装置的用户的眼睛，并且
其中，所述相机还被配置为基于接收到的光获得对象的图像。
11.如权利要求1所述的可穿戴电子装置，还包括位于所述第一侧的显示器，
其中，所述光学表面位于所述显示器上。
12.如权利要求1所述的可穿戴电子装置，其中，所述光学表面位于设置在可附接到可穿戴电子装置或从可穿戴电子装置可拆卸的移动电子装置中的显示器上。
13.如权利要求1所述的可穿戴电子装置，其中，所述光学表面包括滤光器，所述滤光器被配置为透过可见光并反射红外光。
14.如权利要求1所述的可穿戴电子装置，其中，所述相机包括红外相机，所述红外相机被配置为捕捉从所述光学表面反射的光线之中的红外光。
15.一种通过捕捉眼睛获得信息的方法，所述方法包括：
通过使用可穿戴电子装置至少部分地基于通过相机接收到的光获得关于对象的第一信息，其中，所述可穿戴电子装置包括：
光源、至少一个透镜、位于所述至少一个透镜的第一侧的光学表面，
其中，所述光源被配置为向位于所述至少一个透镜的第二侧的对象输出光，并且所述相机被配置为通过所述至少一个透镜和所述光学表面接收从所述光源输出并由位于所述至少一个透镜的第二侧的对象散射的光，
至少一个传感器，被配置为检测对象与可穿戴电子装置的固定的内部之间的距离，以及
存储器用于存储与面部表情和情绪中的至少一个相关的第一数据，
基于先前通过所述至少一个传感器检测的第二距离识别第一距离的改变；
获得包括与相应于第一距离的所述改变的面部表情和情绪中的至少一个相关的第二数据的第二信息，其中，第二数据基于从存储器获得的第一数据被识别出；并且
在可穿戴电子装置的显示器上显示基于第二信息获得的虚拟图像，
其中，所述对象包括穿戴着可穿戴电子装置的用户的眼睛和眼睛的周围区域。
CN201780068143.8A 2016-11-04 2017-11-03 用于通过捕捉眼睛获得信息的方法和设备 Active CN109890266B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0146959 2016-11-04
KR1020160146959A KR20180050143A (ko) 2016-11-04 2016-11-04 눈을 촬영하여 정보를 획득하는 방법 및 장치
PCT/KR2017/012436 WO2018084649A1 (ko) 2016-11-04 2017-11-03 눈을 촬영하여 정보를 획득하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN109890266A CN109890266A (zh) 2019-06-14
CN109890266B true CN109890266B (zh) 2022-07-12

Family

ID=62076263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068143.8A Active CN109890266B (zh) 2016-11-04 2017-11-03 用于通过捕捉眼睛获得信息的方法和设备

Country Status (5)

Country Link
US (1) US11307646B2 (zh)
EP (1) EP3520681A4 (zh)
KR (1) KR20180050143A (zh)
CN (1) CN109890266B (zh)
WO (1) WO2018084649A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN110742575B (zh) * 2019-10-29 2022-04-15 中国计量大学 一种便携式眼科oct医疗诊断的多功能vr眼镜
US11936963B2 (en) * 2019-11-05 2024-03-19 Nec Corporation Imaging device
US20210406542A1 (en) * 2020-06-30 2021-12-30 Ilteris Canberk Augmented reality eyewear with mood sharing
US20220398302A1 (en) * 2021-06-10 2022-12-15 Trivver, Inc. Secure wearable lens apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963300A (en) * 1998-02-17 1999-10-05 Amt Technologies, Corp. Ocular biometer
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
WO2013138647A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using convergence angle to select among different ui elements

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
KR100749033B1 (ko) * 2004-03-03 2007-08-13 학교법인 한국정보통신학원 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR100949743B1 (ko) * 2009-03-20 2010-03-25 동국대학교 산학협력단 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
BR112015004958A8 (pt) * 2012-09-12 2019-08-13 Sony Corp dispositivo e método de exibição de imagem, e, mídia de gravação legível por computador.
WO2015051660A1 (zh) * 2013-10-13 2015-04-16 北京蚁视科技有限公司 头戴式立体显示器
US9494800B2 (en) * 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
WO2016103525A1 (ja) 2014-12-27 2016-06-30 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
CN105975083B (zh) * 2016-05-27 2019-01-18 北京小鸟看看科技有限公司 一种虚拟现实环境下的视觉校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963300A (en) * 1998-02-17 1999-10-05 Amt Technologies, Corp. Ocular biometer
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
WO2013138647A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using convergence angle to select among different ui elements

Also Published As

Publication number Publication date
US11307646B2 (en) 2022-04-19
KR20180050143A (ko) 2018-05-14
EP3520681A4 (en) 2019-10-09
CN109890266A (zh) 2019-06-14
EP3520681A1 (en) 2019-08-07
WO2018084649A1 (ko) 2018-05-11
US20200050257A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
KR102613731B1 (ko) 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
US10217349B2 (en) Electronic device and method for controlling the electronic device
KR102563619B1 (ko) 병용(combined) 버튼을 가지는 전자 장치 및 전자 장치의 병용 버튼 제어방법
CN109890266B (zh) 用于通过捕捉眼睛获得信息的方法和设备
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN108353161B (zh) 电子设备、可穿戴设备和用于控制通过电子设备显示的对象的方法
US11159782B2 (en) Electronic device and gaze tracking method of electronic device
CN108388390A (zh) 控制指纹传感器的设备和方法
US11079794B2 (en) Electronic device and method of controlling operation of electronic device
KR20180001384A (ko) 생체 센서 및 생체 센서를 포함하는 전자 장치
KR102401932B1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
KR102626304B1 (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
US10456052B2 (en) Electronic device having segmental portion on housing thereof
KR102358849B1 (ko) 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
KR20180022112A (ko) 홍채 센서를 포함하는 전자 장치 및 이의 운용 방법
EP3451213B1 (en) Electronic apparatus and method of transforming content thereof
KR20160039962A (ko) 전자 장치 및 전자 장치의 디스플레이 제어 방법
KR102427843B1 (ko) 전자장치
CN108652594B (zh) 用于测量生物计量信息的电子设备和方法
US20170195830A1 (en) Electronic device and operating method thereof
KR20170052984A (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
KR102356345B1 (ko) 전자 장치 및 그 제어 방법
KR102452065B1 (ko) 카메라의 외부 이물질 흡착 정보를 제공하기 위한 전자 장치 및 방법
KR102323797B1 (ko) 전자 장치 및 그의 정보 공유 방법
US20190332764A1 (en) Electronic device for processing video signal and computer readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant