CN107111863B - 角膜成像的设备和方法 - Google Patents

角膜成像的设备和方法 Download PDF

Info

Publication number
CN107111863B
CN107111863B CN201480083723.0A CN201480083723A CN107111863B CN 107111863 B CN107111863 B CN 107111863B CN 201480083723 A CN201480083723 A CN 201480083723A CN 107111863 B CN107111863 B CN 107111863B
Authority
CN
China
Prior art keywords
reflection
optical transformation
image
cornea
reflective surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083723.0A
Other languages
English (en)
Other versions
CN107111863A (zh
Inventor
马修·约翰·劳伦森
朱利安·查尔斯·诺兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN107111863A publication Critical patent/CN107111863A/zh
Application granted granted Critical
Publication of CN107111863B publication Critical patent/CN107111863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

公开了一种用于角膜成像的设备(100)。该设备包括第一摄像头(121)和处理装置(101)。第一摄像头被配置用于对所述设备的用户(130)的角膜(162)和/或所述用户佩戴的眼镜(170)进行成像。处理装置操作为：从第一摄像头获取第一图像，识别通过角膜的第一反射(163)和/或通过眼镜的反射表面(172)的第二反射(173)，以及确定表示第一反射的第一光学变换和/或表示第二反射的第二光学变换。本发明的实施例通过考虑源自用户佩戴的眼镜的一个或多个反射表面的镜面反射，提供了一种针对用户操作的计算设备，特别是手持式设备(例如移动电话、智能电话、平板电脑、笔记本电脑等)的改进的角膜成像解决方案。还公开了相应的方法、计算机程序和计算机程序产品。

Description

角膜成像的设备和方法
技术领域
本发明涉及用于角膜成像的设备、由设备执行的角膜成像的方法、相应计算机程序以及相应计算机程序产品。
背景技术
使用手持式和其他设备(例如手机、平板电脑、笔记本电脑等)进行角膜成像需要基于角膜成像的界面必须在不同操作条件范围内(包括当由操作该设备的用户佩戴例如各类眼镜、目镜、太阳镜、护目镜或隐形眼镜时)可靠地工作。
角膜成像技术是利用用于对人的角膜(具体地设备用户的角膜)进行成像以收集关于人的前方的信息，以及由于人类眼球的球面性质，收集关于比人的视场更宽的视场中的对象的信息。这种对象可能潜在地在摄像头的视场之外，以及甚至位于摄像头后方。该技术由于人类角膜的高度反射性质以及例如智能电话和平板电脑等设备中高清晰度摄像头的可用性而成为可能。由K.Nishino和S.K.Nayar在ACM SIGGRAPH 2004 Papers(SIGGRAPH′04)，ACM，New York，2004，第704-711页，“Eyes for relighting”中给出了角膜成像系统的特征分析。
可以佩戴眼镜以矫正视力、用于时尚、避免眩光或用于保护，并用从寻求避免表面反射变化到高度反射涂层的一系列表面光洁度、以及镜片的各种曲率来制造。
眼镜(具体地例如处方眼镜或太阳眼镜)的使用可能产生源自用户眼睛的角膜和眼镜二者、或者在眼镜具有高反射光洁度的情况下的单独源自眼镜的附加镜面反射。这可能导致角膜成像系统传递错误的结果。
发明内容
本发明的目的是提供对以上技术和现有技术的改进的替代。
更具体地，本发明的目的是提供一种用于计算设备，并且具体地诸如移动电话、智能电话、平板电脑、膝上型计算机之类的手持设备的改进的角膜成像解决方案。
如独立权利要求所定义的，通过本发明的不同方面来实现本发明的这些目的和其他目的。从属权利要求表征本发明的实施例。
根据本发明的第一方案，提供了一种用于角膜成像的设备。该设备包括第一摄像头和处理装置。第一摄像头被配置用于对设备的用户的角膜、用户佩戴的眼镜或二者进行成像。处理装置操作为：从第一摄像头获取第一图像，识别通过角膜的第一反射和/或通过眼镜的反射表面的第二反射，以及确定表示第一反射的第一光学变换和/或表示第二反射的第二光学变换。处理装置操作为：通过分析第一图像(即通过图像处理)来识别第一反射和/或第二反射。
根据本发明的第二方案，提供了一种用于角膜成像的方法。该方法由设备执行并包括从第一摄像头获取第一图像。第一摄像头被配置用于对没备的用户的角膜、用户佩戴的眼镜或二者进行成像。该方法还包括：识别通过角膜的第一反射和/或通过眼镜的反射表面的第二反射，以及确定表示第一反射的第一光学变换和/或表示第二反射的第二光学变换。通过分析第一图像(即通过图像处理)来识别第一反射和/或第二反射。
根据本发明的第三方案，提供了一种计算机程序。计算机程序包括计算机可执行指令，计算机可执行指令当在设备中包括的处理单元上执行时，使得设备执行根据本发明的第二方案的实施例的方法。
根据发明的第四方案，提供了一种计算机程序产品。计算机程序产品包括计算机可读存储介质，计算机可读存储介质具体化有根据本发明第三方案的计算机程序。
本发明利用以下理解：可以通过考虑由用户佩戴的眼镜的镜面反射，实现用于用户操作的计算设备(具体地诸如移动电话、智能电话、平板电脑、膝上型计算机等手持设备)的改进的角膜成像解决方案。这种反射可以来自眼镜的一个或多个反射表面，例如眼镜镜片的表面。镜面反射是源自这种反射表面的光的类镜反射。在一些情况下，如果眼镜具有高度反射的表面涂层，例如某些类型的太阳眼镜，来自眼镜的反射可能是由角膜成像界面检测到的仅有反射，通过角膜的反射被来自眼镜和暗色眼镜的反射遮蔽。
通常，眼镜由佩戴在用户眼睛上或上方的物品和配件组成，用于时尚或装饰、保护免受环境影响、或提高或增强视敏度。眼镜的常见形式包括镜(glasses)(也称为眼镜(eyeglasses)或目镜(spectacles))、太阳镜和隐形眼镜，还可包括其他形式的眼睛保护(例如护目镜)。
已知的角膜成像系统不能识别由用户佩戴的眼镜引起的反射，并且不能对来自用户的角膜和眼镜二者的得到的多个镜面反射进行校正，导致错误结果。
本公开提供了一种解决方案，通过该解决方案对在用户的角膜和成像设备(例如具备被配置用于对设备的用户的角膜和/或用户佩戴的眼镜进行成像的前置摄像头的智能电话)之间引入的附加反射表面进行识别和表征，使得来自角膜和/或眼镜的镜面反射图像可以单独使用或一起使用。
通过识别由第一摄像头(例如设备具有的前置摄像头)捕获的第一图像中的一个或多个反射，可以导出表示离开用户角膜或由用户佩戴的眼镜的反射的光学变换。贯穿本公开，来自用户的眼睛的角膜的反射被称为第一反射，而来自眼镜的反射表面的反射被称为第二反射。应当理解，某些类型的眼镜(尤其是具有厚镜片的眼镜)可能会产生多于一个的反射，但为了简单，以下假设在第一图像中这些反射中仅有一个是显著的。可以容易地预想考虑来自眼镜的多个反射的本发明的实施例。
在本上下文中，光学变换是将角膜的视场内、或眼镜的视场内场景的对象的图像变换成由第一摄像头捕获的反射的变换。由于人类角膜的反射表面以及眼镜的常见形式的非平面几何形状，反射图像被失真到被反射表面的曲率所限制的程度。
如下文进一步阐述的，针对所识别的反射中的每一个，可以基于多个备选导出描述反射的光学变换。导出的光学变换可以随后用于校正角膜图像，或用于从角膜图像提取的校正信息，例如与角膜图像中捕获的场景有关的几何信息。在本公开内容中，角膜成像的概念应被理解为包括捕获不仅来自用户角膜的、以及来自用户佩戴的眼镜的反射的图像。
作为导出表示来自用户角膜或用户佩戴眼镜的反射的一个或多个光学变换的备选或补充，本发明的实施例可以导出引起反射的反射表面的几何模型。对于成人角膜，例如，其反射表面的几何形状可以由具有在人与人之间变化不大的参数的椭圆来近似。然而，对于以变化的反射表面(例如镜片)的曲率制造的眼镜来说，情况是不同的。
本发明的实施例的优点在于：它们与基于不考虑由用户佩戴的眼镜的附加反射的角膜成像常规设备相比更可靠。
根据本发明的实施例，确定描述第一光学变换和/或第二光学变换的信息。描述第一光学变换和/或第二光学变换的信息可以例如包括角膜的第一曲率和/或眼镜的反射表面的第二曲率。对于任意反射表面，曲率通常是非标量，其可以例如由诸如标量曲率或半径和偏心率之类的各种参数来表示。备选地，信息可以例如是第一和/或第二光学变换的合适的数学描述，并且可以基于一个或多个几何参数或一个或多个矩阵。确定描述第一光学变换和/或第二光学变换的信息是有利的，因为其随后可用于校正角膜图像或从角膜图像提取的信息，例如与角膜图像中捕获的场景有关的几何信息。可选地，可以将信息提供给在设备上执行的应用，例如利用角膜成像的应用。
根据本发明的实施例，第一光学变换是表示由人类角膜反射的通用光学变换。也就是说，可以根据人类角膜的已知几何特征(其至少对于成人来说差异不大)导出第一光学变换，而不是基于图像分析确定第一光学变换。有利地，如本文所述，所确定的第一光学变换可用于确定第二光学变换。
根据本发明的实施例，基于眼镜的标识(例如，品牌和型号)，从数据库检索描述第二光学变换的信息。有利地，描述第二光学变换的信息从可以向设备配备的、或设备外部的数据库获取。在后一情况下，设备可以经由通信网络(例如，无线电接入网络和/或互联网)询问数据库。备选地，还可以设想检索第二光学变换或眼镜的反射表面的几何模型的实施例，而不是检索描述第二光学变换的信息。有利地，如本文中所描述的，所确定的第二光学变换可用于确定第一光学变换。
根据本发明的另一实施例，可以通过识别在第一反射和/或第二反射中设备的反射，并基于设备的形状确定第一光学变换和/或第二光学变换，来确定第一光学变换和/或第二光学变换。该实施例允许基于设备的形状分别确定第一和第二光学变换中的任一个。这是通过以下方式实现的：识别第一图像中的设备的反射(来自角膜的第一反射或来自眼镜的第二反射)，并导出第一或第二光学变换作为将设备的已知形状(典型地接近已知维度的矩形)变换为所捕获的设备的反射的失真形状的光学变换。可选地，设备还包括操作为设备的输出设备的屏幕，并且设备的反射是屏幕的反射。通常，屏幕设置在与第一摄像头相同的面上。基于屏幕的反射来确定第一和/或第二光学变换是有利的，因为屏幕的反射是显著且易于识别的。
根据本发明的实施例，通过以下步骤确定第一光学变换和/或第二光学变换：确定第一光学变换和第二光学变换之一，识别在第一反射和第二反射中均可见的至少一个对象，确定第一反射中的至少一个对象与第二反射中的至少一个对象之间的第三光学变换，以及基于所确定的光学变换和第三光学变换，来确定第一光学变换和第二光学变换中的另一光学变换。如果在两个反射(即在第一反射和第二反射)中均捕获到场景的对象，该实施例是有利的。它是基于以下理解：如果第一光学变换或第二光学变换之一已知、或可以由本文公开的备选之一确定，待确定的另一个光学变换可以基于光学变换来确定，该光学变换将在第一反射中捕获的对象变换为第二反射中捕获的对象，或反过来。如果第一反射和第二反射在所捕获的第一图像中均是显著的并且可以被分离，则可以有利地使用该解决方案，使得可以导出在第一反射中的对象与第二反射中的对象之间的光学变换(称为第三光学反射)。应当理解，第三光学变换不表示来自真实反射表面的反射，而是对离开角膜和眼镜的反射之间的差异进行描述和量化的手段。
根据本发明的实施例，该设备还包括具有与第一摄像头的视场基本相反的视场的第二摄像头。这种摄像头通常设置在与包括屏幕的面相反的设备的面上，并经常被称为后置摄像头。通过以下步骤确定第一光学变换和/或第二光学变换：从第二摄像头获取第二图像，识别在第一图像和第二图像中均存在的至少一个对象，确定第一图像中的至少一个对象与第二图像中的至少一个对象之间的第四光学变换，以及基于第四光学变换确定第一光学变换和/或第二光学变换。该实施例基于以下理解：由后置摄像头捕获的第二图像不会经受由于来自角膜或眼镜的反射而导致的失真。因此，通过在第一图像中捕获的对象与在第二图像中捕获的相同对象之间建立光学变换(这里称为第四光学变换)，可以确定第一光学变换或第二光学变换。该实施例在以下情况下是有利的：设备对齐以通过第一摄像头经由角膜和/或眼镜的反射捕获、并通过第二摄像头以直接方式(即，不涉及反射)捕获相同对象。
根据本发明的实施例，提供第一反射的图像、第二反射的图像或二者。也就是说，为了使用该信息进行角膜成像目的，可以替代地或附加地将第一和/或第二反射的图像提供给在没备上执行的应用，而不是向该应用提供描述第一和/或第二光学变换的信息。可选地，可以基于第一光学变换和/或第二光学变换来分别校正第一反射的图像和/或第二反射的图像，以反转(reverse)来自非平面表面(例如角膜或眼镜)的反射施加的失真。
根据本发明的实施例，提供第一反射和第二反射的组合图像。也就是说，提供作为第一反射的校正图像和第二反射的校正图像的组合的图像，而不是仅提供第一反射和第二反射中的一个图像或两个分离的图像。将对图像进行校正理解为执行作为第一光学变换或第二光学变换的逆变换的光学变换，由此对离开非平面表面的反射所引起的失真进行反转。这是有利的，因为可以获得提高质量的图像。
根据本发明的实施例，针对第一反射的图像和第二反射的图像中的每一个，确定与反射的图像的要求相关联的一个或多个度量，并基于所确定的一个或多个度量选择提供的图像。这些度量可以例如涉及图像质量、图像分辨率、某一对象(诸如设备的屏幕)的可视性或存在等中的任何一个或其组合。有利地，可以基于所确定的度量，选择第一和第二反射的图像之一用于角膜成像应用的后续使用。由此，向应用提供捕获某一对象的足够的质量、分辨率等的图像。
根据本发明的实施例，设备还包括操作为设备的输出设备的屏幕并在屏幕上显示图形内容，以使用户相对于用户的头移动设备。在某些情况下，第一图像(并且也可以是第二图像)可能具有较差的质量，或可能不能捕获所需对象(即，针对执行角膜成像的目的需要捕获的对象)。例如，用户可能握住设备使得所需对象(例如屏幕)的反射未被第一摄像头捕获。通过在屏幕上显示内容以触发用户移动他/她的头和/或设备，可以实现允许捕获具有改进属性图像的设备相对于用户头的方位。这可以例如通过显示模糊的图形内容或减小显示的图形内容(例如文本)的大小来实现，以触发用户将设备移动到更接近他/她的眼睛。
尽管已经在一些情况下参照本发明的第一方面描述了本发明的优点，相应的理由还适用于本发明的其他方面的实施例。
当研读以下的详细公开、附图和所附的权利要求时，本发明的附加目的、特征和优点将变得显而易见。本领域技术人员意识到可以组合本发明的不同特征，来创建除以下描述的实施例以外的实施例。
附图说明
参照附图，将通过以下对本发明的实施例的说明性且非限制性的详细描述来更好地理解本发明的以上加目的、特征和益处和附加目的、特征和益处，其中：
图1a和1b示出了根据本发明的实施例的用于角膜成像的设备。
图2a和2b示出了根据本发明的另一个实施例的用于角膜成像的设备。
图3示出了根据本发明的实施例的用于角膜成像的设备的处理单元。
图4示出了根据本发明的实施例的角膜成像方法。
图5示出了根据本发明的另一实施例的用于角膜成像设备的处理单元。
所有的附图不一定按比例绘制，并且通常只示出了必要的部分，以便对本发明进行解释，其中可以省略或仅仅介绍其它部分。
具体实施方式
以下将参照附图更全面地描述本发明，附图中示出了本发明的特定实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。相反，通过示例的方式给出这些实施例，使得本公开将是透彻和完整的，并且向本领域技术人员充分地传达本发明的范围。
在图1a中示出了根据本发明实施例的设备100。设备100(在图1a中示为智能电话)包括处理装置101、屏幕110和第一摄像头121。屏幕110操作为设备100的输出设备，即用于显示例如用户界面元素(例如图片、文本)的图形内容、用于输入或编辑文本的域(例如文本域111)、统一资源定位符(URL)或其他链接、虚拟按钮或按键(例如虚拟键盘112)等。屏幕110和其上显示的图形对象由处理装置101(例如在处理装置101上执行的操作系统或应用)控制。如本领域中已知的，屏幕110可以是传统的非触摸屏类型屏幕或触摸屏。设备100被示为由用户130操作，并且可以是适用于角膜成像的任何类型的计算设备，例如移动电话、智能电话、平板电脑、膝上型计算机等。
贯穿本公开，设备的用户被理解为能够操作该设备(例如，握住该设备、坐在该设备放置在其上的桌子的前面、或坐在握住该设备的人旁边的人)。还应理解，用户可以例如通过触摸在设备的触摸屏上显示的用户界面元素来控制设备和/或输入信息。
第一摄像头121具有朝向与屏幕110的观看方向相同的方向的视场。第一摄像头121和屏幕110优选地设置在设备100的相同面上，即摄像头121是前置摄像头。可选地，设备100可以包括多个前置摄像头，并且还包括在与设置有屏幕110和摄像头121的面相反的设备100的面上的后置摄像头122。
前置摄像头121被配置用于对设备100的用户130的眼睛160的角膜162和/或由用户130佩戴的眼镜170(在图1a中示为眼镜170)进行成像。通常，眼镜由佩戴在眼睛上或上方的物品和配件组成，用于时尚或装饰、保护免受环境影响、以及提高或增强视敏度。在本上下文中，眼镜可以包括常见形式的眼镜，例如镜(也称为眼镜或目镜)、太阳镜和隐形眼镜，以及更多保护眼睛的使用形式(例如护目镜)。
参考图1b，示出了用户130的眼睛160和用户130佩戴的眼镜170的放大视图，设备100的处理装置101操作为从前置摄像头121获取第一图像，识别通过角膜162的第一反射163、以及附加地或备选地通过眼镜170的反射表面172的第二反射173。如本领域已知的，通过分析第一图像(即通过图像处理)来识别第一反射163和/或第二反射173。
用于分离第一反射163和第二反射173的图像处理算法可以例如基于视差效应。由于角膜162和镜片172与前置摄像头121的距离不同，因为角膜162可能远离前置摄像头121，任何横向运动将因为镜片172可能更靠近前置摄像头121而导致与第一反射163相比的第二反射173的更大位移。通过跟踪对象(例如完整的对象、部分对象或颜色部分)的运动，因为第一摄像头121和角膜162或镜片172的相对横向位置偏移，可以将这些对象确定为属于第一反射163或第二次反射173。应当理解，相对位置的横向偏移可能是由于用户130的手和/或头的自然移动，或者是通过在屏幕110上显示视觉刺激、修改屏幕110上显示的图形内容或者通过诱导用户130移动和/或旋转设备100的触觉提示而导致的。相对位置的这种偏移也可以用于捕获镜片172的多个图像，并且随后将这些多个图像组合为3D图像，可以根据该3D图像导出镜片172的几何模型或曲率。
第一图像中的第一反射163和/或第二反射173的偏移也可以通过如ACMTransactions on Graphics(Proc.SIGGRAPH 2012)，2012，第31卷H.Wu，Rubinstein，E.Shih，J.Guttag，F.Durand和WT Freeman，“Eulerian Video Magnification forRevealing Subtle Changes in the World”，中描述的欧拉视频放大来检测。
此外，在前置摄像头121能够聚焦第一图像后捕获的情况下，可以调整第一图像，使得第一反射163和第二反射173可以在分开的时间聚焦，从而便于分别识别第一图像中的第一反射163和第二反射173。
关于源自用户130的角膜162的第一反射163，注意到光主要由人眼的角膜反射，并且与围绕虹膜的白色巩膜相比，更容易检测虹膜的暗区域中的反射。角膜成像的技术可以通过人类眼球的球面性质成为可能，人类眼球的球面性质允许收集关于可以比用户130的观看视场更宽的视场161中的对象的信息。角膜成像可以例如用于捕获用户130的周围环境的图像或用于提供基于触摸的用户界面，其利用前置摄像头121捕获设备100的自上而下视图，并且特别是触摸屏幕110的手指151和显示的用户界面元素。通过分析设备100和手指151的图像捕获反射，可以推断出关于用户130使用他的/她的手指151与设备100交互的信息。例如，如本领域中已知的，附加或代替于检测触摸屏110的触摸位置，设备100可被配置用于预测用户130意图用手指151触摸屏幕110上显示的哪个用户界面元素。
基于角膜成像的用户界面和其他解决方案可能经受来自用户130佩戴的眼镜170的镜面反射。图1b所示的第二反射173可以源自眼镜170的反射表面，例如眼镜170的镜片172的外表面或隐形眼镜的外表面。通常，可以从眼镜170(例如，从镜片172的两个表面)产生多个反射。为了简单，这里假设在从摄像头121获取的第一图像中这些多个反射中仅有一个是显著的。来自眼镜170的在第一图像中显著的反射的数量还可以取决于眼镜的类型和施加到眼镜上的任何表面涂层，例如太阳镜流行的反射涂层或经常被施加到用于提高视敏度的镜片的抗反射涂层。
还将理解，第一反射163和第二反射173中仅有一个在第一图像中会是显著的。例如，如果镜片172设置有抗反射涂层，则仅第一反射163在第一图像中会是显著的，而如果镜片172设置有高度反射涂层，则仅第二反射173在第一图像中会是显著的。
处理装置101还操作为：确定表示第一反射163的第一光学变换和(附加地或备选地)表示第二反射173的第二光学变换。在本上下文中，光学变换被理解为描述将环境(例如，用户130的周围的一个或多个对象)映射到第一摄像头121的图像平面中的变换。该映射取决于反射表面(分别地，角膜162或眼镜170的反射表面172)的几何形状，及其相对于第一摄像头121的姿态。这种光学变换可以用数学项(例如，使用矩阵符号)表示。例如，如果P表示由第一摄像头121捕获的未失真图像(即，已经经历了通过在角膜162的位置处的虚构平面反射表面的反射的用户130的周围的图像)，可以由矩阵T1(第一光学变换)描述针对通过角膜162而不是该虚构平面反射表面的反射施加在P上的失真，使得
P′1＝T1·P (1)，
其中P′1表示第一反射163的图像。
相应地，第二光学变换T2可以被定义为
P′2＝T2·P (2)，
其中P′2表示第一摄像头121捕获的第二反射173的图像。T2描述了针对通过镜片172而不是虚拟平面反射表面的反射施加在P上的失真，P已经经历了通过在镜片172的位置处的虚拟平面反射表面的反射。
通常，第一摄像头121捕获的第一图像可以包括反射P′1和P′2，但取决于眼镜170的反射表面172的反射属性，反射中的一个可能更显著。注意，由于第一摄像头121的视场，分别由P′1和P′2表示的第一反射163和第二反射173典型地仅构成第一图像的一小部分。
由第一摄像头121拍摄的第一图像典型地是位图或像素图，即携带强度和/或颜色信息的二维像素阵列。因此，分别由P′1和P′2表示的第一反射163和第二反射173中的每一个构成表示第一图像的位图或像素图的一部分。如本领域已知的，可以通过对第一图像进行图像处理来识别这些部分。例如，可以通过首先识别用户130的面部，并随后识别由用户130佩戴的眼镜170和/或用户130的眼睛160或角膜162，在第一图像中识别第一反射163和/或第二反射173。可以可选地例如通过剪切第一图像以供进一步处理来从第一图像中提取所识别的第一反射163和/或第二反射173。
处理装置101还操作为确定描述第一光学变换和/或第二光学变换的信息。该信息可以例如包括分别描述通过离开角膜162或反射表面172而不是虚构平面反射表面的反射所施加的失真的矩阵T1和/或T2。备选地，描述第一和/或第二光学变换的信息也可以描述角膜162和/或反射表面172的几何形状。这种信息可以例如基于由矩阵T1和T2表示的第一和第二光学变换导出。例如，描述第一光学变换和/或第二光学变换的信息可以包括角膜的第一曲率和/或眼镜的反射表面的第二曲率。可选地，如果角膜或眼镜的反射表面可以通过椭圆近似，该信息可另外包括偏心率。作为另一附加备选，该信息可以基于描述角膜162或反射表面172的反射表面的几何形状的矩阵符号。
在下文中，描述了根据本发明实施例的用于确定第一光学变换和/或第二光学变换的解决方案。
例如，本发明的实施例可以使用表示通过人类角膜的反射的通用光学变换作为表示通过角膜162的反射的第一光学变换T1。如下文进一步描述的，随后可以使用第一光学变换来确定表示眼镜170的反射表面172的反射的第二光学变换T2。使用通用光学变换在减少与图像处理相关联的资源使用方面是有利的。这是基于以下理解：对于成人类角膜可以利用具有在人与人之间变化不大的参数的椭圆来建模。描述通用光学变换的信息可以基于与由等式(1)定义的T1相对应的矩阵符号，或者可以包括描述被用于近似成人类角膜的椭圆的参数，例如半径、曲率、偏心率等。
根据本发明的实施例，处理装置101还可操作为：基于眼镜的标识，从数据库中检索描述第二光学变换T2的信息。数据库可以在设备100中提供，或可通过通信网络由设备100访问。例如，设备100可以被配置为通过如下面参照图3和5进一步描述的诸如蜂窝移动网络或无线局域网(WLAN)之类的无线电接入网络(RAN)和互联网来访问数据库。描述第二光学变换的信息通过询问数据库(即通过发送包括识别眼镜170的品牌和型号的信息的请求)获得。这可以例如通过以下方式实现：通过对第一图像进行图像处理并用请求发送品牌和型号，来标识眼镜的品牌和型号。备选地，可以与请求一起发送捕获眼镜170或至少眼镜170的特征的第一图像或第一图像的裁剪部分。可选地，可以在发送请求之前对第一图像或第一图像的裁剪部分进行处理，例如以缩小图像的尺寸。如下文进一步描述的，随后可以将第二光学变换用于确定表示通过角膜162的反射的第一光学变换T1。
作为另一附加备选，处理装置101可以通过识别分别如由P1′和P2′表示的第一反射163或第二反射173中设备100的反射，并基于设备100的形状确定第一光学变换T1和/或第二光学变换T2，以确定第一光学变换或第二光学变换，或二者。这是有利的，因为光学变换T1和T2中的任何一个都可以独立于彼此来确定，并且不依赖于识别眼镜和从数据库中查询信息，也不依赖于人类角膜的通用光学变换。为此，处理装置操作为识别设备100或诸如其屏幕110的设备100的任何特征，以及基于在第一图像中捕获的第一163和/或第二反射173以及设备100或屏幕110的已知形状来确定第一和/或第二光学变换。利用屏幕110是尤其有利的，因为它典型地具有在第一图像中清晰可见的矩形区域。
根据本发明的实施例，处理装置101可以操作以确定光学变换中的一个，即第一光学变换T1或第二光学变换T2。处理装置101还操作为识别在如P′1和P′2表示的第一反射163和第二反射173中均可见的至少一个对象，并且确定第一反射中的至少一个对象和第二反射173中的至少一个对象之间的第三光学反射T3，例如，
P′2＝T3·P′1 (3)
处理装置101还操作为基于已经确定的光学变换和第三光学变换来确定第一光学变换和第二光学变换中的另一光学变换(即待确定的光学变换)。
例如，如果根据本文所述的解决方案之一(例如，对于成人角膜使用通用光学变换)首先确定第一光学变换T1，可以确定第二光学变换T2，因为，组合等式(2)和(3)，
P′2＝T3·T1·P (4)，
它遵从
T2＝T3·T1 (5)。
相应地，如果例如通过从数据库检索描述第二光学变换的信息首先确定第二光学变换T2，可以将第一光学变换T1确定为
T1＝T3 -1·T2 (6)，
其中T3 -1是T3的逆变换。
因此，如果已知光学变换中的一个，可以基于在第一反射163和第二反射173二者中均捕获到的一个或多个对象来确立另一光学变换。
在下文中，参考示出了侧视图的图2a来描述设备100的另一实施例。
除了上面已经描述的内容之外，设备100还可以包括具有与第一摄像头121的视场122基本相反的视场124的第二摄像头122，通常称为后置摄像头。此外，处理装置101操作为：通过从第二摄像头122获取第二图像并识别在第一图像210和第二图像220中均存在的至少一个对象201(在图2a中示为在用户130前面的墙上的画；为了清楚未以透视图示出画201)来确定第一光学变换T1或第二光学变换T2、或二者。这在图2b中示出，图2b示出了由前置摄像头121捕获的第一图像210，其包含由于角膜162或反射表面172的反射而导致的对象201的失真反射211，以及由后置摄像头121捕获的第二图像220，其呈现对象201的未失真图像221。注意，取决于确定第一光学变换T1还是第二光学变换T2，反射211可以是第一反射163或第二反射173。
处理装置101还操作为：确定第一图像中的至少一个对象(图2b中的211)与第二图像中的至少一个对象(图2b中的221)之间的第四光学变换T4，并基于第四光学变换T4确定第一光学变换T1和/或第二光学变换T2。更具体地，如果在第二图像220中呈现的对象201由P′4(图2b中的221)表示，它遵从
P′4＝P (7)，
因为由后置摄像头122捕获的对象201的图像P′4221没有经受由来自非平面表面的反射引起的任何失真。因此，可以基于等式(1)根据下式确立第一光学变换T1
P′1＝T1·P′4 (8)。
相应地，可以基于等式(2)根据下式确立第二光学变换T2
P′2＝T2·P′4 (9)。
通过利用由后置摄像头122捕获的图像来确定第一和/或第二光学变换是有利的，因为：这些图像不会由于来自诸如角膜162或反射表面172(例如镜片)的非平面表面的反射而经受失真。具体地，可以将第一光学变换T1确立为将P′4变换为P′1的光学变换，并且第二光学变换T2可以被确立为将P′4变换为P′2的光学变换。注意，可以彼此独立地确立第一光学变换和第二光学变换。
可选地，处理装置101还操作以向在设备100(例如在处理装置101上)上执行的应用提供描述第一光学变换和/或第二光学变换的信息。具体地，这可以是利用角膜成像的应用。因此，应用可以以改进的方式执行其基于角膜成像的任务。例如，用于利用角膜成像捕获用户130的环境的图像的应用可以使用描述第一光学变换和/或第二光学变换的信息来处理由前置摄像头121获取的第一图像，以校正由角膜162或反射表面172的反射所施加的失真，得到改进的图像。
用于校正由角膜162反射施加的失真(即用于重构通过角膜成像捕获的场景)的方法在International Journal of Computer Vision，2006，第70卷第23-40页K.Nishino和S.K.Nayar的“Corneal Imaging System：Environment from the Eyes”以及IPSJTransactions on Computer Vision and Applications，2013，第5卷，第1-18页C.Nitschke，A.Nakazawa和H.Takemura，“Corneal Imaging Revisited：An Overview ofCorneal Reflection Analysis and Applications”中描述。应当理解，也可以采用相应的修改来应用这种方法，以校正由离开镜片172的反射所施加的失真。
可选地，处理装置101还操作以提供第一反射163的图像(即包含P′1的图像)和/或第二反射173的图像(即包含P′2的图像)。例如，应用可以结合描述第一光学变换的信息和/或第二光学变换的信息，基于第一反射163的图像和/或第二反射173的图像来生成第一反射163和/或第二反射173的校正图像。该应用可以例如是用于利用角膜成像捕获用户130的环境的图像的应用。还将理解，处理装置101可还操作为：基于第一光学变换T1和/或第二光学变换T2，分别校正第一反射163的图像(即，包含P′1的图像)和/或第二反射173的图像P′2。因此，操作设备100的实施例可操作以基于等式(1)和(2)来校正反射163和173的图像，得到校正后的图像表示P，而不是提供通过来自非平面表面(例如角膜162或反射表面172)的反射而至少部分地失真的用户130环境的图像。更具体地，可以如下获得第一反射163的校正后的图像
P1＝T1 -1·P′1 (10)，
并且可以相应地如下获得第二反射173的校正后的图像
P2＝T2 -1·P′2 (11)。
注意，如果在第一图像中捕获第一反射163和第二反射173二者，则可以针对它们中的每一个导出校正后的图像。两个校正图像P1和P2可以例如在质量方面、以及关于它们捕获的用户130环境的哪个部分而有所不同，这归因于相应地第一摄像头121和角膜162(即，P′1)、以及第一摄像头121和反射表面172(即，P′2)的组合的不同视场。
进一步可选地，处理装置101操作为提供第一反射163和第二反射173的组合图像。这可以通过首先校正第一反射163和第二反射173的捕获图像P′1和P′2，以及随后对校正的图像P1和P2进行组合或重叠来实现。有利地，与两个校正图像P1和P2相比，组合图像可以具有更好的质量。
处理装置101可以可选地还操作为：针对第一反射的图像和第二反射的图像中的每一个，确定与对反射的图像的要求相关联的一个或多个度量。可以针对捕获的图像P′1和P′2或针对校正图像P1和P2执行确定。度量可以涉及图像质量、图像分辨率、图像中某一对象(例如屏幕110)的可视性中等的任何一个。处理装置101还操作为基于所确定的度量或所确定的度量的组合来选择用于进一步使用或处理的图像。例如，如上所述，设备100的实施例可操作为：从最适合于基于设备100或屏幕110的已知形状确立光学变换T1和T2之一的捕获的图像P′1和P′2中选择图像。
可选地，处理装置101可操作为：将上述图像中的一个或多个(即P1，P2，P′1，P′2中的一个或多个)和组合图像提供给在设备上执行的应用，并且具体地是基于角膜成像的应用。
设备100的实施例包括操作为设备100的输出设备的屏幕110，处理装置101还可操作为在屏幕110上显示图形内容，以使用户130相对于用户130的头移动设备100。这可以例如通过减小显示的图形内容的大小或通过显示模糊的图形内容，使得迫使用户130将设备100移动更接近他/她的眼睛160来实现。这是有利的，因为例如响应于确定与反射图像的要求相关联的所确定的度量中的一个或多个不满足由角膜成像应用施加的要求，可以改进由前置摄像头121拍摄的图像。例如，如果需要设备100或屏幕110的反射的图像来确立第一和/或第二光学变换，由前置摄像头121捕获的第一图像的要求可以与第一图像上设备100或屏幕110的可见性或存在相关。如果确定所捕获的第一图像不满足这种要求(即，设备100或屏幕110不可见)，可以在屏幕110上显示图形内容，以使用户130移动设备100从而改善由前置摄像头121拍摄的反射中的设备100或屏幕110的可见性。
以下，参考图3描述处理装置101的实施例300。处理装置300包括处理器301(例如通用处理器或数字信号处理器(DPS))、包含指令(即计算机程序303)的存储器302、和一个或多个接口304(图3中的“I/O”)用于从屏幕110、第一(前置)摄像头121和可选的第二(后置)摄像头122接收信息并对其进行控制。计算机程序303可由处理器301执行，通过处理器301设备100操作为根据以上参照图1和图2描述的本发明的实施例执行。处理装置300还可以包括网络接口306，其可操作用于访问数据库310，数据库510存储描述针对不同类型、品牌和型号的眼镜的第二光学变换的信息。处理装置300可以通过向数据库310发送包括识别眼镜的信息(例如眼镜的品牌和型号)或从第一摄像头121(并且第一摄像头121拍摄眼镜)捕获的图像的请求，来检索描述特定眼镜(例如图1和图2所示的眼镜170)的第二光学变换的信息。备选地，本发明的实施例可以从设备100配备的本地数据库(例如存储器302中存储的数据库305)检索这种信息，而不是从外部数据库310中检索描述特定眼镜的第二光学变换的信息。
在图4中，示出了说明由诸如移动电话、智能电话、平板电脑、笔记本电脑等的设备执行的角膜成像方法的实施例400的流程图。方法400包括从配置用于对设备的用户的角膜、用户佩戴的眼镜或二者进行成像的第一摄像头获取401第一图像，以及识别402通过角膜的第一反射、由眼镜的反射表面的第二反射或二者。眼镜可以是例如各类眼镜、目镜、太阳镜、护目镜或隐形眼镜。通过分析第一图像(即通过图像处理)来识别第一反射和/或第二反射。如先前参考图1和图2所述，方法400还包括确定403表示第一反射的第一光学变换、表示第二反射的第二光学变换或二者。
例如，确定403第一光学变换和/或第二光学变换可以包括：识别在第一反射和/或第二反射中设备的反射，并基于设备的形状确定第一光学变换和/或第二光学变换。设备的反射可以是例如设备屏幕的反射。
作为附加示例，确定403第一光学变换和/或第二光学变换可以包括：确定第一光学变换和第二光学变换之一，识别在第一反射和第二反射中均可见的至少一个对象，确定第一反射中的至少一个对象与第二反射中的至少一个对象之间的第三光学变换，以及基于所确定的光学变换和第三光学变换，确定第一光学变换和第二光学变换中的另一光学变换。
作为另一附加示例，确定403第一光学变换和/或第二光学变换可以包括：从具有与第一摄像头的视场基本相反的视场的第二摄像头获取第二图像，识别在第一图像和第二图像中均存在的至少一个对象，确定第一图像中的至少一个对象与第二图像中的至少一个对象之间的第四光学变换，以及基于第四光学变换确定第一光学变换和/或第二光学变换。
可选地，方法400还可以包括确定404描述第一光学变换、第二光学变换或二者的信息。例如，可以基于眼镜的标识从数据库中检索405描述第二光学变换的信息。
可选地，方法400还可以包括：针对第一反射的图像和第二反射的图像中的每一个，确定406与对反射的图像的要求相关联的一个或多个度量，以及基于所确定的一个或多个度量来选择407第一反射的图像和第二反射的图像。
可选地，方法400还可以包括将描述第一光学变换和/或第二光学变换的信息或第一反射和/或第二反射的一个或多个图像提供408给正在设备上执行的应用。可以可选地分别基于第一光学变换和/或第二光学变换校正第一反射的图像和/或第二反射的图像，以及可选地进行组合。
可选地，方法400还可以包括在操作为设备的输出设备的屏幕上显示409图形内容，以使用户相对于用户的头移动设备。
将要理解的是，方法400可以包括根据上文描述的内容的附加步骤或修改步骤。方法400的实施例可以实现为软件，例如计算机程序303，软件将被设备(例如参照图3描述的处理器301)中包括的处理器执行，从而设备操作为根据本发明的实施例来执行。
在图5中，示出了处理装置101的备选实施例500。处理装置500包括一个或多个接口模块507(图7中的“I/O”)，用于从屏幕110、第一(前置)摄像头121和可选的第二(后置)摄像头122接收信息并控制屏幕110、第一(前置)摄像头121和可选的第二(后置)摄像头122。处理装置500还包括：被配置为从第一摄像头121获取第一图像的图像获取模块501、被配置为通过分析第一图像识别由角膜的第一反射和/或通过眼镜的反射表面的第二反射的图像分析模块502、以及被配置为确定表示第一反射的第一光学变换和/或表示第二反射的第二光学变换的光学变换模块503。
光学变换模块503还可以被配置用于确定描述第一光学变换和/或第二光学变换的信息。
处理装置500还可以包括网络接口506，其可操作用于访问数据库510，数据库510存储描述针对不同类型、品牌和型号的眼镜存储第二光学变换的信息。光学变换模块503可以通过向数据库510发送包括识别眼镜的信息(例如眼镜的品牌和型号)或从第一摄像头121(并且第一摄像头121捕获眼镜)捕获的图像的一部分的请求，来检索描述特定眼镜(例如图1和图2所示的眼镜170)的第二光学变换的信息。备选地，本发明的实施例可以从设备100(图5中未示出)配备的数据库模块中检索这种信息，而不是从外部数据库510检索描述特定眼镜的第二光学变换的信息。
作为示例，图像分析模块502和光学变换模块503可以被配置为：分别通过识别在第一反射和/或第二反射中设备的反射，并基于设备的形状确定第一光学变换和/或第二光学变换，来确定第一光学变换和/或第二光学变换。设备的反射可以是屏幕的反射。
作为附加示例，图像分析模块502和光学变换模块503可以被配置为通过以下步骤来确定第一光学变换和/或第二光学变换：通过确定第一光学变换和第二光学变换之一，识别在第一反射和第二反射中均可见的至少一个对象，确定第一反射中的至少一个对象与第二反射中的至少一个对象之间的第三光学变换，以及基于所确定的光学变换和第三光学变换，确定第一光学变换和第二光学变换中的另一光学变换。
作为附加示例，图像分析模块502和光学变换模块503可以被配置为通过以下步骤确定第一光学变换和/或第二光学变换：从第二摄像头获取第二图像，识别在第一图像和第二图像中均存在的至少一个对象，确定第一图像中的至少一个对象与第二图像中的至少一个对象之间的第四光学变换，以及基于第四光学变换确定第一光学变换和/或第二光学变换。
处理装置400还可以包括应用模块504，其被配置为将描述第一光学变换和/或第二光学变换的信息或第一反射和/或第二反射的一个或多个图像提供给在设备上执行的应用。可以可选地分别基于第一光学变换和/或第二光学变换校正第一反射的图像和/或第二反射的图像，以及可选地进行组合。
应用模块504还可以被配置为：针对第一反射的图像和第二反射的图像中的每一个，确定与对反射的图像的要求相关联的一个或多个度量，以及基于所确定的一个或多个度量选择图像。
处理装置500还可以包括显示模块505，其被配置为在屏幕上显示图形内容，以使用户相对于用户的头移动设备。
将理解，处理装置500中包括的模块501-510以及附加模块可通过任何类型的电子电路来实现，例如，模拟电子电路、数字电子电路和执行适当计算机程序的处理装置中的任一个或组合。
本领域技术人员意识到本发明绝不限于上述实施例。相反，可以在所附的权利要求的范围内做出许多修改和变型。

Claims (21)

1.一种用于对来自设备(100)的用户(130)的角膜(162)和来自所述用户佩戴的眼镜(170)的镜面反射进行成像的设备(100)，所述设备包括：
第一摄像头(121)，被配置用于捕获所述角膜(162)和所述眼镜(170)的图像，
处理装置(101；300；500)，操作为：
从第一摄像头获取第一图像，
通过分析第一图像，识别通过角膜的反射(163)和通过眼镜的反射表面(172)的反射(173)，以及
确定表示通过所述角膜的反射的光学变换和表示通过所述眼镜的所述反射表面的反射的光学变换。
2.根据权利要求1所述的设备，其中，表示通过所述角膜的所述反射的光学变换是表示通过人类角膜的反射的通用光学变换。
3.根据权利要求1或2所述的设备，所述处理装置还操作为：基于眼镜的标识，从数据库(310；510)中检索描述表示通过所述眼镜的所述反射表面的反射的光学变换的信息。
4.根据权利要求1或2所述的设备，还包括操作为所述设备的输出设备的屏幕(110)，所述处理装置还操作为：通过以下步骤确定表示通过所述角膜的反射的光学变换和表示通过所述眼镜的所述反射表面的反射的光学变换中的至少一个：
分别识别在通过所述角膜的反射和通过所述眼镜的所述反射表面的反射中屏幕的反射，以及
基于屏幕的形状确定至少一个光学变换。
5.根据权利要求1或2所述的设备，所述处理装置还操作为通过以下步骤确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换：
确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换之一，
识别在通过所述眼镜的所述反射表面的反射和通过所述角膜的反射中均可见的至少一个对象，
确定通过所述眼镜的所述反射表面的反射中的所述至少一个对象与通过所述角膜的反射中的所述至少一个对象之间的第三光学变换，以及
基于所确定的光学变换和第三光学变换，确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换中的另一光学变换。
6.根据权利要求1或2所述的设备，还包括：具有与所述第一摄像头(121)的视场(123)基本相反的视场(124)的第二摄像头(122)，所述处理装置操作为通过以下步骤确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换中的至少一个：
从第二摄像头获取第二图像，
识别在第一图像和第二图像中均存在的至少一个对象(201)，
确定第一图像(210)中的所述至少一个对象(211)与第二图像(220)中的所述至少一个对象(221)之间的第四光学变换，以及
基于第四光学变换确定至少一个光学变换。
7.根据权利要求1或2所述的设备，所述处理装置还操作为：
基于表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换，分别校正通过所述眼镜的所述反射表面的反射的图像和通过所述角膜的反射的图像，以及
提供通过所述眼镜的所述反射表面的反射和通过所述角膜的反射的组合图像。
8.根据权利要求1或2所述的设备，所述处理装置还操作为：
针对通过所述眼镜的所述反射表面的反射的图像和通过所述角膜的反射的图像中的每一个，确定与对反射的图像的要求相关联的一个或多个度量，以及
基于所确定的一个或多个度量来提供通过所述眼镜的所述反射表面的反射的图像和通过所述角膜的反射的图像中的一个。
9.根据权利要求1或2所述的设备，还包括：操作为所述设备的输出设备的屏幕(110)，所述处理装置还操作为：减小在所述屏幕显示的图形内容的尺寸，或在所述屏幕上显示模糊的图形内容，以使用户移动所述设备更靠近所述用户的眼睛(160)。
10.根据权利要求1或2所述的设备，其中所述眼镜是各类眼镜、目镜、太阳镜、护目镜或隐形眼镜中的任何一种。
11.一种由设备(100)执行的用于对来自所述设备的用户(130)的角膜(162)和来自所述用户佩戴的眼镜(170)的镜面反射进行成像的方法(400)，所述方法包括：
从第一摄像头(121)获取(401)第一图像，所述第一摄像头(121)被配置用于捕获所述角膜(162)和所述眼镜(170)的图像，
通过分析第一图像，识别(402)通过角膜的反射(163)和通过所述眼镜的反射表面(172)的反射(173)，以及
确定(403)表示通过所述角膜的反射的光学变换和表示通过所述眼镜的所述反射表面的反射的光学变换。
12.根据权利要求11所述的方法，其中，所述表示通过所述角膜的反射的光学变换是表示通过人类角膜的反射的通用光学变换。
13.根据权利要求11或12所述的方法，还包括：基于眼镜的标识从数据库(310；510)检索(405)描述表示通过所述眼镜的所述反射表面的反射的光学变换的信息。
14.根据权利要求11或12所述的方法，其中确定表示通过所述角膜的光学变换和表示通过所述眼镜的所述反射表面的光学变换中的至少一个包括：
分别识别在通过所述角膜的反射和通过所述眼镜的所述反射表面的反射中的至少一个中设备的屏幕的反射，以及
基于屏幕的形状确定至少一个光学变换。
15.根据权利要求11或12所述的方法，其中确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的所述反射的光学变换包括：
确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换之一，
识别在通过所述眼镜的所述反射表面的反射和通过所述眼镜的所述反射表面的反射中均可见的至少一个对象，
确定通过所述眼镜的所述反射表面的反射中的所述至少一个对象与通过所述角膜的反射中的所述至少一个对象之间的第三光学变换，以及
基于所确定的光学变换和第三光学变换，确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换中的另一光学变换。
16.根据权利要求11或12所述的方法，其中通过以下步骤来确定表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换中的至少一个：
从具有与所述第一摄像头(121)的视场(123)基本相反的视场(124)的第二摄像头(122)获取第二图像，
识别在第一图像和第二图像中均存在的至少一个对象(201)，
确定第一图像(210)中的所述至少一个对象(211)与第二图像(220)中的所述至少一个对象(221)之间的第四光学变换，以及
基于第四光学变换确定至少一个光学变换。
17.根据权利要求11或12所述的方法，还包括：
基于表示通过所述眼镜的所述反射表面的反射的光学变换和表示通过所述角膜的反射的光学变换，分别校正所述通过所述眼镜的所述反射表面的反射的图像和通过所述角膜的反射的图像，以及
提供(408)通过所述眼镜的所述反射表面的反射和通过所述角膜的反射的组合图像。
18.根据权利要求11或12所述的方法，还包括：
针对所述通过所述眼镜的所述反射表面的反射的图像和所述通过所述角膜的反射的图像中的每一个，确定(406)与对反射的图像的要求相关联的一个或多个度量，以及
基于(407)所确定的一个或多个度量来提供通过所述眼镜的所述反射表面的反射的图像和通过所述角膜的反射的图像中的一个。
19.根据权利要求11或12所述的方法，还包括：减小在操作为所述设备的输出设备的屏幕上显示的图形内容的尺寸，或在所述屏幕上显示模糊的图形内容，以使(409)用户移动所述设备更靠近所述用户的眼睛(160)。
20.根据权利要求11或12所述的方法，其中所述眼镜是各类眼镜、目镜、太阳镜、护目镜或隐形眼镜中的任何一种。
21.一种包括计算机程序(303)的计算机可读存储介质，当所述计算机程序(303)在设备中包括的处理单元(301)上执行时，使所述设备执行根据权利要求11到20中任一项所述的方法。
CN201480083723.0A 2014-12-10 2014-12-10 角膜成像的设备和方法 Active CN107111863B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2014/051476 WO2016093750A1 (en) 2014-12-10 2014-12-10 Device for and method of corneal imaging

Publications (2)

Publication Number Publication Date
CN107111863A CN107111863A (zh) 2017-08-29
CN107111863B true CN107111863B (zh) 2020-11-17

Family

ID=52302289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083723.0A Active CN107111863B (zh) 2014-12-10 2014-12-10 角膜成像的设备和方法

Country Status (6)

Country Link
US (2) US9622654B2 (zh)
EP (1) EP3230825B1 (zh)
CN (1) CN107111863B (zh)
ES (1) ES2742416T3 (zh)
RU (1) RU2672502C1 (zh)
WO (1) WO2016093750A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013211152A1 (de) * 2013-06-14 2014-12-18 Continental Automotive Gmbh Verfahren und Vorrichtung zum Lokalisieren von Rädern eines Fahrzeugs sowie Reifendruckkontrollsystem
JP2017169803A (ja) * 2016-03-23 2017-09-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11030975B2 (en) 2016-07-04 2021-06-08 Sony Corporation Information processing apparatus and information processing method
CN109964235A (zh) * 2016-10-28 2019-07-02 威里利生命科学有限责任公司 用于对昆虫进行视觉分类的预测模型
IL275047B2 (en) 2017-12-19 2024-04-01 Ericsson Telefon Ab L M Install a complex display in mind
US10321820B1 (en) * 2017-12-21 2019-06-18 Facebook Technologies, Llc Measuring optical properties of an eyewear device
JP7048339B2 (ja) * 2018-02-08 2022-04-05 Ｎｅｃプラットフォームズ株式会社 携帯端末、携帯端末の制御方法、および携帯端末のプログラム
US11335079B2 (en) * 2018-03-05 2022-05-17 Intel Corporation Method and system of reflection suppression for image processing
CN109460202A (zh) * 2018-09-29 2019-03-12 努比亚技术有限公司 一种显示控制方法、终端及计算机可读存储介质
KR102694171B1 (ko) * 2019-06-17 2024-08-12 삼성전자 주식회사 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
EP3799778A1 (en) 2019-10-03 2021-04-07 Nokia Technologies Oy Alerts based on corneal reflections
US10952605B1 (en) * 2020-06-30 2021-03-23 Sharp Vision Plan Inc. Visual acuity testing system
EP4053682A1 (en) 2021-03-01 2022-09-07 Nokia Technologies Oy User device screen
US20240303023A1 (en) * 2021-03-18 2024-09-12 Telefonaktiebolaget Lm Ericsson (Publ) First device, communication server, second device and methods in a communications network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133942A (zh) * 2006-08-31 2008-03-05 株式会社多美 角膜成像设备
CN201379553Y (zh) * 2009-02-27 2010-01-13 苏州六六视觉科技股份有限公司 用于眼底相机的精密瞳孔定位装置
CN103534748A (zh) * 2012-03-22 2014-01-22 索尼公司 显示装置、图像处理装置和图像处理方法以及计算机程序
CN103732129A (zh) * 2011-03-25 2014-04-16 新视野创新有限公司 用于建模眼部结构的设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692003A (en) * 1983-11-07 1987-09-08 Adachi Iwao P Real-time analysis keratometer
US6099522A (en) * 1989-02-06 2000-08-08 Visx Inc. Automated laser workstation for high precision surgical and industrial interventions
US5418714A (en) * 1993-04-08 1995-05-23 Eyesys Laboratories, Inc. Method and apparatus for variable block size interpolative coding of images
JPH07248216A (ja) * 1994-03-11 1995-09-26 Nissan Motor Co Ltd 車両用視線方向計測装置
JPH08563A (ja) * 1994-06-15 1996-01-09 Canon Inc 光学装置及びカメラ
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
US7360895B2 (en) * 2000-07-14 2008-04-22 Visual Pathways, Inc. Simplified ocular fundus auto imager
US6296358B1 (en) * 2000-07-14 2001-10-02 Visual Pathways, Inc. Ocular fundus auto imager
US7025459B2 (en) * 2000-07-14 2006-04-11 Visual Pathways, Inc. Ocular fundus auto imager
US8820931B2 (en) * 2008-07-18 2014-09-02 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
EP2236074B1 (en) * 2009-04-01 2021-05-26 Tobii AB Visual display with illuminators for gaze tracking
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
WO2011117776A1 (en) * 2010-03-22 2011-09-29 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer
US9405364B2 (en) 2010-10-29 2016-08-02 IT-Universitetet i København Method of determining reflections of light
US8770753B2 (en) * 2010-12-03 2014-07-08 Optovue, Inc. Scanning and processing using optical coherence tomography
EP2490065A1 (en) * 2011-02-18 2012-08-22 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) A method for determining target optical functions
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
US9330302B2 (en) * 2014-02-26 2016-05-03 Microsoft Technology Licensing, Llc Polarized gaze tracking
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
WO2016064311A1 (en) 2014-10-22 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Method and device for providing a touch-based user interface
KR101673701B1 (ko) * 2014-11-24 2016-11-07 현대자동차주식회사 눈 검출장치 및 방법
KR101619661B1 (ko) * 2014-12-08 2016-05-10 현대자동차주식회사 운전자의 얼굴 방향 검출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133942A (zh) * 2006-08-31 2008-03-05 株式会社多美 角膜成像设备
CN201379553Y (zh) * 2009-02-27 2010-01-13 苏州六六视觉科技股份有限公司 用于眼底相机的精密瞳孔定位装置
CN103732129A (zh) * 2011-03-25 2014-04-16 新视野创新有限公司 用于建模眼部结构的设备
CN103534748A (zh) * 2012-03-22 2014-01-22 索尼公司 显示装置、图像处理装置和图像处理方法以及计算机程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Corneal Imaging System: Environment from Eyes;KO NISHINO等;《International Journal of Computer Vision》;20061231;第7卷(第1期);第23-40页 *
成像角膜曲率计的光学设计;何远清等;《中国光学》;20141231;第7卷(第6期);第956-961页 *

Also Published As

Publication number Publication date
US20160166140A1 (en) 2016-06-16
RU2672502C1 (ru) 2018-11-15
WO2016093750A1 (en) 2016-06-16
EP3230825B1 (en) 2019-05-29
EP3230825A1 (en) 2017-10-18
US20170230621A1 (en) 2017-08-10
US9622654B2 (en) 2017-04-18
ES2742416T3 (es) 2020-02-14
US10284817B2 (en) 2019-05-07
CN107111863A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107111863B (zh) 角膜成像的设备和方法
US10593088B2 (en) System and method for enabling mirror video chat using a wearable display device
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
US10380421B2 (en) Iris recognition via plenoptic imaging
Itoh et al. Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization
US20190102956A1 (en) Information processing apparatus, information processing method, and program
CN106406509B (zh) 一种头戴式眼控虚拟现实设备
US20150109507A1 (en) Image Presentation Method and Apparatus, and Terminal
KR20160108388A (ko) 복수의 광원들과 센서들을 사용한 눈 시선 검출
Takemura et al. Estimation of a focused object using a corneal surface image for eye-based interaction
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
US20160189341A1 (en) Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
JP2016042261A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Lander et al. Eyemirror: Mobile calibration-free gaze approximation using corneal imaging
US20230309824A1 (en) Accommodation tracking based on retinal-imaging
US20240212343A1 (en) Contextualized visual search
US20240212291A1 (en) Attention control in multi-user environments
CN108919957A (zh) 一种图像传输方法、装置、终端设备及存储介质
CN116489500A (zh) 图像处理方法及其装置
WO2023063940A1 (en) Region of interest cropped images
US20220021867A1 (en) Detecting Eye Tracking Calibration Errors
CN113703161A (zh) 扩增实境系统与其锚定显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant