CN115997159B - 使用移动设备确定眼睛旋转中心的位置的方法 - Google Patents
使用移动设备确定眼睛旋转中心的位置的方法 Download PDFInfo
- Publication number
- CN115997159B CN115997159B CN202180049696.5A CN202180049696A CN115997159B CN 115997159 B CN115997159 B CN 115997159B CN 202180049696 A CN202180049696 A CN 202180049696A CN 115997159 B CN115997159 B CN 115997159B
- Authority
- CN
- China
- Prior art keywords
- mobile device
- image
- person
- determining
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 210000001747 pupil Anatomy 0.000 claims abstract description 82
- 238000004590 computer program Methods 0.000 claims abstract description 17
- 210000003128 head Anatomy 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 20
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 description 30
- 239000011521 glass Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 5
- 230000004379 myopia Effects 0.000 description 5
- 208000001491 myopia Diseases 0.000 description 5
- 230000004323 axial length Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
- G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
讨论了用于移动设备的计算机实施的方法、移动设备以及计算机程序，以确定眼睛的旋转中心。在移动设备的至少两个位置捕获人的眼睛图像，并且基于图像和位置来确定旋转中心的位置。以类似方式，可选地，可以确定瞳孔位置。
Description
本申请涉及一种使用移动设备确定眼睛旋转中心的位置的计算机实施的方法、对应的移动设备以及用于此类移动设备的计算机程序。
移动设备至少包括可编程处理器、显示器和相机、以及如加速度传感器或深度传感器等其他传感器，并且被设计为由人携带。这意味着在尺寸和重量方面，移动设备被相应地设计成可携带的。此类移动设备的典型示例是智能手机或平板电脑，其如今几乎所有可用机型都包括触摸屏、一个或多个相机、加速度和陀螺仪传感器，有时还包括如深度传感器等其他传感器、以及如用于移动通信网络或无线局域网(WLAN)的无线接口等其他部件。此类移动设备的重量典型地至少低于2kg、通常低于1kg或远低于此。用于此类移动设备的计算机程序通常被称为“app”(application(应用程序)的简称)。
为了给人验配眼镜(spectacles)(以下称为眼镜(glasses))，如今使用了各种计算机实施的方法。例如，US 6 692 127 B2描述了一种用于眼镜的验配系统。在这种验配过程中，不得不确定所谓的定心(centration)参数。这些定心参数中的一些例如在标准DINEN ISO 13666:2012的第5章中定义，并且包括例如根据此标准的第5.29项的瞳孔间距离(PD)。这些定心参数如今常常经由包括相机的系统(如ZEISS VISUFIT 1000系统)自动确定。其他定心参数包括眼镜的镜片与眼睛的角膜之间的距离。
对于常规眼镜，这些定心参数足以使眼镜适配于特定的人。然而，近年来，已经开发了可以在人的视野中提供附加信息的眼镜，即所谓的增强现实(AR)眼镜。US 2013/0 235331 A1描述了这种AR眼镜的示例。为了针对用户优化这种AR眼镜并降低光学设计的复杂性，与常规眼镜相比，需要额外的参数。特别地，需要眼睛的光学旋转中心，该光学旋转中心是从机械旋转中心到当直视无限远处的点时的注视线(延伸至眼睛内部中)绘制的垂直线的基点。机械旋转中心是眼睛中当眼睛旋转时移动最少的点(在完美的球体旋转中，这将会是球体的中心)。机械旋转中心在DIN 5340:1998-04中第42项下定义。光学旋转中心在第43项下定义为从机械旋转中心到延伸至眼睛内部中的当直视前方时的视线绘制的垂直线与该视线的交点。
从WO 2010/097 161 A1中获知了用于确定眼睛旋转中心的位置的各种方法。在其中披露的方法中的一种方法中，使用经标定的相机系统来确定在眼睛的两个注视方向(viewing direction)上相交于旋转中心的轴线。对于此方法，需要对应的经标定的相机系统，其例如在商业定心设备中提供。另外，这里的目标是固定的，因为它是不可携带的，而测试者则会改变注视方向。因此，对于此方法，需要对应的商业设备，该商业设备通常可在配镜师或医生处获得。
从E.S.Perkins等人的“Simple method of determining the axial length ofthe eye[确定眼睛的轴向长度的简单方法]”,Br.J.Ophthalmol.Vol.60,266,1976[英国眼科学杂志,第60卷,266,1976]中获知了用于确定旋转中心的位置的其他方法。此方法使用具有两个闪光灯的特殊相机系统来获得不同注视方向的角膜反射。同样地，这里，需要用于确定眼睛的旋转中心和相机的具有闪光灯目标的特定设备，并且观察目标应当固定在某个位置。
利用此设备，还可以确定眼睛的轴向长度(也称为眼睛直径)。确定眼睛直径还从用于确定渐进式眼科镜片的参数的EP 1 837 699 A1中获知。同样地，在此文献中，使用了特定设备。
除了应用于眼镜或镜片设计外，眼睛直径还可以用于诊断目的。例如，眼睛直径随时间的变化(至少每6个月一次、优选地至少每年一次)可能表明可能存在近视。如尤其是Oculus Myopia Master等设备测量眼睛的轴向长度，以确定可能的近视。同样地，这里，需要相对昂贵的设备，其通常仅在配镜师处提供。
US 2019/243 448 A1披露了一种使用眼动跟踪相机来确定人的一只眼睛或两只眼睛的旋转中心的头戴式显示器(HMD)。在此方法中，需要特定的HMD。US 2017/322 430 A1中披露了一种有点类似的方法，在该方法中，用于确定旋转中心的设备固定地安装在眼镜架上。
因此，期望通过更简单的手段测量眼睛的旋转中心，使得人们也可以在家里进行测量。进一步地，还希望能够通过这种简单的手段来测量眼睛直径。
在这方面，本发明的目的是在不需要现有技术中所需的任何附加和特殊设备的情况下通过利用低成本且更便捷的已经可用的移动设备来实现这种测量。
此目的通过如权利要求1中所述的方法、如权利要求13中所述的移动设备以及如权利要求15中所述的用于移动设备的对应计算机程序来实现。从属权利要求限定了其他的实施例。
通过这种方法、移动设备和计算机程序，与上文讨论的现有技术所需的特定设备相比，利用许多人拥有的如智能手机或平板电脑等移动设备，可以测量眼睛的旋转中心，或者在附加实施例中，还可以测量眼睛直径。例如，通过在这种设备上加载计算机程序，可以执行本文讨论的测量。
根据本发明的第一方面，提供了一种用于使用移动设备在任意世界坐标系中确定人的眼睛的旋转中心的位置的方法，该方法包括：
-在该任意世界坐标系中的第一位置用该移动设备的相机捕获注视该移动设备的相机或该移动设备的显示器上显示的目标的人的眼睛部分的第一图像，
-由该人或另一人将该移动设备相对于该人的头部移动到第二位置，
-在该任意世界坐标系中的该第二位置捕获注视该移动设备的该相机或该移动设备的显示器上显示的目标的该人的眼睛部分的第二图像，以及
-基于该第一图像、该第二图像、该移动设备的该第一位置和该移动设备的该第二位置确定该旋转中心的位置。
以此方式，移动设备的内置相机可以用于确定旋转中心的位置。由于几乎所有的移动设备(如智能手机或平板电脑)都具有相机，因此可以使用移动设备中提供的硬件，而不需要附加的设备。与上文描述的WO 2010/097 161 A1中的现有技术类似，以人的不同注视方向(本发明中朝向移动设备、现有技术中朝向闪光灯目标)拍摄第一图像和第二图像。然而，不同于现有技术，不需要经标定的相机系统，而是使用从第一位置移动到第二位置的常规设备。进一步地，经标定的相机系统固定在单一位置处，而本发明的移动设备在测量期间改变其位置。
“注视移动设备的人”意味着该人当第一图像被捕获时注视处于第一位置的移动设备(对应于注视第一方向的人)，即，注视移动设备的相机或所显示目标，并且当第二图像被捕获时注视处于第二位置的移动设备(对应于注视第二方向的人)。假设人在注视移动设备(例如，注视相机)时保持他的/她的头部直立。此外，在该方法期间，当确定眼睛的旋转中心的位置时，人将头部本身保持在固定位置，使得当移动设备分别捕捉第一图像和第二图像时，仅眼睛移动以注视处于第一位置和第二位置的移动设备。即，人在不移动头部的情况下跟随移动设备改变注视方向。
眼睛部分是人的一部分，包括至少一只眼睛或两只眼睛。眼睛部分还可以涵盖人的更多部分(面部、头部等)。通过选择眼睛部分涵盖双眼，该方法可以针对一只眼睛执行，也可以同时针对两只眼睛执行。
除非另有说明，否则如本文所使用的眼睛的旋转中心指的是光学旋转中心。
移动设备向人显示或经由扬声器输出对应的指令(如视觉提示)，即，以在用他或她的眼睛“跟踪”移动设备(例如，该移动设备的相机)时将头部保持在同一位置。在一些实施例中，移动设备可以显示指令以在捕获图像时不断维持人(目标)与相机之间的距离(例如，维持恒定的臂长)。替代相机，也可以将目标显示在显示器(如移动设备中与相机相邻的触摸屏)上。通过发出指令，该方法可以由人容易地执行并提高测量的准确性。应当注意，将移动设备移动到第一位置和第二位置可以由被检查人(图像是一种“自拍”)或由任何其他人执行。
虽然以上方法使用了第一位置和第二位置，但这不应被解释为意味着不可以使用另外的位置。实际上，在实施例中，除了第一位置和第二位置外，还可以使用至少三个位置，如第三位置、第四位置等。照例当进行更多测量时，使用更多位置和对应的更多图像(即，第三图像、第四图像等)可以增加通过统计(例如，对各测量求平均等)的测量的准确性。另一方面，使用更多位置可能延长测量时间。
第一位置和第二位置是任意坐标系(在本文中称为“任意世界坐标系”)中的位置，该任意坐标系是用于将物理值关联至数据集内的位置的机制。例如，在一些实施例中，第一位置可以用作这种世界坐标系的原点。通过移动设备的传感器确定第一位置和第二位置。例如，移动设备通常包括加速度传感器(其是测量由运动、振动、碰撞等引起的加速度的设备)，并且第一位置可以作为世界坐标系的原点，并且第二位置(以及可能地另外的位置，如第三位置、第四位置等)可以通过对加速度传感器测量到的加速度进行积分来确定。
术语“积分”这里指的是随时间的二重(数学)积分。随时间对加速度进行一次积分得到速度，以及偏移量。假设移动设备在第一位置没有移动，则此偏移量可以设置为零。再次随时间对速度进行积分(产生随时间的二重积分)得出位置，加上偏移量。将偏移量设置为零对应于将世界坐标系的原点设置为第一位置，如上文提及的。
在其他实施例中，移动设备可以包括与相机间隔开的附加相机，并且第一位置和第二位置可以使用相机和附加相机通过体积测定法来获得。在一些实施例中，取决于测量位置的数量，可以使用至少一个移动设备。例如，当进行两次测量时，两个移动设备可以设置在两个不同的位置或预定的位置并用于捕获眼睛的两个图像。在另一些实施例中，移动设备可以包括测量距深度传感器的视野中的对象的距离的飞行时间(TOF)相机或其他深度传感器，并且第一位置和第二位置可以使用深度传感器确定。在又一些实施例中，移动设备可以被配置为用于立体投影。所有这些方法都已经在市场上的智能手机或平板电脑中实施，例如用于投影立体声系统的iPhone TrueDepth商标下的智能手机或平板电脑。
在又一些实施例中，可以使用用于确定移动设备的位置和取向(即，位姿)的其他可能性，例如如以下中描述的：S.-H.Jung和C.Taylor,“Camera trajectory estimationusing inertial sensor measurements and structure from motion results[使用惯性传感器测量和来自运动结果的结构进行的相机轨迹估计]”,Proceedings of the IEEEComputer Society,Conference on Computer Vision and Pattern Recognition,vol.2,2001,pp.II-732-II-737[IEEE计算机学会论文集,计算机视觉与模式识别会议,第2卷,2001,第II-732-II-737页]；以及所描述的“Gabriel Nützi,Stephan Weiss,DavideScaramuzza,Roland Stiegwart,“Fusion of IMO and Vision for Absolute ScaleEstimation in Monocular SLAM[单目SLAM中的IMO与视觉融合的绝对尺度估计],https://doi.org/10.1007/s10846-010-9490-z”。还可以使用如以下中描述的来自传感器融合的技术：“Sensor Fusion on Android Devices:ARevolution in Motion Processing[Android设备上的传感器融合：运动处理的变革](InvenSense,https://www.youtube.com/watch？v＝C7JQ7Rpwn2k&feature＝youtu.be)”。
在一些实施例中，另外基于处于第一位置和第二位置(以及可能地另外的位置)的移动设备的取向来确定旋转中心的位置。取向本质上指示固定到移动设备的设备坐标系的坐标轴与世界坐标系的坐标轴之间的旋转关系。位置和取向的组合也称为位姿，如例如DINEN ISO 8373:2012中定义的。取向可以由移动设备的取向传感器(也称为倾斜传感器)测量，该取向传感器存在于大多数可用的智能手机或平板电脑中。因此，同样在这种情况下，可以使用现有的硬件。确定取向使人更容易执行该方法，因为不需要保持特殊的取向。在其他实施例中，在整个方法期间，可以保持移动设备例如直立，使得取向保持在定义的方式。
此外，在实施例中，可以基于相机的角度特性确定眼睛的旋转中心的位置。角度特性指示相对于相机的光轴在一定角度下的对象(在这种情况下，眼睛的瞳孔)的角度与对象出现的图像的图像元素(像素)之间的关系。对于具有给定相机光学器件的给定相机，此关系是固定的，并且可以例如由制造商提供(例如，主要参数是相机的物镜的焦距以及相机的图像传感器的尺寸和分辨率，这两者均由制造商提供)或通过标定获得。
该方法可以进一步包括：在第一图像和第二图像中识别眼睛的瞳孔和/或瞳孔中心。术语“瞳孔”是位于眼睛虹膜中心的孔，可让光线照射到视网膜上。“瞳孔中心”或“眼睛的瞳孔中心”指示在水平方向和竖直方向上的最大距离的交点。瞳孔中心的移动表示对应的眼睛移动。术语“人的瞳孔(瞳孔中心)”指示真实世界中的人(即，正在被测量眼睛的用户)的瞳孔(瞳孔中心)。分别基于在人将他/她的头部保持在固定位置并且他/她的眼睛跟随移动设备从第一位置移动到第二位置时拍摄的第一图像和第二图像中识别的瞳孔中心，可以确定旋转中心的位置。在这种情况下，假定术语“第一(第二)图像中的识别的瞳孔或瞳孔中心”或“在第一(第二)图像中识别的瞳孔或瞳孔中心”中的瞳孔或瞳孔中心处于移动设备的第一(第二)位置。
为了识别瞳孔或瞳孔中心，可以使用用于瞳孔跟踪的任何常规方法。例如，可以用经典图像处理操作或用学习模型来跟踪瞳孔或瞳孔中心。以下文献中给出了综述：A.Kar,P.Corcoran,“A Review and Analysis of Eye-Gaze Estimation Systems,Algorithmsand Performance Evaluation Methods in Consumer Platforms[消费者平台中的眼睛凝视估计系统、算法和性能评估方法的综述与分析]”,IEEE Access第5卷,DOI:10.1109/ACCESS.2017.2735633。在其他实施例中，可以使用机器学习方法来分析图像并确定瞳孔或瞳孔中心。例如，可以通过出于标定目的拍摄的图像(第一图像和第二图像、另外的第一图像和另外的第二图像)来训练神经网络，并且可以在这些图像中人工标注瞳孔以提供训练数据。然后，在训练之后，神经网络可以识别瞳孔或瞳孔中心。
为了确定旋转中心，可以使用任何常规三角测量法。例如，可以使用如https://en.wikipedia.org/wiki/Triangulation(computer vision)中描述的三角测量法。在这种情况下，可以确定从移动设备到注视第一位置的瞳孔的直线和从移动设备到注视第二位置的瞳孔的直线。优选地，可以确定从由处于第一位置的移动设备捕获并在该移动设备上显示的第一图像中识别的瞳孔到当注视处于第一位置的移动设备时人的瞳孔的直线、以及从由处于第二位置的移动设备捕获并在该移动设备上显示的第二图像中识别的瞳孔到当注视处于第二位置的移动设备时人的瞳孔的直线。更优选地，用于绘制直线的瞳孔可以是瞳孔中心。话句话说，可以确定分别从由处于第一位置和第二位置的移动设备捕获并在该移动设备上显示的第一图像和第二图像中识别的瞳孔中心到当注视处于第一位置和第二位置(特别是人所注视的相机或目标的位置)的移动设备时人的瞳孔中心的两条直线。通过使用瞳孔中心作为直线的起始点，而不是移动设备和/或瞳孔本身，测量变得更加准确和精确。在如上所述的图像中识别出瞳孔和/或瞳孔中心的情况下，这种三角测量可以通过将2D点反投影到3D平面来容易地完成。如果使用了超过两个位置和图像，则可以绘制对应的数量的直线。随后，可以估计旋转中心处于第一直线和第二直线的交点处。在超过两个位置的情况下，由于如上文提及的旋转中心不是固定点，因此可以确定相互接近的各种交点，并且旋转中心可以例如被视为这些交点的平均位置。另外，根据测量准确性，这些直线可能不会精确地相交。为了从输入数据中去除错误或不准确的瞳孔测量值，这里可以使用截至2020年8月7日的稳健方法，如https://en.wikipedia.org/wiki/Random_sample_consensus中描述的随机抽样一致性(RANSAC)或如https://en.wikipedia.org/wiki/M-estimator中描述的M-Estimator。如上所述，在一些实施例中，可以在显示器上显示指令，如视觉提示，包括辅助人进行准确测量的指导(例如，命令不移动头部、保持直视前方等)，以在测量不准确的情况下重复测量等。
因此，上述方法得到旋转中心在世界坐标系中的位置。旋转中心以3D形式获得。相对于人的其他特征的旋转中心是一些应用所需的，以在稍后用于各种应用。
眼睛的旋转中心可以用于制造镜片和眼镜、特别是如最初提及的AR眼镜。因此，如上所述根据本发明的用于确定眼睛的旋转中心的方法可以用于制造AR眼镜。一般来说，AR眼镜被制造成覆盖基于任何和每一个可能的用户的可用旋转中心数据标定和确定的眼睛旋转中心的广泛范围。这是由于难以测量每个单独用户的旋转中心。本发明方法实现了容易且简单地测量单独用户的旋转中心，并减少了将AR眼镜制造成覆盖任何和每一个可能用户的所有技术眼睛参数所需的先前设计工作，因为不是任何和每一个可能用户的旋转中心都必须考虑在内。通过使用本发明的方法，AR眼镜可以容易地单独定制。例如，眼睛盒可以基于通过本发明方法测量的眼睛旋转中心为人定制，并且不需要设计得足够大以覆盖所有人，使得可以使用较小的眼睛盒进行设计。因此，本发明方法可以用于低成本且高效率地制造AR眼镜。
在一些实施例中，除了眼睛的旋转中心在世界坐标系中的位置外，还通过三角测量在世界坐标系中确定了人的一个或多个附加特征点。例如，可以确定鼻尖的位置、眼角的位置、下巴尖的位置等，并且然后将其与眼睛旋转中心的位置一起提供，作为参考点。
在其他实施例中，确定瞳孔位置并将其用作参考点。为了确定瞳孔位置，可以使用基本上与上文关于确定眼睛的旋转中心所解释的相同的方法，包括上文讨论的细节和变化，不同之处在于当在移动设备的第一位置和第二位置拍摄第一图像和第二图像时，人在第一位置和第二位置(其可以与用于确定旋转中心的第一位置和第二位置相同或不同)保持在身体前端方向上直视前方，而不移动眼睛(而不改变注视方向)。因此，用于确定瞳孔位置的移动设备的位置也可以称为另外的第一位置和另外的第二位置，并且对应的图像称为另外的第一图像和第二第一图像，应理解，在这种情况下也可以使用超过两个另外的图像和超过两个另外的位置。
同样，可以通过移动设备上显示的指令指示人相应地注视。当确定瞳孔位置时，头部位置在测量期间维持在与确定眼睛的旋转中心时同一位置。应当注意，瞳孔位置的确定还可以在确定眼睛的旋转中心的位置之前执行。
该方法可以进一步包括：在另外的第一图像和另外的第二图像中识别瞳孔或瞳孔中心。这里，将使用如上所述的方法和术语。基于在人将他/她的头部保持在固定的直立位置并继续直视前方(即，而不改变注视方向)时拍摄的另外的第一图像和另外的第二图像中识别的瞳孔或瞳孔中心，可以确定瞳孔位置。在这方面，可以根据上述用于识别瞳孔中心的方法识别瞳孔中心，该瞳孔中心被用于确定旋转中心的方法。基于识别的瞳孔中心，然后可以根据上文关于用于确定旋转中心的方法所描述的方法从瞳孔中心确定瞳孔位置。因此，瞳孔位置以3D形式获得。
然后，可以与瞳孔位置有关地给出眼睛的旋转中心的位置。由于确定了瞳孔位置并且瞳孔位置还用于常规的定心参数确定以及镜片和眼镜对人的适配，使得关于瞳孔位置的信息在此常规过程中变得可用并且眼睛的旋转中心的位置可以参考此信息。
在其他实施例中，瞳孔的位置和眼睛的旋转中心的位置可以用来估计眼睛的眼睛直径的量度。
用于眼睛直径的量度是指示眼睛的大小的量。量度也可以以眼睛半径(即，直径的一半)的估计值给出。在简单的方法中，眼睛半径被估计为瞳孔位置与眼睛的旋转中心的位置之间的度量距离，并且眼睛直径可以被估计为所述半径的两倍。以此方式，可以容易地确定用于眼睛直径的量度。在其他实施例中，可以应用校正来解释机械旋转中心与光学旋转中心之间的差异。基于测量的眼睛直径，可以获得透镜的焦距。随后，基于获得的焦距，可以相应地计算眼睛动力或强度。
在一些实施例中，眼睛参数的量度然后可以用于监测眼睛状况。例如，可以定期或不定期地执行用于估计眼睛直径的量度的以上方法，并且可以存储结果。强烈的变化可以指示如近视加剧等临床症状，并且移动设备然后可以提示人看医生。
根据另一方面，提供了一种对应的移动设备。移动设备包括相机、处理器和用于在其中存储程序(如上文提及的“app”)的存储。通过这种程序，移动设备被配置为执行上文的方法中的任一方法，例如，以在移动设备的第一位置处捕获人的眼睛部分的第一图像，
在移动设备的第二位置处捕获眼睛部分的第二图像，
同时人将他或她的头部保持在同一位置并分别注视第一位置和第二位置处的移动设备，并且
基于如上文讨论的第一图像、第二图像、移动设备的第一位置和第二位置来确定人的眼睛的旋转中心的位置。
移动设备还可以包括用于确定第一位置和第二位置的传感器，并且还可以包括如用于确定处于第一位置和第二位置的移动设备的取向的取向传感器等传感器，如上文还解释的。诸如惯性测量单元、加速度传感器、陀螺仪传感器等传感器在许多情况下都设置在市场上的移动设备(如智能手机和平板电脑)中，使得通过对应的编程，这种常规移动设备可以在不需要对应的硬件的情况下“转换”为根据第二方面的移动设备。如已经提及的，移动设备向人发出对应的指令。
还可以提供对应的计算机程序。在这方面，应当理解，当然，移动设备无法强迫人将头部保持在正确的位置并适当地注视移动设备或直视前方，使得移动设备被相应地配置以及计算机程序被相应地设计意味着计算是基于人相应地做出行为这一假设进行的。
将参考附图描述各个实施例，在附图中：
图1是根据实施例的移动设备的框图。
图2是展示了根据实施例的方法的流程图。
图3至图6是用于进一步解释图2的方法的图。
以下描述的实施例使用如智能手机或平板电脑等移动设备来确定眼睛旋转中心的位置。进一步地，实施例还可以使用移动设备来附加地确定瞳孔位置然后估计眼睛的直径，如上文解释的。
图1示出了移动设备10的框图，该移动设备通过编程被适配成根据本发明的移动设备。如今可用的智能手机或平板电脑通常至少包括图1所示的部件，但还可以包括其他部件。
图1的移动设备10包括触摸屏19，该触摸屏用作输入设备并用于向人输出数据，例如用于执行上文讨论的和下文参考图2讨论的方法的指令。移动设备10由处理器16控制，该处理器可以访问存储15(例如，云、闪速存储、随机存取存储器(RAM)存储、只读存储器(ROM)存储、移动设备10中插入的内存卡等)。存储15可以用于存储计算机程序，这些计算机程序如最初针对移动设备提及的也被称为app。在图1的情况下，存储15中存储有计算机程序，以使移动设备10能够执行上文讨论的或下文关于图2讨论的方法。
移动设备10进一步包括用于输出声音(语音、音调等)的扬声器13、以及麦克风14。移动设备10还可以经由扬声器13向人给出使用声音(除了在触摸屏19上输出指令之外或作为其替代方案)执行方法的指令，并且麦克风14可以例如用于接收来自人的语音命令。
此外，移动设备10包括用于测量移动设备10的加速度的加速度传感器17和可以用于测量移动设备10的取向的取向传感器110。这种取向传感器110有时也被称为倾斜传感器或陀螺仪。虽然图1中的加速度传感器17和取向传感器110被示出为分开的部件，但功能也可以由共同的传感器设备提供。
此外，提供了用于例如经由移动通信网络或无线局域接入网络(WLAN)发射(TX)和接收(RX)数据的通信电路。确定的参数(如眼睛旋转中心的位置或眼睛直径)可以经由此通信电路提供给其他实体，例如配镜师、医生或者眼镜或镜片(如增强现实(AR眼镜))制造商，并随后在那里使用。
移动设备10进一步包括前置相机11和后置相机12。前置相机11与触摸屏19设置在移动设备10的同一侧，使得可以使用前置相机11捕获注视触摸屏19的人的眼睛部分。后置相机12设置在触摸屏19的相对侧。在本文讨论的方法中，可以使用前置相机11或后置相机12或两者。
图2展示了根据实施例的方法，该方法可以通过以下方式来实施：通过在存储15中提供对应的计算机程序来对移动设备10进行编程并相应地对其处理器16进行编程。图2的方法将另外参考图3至图6进行解释。
在21处，该方法包括：在移动设备的第一位置捕获人的眼睛部分的第一图像。
在22处，该方法包括：将移动设备移动到第二位置。在使用移动设备的加速度传感器17的实施例中，在移动期间对加速度进行积分，使得可以确定第二位置。
在23处，该方法包括：在移动设备的第二位置捕获人的眼睛部分的第二图像。如由步骤23与24之间的虚线箭头指示的，在该方法继续前进到步骤24之前，可以针对另外的位置(如第三位置、第四位置等)重复22和23处的步骤。
在步骤24处，该方法包括：基于第一图像、第二图像、移动设备的第一位置和第二位置来确定人的眼睛的旋转中心的位置或人的瞳孔的位置。为了确定旋转中心，人在方法的执行期间将他或她的头部保持在同一位置，但在21处注视处于第一位置的移动设备并在23处注视处于第二位置的移动设备。为了确定瞳孔的位置，人将头部保持在同一位置并在移动设备被移动的过程中继续直视前方而不改变注视方向。如由箭头指示的步骤22至24可以执行两次：一次用于确定旋转中心的位置，一次用于确定瞳孔的位置。顺序是任意的，即，可以先确定旋转中心的位置再确定瞳孔的位置，或者反之亦然。
现在将参考图3至图6进一步说明步骤21-24。
图3是解释了步骤21-24中的测量情形的图。待测量的眼睛被示出为包括玻璃体35和瞳孔36。此外，指示了机械旋转中心37和眼睛直径38。
在步骤21-24中，移动设备10至少设置在第一位置和第二位置处。位置是在世界坐标系30中给出的。世界坐标系30可以具有任意原点和任意轴线取向。此外，在图3中，示出了固定到移动设备10的设备坐标系31。例如，在如智能手机或平板电脑等类似长方体的移动设备中，轴线方向可以与长方体的边缘的方向一致，如图3所示。在一些实施例中，例如，处于第一位置的设备坐标系31可以用作世界坐标系，使得第一位置处于坐标(0,0,0)处。
移动设备10在其上安装有用于执行方法的程序。程序包括瞳孔跟踪器，即，能够识别眼睛图像中的瞳孔36和/或瞳孔中心的软件部件。
移动设备10的取向可以以设备坐标系31与世界坐标系30之间的角度的形式给出，使得在上文的示例中，在第一位置，角度为0，然后取决于移动设备10相对于世界坐标系倾斜的程度。可以将世界坐标系31的原点设置为移动设备的相机的位置，使得移动设备10的位置和取向给出了所使用的移动设备10的眼睛相机的位置和取向。移动设备10包括例如后置相机12或前置相机11，这取决于哪个相机用于捕获第一图像和第二图像。
一般来说，在下文的计算中，将移动设备的位置和取向视为所使用的移动设备10的相机的位置和取向。如提及的，位置和取向一起也被称为位姿并且可以记为向量其中，T是位姿，w指示其是世界坐标系中的位姿，并且C指示其指的是相机，R是取向向量(例如以描述设备坐标系31相对于世界坐标系30的旋转的三个角度的形式给出)，并且t是描述设备坐标系31的原点相对于世界坐标系30的位置的平移向量。
图4展示了用于确定旋转中心的位置的图2的方法。在这种情况下，人的头部将保持在相同的固定位置，同时看向移动设备10、优选地注视该移动设备的相机。
在图4中，作为示例，示出了移动设备10的五个位置，其中，处于这五个位置处的移动设备分别记为10A、10B、10C、10D和10E。对应的设备坐标系31分别记为31A、31B、31C、31D和31E。移动设备10可以例如沿着箭头40从一个位置移动到另一个位置。如所示出的五个位置是图2的方法中的第一位置、第二位置和另外三个位置的示例。
作为示例，针对三个位置示出了当人注视移动设备(例如，注视该移动设备的相机)时瞳孔36的位置。瞳孔36A对应于当人注视移动设备10A的位置，瞳孔36C对应于注视移动设备10C时的位置，并且瞳孔36E对应于注视移动设备10E时的位置。对于移动设备10B和10D，为清楚起见，未明确示出瞳孔36的位置。
在每种情况下，捕获包括瞳孔36和/或瞳孔中心在内的眼睛部分的图像。基于此图像、移动设备的相应位置以及移动设备的相应取向，可以在世界坐标系30中计算从移动设备(优选地瞳孔、更优选地瞳孔中心)到人的瞳孔(优选地瞳孔中心)的直线。作为示例，图4中示出了三条直线41A、41C和41E。优选地，为了更精确的测量，这些直线具有基本上相同或相同的长度。对于理想的旋转，这些直线相交于旋转中心37。因此，可以确定旋转中心37的位置。应当注意，在真实测量中，如最初已经提及的，直线可能不会精确地相交。在这种情况下，可以基于不同直线的交点或直线最接近彼此的点形成平均位置。
移动设备10A到10E的位置可以例如通过对加速度进行积分来确定或者由如上文解释的移动设备10的其他传感器(如立体相机系统、深度相机等)来确定。取向由倾斜传感器20确定。因此，由此获知移动设备10的相机的位姿。
此外，对于对象相对于光轴的给定角度，此对象在相机的图像传感器的特定部分处被捕获。这在图6中进行了展示。
图6在截面视图中示出了相机11或12的示例图像传感器60，该示例图像传感器包括多个像素61。出于说明目的，示出了十个像素61，这些像素在以下从左到右标为61A到61I。移动设备的典型相机的分辨率在几百万像素的范围内，使得出于说明目的简化了图3的表示。
对象62(在图4的情况下是眼睛的瞳孔)相对于相机与图像传感器的光轴63成角度α，该对象被成像到图像传感器的特定区域(在图6的示例中，被成像到像素61I)。这在二维中(即，同样在垂直于图6的截面视图的方向上)是如此。角度α与如对象62等对象成像到的(多个)像素之间的关系对于给定相机而言是固定的，并且取决于图像传感器的分辨率和尺寸以及相机的光学器件的性质、特别是焦距。因此，通过，该关系可以例如由移动设备10的制造商提供，也可以通过将几个测试对象布置成与相机的光轴63成几个角度进行标定来得到。
因此，通过捕获瞳孔的图像并识别在图像传感器的哪个区域(即，哪些像素)上捕获了瞳孔，可以确定相对于瞳孔的光轴63的方向(角度α)。当捕获图像时，光轴63的位置紧跟移动设备的位姿。因此，可以确定图4的相应直线41A、41C、41E，并且因此，可以确定旋转中心37的位置。
为了进一步使用，眼睛的旋转中心的位置则可以相对于瞳孔中心给出并且可以传输给AR眼镜制造商。而且，还可以向顾客展示有哪些可能性基于他或她的旋转中心显示AR信息。
图5展示了图2的用于确定瞳孔的位置的步骤21-24。与图4的元件相对应的元件具有相同的附图标记并且将不再详细描述。另外，这里，使用与移动设备10A到10E相对应的五个位置作为示例。应当注意，用于确定瞳孔的位置的位置可以是与用于确定旋转中心的位置时相同或不同的移动设备10的位置，并且位置的数量也可以不同。相比于图4，在确定瞳孔位置期间，人将头部保持在同一位置并继续直视前方，使得瞳孔36在所有图像中保持在同一位置。为了能够将在图5中确定的瞳孔位置与在图4中确定的旋转中心的位置相关联，头部需要在两种测量中保持在同一位置。这也可以在测量期间通过确定所拍摄的图像中的附加面部特征点来进行跟踪/控制。通过所述三个特征点，可以确定头部在世界坐标系中的位置，该位置可以用于校正测量或控制头部是否根据需要在同一位置保持不动。
在人直视前方并且瞳孔的位置保持不变时，如图4中确定的来自移动设备(优选地瞳孔、更优选地图像中的瞳孔中心)的直线在瞳孔36处相交，其中，针对三个位置示出了直线51A、51C和51E。以此方式，确定了瞳孔位置。
为了进一步使用，瞳孔位置则可以相对于瞳孔中心给出并且可以连同眼睛的旋转中心一起传输给AR眼镜制造商。而且，还可以向顾客展示有哪些可能性基于他或她的旋转中心显示AR信息。在其他实施例中，在如图4和图5所示的类似方法的情况下，可以确定面部的其他部分(如鼻尖)，并且可以相对于这种其他特征点给出旋转中心的位置。
现在返回图2，基于瞳孔的位置和旋转中心的位置，可以估计眼睛直径。根据d＝2‖p-c‖2的简单估计(其中，‖‖2是L2向量范数，给出了瞳孔位置p与旋转中心位置c之间的欧几里得距离)，d则是直径。在其他实施例中，为了改善估计，可以如上文讨论的那样应用校正。
通过随时间监测直径，可以如上文讨论的那样诊断近视。为此，移动设备10可以随时间存储测量值并在重大变化发生时发出警报。
Claims (16)
1.一种用于使用移动设备(10)在任意世界坐标系中确定人的眼睛的旋转中心(37)的位置的计算机实施的方法，该移动设备包括相机(11，12)、至少一个传感器(17)、以及显示器(19)或扬声器(13)中的至少一个，该方法包括：
在该人注视第一方向时捕获第一图像，以及
在该人注视第二方向时捕获第二图像，以及
基于该第一图像和该第二图像来确定该旋转中心的位置，
其特征在于，
捕获该第一图像包括在该移动设备在该任意世界坐标系中相对于该人的头部处于第一位置(10A)时用该移动设备(10)的该相机(11，12)捕获该第一图像，其中，该第一方向是指向该移动设备(10)的该相机(11，12)或处于该第一位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
该方法进一步包括：
在该移动设备(10)的该显示器(19)上显示指令或者从该移动设备(13)的该扬声器(13)输出指令，以由该人或另一人将该移动设备(10)相对于该人的头部从该第一位置移动到第二位置，其中，该任意世界坐标系中的该第一位置和该第二位置使用该移动设备的至少一个传感器来确定，
其中，捕获该第二图像包括在该移动设备(10)在该任意世界坐标系中处于不同于该第一位置的该第二位置(10E)时用该移动设备(10)的该相机(11，12)捕获该第二图像，其中，该第二方向是指向该移动设备(10)的该相机(11，12)或处于该第二位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
其中，该第一图像和该第二图像在该人保持头部处于同一位置并将眼睛分别注视该第一方向和该第二方向时捕获，并且
其中，确定该旋转中心(37)的位置进一步基于该移动设备(10)的该第一位置(10A)和该移动设备(10)的该第二位置(10E)。
2.如权利要求1所述的方法，其特征在于，
该至少一个传感器(17)包括加速度传感器，其中，确定该第一位置和该第二位置包括来自由以下操作组成的组中的至少一项：
当将该移动设备(10)移动到该第一位置时，对该移动设备(10)的加速度进行积分，以及
当将该移动设备(10)移动到该第二位置时，对该移动设备(10)的该加速度进行积分。
3.如权利要求1或2中任一项所述的方法，其特征在于：
使用该移动设备的取向传感器(110)确定该移动设备(10)在该第一位置时的第一取向，以及
使用该取向传感器(110)确定该移动设备(10)在该第二位置时的第二取向，
其中，确定该旋转中心(37)的位置进一步基于该第一取向和该第二取向。
4.如权利要求1至3中任一项所述的方法，其特征在于，确定该旋转中心(37)的位置包括：确定从该移动设备的该第一位置(10A)到基于该第一图像确定的当该人注视该第一方向时该人的眼睛的瞳孔在该任意世界坐标系中的位置的第一直线(41A)，
确定从该移动设备的该第二位置(10E)到基于该第二图像确定的当该人注视该第二方向时该人的眼睛的瞳孔在该任意世界坐标系中的位置的第二直线(41C)，以及
基于该第一直线(41A)和该第二直线(41C)来确定该旋转中心(37)的位置。
5.如权利要求1至4中任一项所述的方法，其特征在于：
在该移动设备在该任意世界坐标系中处于另外的第一位置(10A)时，同时该人直视前方并且该人的头部处于与该第一图像被捕获时相同的位置，用该移动设备(10)的该相机(11，12)捕获另外的第一图像，
在该移动设备在该任意世界坐标系中处于另外的第二位置(10E)时，同时该人保持直视前方并且该人的头部处于与该第一图像被捕获时相同的位置，用移动设备(10)的该相机(11，12)捕获另外的第二图像，以及
基于该移动设备的该另外的第一位置(10A)和该移动设备的该另外的第二位置(10E)来确定眼睛的瞳孔(36)的位置。
6.如权利要求5所述的方法，其特征在于：
使用该移动设备(10)的至少一个传感器(17)确定该另外的第一位置和该另外的第二位置。
7.如权利要求6所述的方法，其特征在于，
该至少一个传感器(17)包括加速度传感器，其中，确定该另外的第一位置和该另外的第二位置包括来自由以下操作组成的组中的至少一项：
当将该移动设备(10)移动到该另外的第一位置时，对该移动设备(10)的加速度进行积分，以及
当将该移动设备(10)移动到该另外的第二位置时，对该移动设备(10)的该加速度进行积分。
8.如权利要求5至7中任一项所述的方法，其特征在于：
使用该移动设备的取向传感器(110)确定该移动设备(10)在该另外的第一位置时的另外的第一取向，以及
使用该取向传感器(110)确定该移动设备(10)在该另外的第二位置时的另外的第二取向，
其中，确定该瞳孔(36)的位置进一步基于该另外的第一取向和该另外的第二取向。
9.如权利要求5至8中任一项所述的方法，其特征在于，确定该瞳孔(36)的位置包括：
确定从该移动设备(10)的该另外的第一位置到基于该另外的第一图像确定的当该人直视前方时该人的眼睛的瞳孔的位置的另外的第一直线(51A)，
确定从该移动设备(10)的该另外的第二位置到基于该另外的第二图像确定的当该人直视前方时该人的眼睛的瞳孔的位置的另外的第二直线(51E)，以及
基于该另外的第一直线(51A)和该另外的第二直线(51E)来确定该瞳孔(36)的位置。
10.一种用于估计眼睛直径(38)的量度的方法，包括基于根据如权利要求1至9中任一项所述的方法确定的该瞳孔(36)的位置和该旋转中心(37)的位置来估计眼睛直径(38)的量度的步骤。
11.如权利要求10所述的方法，其特征在于，随时间重复地执行该方法，并且该方法进一步包括随时间评估眼睛直径(38)的量度。
12.一种制造镜片的方法，该方法包括：
基于用如权利要求1至9中任一项所述的方法确定的该旋转中心的位置来制造该镜片。
13.一种用于在任意世界坐标系中确定人的眼睛的旋转中心(37)的移动设备(10)，该移动设备包括：
相机(11，12)，
至少一个传感器(17)，
显示器(19)或扬声器(13)中的至少一个，以及
处理器(16)，该处理器被配置为控制该移动设备进行以下操作：
在该人注视第一方向时捕获第一图像，以及
在该人注视第二方向时捕获第二图像，以及
基于该第一图像和该第二图像来确定该旋转中心的位置，
其特征在于，
捕获该第一图像包括在该移动设备在该任意世界坐标系中相对于该人的头部处于第一位置(10A)时用该移动设备(10)的该相机(11，12)捕获该第一图像，其中，该第一方向是指向该移动设备(10)的该相机(11，12)或处于该第一位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
该处理器被进一步配置为使该移动设备(10)在该移动设备(10)的该显示器(19)上显示指令或者从该移动设备(13)的该扬声器(13)输出指令，以将该移动设备(10)相对于该人的头部从该第一位置(10A)移动到该第二位置(10E)，其中，该移动设备(10)被配置为使用该移动设备的该至少一个传感器(17)确定该任意世界坐标系中的该第一位置和该第二位置，
捕获该第二图像包括在该移动设备(10)在该任意世界坐标系中处于不同于该第一位置的该第二位置(10E)时用该移动设备(10)的该相机(11，12)捕获该第二图像，其中，该第二方向是指向该移动设备(10)的该相机(11，12)或处于该第二位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
其中，该移动设备(10)被配置为输出指令，使得该第一图像和该第二图像在该人保持头部处于同一位置并将眼睛分别注视该第一方向和该第二方向时捕获，并且
其中，确定该旋转中心(37)的位置进一步基于该移动设备的该第一位置(10A)和该移动设备的该第二位置(10E)。
14.如权利要求13所述的移动设备(10)，其中，该移动设备(10)被配置为执行如权利要求1至11中任一项所述的方法。
15.一种用于移动设备的计算机程序，以在任意世界坐标系中确定人的眼睛的旋转中心(37)的位置，
其中，该移动设备(10)包括相机(11，12)、至少一个传感器(17)、以及显示器(19)或扬声器(13)中的至少一个，
其中，该计算机程序当由该移动设备(10)的处理器(16)执行时使该移动设备(10)进行以下操作：
在该人注视第一方向时捕获第一图像，以及
在该人注视第二方向时捕获第二图像，以及
基于该第一图像和该第二图像来确定该旋转中心的位置，
其特征在于，
捕获该第一图像包括在该移动设备在该任意世界坐标系中相对于该人的头部处于第一位置(10A)时用该移动设备(10)的该相机(11，12)捕获该第一图像，其中，该第一方向是指向该移动设备(10)的该相机(11，12)或处于该第一位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
该计算机程序当由该移动设备(10)的该处理器(16)执行时进一步使该移动设备(10)在该移动设备(10)的该显示器(19)上显示指令或者从该移动设备(13)的该扬声器(13)输出指令，以将该移动设备(10)相对于该人的头部从该第一位置移动到该第二位置，其中，该移动设备(10)被配置为使用该移动设备的该至少一个传感器(17)确定该任意世界坐标系中的该第一位置和该第二位置，
捕获该第二图像包括在该移动设备(10)处于不同于该第一位置的该第二位置(10E)时用该移动设备(10)的该相机(11，12)捕获该第二图像，其中，该第二方向是指向该移动设备(10)的该相机(11，12)或处于该第二位置的该移动设备(10)的该显示器(19)上显示的目标的方向，
其中，该计算机程序当由该移动设备(10)的该处理器(16)执行时进一步使该移动设备(10)输出指令，使得该第一图像和该第二图像在该人保持头部处于同一位置并将眼睛分别注视该第一方向和该第二方向时捕获，并且
其中，确定该旋转中心(37)的位置进一步基于该移动设备的该第一位置(10A)和该移动设备的该第二位置(10E)。
16.如权利要求15所述的计算机程序，其中，该计算机程序当由该处理器执行时使得执行如权利要求1至11中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20202529.2 | 2020-10-19 | ||
| EP20202529.2A EP3985483A1 (en) | 2020-10-19 | 2020-10-19 | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program |
| PCT/EP2021/078905 WO2022084291A1 (en) | 2020-10-19 | 2021-10-19 | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115997159A CN115997159A (zh) | 2023-04-21 |
| CN115997159B true CN115997159B (zh) | 2023-12-12 |
Family
ID=72943950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180049696.5A Active CN115997159B (zh) | 2020-10-19 | 2021-10-19 | 使用移动设备确定眼睛旋转中心的位置的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11849999B2 (zh) |
| EP (2) | EP3985483A1 (zh) |
| CN (1) | CN115997159B (zh) |
| WO (1) | WO2022084291A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230306640A1 (en) * | 2022-03-23 | 2023-09-28 | Sony Group Corporation | Method of 3d reconstruction of dynamic objects by mobile cameras |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU6056301A (en) | 2000-05-18 | 2001-11-26 | Visionix Ltd. | Spectacles fitting system and fitting methods useful therein |
| FR2898993B1 (fr) | 2006-03-24 | 2008-08-01 | Essilor Int | Procede de determination d'une lentille ophtalmique progressive |
| DE102009010467A1 (de) | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
| US9075249B2 (en) | 2012-03-07 | 2015-07-07 | Google Inc. | Eyeglass frame with input and output functionality |
| FR3021204A1 (fr) * | 2014-05-20 | 2015-11-27 | Essilor Int | Procede de determination d'au moins un parametre de comportement visuel d'un individu |
| WO2016075372A1 (fr) * | 2014-11-14 | 2016-05-19 | Essilor International (Compagnie Generale D'optique) | Dispositifs et procédés pour la détermination de la position d'un point remarquable d'un œil et pour le suivi de la direction de regard d'un porteur de lunettes |
| US20160363995A1 (en) * | 2015-06-12 | 2016-12-15 | Seeing Machines Limited | Circular light element for illumination of cornea in head mounted eye-tracking |
| EP3305176A1 (en) * | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
| CN111771179A (zh) * | 2018-01-17 | 2020-10-13 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| CN111869200A (zh) * | 2018-01-17 | 2020-10-30 | 奇跃公司 | 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 |
| WO2020068459A1 (en) * | 2018-09-28 | 2020-04-02 | Apple Inc. | Sensor fusion eye tracking |
-
2020
- 2020-10-19 EP EP20202529.2A patent/EP3985483A1/en not_active Withdrawn
-
2021
- 2021-10-19 CN CN202180049696.5A patent/CN115997159B/zh active Active
- 2021-10-19 EP EP21794390.1A patent/EP4172723B1/en active Active
- 2021-10-19 WO PCT/EP2021/078905 patent/WO2022084291A1/en active Search and Examination
-
2023
- 2023-01-12 US US18/153,641 patent/US11849999B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11849999B2 (en) | 2023-12-26 |
| EP4172723A1 (en) | 2023-05-03 |
| WO2022084291A1 (en) | 2022-04-28 |
| EP4172723B1 (en) | 2023-12-06 |
| EP4172723C0 (en) | 2023-12-06 |
| EP3985483A1 (en) | 2022-04-20 |
| US20230157539A1 (en) | 2023-05-25 |
| CN115997159A (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558012B (zh) | 一种眼球追踪方法及装置 | |
| KR102062658B1 (ko) | 안구 모델을 생성하기 위한 각막의 구체 추적 | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| US9628697B2 (en) | Method and device for measuring an interpupillary distance | |
| US10416725B2 (en) | Wearable device having a display, lens, illuminator, and image sensor | |
| CN113808160B (zh) | 视线方向追踪方法和装置 | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| US20160173864A1 (en) | Pickup of objects in three-dimensional display | |
| CN107427208B (zh) | 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 | |
| CN108369744B (zh) | 通过双目单应性映射的3d注视点检测 | |
| US20140240470A1 (en) | Method, system and device for improving optical measurement of ophthalmic spectacles | |
| US20220207919A1 (en) | Methods, devices and systems for determining eye parameters | |
| JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
| JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| WO2022032911A1 (zh) | 一种视线追踪方法及装置 | |
| US11849999B2 (en) | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program | |
| EP3882810B1 (en) | Computer implemented methods and devices for determining dimensions and distances of head features | |
| EP2772795A1 (en) | Method, system and device for improving optical measurement of ophthalmic spectacles | |
| CN112183160A (zh) | 视线估计方法及装置 | |
| CN116918322A (zh) | 便携式电子设备的校准方法 | |
| KR102299051B1 (ko) | 안경렌즈 처방을 위한 3차원 매개변수 측정 장치 및 방법 | |
| US20220398781A1 (en) | System and method for digital measurements of subjects | |
| WO2024110403A1 (en) | Computer-implemented method and devices for determining at least one astigmatism parameter of at least one eye of a person | |
| KR20240074755A (ko) | 시선 방향 추적 방법 및 장치 | |
| CN117882031A (zh) | 用于进行对象的数字测量的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |