CN117597622A - 用于提供视力测量和视力校正的增强现实设备和方法 - Google Patents

Abstract

提供了一种由增强现实(AR)设备执行的测量用户视力的方法。该方法包括：通过使用AR设备中包括的外向相机捕获AR设备的前部区域，来获得包括至少一个物理对象的图像在内的背景图像；识别背景图像中的至少一个物理对象的图像的边缘；基于所识别的边缘确定背景图像上用于测量用户视力的第一区域；确定AR设备中包括的显示器上与所确定的第一区域相对应的第二区域；将用于测量用户视力的虚拟对象输出到所确定的第二区域；在输出虚拟对象之后获得用于视力测量的用户输入信号；以及基于所获得的用户输入信号计算用户的视力处方值。

Description

用于提供视力测量和视力校正的增强现实设备和方法

技术领域

本公开涉及用于测量用户视力并且向视力差的用户提供校正视力的增强现实(AR)设备和方法。

背景技术

增强现实(AR)技术是将虚拟对象或信息与真实环境合成以使得虚拟对象或信息看起来像真实物理环境中存在的对象的技术。现代计算和显示技术已经实现了AR体验系统的开发，在该系统中，数字再现的图像或其部分可以被呈现给用户，使得它们可以被认为是真实的或被识别为真实的。

随着对AR技术的兴趣增加，用于实现AR的各种技术的开发也在积极进行。特别地，智能眼镜可以显示覆盖在背景图像上的虚拟对象，同时通过透明显示器直接识别真实物理环境的图像。

另一方面，由于大多数AR设备具有头戴式显示器(HMD)形式，因此在佩戴用于视力校正的眼镜的同时使用这种AR设备是不方便的。佩戴用于视力校正的眼镜的人在校正之前的视力可能由于近视、远视、散光或其组合而显得复杂。当需要视力校正的用户在不佩戴用于视力校正的眼镜的情况下使用AR设备时，用户可能无法清楚地识别出关于真实物理环境的图像，并且在AR中的沉浸感降低。

因此，为了甚至向不佩戴单独眼镜的用户也提供逼真的AR服务，需要一种用于精确地测量用户视力并且提供视力校正的技术。

发明内容

技术问题

本公开的实施例可以提供一种增强现实(AR)设备和方法，考虑真实物理环境来确定其中输出用于测量用户视力的虚拟视力图表的区域，从而防止由于外部因素所导致的视力测量结果的误差。

本公开的实施例可以提供一种AR设备和方法，根据用户识别出虚拟视力图表所用的焦距来补偿视力测量值，从而减小用户的实际视力与测量的视力之间的误差。

本公开的实施例可以提供一种AR设备和方法，基于测量的视力控制诸如液晶(LC)镜头之类的可变焦镜头的焦点，从而向用户提供视力校正和逼真的AR服务。

本公开的实施例要实现的技术问题不限于如上所述的技术问题，并且可以从以下实施例推断出其他技术问题。

技术方案

作为用于实现上述技术问题的技术手段，一种由增强现实(AR)设备执行的测量用户视力的方法可以包括：通过使用AR设备中包括的外向相机捕获AR设备的前部区域，来获得包括至少一个物理对象的图像在内的背景图像；识别背景图像中的至少一个物理对象的图像的边缘；基于所识别的边缘确定背景图像上用于测量用户视力的第一区域；确定AR设备中包括的显示器上的与所确定的第一区域相对应的第二区域；将用于测量用户视力的虚拟对象输出到所确定的第二区域；在输出虚拟对象之后获得用于视力测量的用户输入信号；以及基于所获得的用户输入信号计算用户的视力处方值。

作为用于实现上述技术问题的技术手段，一种测量用户视力的AR设备可以包括：外向相机，被配置为通过捕获前部区域来获得包括至少一个物理对象的图像在内的背景图像；输出单元，被配置为输出用于测量用户视力的虚拟对象；用户输入单元，被配置为在输出虚拟对象之后获得用于视力测量的用户输入信号；存储器，存储包括一个或多个指令的程序；以及至少一个处理器，被配置为执行存储在存储器中的一个或多个指令。该至少一个处理器还可以被配置为执行一个或多个指令以：识别所获得的背景图像中的至少一个物理对象的图像的边缘；基于所识别的边缘确定背景图像上用于测量用户视力的第一区域；确定输出单元中包括的显示器上的与所确定的第一区域相对应的第二区域；将虚拟对象输出到所确定的第二区域；以及基于所获得的用户输入信号计算用户的视力处方值。

作为用于实现上述技术问题的技术手段，一种非暂时性计算机可读记录介质可以在其上记录有用于在计算机上执行所公开的方法的至少一个实施例的程序。

附图说明

图1是根据本公开实施例的由增强现实(AR)设备执行的测量用户视力的方法的示意图。

图2是根据本公开实施例的由AR设备执行的测量用户视力的方法的流程图。

图3是用于说明根据本公开实施例的其中AR设备确定用于测量用户视力的虚拟对象要输出的位置的操作的图。

图4是用于说明根据本公开实施例的识别背景图像中的至少一个物理对象的图像的边缘并且确定用于测量视力的虚拟对象要输出的位置的操作的图。

图5是用于说明根据本公开实施例的识别背景图像中的至少一个物理对象的图像的边缘并且确定用于测量视力的虚拟对象要输出的位置的操作的图。

图6是用于说明根据本公开实施例的基于背景图像的深度图确定背景图像上用于测量用户视力的区域的操作的图。

图7是用于说明根据本公开实施例的通过使用对象锁定机制来确定用于测量用户视力的虚拟对象的输出位置的操作的图。

图8是用于说明根据本公开实施例的输出引导指示符的操作的图。

图9是用于说明根据本公开实施例的用于增强对AR设备上显示的虚拟对象的辨别的各种操作的图。

图10是用于说明根据本公开实施例的基于到虚拟对象的焦距计算测试视力补偿值的操作的图。

图11是根据本公开实施例的AR设备的框图。

图12是示出根据本公开实施例的AR设备的图。

图13是用于说明根据本公开实施例的控制可变焦镜头并且向用户提供视力校正的操作的图。

图14是示出根据本公开实施例的AR设备的图。

具体实施方式

在下文中，将参考附图详细地描述本公开的实施例，使得本领域普通技术人员可以容易地实现本公开的实施例。然而，本公开可以以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例。此外，为了清楚地描述本公开，在附图中将省略与本公开的描述无关的部分，并且在整个说明书中，相同的附图标记将表示相同的元件。

本文中使用的术语是考虑本公开中的功能的本领域中当前广泛使用的通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域的新技术而变化。此外，在一些情况下，可能存在申请人可选地选择的术语，并且其含义将在本公开的相应部分中详细地描述。因此，本文中使用的术语不应被理解为简单的名称，而应基于术语的含义和本公开的总体描述来理解。

如本文中所使用的，单数形式“一”、“一个”和“该”也可以包括复数形式，除非上下文另有明确指示。除非另有定义，否则本文中使用的所有术语(包括技术或科学术语)可以具有与本公开领域的普通技术人员所通常理解的含义相同的含义。

在整个公开中，当某物被称为“包括”一个元件时，除非另有规定，否则可以进一步包括一个或多个其他元件。此外，如本文中所使用的，诸如“单元”和“模块”之类的术语可以指代执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件或硬件和软件的组合。

在整个说明书中，当一个元件被称为“连接”到另一个元件时，它可以“直接连接”到另一个元件，或者可以通过一个或多个介于其间的元件“电连接”到另一个元件。此外，当在本说明书中使用时，术语“包括”和/或“包含”或“包括有”和/或“包含有”指定所述元件的存在，但不排除一个或多个其他元件的存在或添加。

根据情况，本文中使用的表述“被配置为(或被设置为)”可以与例如“适于”、“有能力以”、“被设计为”、“被适配为”、“被制造为”或“能够”互换使用。表述“被配置为(或被设置为)”可能不一定仅指硬件方面的“被专门设计为”。相反，在一些情况下，表述“系统被配置为”可能意味着该系统“能够”连同其他设备或组件一起。例如，“被配置为(或被设置为)执行A、B和C的处理器”可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储在存储器中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。

图1是根据本公开实施例的由增强现实(AR)设备执行的测量用户的视力的方法的示意图。

AR设备10是能够表达AR的设备，并且可以显示包括现实中存在的物理对象和虚拟对象在内的图像。

AR设备10可以例如包括佩戴在用户脸上的眼镜形状的AR眼镜、头戴式显示器(HMD)、虚拟现实头戴式耳机(VRH)或佩戴在头上的AR头盔。同时，AR设备10不限于上述示例，并且可以包括能够向用户提供AR服务的所有类型的设备。

参考图1，AR设备10可以获得真实环境的背景图像110。例如，可以通过使用AR设备10中包括的外向相机来获得背景图像110。

在实施例中，AR设备10可以将背景图像110中不存在物理对象或物理对象的边缘不复杂的部分确定为第一区域120。第一区域120可以是背景图像110上用于使用AR设备10测量用户视力的区域。

AR设备10可以考虑用户的注视方向来确定显示器20上与所确定的第一区域120相对应的第二区域140。可以将用于测量用户视力的虚拟对象131输出到所确定的第二区域140。例如，用于测量用户视力的虚拟对象131可以是文本、图片或包括一个或多个文本或图片的视力测试图表。

当用户佩戴AR设备10并且通过其上显示虚拟对象131的显示器20观看真实环境时，用户可以识别出包括真实环境的背景图像110和虚拟对象131的合成图像130。在这点上，例如，背景图像110上的第一区域120和显示器20上的第二区域140彼此对应可以指示第一区域120和第二区域40精确地重叠在合成图像130上。

根据本公开的实施例，在背景图像110上确定用于测量用户视力的第一区域120，并且当佩戴AR设备10时，用于测量视力的虚拟对象131被输出到显示器20上的第二区域140，以在用户的注视方向上与第一区域120精确地重叠。在这种情况下，用户可以识别出虚拟对象131存在于背景图像110上的第一区域120中。

如上所述，考虑真实物理环境来确定输出用于测量用户视力的虚拟视力图表的区域，从而防止由于外部因素所导致的视力测量结果的误差。

此外，根据本公开的实施例，通过根据用于识别出虚拟对象131的焦距来补偿视力测量结果，可以进一步提高视力测量的精度。此外，可以基于以高精度测量的用户视力向AR服务提供校正的视力，从而允许用户体验更逼真的AR。

在下文中，更详细地描述确定用于输出用于测量用户视力的虚拟对象的区域的方法、根据到虚拟对象的焦距补偿视力测量结果的方法以及基于所测量的用户视力提供视力校正的方法等。

图2是根据本公开实施例的由AR设备执行的测量用户视力的方法的流程图。

在操作S210中，AR设备可以通过使用外向相机捕获AR设备的前部区域，来获得包括至少一个物理对象的图像在内的背景图像。在实施例中，外向相机可以通过捕获前部区域来获得背景图像。在这种情况下，可以使用在特定时间捕获的图像来确定用于在真实空间中测量用户视力的区域。

在操作S220中，AR设备可以识别背景图像中的至少一个物理对象的图像的边缘。识别图像的边缘的操作可以表示识别出图像中包括的对象的边界线的操作。边缘(边界线)可以指示图像中像素的值突然改变的位置。例如，用于边缘提取的算法可以由通过对图像进行微分而获得的梯度向量的大小来确定。

在实施例中，提取背景图像中包括的边缘的操作可以使用各种边缘提取算法，例如Sobel边缘检测、Prewitt边缘检测、Roberts边缘检测、Compass边缘提取检测、Laplacian边缘检测、Canny边缘检测等。

在实施例中，识别背景图像中的至少一个物理对象的边缘的操作可以将背景图像上强度在相邻像素上变化预设阈值或更大的部分确定为边缘。例如，即使在物理对象的轮廓部分中也可以确定边缘，但是边缘也可以由物理对象内的形状、图案、曲线等来确定。例如，在图片框的情况下，图片框是一个物理对象，但是可以根据在图片框中绘制的图片来识别许多边缘。此外，例如，即使背景图像中存在两个不同的物理对象，当两个对象的颜色相似并且两个对象之间的边界不清晰可见时，也可能无法识别边缘。

在操作S230中，AR设备可以基于所识别的边缘确定背景图像上用于测量用户视力的第一区域。在实施例中，AR设备可以将背景图像中没有检测到边缘的部分确定为用于视力测量的第一区域。在实施例中，可以将没有检测到边缘的部分之中具有最大面积的部分确定为用于视力测量的第一区域。

在实施例中，当没有检测到边缘的部分的大小不足以输出用于视力测量的虚拟对象时，可以在相邻的未检测到边缘的区域之中具有弱的边缘强度的两个区域上确定第一区域。例如，即使在对应于天空的图像区域和对应于海洋的图像区域之间识别到边缘，当天空和海洋之间的边缘的强度与包括在图像中的其他边缘的强度相比较弱时，也可以在对应于天空的图像区域和对应于海洋的图像区域上确定第一区域。

同时，基于所识别的边缘确定背景图像上用于测量用户视力的第一区域的操作不限于上述示例，并且可以通过使用各种方法来确定第一区域。

在步骤S240中，AR设备可以确定显示器上与所确定的第一区域相对应的第二区域。第一区域可以是背景图像上的区域，第二区域可以是显示器上的区域。在实施例中，在被确定为对应于第一区域的第二区域中，当用户通过AR设备观看真实空间时，包括在真实空间的背景图像中的第一区域和显示在显示器上的第二区域可以精确地重叠并且被识别为处于相同位置。例如，显示在显示器的第二区域上的虚拟对象可以被佩戴AR设备的用户识别为存在于真实空间的第一区域中。

在实施例中，确定与第一区域相对应的第二区域的操作可以使用通过AR设备中包括的内向相机或眼睛跟踪(ET)相机获得的用户的注视方向信息。例如，通过使用用户的注视方向信息，可以将佩戴AR设备的用户识别为精确地覆盖在第一区域上的区域确定为第二区域。

在步骤S250中，AR设备可以将用于测量用户视力的虚拟对象输出到所确定的第二区域。在实施例中，显示器可以包括透明材料。在实施例中，用于测量用户视力的虚拟对象可以是一个文本、一张图片或一个或多个文本或图片的组合。

在操作S260中，AR设备可以在输出虚拟对象之后获得用于视力测量的用户输入信号。在实施例中，用户输入信号可以是当用户识别出输出的虚拟对象时输入的信号。在实施例中，用户输入信号可以包括由诸如麦克风之类的语音传感器检测到的信号、由触摸传感器检测到的信号、通过输入设备接收到的信号或各种其他信号。

在步骤S270中，AR设备可以基于所获得的用户输入信号计算用户的视力处方值。用户的视力处方值可以包括关于近视、远视和散光的程度的信息。在实施例中，AR设备可以向用户提供所计算的用户的视力处方值。所计算的用户的视力处方值可以用在向用户提供视力校正的操作中。

图3是用于说明根据本公开实施例的其中AR设备确定用于测量用户视力的虚拟对象331要输出的位置的操作的图。

参考图3，真实环境310可以包括各种物理对象。在实施例中，用户可以在包括各种物理对象的真实环境310内执行视力测量。AR设备可以包括透明显示器。在实施例中，佩戴AR设备的用户可以在通过透明显示器观看真实环境310的同时观看显示在透明显示器上的虚拟对象331。

在实施例中，真实环境310中的区域1 340可以包括一个或多个物理对象。例如，区域1 340可以包括椅子、桌子、抽屉和膝上型计算机。在实施例中，真实环境310中的区域2340-1可以仅包括一个物理对象。例如，区域2 340-1可以仅包括墙壁。

参考图3的左侧，当用于测量用户视力的虚拟对象331覆盖并显示在区域1 340上时，对虚拟对象331的识别可能劣化。当对于对应于真实环境310的背景图像执行边缘分析时，区域1 340中可以包括大量边缘。这样，当虚拟对象331被显示为使得边缘对应于复杂区域时，对虚拟对象331的识别可能由于包括在该区域中的物理对象而被降低。

参考图3的右侧，当用于测量用户视力的虚拟对象331覆盖并显示在区域2 340-1上时，对虚拟对象331的识别可以是良好的。当对于对应于真实环境310的背景图像执行边缘分析时，区域2 340-1中可能不包括边缘或包括少量边缘。这样，当虚拟对象331被显示为对应于未识别到边缘的区域时，物理对象不存在或仅在不影响用户的视场(FOV)的情况下存在于该区域中，因此，对虚拟对象331的识别可能提升。

对用于视力测量的虚拟对象331的识别可以影响视力测量结果。例如，当虚拟对象331被输出在具有复杂边缘的区域(例如，区域1340)上时，用户充分可读的文本可能被误读。因此，当虚拟对象331被输出在具有复杂边缘的区域上时，视力可以被测量为低于实际的用户视力。

根据本公开的实施例，为了视力测量的精确性，可以通过背景图像310的边缘分析在背景图像310上确定用于测量用户视力的第一区域，并且所确定的第一区域可以用于视力测量。

图4是用于说明根据本公开的实施例的识别背景图像中的至少一个物理对象的图像411、412、413和414的边缘并且确定用于测量视力的虚拟对象431要输出的位置的操作的图。

参考图4，背景图像410可以包括多个物理对象图像411、412、413和414。例如，背景图像410可以包括人物图像411、相机图像412、建筑物图像413和地面图像414。

在实施例中，AR设备可以识别背景图像410中的每个物理对象图像411、412、413和414的边缘421(操作4a)。在实施例中，AR设备可以通过提取背景图像410中包括的边缘421来生成边缘图420。边缘图420可以包括至少一个边缘421。

在实施例中，在识别背景图像410中的物理对象的边缘421的操作中，背景图像410中强度在相邻像素上变化预设阈值或更大的部分可以被确定为边缘421。

在实施例中，可能在特定物理对象的图像中检测不到边缘。例如，参考图4，可能检测不到建筑物图像413的边缘421。当强度在相邻像素上变化预设阈值或更大时，可以检测到边缘421。在实施例中，由于与建筑物图像413相对应的像素之间的强度差小于预设阈值，因此可能检测不到边缘421。在这种情况下，即使在实际的背景图像410上，也可能难以用裸眼区分建筑物外部的边界或图案。当难以用裸眼区分像素之间的强度差时，即使虚拟对象431被显示在相应部分上，也不太可能出现视力测量的误差。因此，边缘图420上不存在边缘421的区域被确定为用于测量用户视力的第一区域430，从而防止视力测量的误差。

AR设备可以基于所识别的边缘420确定背景图像410上用于测量用户视力的第一区域430，确定显示器20上的与所确定的第一区域430相对应的第二区域，并且将用于测量用户视力的虚拟对象431输出到所确定的第二区域(操作4b)。

图5是用于说明根据本公开实施例的识别背景图像510中的至少一个物理对象的图像的边缘并且确定用于测量视力的虚拟对象531要输出的位置的操作的图。

在实施例中，可以在与物理对象的轮廓相对应的部分处确定边缘，但也可以由物理对象内的形状、图案、曲线等来确定。例如，在图片框的情况下，图片框是一个物理对象，但是可以根据在图片框内绘制的图片的图案来识别许多边缘。在实施例中，可以基于由背景图像510中的物理对象的形状、位置、图案、颜色等确定的像素值来确定边缘。

参考操作5a，在包括多个框图像的背景图像510中，边缘可以由作为物理对象的“框”的边界和在框内绘制的图片来确定。在实施例中，当虚拟对象531被显示在包括复杂边缘的区域上时，对虚拟对象531的识别可能劣化，并且视力测量结果可能出现误差。

AR设备可以在包括所确定的边缘的边缘图520中识别不包括边缘的区域，并且将该区域确定为用于视力测量的第一区域530。

在操作5b中，AR设备可以调整虚拟对象531-1的位置以对应于所确定的第一区域530。当在不包括边缘的区域上显示虚拟对象531-1时，可以在用户的视力范围内容易地识别出虚拟对象531-1，并且可以实现精确的视力测量。

图6是用于说明根据本公开实施例的基于背景图像610的深度图620确定背景图像610上用于测量用户视力的区域的操作的图。

在实施例中，AR设备可以通过使用深度传感器来获得背景图像610的深度图620，并且基于所获得的深度图620识别包括在背景图像610中的至少一个物理对象的深度值和形状。在实施例中，AR设备可以基于至少一个物理对象的深度值和形状以及通过各种边缘提取方法识别的边缘，提供背景图像610上用于测量用户视力的第一区域630。

在实施例中，AR设备可以通过使用深度信息来选择相对于要显示的虚拟对象631而具有相对恒定的焦距的平坦区域，并且由于不存在物理对象，因此可以通过使用边缘信息来选择其中可以容易地识别出或识别到虚拟对象631的区域。在实施例中，当基于深度信息和边缘信息两者来选择区域时，可以选择具有相对恒定的像素值和相对恒定的焦距的区域作为用于视力测量的第一区域630。

图7是用于说明根据本公开实施例的通过使用对象锁定机制来确定用于测量用户视力的虚拟对象731的输出位置720的操作的图。

对象锁定机制是用于固定虚拟现实(VR)或AR显示器中的物理对象和虚拟对象的相对位置的机制。

根据本公开的实施例的AR设备可以使用对象锁定机制来确定显示器上与背景图像710的第一区域相对应的第二区域。在实施例中，佩戴AR设备的用户可以在视力测量正在进行的同时改变姿势或注视不同的地方。

在实施例中，虚拟对象731相对于背景图像710的相对位置可以根据用户的移动而改变。当用户移动时，所佩戴的AR设备的位置改变，因此，AR设备中包括的显示器的位置改变。随着显示器的位置改变，背景图像710上与显示器上的第二区域相对应的第一区域的对准可能失准。

当背景图像710上的第一区域与显示器上的第二区域的对准失准时，第一区域和第二区域在用户的注视方向上可能不是精确地重叠，并且显示在第二区域上的虚拟对象可能从背景图像710的第一区域移动到包括许多边缘的区域。在这种情况下，对虚拟对象的辨别和识别可能降低，并且视力测量结果的精度可能降低。

在实施例中，AR设备可以通过对象锁定机制来调整第二区域，使得将用于测量用户视力的虚拟对象显示在显示器上以覆盖在特定的第一区域上。因此，即使用户在视力测量正在进行的同时移动，虚拟对象731和背景图像710的相对位置也可以不改变。

图8是用于说明根据本公开实施例的输出引导指示符G1和G2的操作的图。

参考图8，AR设备可以识别用户的注视点(GP)。在实施例中，用户的GP可以通过AR设备中包括的内向相机或ET相机识别。

在实施例中，当确定识别出的用户的GP没有朝向虚拟对象831时，AR设备可以向显示器输出引导指示符G1和G2。

参考图8，引导指示符G1和G2可以包括能够引导用户的注视移动并且强调虚拟对象831的位置的各种类型的指示符，例如从识别出的用户的GP中指向虚拟对象831的箭头G1和围绕虚拟对象831s的框G2。

图9是用于说明根据本公开实施例的用于增强对显示在AR设备上的虚拟对象931的辨别的各种操作的图。

在实施例中，AR设备可以调整虚拟对象931的颜色，以增强对所显示的虚拟对象931的辨别。在实施例中，AR设备可以识别背景图像910上虚拟对象931将要覆盖的第一区域920的颜色。然后，AR设备可以基于所识别的第一区域920的颜色确定虚拟对象931的颜色。

在实施例中，两个相邻对象之间的颜色对比度越大，越容易区分对象。也就是说，对象之间的颜色对比度越大，对象之间的辨别度越高。在实施例中，AR设备可以将虚拟对象931的颜色确定为具有与第一区域920的颜色的最大对比度。

在实施例中，AR设备可以根据用户是色盲还是色弱来不同地确定虚拟对象931的颜色。在实施例中，AR设备可以通过新获得或预先存储的用户信息来确定虚拟对象931的颜色，使得用户可以更好地识别虚拟对象931。

在实施例中，AR设备可以降低包括在第二区域920中的像素的亮度，除了显示器上输出虚拟对象931的像素之外。在实施例中，当显示虚拟对象931的区域周围的像素被校正为暗时，可以突出显示虚拟对象931的区域，使得可以进一步增强对虚拟对象931的辨别。

在实施例中，用于测量用户的视力的虚拟对象931的大小和数量中的至少一个可以基于背景图像910上用于测量用户视力的第一区域920的面积来确定。例如，可以根据显示虚拟对象931的区域的面积来调整虚拟对象931的数量、大小和间隙。

图10是用于说明根据本公开实施例的基于到第一虚拟对象1021和第二虚拟对象1031的焦距计算测试视力补偿值的操作的图。

在实施例中，AR设备可以识别从用户的眼睛E1和E2到虚拟对象1021和1031的焦距，并且基于所识别的焦距计算测试视力补偿值。

人眼在观看真实对象(物理对象)时会反射性地执行两个运动。一个是聚散(会聚)运动，其中双眼朝向对象会聚。在聚散(会聚)运动中，双眼的光轴根据人眼与对象之间的距离转动。另一个是调焦(适应)运动，其中眼睛的晶状体聚焦，使得对象清晰可见。在调焦(适应)运动中，根据人眼与对象之间的距离来调整晶状体的厚度。

通常，当用户注视从AR设备输出的VR图像或虚拟对象时，用户可能经历聚散-适应冲突(VAC)现象。例如，当从VR设备到物理对象的距离为d1时，VR设备可以显示虚拟对象，就好像它位于距离d1处一样。此时，因为用户观看虚拟对象好像它位于距离d1处一样，所以用户的双眼会聚的聚散距离是d1。另一方面，因为虚拟对象实际上显示在VR设备的显示器上，所以用户双眼之间的焦距是从用户的眼睛到显示器的距离d2。在这种情况下，聚散距离与焦距冲突，VR设备的用户可能会感到头晕或运动不适。同时，这样的VAC问题可以通过数字全息技术或调焦镜头来解决。

在根据本公开实施例的AR设备中，输出在显示器上的虚拟对象对应于用于视力测量的2D文本或图像，而不是3D对象。因此，当用户观看背景图像和虚拟对象的合成图像时，用户可以将虚拟对象识别为被“印刷”在背景图像中的真实对象上或被投影到真实空间上。也就是说，注视2D虚拟对象的用户的眼睛按照与观看虚拟对象实际被投影到的空间或位于该空间中的实际物理对象时相同的方式执行聚散(会聚)和调焦运动。

参考图10，例如，背景图像1010可以包括桌子图像1011、天空图像1012、计算机图像1013、茶壶图像1014和杯子图像1015。在实施例中，当用户注视投影在背景图像1010上的天空区域1012上的虚拟对象1021时，用户的眼睛E1可以按照与观看虚拟对象1021实际被投影到的空间1020时相同的方式执行聚散(会聚)和调焦运动。在实施例中，当用户注视投影在背景图像1010上的计算机图像1013上的虚拟对象1031时，虚拟对象1031可以被识别为印刷或显示在作为背景图像1010中的真实对象的计算机上，并且用户的眼睛E2可以按照与观看虚拟对象1031被实际投影到的空间1030时相同的方式执行聚散(会聚)和调焦运动。

当用户通过AR设备观看背景图像1010，并且近距离聚焦于计算机图像1013而长距离聚焦于天空图像1012时，晶状体的厚度是不同的。因此，当通过使用投影在计算机图像1013上的虚拟对象1031来测量视力并且通过使用投影在天空图像1012上的虚拟对象1021来测量视力时，即使测量值相同，也可能由于晶状体厚度的差异而存在视力差异。在实施例中，可以通过考虑晶状体的变化补偿视力处方值来减小用户的实际视力与测量的视力之间的误差。

例如，当用户聚焦FP在天空图像1012上时，包括在用户的眼睛E1中的晶状体LENS1具有放松状态，从而能够观看长距离。在实施例中，用于测量用户视力的第一虚拟对象1021可以覆盖并显示在天空图像1012上。在这种情况下，用户在晶状体LENS1放松的状态下读取第一虚拟对象1021，以便能够观看长距离。

在另一示例中，当用户聚焦NP在计算机图像1013上时，包括在用户的眼睛E2中的晶状体LENS2具有膨胀的状态，从而能够观看短距离。在实施例中，用于测量用户视力的第二虚拟对象1031可以覆盖并显示在计算机图像1013上。在这种情况下，用户在晶状体LENS2膨胀的状态下读取第二虚拟对象1031，以便能够观看短距离。

因此，在通过使用第一虚拟对象1021来测量视力的情况和通过使用第二虚拟对象1031来测量视力的情况之间，测量结果是不同的。例如，当通过使用第一虚拟对象1021来测量视力并且视力是1.2时，用户的视力可能是1.2，但是当通过使用第二虚拟对象1031来测量视力并且视力是1.2时，用户的实际视力可能低于1.2。(用户可能无法观看到更远的字母。)

可以根据虚拟对象的焦距计算用户的眼睛观看虚拟对象时晶状体的适应能力。在本公开的实施例中，虚拟对象可以被“印刷”在背景图像中的真实对象上，或者被识别为投影到真实空间上，因此，虚拟对象的焦距可以被认为是到与虚拟对象被投影的位置相对应的实际物理对象的距离。

例如，到与虚拟对象被投影的位置相对应的实际物理对象的距离可以通过深度传感器或距离测量传感器来测量，或者可以通过ET传感器来测量。深度传感器可以例如包括飞行时间(ToF)传感器、使用两个相机的立体匹配传感器或结构式光传感器。通过ET传感器测量到实际物理对象的距离的方法可以包括如下方法：通过ET传感器找出用户的左眼和右眼的注视方向，将用户的左眼和右眼的注视方向相交的点确定为对象存在的位置，以及计算到该点的距离。

在实施例中，可以基于所识别的焦距D的倒数1/D来确定基于虚拟对象的焦距的测试视力补偿值(适应能力(AP))。在实施例中，AR设备可以补偿通过所确定的AP计算的视力处方值。例如，补偿通过AP计算的视力处方值的操作可以通过当在6m内的焦距D处显示虚拟对象时从视力处方值中减去AP来补偿视力处方值。例如，当在大于6m的焦距D处显示虚拟对象时，可以通过将AP加到视力处方值来补偿视力处方值。

在实施例中，识别距用户眼睛的焦距的操作可以包括识别对应于背景图像上与显示器上的第二区域相对应的第一区域的物理对象的操作、以及通过使用AR设备中包括的LIDAR、深度传感器或ET传感器中的至少一个来识别从用户的眼睛到所识别的物理对象的焦距的操作。

根据本公开的实施例，可以通过根据用户识别虚拟视力图表所用的焦距补偿视力处方值，来减小用户的实际视力与测量的视力之间的误差。

图11是根据本公开实施例的AR设备1100的框图。

参考图11，根据本公开实施例的AR设备1100可以包括输入单元1110、存储装置1120、处理器1130、可变焦镜头1140和输出单元1150。输入单元1110可以包括外向相机1111和用户输入单元1112。输出单元1150可以包括显示器1151和音频输出单元1152。图11中所示的所有组件都不是AR设备1100的不可或缺的组件。AR设备1100可以由比图11中所示的组件更多的组件实现，或者AR设备1100可以由比图11中所示的组件更少的组件实现。

外向相机1111可以通过捕获AR设备1100的前部区域来获得包括至少一个物理对象的图像在内的背景图像。

输出单元1150可以输出用于测量用户视力的虚拟对象。

用户输入单元1112可以在输出虚拟对象之后获得用于视力测量的用户输入信号。

存储装置1120可以存储将由以下描述的处理器1130执行的程序，以便控制AR设备1100的操作。存储装置1120可以存储包括用于控制AR设备1100的操作的至少一个指令在内的程序。由处理器1130可读取的指令和程序代码可以存储在存储装置1120中。在实施例中，处理器1130可以被实现为执行存储在存储装置1120中的程序的指令或代码。存储装置1120可以存储输入到AR设备1100或从AR设备1100输出的数据。

存储装置1120可以包括以下中的至少一种类型的存储介质：闪存、硬盘、多媒体卡微型存储介质、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘。

存储在存储装置1120中的程序可以根据它们的功能而分类成多个模块。

处理器1130可以控制AR设备1100的总体操作。处理器1130可以执行根据本公开实施例的操作。例如，处理器1130可以通过执行存储在存储装置1120中的程序来控制输入单元1110、存储装置1120、可变焦镜头1140和输出单元1150中的全部。

处理器1130可以包括执行算术、逻辑和输入/输出操作以及信号处理的硬件组件。处理器1130可以例如包括但不限于：中央处理单元、微处理器、图形处理单元、专用集成电路(ASIC)、DSP、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)或现场可编程门阵列(FPGA)中的至少一个。

在实施例中，处理器1130可以执行存储在存储装置1120中的一个或多个指令以：识别所获得的背景图像中的至少一个物理对象的图像的边缘；基于所识别的边缘确定背景图像上用于测量用户视力的第一区域；确定输出单元1150中包括的显示器上与所确定的第一区域相对应的第二区域；将虚拟对象输出到所确定的第二区域；以及基于所获得的用户输入信号计算用户的视力处方值。

在实施例中，处理器1130可以执行存储在存储装置1120中的一个或多个指令以：识别从用户的眼睛到虚拟对象的焦距；以及基于所识别的焦距计算测试视力补偿值；以及基于测试视力补偿值补偿所计算的视力处方值。

在实施例中，处理器1130可以执行存储在存储装置1120中的一个或多个指令以：识别第一区域的颜色；以及将用于测量用户视力的虚拟对象的颜色确定为具有与所识别的第一区域的颜色的最大对比度，从而增强对虚拟对象的辨别。

在实施例中，处理器1130可以执行存储在存储装置1120中的一个或多个指令以通过对象锁定机制确定第二区域，使得将用于测量用户视力的虚拟对象显示在显示器上以覆盖在特定的第一区域上。

可变焦镜头1140是具有可变焦点的镜头。例如，可变焦镜头1140可以包括液晶(LC)镜头、液膜镜头、液体润湿镜头或Alvarez镜头。例如，LC镜头是具有由电信号控制的可变折射率的镜头。AR设备1100可以基于所计算的用户的视力处方值控制可变焦镜头1140的焦点。

图12是示出根据本公开实施例的AR设备的图。

参考图12，示出了能够测量用户的视力并且基于所测量的视力提供视力校正的AR设备1200。AR设备1200是能够显示AR的设备，并且通常可以包括佩戴在用户脸上的眼镜形状的AR眼镜、HMD、VRH或佩戴在头上的AR头盔。在HMD的情况下，可以通过将显示器放置在用户眼前来向用户提供超大屏幕，并且随着屏幕根据用户的移动而移动，可以提供逼真的虚拟世界。

在实施例中，用户可以佩戴能够显示视觉扩展现实内容的AR设备1200。AR设备1200可以包括能够向用户提供音频扩展现实内容的音频模块。在实施例中，AR设备1200可以包括能够捕获环境的图像和视频的一个或多个相机。AR设备1200可以包括眼睛跟踪系统以确定用户的聚散距离。在实施例中，AR设备1200可以包括轻型HMD(例如，护目镜、眼镜、面罩等)。在实施例中，AR设备1200可以包括非HMD设备，例如轻型便携式显示设备或一个或多个激光投影眼镜(例如，能够将低功率激光投影到用户的视网膜上以向用户投影和显示图像或深度内容的眼镜)。

在实施例中，AR设备1200可以提供AR服务，该AR服务输出至少一个虚拟对象以看起来覆盖在被确定为用户的FOV的区域上。例如，被确定为用户的FOV的区域是被确定为由佩戴AR设备1200的用户通过AR设备1200可感知的区域，并且可以是包括AR设备1200的整个显示器或显示器的至少一部分的区域。在实施例中，AR设备1200可以包括分别对应于用户的双眼的多个透明构件(例如，第一显示器1220和第二显示器1230)。

在实施例中，AR设备1200可以包括显示模块1214、相机、音频输出单元以及支撑单元1221和1222。

相机可以捕获与用户的FOW相对应的图像或者测量到对象的距离。在实施例中，相机可以用于头部跟踪和空间识别。此外，相机可以识别用户的移动。

在实施例中，除了用于检测与用户的FOV(即，对象的运动或空间识别)相对应的图像的相机1213之外，相机还可以包括“ET相机1212”。在实施例中，可以使用ET相机1212来检测和跟踪用户的瞳孔。ET相机1212可以用于将投影在AR设备1200上的虚拟图像的中心调整为位于佩戴AR设备1200的用户的眼睛注视的方向上。例如，可以在ET相机1212中使用全局快门(GS)相机来检测瞳孔并且无延迟地跟踪快速瞳孔移动。ET相机1212可以分别包括左眼相机1212-1和右眼相机1212-2。

在实施例中，显示模块1214可以包括第一显示器1220和第二显示器1230。通过显示模块1214输出的虚拟对象可以包括与在AR设备1200上执行的应用程序相关的信息、或与位于与确定为用户的FOV的区域相对应的真实空间中的外部对象相关的信息。例如，AR设备1200可以在通过相机1213获得的与真实空间相关的图像信息之中检查在与确定为用户的FOV的区域相对应的至少一部分中包括的外部对象。AR设备1200可以通过AR设备1200的显示区域之中被确定为用户的FOV的区域输出与该至少一部分中检查的外部对象相关的虚拟对象。外部对象可以包括存在于真实空间中的对象。

在实施例中，第一显示器1220和第二显示器1230可以各自包括透明构件中的聚光透镜或波导。例如，透明构件可以由玻璃板、塑料板或聚合物形成，并且可以被制造为完全透明的或半透明的。在实施例中，透明构件可以包括面向佩戴AR设备1200的用户的右眼的第一透明构件1230和面向用户的左眼的第二透明构件1220。当第一显示器1220和第二显示器1230是透明的时，显示器可以被设置在面向用户眼睛的位置以显示屏幕。

波导可以将从显示器的光源生成的光传送到用户的眼睛。例如，波导可以至少部分地位于透明构件(例如，第一显示器1220和第二显示器1230)的一部分上。根据实施例，从显示器发射的光可以入射到波导的一端，并且入射光可以通过波导内的全内反射被传输到用户的眼睛。波导可以由诸如玻璃、塑料或聚合物之类的透明材料制成，并且可以包括在内表面或外表面上形成的纳米图案，例如多边形或曲状光栅结构。在实施例中，入射光可以通过纳米图案在波导内部传播或反射，并且提供给用户的眼睛。在实施例中，波导包括至少一个衍射元件(例如，衍射光学元件(DOE)、全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一个。在实施例中，波导可以通过使用至少一个衍射元件或反射元件将从光源单元发射的显示光引导到用户的眼睛。

在实施例中，第一显示器1220和第二显示器1230可以各自包括显示面板或透镜(例如，玻璃)。例如，显示面板可以包括透明材料，例如玻璃或塑料。在实施例中，显示器可以包括透明器件，并且用户可以通过穿过显示器来感知显示器后面的真实空间。显示器可以在透明器件的至少一个部分区域上显示虚拟对象，使得看起来虚拟对象被添加到真实空间的至少一部分中。

在实施例中，支撑单元1221和1222可以分别包括向AR设备1200的每个组件发送电信号的印刷电路板(PCB)1231-1和1231-2、输出信号的音频扬声器1232-1和1232-2或提供电力的电池1233-1和1233-2。例如，在眼镜型AR设备1200中，支撑单元1221和1222可以被设置在眼镜的镜腿部分上。支撑单元1221和1222可以分别包括耦接到AR设备1200的主体的铰链单元1240-1和1240-2。扬声器1232-1和1232-2包括将音频信号发送到用户左耳的第一扬声器1232-1和将音频信号发送到用户右耳的第二扬声器1232-2。

参考图12，AR设备1200可以包括接收用户语音和环境声音的麦克风1241。此外，AR设备1200可以包括至少一个照明LED 1242，以提高至少一个相机(例如，ET相机1212、外向相机1213或识别相机1211-1和1211-2)的精度。例如，当用ET相机1212拍摄用户的瞳孔时，照明LED 1242可以用作用于提高精度的辅助装置，并且可以使用红外波长的IR LED，而不是可见光波长。例如，当通过使用识别相机1211-1和1211-2拍摄用户的手势时由于环境黑暗而不容易检测到被摄体时，照明LED 1242可以用作辅助装置。

根据实施例，显示模块1214可以包括与左眼相对应的第一导光板和与右眼相对应的第二导光板，并且通过第一导光板和第二导光板向用户提供视觉信息。根据实施例，显示模块1214可以包括显示面板和透镜(例如，玻璃透镜或LC透镜)。显示面板可以包括透明材料，例如玻璃或塑料。

根据实施例，显示模块1214可以包括透明器件，并且用户可以穿过显示模块1214并感知在用户面前的作为显示模块1214的后表面的真实空间。显示模块1214可以在透明器件的至少一个部分区域上显示虚拟对象，使得看起来虚拟对象被添加到真实空间的至少一部分中。

在实施例中，AR设备1200可以在通过外向相机1213获得的与真实空间相关的图像信息中确定在与确定为用户的FOV的区域相对应的至少一部分中包括的外部对象。AR设备1200可以通过AR设备1200的显示区域之中被确定为用户的FOV的区域输出(或显示)与在至少一部分中检查的外部对象相关的虚拟对象。外部对象可以包括存在于真实空间中的对象。根据各种实施例，AR设备1200显示虚拟对象的显示区域可以包括显示模块1214的一部分(例如，显示面板的至少一部分)。根据实施例，显示区域可以对应于第一导光板和第二导光板各自的至少一部分。

根据实施例，AR设备1200可以通过使用外向相机1213来测量到位于AR设备1200的前方方向上的物理对象的距离。外向相机1213可以包括高分辨率相机，例如高分辨率(HR)相机和照片视频(PV)相机。

根据本公开实施例的AR设备1200不限于上述配置，并且可以包括各种位置和各种数量的各种组件。

图13是用于说明根据本公开实施例的控制可变焦镜头1340并且向用户提供视力校正的操作的图。

可变焦镜头1340是具有可变焦点的镜头。例如，可变焦镜头1340是LC镜头、液膜镜头、液体润湿镜头或Alvarez镜头。

在根据本公开实施例的AR设备中，可变焦镜头1340可以被设置在用户的眼睛和显示器1351之间。在实施例中，AR设备可以基于所计算的用户的视力处方值控制AR设备中包括的可变焦镜头1340。

参考图13，佩戴AR设备的用户可以通过可变焦镜头1340观看显示在显示器1351上的虚拟对象(13a)，并且通过可变焦镜头1340和透明显示器1351观看现实空间。

本公开的实施例可以基于测量的视力来控制可变焦镜头1340的焦点，从而向用户提供视力校正，并且通过校正的视力提供逼真的AR服务。

图14是示出根据本公开实施例的AR设备(例如，图11的1100)的图。

参考图14，AR设备可以包括用户输入单元1410、输出单元1430、控制器1420、感测单元1440、通信器1450、音频/视频(A/V)输入单元1460和存储器1470。

用户输入单元1410是用户通过其输入用于控制AR设备的数据的装置。例如，用户输入单元1410可以包括触摸板(触摸电容法、压阻层法、红外传感法、表面超声传导法、整体张力测量法、压电效应法等)或麦克风，但不限于此。

输出单元1430可以输出音频信号、视频信号或振动信号，并且可以包括显示器1431、声音输出单元1432和振动电机1433。

显示器1431显示和输出由AR设备处理的信息。例如，显示器1431可以显示虚拟对象的图像。

显示器1431可以例如包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、三维(3D)显示器或电泳显示器中的至少一个。

音频输出单元1432输出从通信器1450接收的或存储在存储器1470中的音频数据。振动电机1433可以输出振动信号。

控制器1420通常控制AR设备的总体操作。在实施例中，控制器1420可以类似于上述图11的处理器1130来实现。例如，控制器1420可以执行存储在存储器1470中的程序，以总体上控制用户输入单元1410、输出单元1430、感测单元1440、通信器1450和A/V输入单元1460。控制器1420可以通过控制用户输入单元1410、输出单元1430、感测单元1440、通信器1450和A/V输入单元1460来执行图1至图12的AR设备的各种操作。

感测单元1440可以感测AR设备的状态或AR设备周围的状态，并且将感测到的信息发送到控制器1420。

感测单元1440可以包括磁传感器1441、加速度传感器1442、温度/湿度传感器1443、红外传感器1444、陀螺仪传感器1445、位置传感器(例如，GPS)1446、气压传感器1447、接近传感器1448或RGB传感器(照度传感器)1449中的至少一个，但不限于此。每个传感器的功能可以从其名称直观地推断出来，因此省略了对其的详细描述。

通信器1450可以包括用于与其他电子设备通信的一个或多个组件。例如，通信器1450可以包括短距离通信器1451、移动通信器1452和广播接收器1453。

短距离无线通信器1451可以包括蓝牙通信器、蓝牙低能量(BLE)通信器、近场通信器、WLAN通信器、WLAN(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi直连(WFD)通信器、超宽带(UWB)通信器、Ant+通信器等，但不限于此。

移动通信器1452向着和从移动通信网络上的基站、外部终端或服务器中的至少一个发送和接收无线电信号。这里，无线电信号可以包括根据语音呼叫信号、视频呼叫信号或文本/多媒体消息发送/接收的各种类型的数据。在实施例中，AR设备用作其他连接的电子设备的显示设备，并且AR设备本身可以用作独立的移动通信终端。在这种情况下，AR设备的通信器1450可以包括短距离通信器1451和移动通信器1452两者，并且即使在未连接到其他电子设备时，也可以通过移动通信器1451作为独立的移动通信终端进行操作。

广播接收器1453可以通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。在实施例中，AR设备可以不包括广播接收器1453。

A/V输入单元1460用于输入音频信号或视频信号，并且可以包括相机1461和麦克风1462。相机1461可以在视频通信模式或拍摄模式下通过图像传感器获得诸如静止图像或运动图像之类的图像帧。可以通过控制器1420或单独的图像处理单元(未示出)来处理通过图像传感器捕获的图像。

由相机1461处理的图像帧可以存储在存储器1470中，或者通过通信器1450发送到外部。根据AR设备的配置，可以提供两个或更多个相机1461。

麦克风1462接收外部声音信号，并且将接收到的信号处理为电语音数据。例如，麦克风1462可以从外部设备或扬声器接收声音信号。麦克风1462可以使用各种噪声去除算法来去除在接收外部声音信号的过程中产生的噪声。

存储器1470可以存储用于由控制器1420进行的处理和控制的程序，并且可以存储输入到AR设备或从AR设备输出的数据。存储器1470可以包括闪存类型、硬盘类型、多媒体卡微型、卡型存储器(例如，SD或XD存储器)、RAM(随机存取存储器)、SRAM(静态随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、PROM(可编程只读存储器)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。

本公开的实施例可以由一个或多个计算机程序实现或支持，并且计算机程序可以由计算机可读程序代码形成并且可以包括在计算机可读介质中。在本公开中，术语“应用”和“程序”可以指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据，或者其适于在计算机可读程序代码中实现的一部分。“计算机可读程序代码”可以包括各种类型的计算机代码，包括源代码、目标代码和可执行代码。“计算机可读介质”可以包括由计算机访问的各种类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器(HDD)、光盘(CD)、数字视频盘(DVD)或各种类型的存储器。

此外，机器可读存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性存储介质”可以是有形设备，并且可以排除用于传输临时电信号或其他信号的有线、无线、光学或其他通信链路。此外，“非暂时性存储介质”可以不区分数据被半永久地存储在存储介质中的情况和数据被临时存储在其中的情况。例如，“非暂时性存储介质”可以包括临时存储数据的缓冲器。计算机可读介质可以是可由计算机访问的任何可用介质，并且可以包括易失性或非易失性介质以及可移动或不可移动介质。计算机可读介质可以包括其中可以永久地存储数据的介质和其中可以存储数据并且可以稍后盖写数据的介质，例如可重写光盘或可擦除存储器设备。

根据本公开的实施例，根据本公开的各种实施例的方法可以包括在计算机程序产品中并且在计算机程序产品中提供。计算机程序产品可以作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以通过应用商店在线分发(例如，下载或上传)，或者直接在两个用户设备之间分发。在在线分发的情况下，计算机程序产品的至少一部分(例如，可下载的app)可以至少临时地存储在机器可读存储介质中或临时地在机器可读存储介质中生成，例如制造商的服务器、应用商店的服务器或中继服务器的存储器。

前述内容说明了本公开的实施例，并且本领域的普通技术人员将容易理解，可以在不实质上脱离本公开的精神或特征的情况下在其中进行各种修改。因此，应当理解，以上描述的实施例应当仅在描述性意义上考虑，而不是出于限制的目的。例如，被描述为单个类型的每个组件也可以以分布式方式实现，同样，被描述为分布式的组件也可以以组合形式实现。

本公开的范围不由上述详细描述限定，而由以下权利要求来限定，并且源自权利要求的含义和范围及其等效概念的所有修改应当被解释为包括在本公开的范围内。

Claims (15)

1.一种由增强现实AR设备执行的测量用户视力的方法，所述方法包括：

通过使用所述AR设备中包括的外向相机捕获所述AR设备的前部区域，来获得包括至少一个物理对象的图像在内的背景图像；

识别所述背景图像中所述至少一个物理对象的图像的边缘；

基于所识别的边缘确定所述背景图像上用于测量用户视力的第一区域；

确定所述AR设备中包括的显示器上与所确定的第一区域相对应的第二区域；

将用于测量用户视力的虚拟对象输出到所确定的第二区域；

在输出所述虚拟对象之后，获得用于视力测量的用户输入信号；以及

基于所获得的用户输入信号计算用户的视力处方值。

2.根据权利要求1所述的方法，其中，识别所述背景图像中所述至少一个物理对象的图像的边缘包括：将所述背景图像上强度在相邻像素上变化预设阈值或更大的部分确定为边缘。

3.根据权利要求1所述的方法，其中，获得所述背景图像包括：

通过使用所述AR设备中包括的深度传感器来获得所述背景图像的深度图；以及

基于所获得的深度图识别所述背景图像中包括的所述至少一个物理对象的深度值和形状。

4.根据权利要求3所述的方法，其中，基于所识别的边缘确定所述背景图像上用于测量用户视力的第一区域包括：基于所述至少一个物理对象的深度值和形状以及所识别的边缘，确定所述背景图像上的所述第一区域。

5.根据权利要求1所述的方法，还包括：

识别从用户的眼睛到所述虚拟对象的焦距；

基于所识别的焦距计算测试视力补偿值；以及

基于所述测试视力补偿值补偿所计算的视力处方值。

6.根据权利要求5所述的方法，其中，识别从用户的眼睛到所述虚拟对象的焦距包括：

识别与所述第一区域对应的物理对象，所述第一区域与显示所述虚拟对象的所述第二区域对应；以及

通过使用所述AR设备中包括的LIDAR、深度传感器或眼睛跟踪传感器中的至少一个来识别从用户的眼睛到所识别的物理对象的焦距。

7.根据权利要求5所述的方法，其中，计算所述测试视力补偿值包括：基于所识别的焦距(D)的倒数(1/D)计算所述测试视力补偿值。

8.根据权利要求1所述的方法，还包括：

识别所述第一区域的颜色；以及

基于所识别的第一区域的颜色确定用于测量用户视力的所述虚拟对象的颜色。

9.根据权利要求8所述的方法，其中，用于测量用户视力的所述虚拟对象的颜色被确定为具有与对应的所述第一区域的颜色的最大对比度。

10.根据权利要求8所述的方法，还包括：降低所述第二区域中包括的像素的亮度，除了所述显示器上输出用于测量用户视力的所述虚拟对象的像素之外。

11.根据权利要求1所述的方法，还包括：基于所述第一区域的面积确定用于测量用户视力的虚拟对象的大小或数量中的至少一个。

12.根据权利要求1所述的方法，其中，确定与所确定的第一区域相对应的所述第二区域包括：

通过使用对象锁定机制来确定所述第二区域，使得将用于测量用户视力的所述虚拟对象显示在所述显示器上以覆盖在特定的所述第一区域上。

13.根据权利要求1所述的方法，还包括：

识别所述用户的注视方向；以及

当确定识别出的所述用户的注视方向不朝向所述虚拟对象时，向所述显示器输出引导指示符。

14.根据权利要求1所述的方法，还包括：基于所计算的所述用户的视力处方值控制所述AR设备中包括的可变焦镜头。

15.一种测量用户视力的增强现实AR设备，所述AR设备包括：

外向相机，被配置为通过捕获前部区域来获得包括至少一个物理对象的图像在内的背景图像；

输出单元，被配置为输出用于测量用户视力的虚拟对象；

用户输入单元，被配置为在输出所述虚拟对象之后获得用于视力测量的用户输入信号；

存储器，存储包括一个或多个指令的程序；以及

至少一个处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以：

识别所获得的背景图像中的所述至少一个物理对象的图像的边缘；

基于所识别的边缘确定所述背景图像上用于测量用户视力的第一区域；

确定所述输出单元中包括的显示器上与所确定的第一区域相对应的第二区域；

将所述虚拟对象输出到所确定的第二区域；以及

基于所获得的用户输入信号计算用户的视力处方值。