CN110766094A - 用于评估增强现实设备标定准确性的方法和装置 - Google Patents

Abstract

本公开提供了一种用于评估增强现实设备标定准确性的方法。所述方法包括：获取眼球的第一图像，所述第一图像包括标定物在所述眼球中的第一反射成像；利用所述增强现实设备虚拟成像来获得虚拟标定物；其中，所述虚拟标定物为所述标定物对应的虚拟物体；所述虚拟标定物被展示为位于由所述标定物的位置信息所确定的位置，并具有所述标定物的形态信息所确定的形态；获取所述眼球的第二图像，所述第二图像包括所述虚拟标定物在所述眼球中的第二反射成像；以及基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性。本公开还提供了一种用于评估增强现实设备标定准确性的装置。

Description

用于评估增强现实设备标定准确性的方法和装置

技术领域

本公开涉及一种用于评估增强现实设备标定准确性的方法和装置。

背景技术

增强现实设备(Augment Reality，AR)可以将虚拟的物体和真实世界对应的物体进行叠加。然而，由于真实世界的物体是通过眼球接收到真实物体表面的反光而被人眼看到，虚拟物体是通过在AR眼镜镜片成像后再投射到人的眼球而被人眼看到。因此，要通过AR设备实现人眼看到的虚拟物体和真实世界的物体的无缝融合，需要对人的眼球、AR设备的光学特性、AR设备中相机追踪特性等进行标定。然而，目前对AR设备进行标定时基本是通过人眼观察，主观判断真实物体和虚拟物体的叠加是否准确，缺乏客观的评判手段。

发明内容

本公开的一个方面提供了一种用于评估增强现实设备标定准确性的方法。所述方法包括：获取眼球的第一图像，所述第一图像包括标定物在所述眼球中的第一反射成像；利用所述增强现实设备虚拟成像来获得虚拟标定物；其中，所述虚拟标定物为所述标定物对应的虚拟物体；所述虚拟标定物被展示为位于由所述标定物的位置信息所确定的位置，并具有所述标定物的形态信息所确定的形态；获取所述眼球的第二图像，所述第二图像包括所述虚拟标定物在所述眼球中的第二反射成像；以及基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性。

可选地，所述眼球为使用所述增强现实设备的用户的眼球；或者所述眼球为在工业假人头上安装的仿制眼球。

可选地，所述获取眼球的第一图像，包括在用户佩戴所述增强现实设备并且所述增强现实设备关闭虚拟成像的情况下，利用摄像头采集所述第一图像。

可选地，所述获取所述眼球的第二图像，包括在采集所述第一图像之后的预定时间间隔内，利用所述摄像头采集所述眼球的第二图像，其中，所述摄像头与所述增强现实设备的相对位置、以及所述摄像头的参数与采集所述第一图像时一致。

可选地，所述基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性，包括比较所述第一图像和所述第二图像中所述第一反射成像与所述第二反射成像在所述眼球中的分布差异；具体包括确定所述第一反射成像与所述第二反射成像中对应位置的位置偏差，或者确定所述第一反射成像与所述第二反射成像中的对应位置的图像重合度。

可选地，所述标定物为通过屏幕显示的画面，所述获取所述第二图像，包括关闭所述屏幕中显示的所述画面，以及在关闭所述屏幕中显示的所述画面之后采集所述第二图像。

可选地，在所述利用所述增强现实设备虚拟成像来获得虚拟标定物之前，所述方法还包括利用所述增强现实设备识别所述标定物的所述位置信息和所述形态信息。

可选地，所述标定物包括棋盘格。

可选地，在所述基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性之后，所述方法还包括基于所述评估的结果，展示用于调节所述增强现实设备的至少一个参数的交互控件，以及基于对所述交互控件的操作，调节所述至少一个参数。

本公开实施例的另一方面提供了一种用于评估增强现实设备标定准确性的装置。所述装置包括第一图像获取模块、获得模块、第二图像获取模块、以及评估模块。所述第一图像获取模块用于获取眼球的第一图像，所述第一图像包括标定物在所述眼球中的第一反射成像。所述获得模块用于利用所述增强现实设备虚拟成像来获得虚拟标定物；其中，所述虚拟标定物为所述标定物对应的虚拟物体；所述虚拟标定物被展示为位于由所述标定物的位置信息所确定的位置，并具有所述标定物的形态信息所确定的形态。所述第二图像获取模块用于获取所述眼球的第二图像，所述第二图像包括所述虚拟标定物在所述眼球中的第二反射成像。所述评估模块用于基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性。

可选地，所述第一图像获取模块具体用于在用户佩戴所述增强现实设备并且所述增强现实设备关闭虚拟成像的情况下，利用摄像头采集所述第一图像。

可选地，所述第二图像获取模块具体用于在采集所述第一图像之后的预定时间间隔内，利用所述摄像头采集所述眼球的第二图像，其中，所述摄像头与所述增强现实设备的相对位置、以及所述摄像头的参数与采集所述第一图像时一致。

可选地，所述评估模块具体用于比较所述第一图像和所述第二图像中所述第一反射成像与所述第二反射成像在所述眼球中的分布差异，包括确定所述第一反射成像与所述第二反射成像中对应位置的位置偏差，或者确定所述第一反射成像与所述第二反射成像中的对应位置的图像重合度。

可选地，所述第二图像获取模块还用于在所述标定物为通过屏幕显示的画面的情况下，关闭所述屏幕中显示的所述画面，以及在关闭所述屏幕中显示的所述画面之后采集所述第二图像。

可选地，所述装置还包括标定物信息获取模块。所述标定物信息获取模块用于在所述利用所述增强现实设备虚拟成像来获得虚拟标定物之前，利用所述增强现实设备识别所述标定物的所述位置信息和所述形态信息。

可选地，所述装置还包括参数调节模块。所述参数调节模块用于基于所述评估的结果，展示用于调节所述增强现实设备的至少一个参数的交互控件，以及基于对所述交互控件的操作，调节所述至少一个参数。

本公开的另一方面提供了一种计算机系统，包括一个或多个存储器以及一个或多个处理器。所述存储器上存储有计算机可执行指令。所述处理器执行所述指令以实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的方法和装置的应用场景；

图2示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的方法的流程图；

图3示意性示出了根据本公开另一实施例的用于评估增强现实设备标定准确性的方法的流程图；

图4示意性示出了根据本公开实施例的方法中获取第一图像的场景示例；

图5示意性示出了根据本公开实施例的方法中获取第二图像的场景示例；

图6示意性示出了根据本公开实施例的比较第一图像和第二图像的过程示意；

图7示意性示出了根据本公开一实施例的获取第二图像的流程图；

图8示意性示出了根据本公开再一实施例的用于评估增强现实设备标定准确性的方法的流程图；

图9示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的装置的方框图；以及

图10示意性示出了适于实现根据本公开实施例的用于评估增强现实设备标定准确性的方法的系统的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种用于评估增强现实设备标定准确性的方法和装置。该方法包括：获取眼球的第一图像，第一图像包括标定物在眼球中的第一反射成像；利用增强现实设备虚拟成像来获得虚拟标定物，其中，虚拟标定物为该标定物对应的虚拟物体，虚拟标定物被展示为位于由该标定物的位置信息所确定的位置，并具有该标定物的形态信息所确定的形态；获取眼球的第二图像，第二图像包括虚拟标定物在眼球中的第二反射成像；以及基于第一图像和第二图像的对比，评估对增强现实设备的标定的准确性。

本公开实施例的方法和装置，可以用于客观地评估增强现实设备虚实叠加标定的准确性，客观评估增强现实设备中虚拟物体和空间中的真实物体的叠加融合效果，为增强现实设备的参数标定和矫正提供依据。

图1示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的方法和装置的应用场景100。

如图1所示，该应用场景100可以包括增强现实设备11、摄像头12、处理设备13、位于真实世界的标定物14、以及佩戴AR设备的用户15。其中，增强现实设备11和摄像头12可以分别与处理设备13进行通信，例如，通过有线或无线通信。

在关闭增强现实设备11的虚拟成像或者用户15尚未佩戴增强现实设备11时，用户15可以清晰地观察到存在与真实世界的标定物14。此时，可以利用摄像头12采集用户15的眼球的第一图像，该第一图像中包括了标定物14在用户15的眼球中的第一反射成像。

然后，增强现实设备11可以基于标定物14相对于增强现实设备11的位置信息和形态信息，通过虚拟成像得到与标定物14对应的虚拟标定物。理论上，若对增强现实设备11各个参数的标定与真实值完全吻合，那么用户15通过增强现实设备11可以感知到的虚拟标定物位于空间中与标定物14相同位置、且具有与标定物14具有相同形态。因此，理论上该虚拟标定物投射到用户15的眼球中的反射成像会与标定物14在用户15的眼球中的反射成像一致。然而，由于实际中对增强现实设备11的标定可能存在偏差，就会导致增强现实设备11通过虚拟成像计算得的虚拟标定物的位置和形态会与真实世界中标定物14的位置和形态存在偏差。

之所以虚拟标定物的位置和形态会与真实世界中标定物14的位置和形态存在偏差，是因为对增强现实设备11的某一个或多个参数(例如，增强现实设备11所使用的相机的FOV、或者光学镜片之间的距离等)的标定与真实值可能存在偏差。这样要么导致增强现实设备11识别得到的标定物14的位置信息和形态信息本身存在偏差，要么导致增强现实设备11不能够实现将虚拟标定物准确展示在理论计算值所确定的空间位置和形态。

本公开实施例可以利用该虚拟标定物的位置和形态与真实世界中标定物14的位置和形态的偏差，来评估对增强现实设备11的标定准确性。具体地，可以在增强现实设备11通过虚拟成像展示虚拟标定物时、且用户15的头部状态、以及摄像头12的参数与采集第一图像时保持一致的情况下，利用摄像头12采集用户15的眼球的第二图像，该第二图像中可以包括有虚拟标定物在用户15的眼球中的第二反射成像。然后，基于第一图像和第二图像的对比就可以对增强现实设备11的标定准确性进行评估。例如，可以对比获得第一图像中的标定物14的第一反射成像、与第二图像中虚拟标定物的第二反射成像的位置和/或形态偏差，以此来评估增强现实设备11的标定准确性。

在具体采集第二图像时，为了避免标定物14对虚拟标定物在用户15的眼球中的反射成像的清晰度的影响，可以在摄像头12拍摄第二图像的瞬间通过遮挡等手段屏蔽标定物14，或者也可以使虚拟标定物的亮度明显大于标定物14的亮度，以便于通过后期处理去除掉采集的第二图像中所包含的标定物14的反射成像的影响。

根据本公开的实施例，在图1的示意中，增强现实设备11具体被示例为AR眼镜仅是一种示例。在实际使用中，增强现实设备11的形态不予限定，例如增强现实设备11可以是AR头盔、或者手机等。

根据本公开的一些实施例，在评估增强现实设备11的标定准确性的过程中，用户15也可以被替换为工业假人头。相应的用户15的眼球对应为在工业假人头上安装的仿制眼球。例如，在生产线上为批量化评估增强现实设备的标定准确性时，工业假人头的位置和状态可以保持固定不动，从而使用工业假人头上安装的仿制眼球效率会更高。

根据本公开的实施例，标定物14可以是棋盘格。如图1所示，棋盘格的亮度对比度比较大，一定程度上可以保障在用户15的眼球中清晰成像。该棋盘格可以是打印出来的棋盘格，也可以是屏幕上显示的棋盘格，棋盘格形式不限，格子数量不限。当然，可以理解棋盘格仅是标定物14的一种实施例。在一些实施例中，标定物14还可以是其他mark板等。

根据本公开的实施例，摄像头12用于拍摄用户15的眼球的图像，可以安装于用户15的眼球的非正前方的斜方，不遮挡正常眼睛观看视角。摄像头12可以独立于增强现实设备11(如图1所示)，也可以是安装在增强现实设备11上的用于人眼视线追踪的辅助相机。在一些实施例中，摄像头12的采集范围可以不包括增强现实设备11，例如将摄像头12安装在比增强现实设备11更靠近眼球的位置。在另一些实施例中，摄像头12的采集范围可以包括增强现实设备11，例如摄像头12安装在外部天花板上，可以透过增强现实设备11的镜片拍摄眼球图像；其中，在增强现实设备11关闭虚拟成像的情况下，增强现实设备11的眼镜是透明的，此时可以忽略增强现实设备11的眼镜对摄像头12采集的眼球的图像(即，第一图像)的影响；在增强现实设备11虚拟成像的情况下，增强现实设备11的眼镜上的画面可能会对摄像头12采集的眼球的图像产生影响，对此可以通过控制增强现实设备11的眼镜上的画面的亮度等以便于图像进行后期处理，剔除增强现实设备11的眼镜上的画面对眼球的图像的影响。

根据本公开实施例的用于评估增强现实设备的标定准确性的方法可以由与增强现实设备11和摄像头12通信的处理设备13来执行。相应的，处理设备13中可以设置有根据本公开实施例的用于评估增强现实设备标定准确性的装置、计算机系统或者介质。其中，处理设备13可以通过与增强现实设备11和摄像头12的交互，进行后台计算和处理，来评估增强现实设备11标定准确性。处理设备13与增强现实设备11和摄像头12的交互，可以包括处理设备13控制摄像头12采集图像并获取采集的图像、以及控制增强现实设备11虚拟成像得到虚拟标定物等。

需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

以下结合图1的应用场景，对本公开实施例的用于评估增强现实设备标定准确性的方法进行说明，其中该用于评估增强现实设备标定准确性的方法可以由处理设备13来执行。

图2示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的方法的流程图。

如图2所示，该用于评估增强现实设备标定准确性的方法可以包括操作S210～操作S240。

在操作S210，获取眼球的第一图像，第一图像包括标定物14在眼球中的第一反射成像。根据本公开的一个实施例，操作S210中获取眼球的第一图像，具体可以是在用户15佩戴增强现实设备11并且增强现实设备11关闭虚拟成像的情况下，利用摄像头12采集第一图像。

在操作S220，利用增强现实设备11虚拟成像来获得虚拟标定物；其中，虚拟标定物为标定物14对应的虚拟物体；虚拟标定物被展示为位于由标定物14的位置信息所确定的位置，并具有标定物14的形态信息所确定的形态。

在一个实施例中，该标定物14的位置信息和形态信息可以是由增强现实设备11识别得到的。在另一个实施例中，该标定物14的位置信息和形态信息可以是通过增强现实设备11以外的其他设备处理得到的；例如，利用外部的深度相机获得标定物14相对于该深度相机的位置和形态，同时再根据该深度相机与该增强现实设备11之间的相对位置和状，计算出标定物14相对于该增强现实设备11的位置信息和形态信息。

根据本公开的一个实施例，当利用工业假人头替代用户15时，例如在生产线上，由于工业假人头可以保持固定不动，相应的可以设置不同的增强现实设备的位置和状态为确定的标准值。这种情况下，标定物14相对于增强现实设备11的位置信息和状态信息可以是一次测量后可多次使用的。

在操作S230，获取眼球的第二图像，第二图像包括虚拟标定物在眼球中的第二反射成像。例如，在增强现实设备11虚拟成像展示虚拟物体时，利用摄像头12拍摄眼球的第二图像。

根据本公开的一个实施例，操作S230中获取眼球的第二图像，可以是在采集第一图像之后的预定时间间隔内(例如，1s内)，利用摄像头12采集眼球的第二图像，其中，摄像头12与增强现实设备11的相对位置、以及摄像头12的参数与采集第一图像时一致。尤其是，当所获取的图像(第一图像和第二图像)是佩戴增强现实设备11的用户15的眼球的图像时，考虑到用户15的位置和状态难以长时间保持固定不动，操作S210～操作230可以是在用户15佩戴着增强现实设备11时的短暂瞬间内完成的。在采集第一图像之后的瞬间(即，预定时间间隔内)采集第二图像，可以减少甚至避免用户15的头部运动等环境因素对评估结果带来干扰。

而当所获取的图像(第一图像和第二图像)是工业假人头的仿制眼球的图像时，由于工业假人头的位置和状态可以保持固定不动，同时摄像头12、增强现实设备11、标定物14的位置和状态、参数均可设置为固定值，对操作S210～操作230的执行时间间隔可以可以根据实际情况来确定。

在操作S240，基于第一图像和第二图像的对比，评估对增强现实设备11的标定的准确性。例如，可以对比获得第一图像中的标定物14的第一反射成像与第二图像中虚拟标定物的第二反射成像的位置和/或形态的偏差，以此来评估增强现实设备11的标定准确性。根据本公开的实施例，可以使用客观的手段来评估增强现实设备11的标定准确性，为增强现实设备11的参数调节和矫正提供依据，提高增强现实设备11的生产或使用性能。

根据本公开的实施例，利用了人眼在观看物体时物体在眼球中的反射成像的光学特性，基于人眼在观察位于同一位置、且具有相同的形态的物体时，眼球中的反射成像的位置和形态相同这一理论，从而第一图像和第二图像中眼球中的第一反射成像和第二反射成像的差异，能够反映出用户观察到的虚拟标定物在空间的位置和形态与标定物14在空间的位置和形态的差异。进而，通过第一图像和第二图像的对比能够客观的评估增强现实设备11的标定准确性。

更进一步地，根据本公开实施例，通过对比第一图像和第二图像中可以获得眼球中的第一反射成像和第二反射成像的差异，基于该差异可以量化对强现实设备11的标定的偏差，从而可以量化地评估增强现实设备11标定准确性。

由此可见，本公开实施例的方法，通过包括标定物14在眼球中的反射成像的第一图像和包括与标定物14对应的虚拟标定物在眼球中的反射成像的第二图像的对比，可以对增强现实设备11虚拟成像所得的虚拟物体与空间中的真实物体的叠加效果进行准确且客观的判断，可以更为准确客观的评估增强现实设备11的标定准确性。相比于相关技术中通过人眼来观察真实物体和虚拟物体的叠加效果，本公开实施例的方法的评估结果更为客观、且准确可信。

图3示意性示出了根据本公开另一实施例的用于评估增强现实设备标定准确性的方法的流程图。

如图3所示，根据本公开的实施例，该用于评估增强现实设备标定准确性的方法除了前述操作S210～操作S240以外，还可以包括操作S310。

根据本公开实施例，可以在操作S220中利用增强现实设备11虚拟成像获得虚拟标定物之前执行操作S310，利用增强现实设备11识别标定物14的位置信息和形态信息。

图4示意性示出了根据本公开实施例的方法中获取第一图像41的场景示例。

如图4所示，增强现实设备11关闭虚拟成像的情况下，用户15可以透过增强现实设备11的眼镜观看到位于真实世界的标定物14。此时，当利用摄像头12朝向用户15的眼球40进行拍照，可以拍摄到眼球40观看标定物14时标定物14在眼球40中反射的图像42。以此方式，可以获得眼球40的第一图像41，该第一图像41包括了标定物14的第一反射成像42。

图5示意性示出了根据本公开实施例的方法中获取第二图像的场景示例。

如图5所示，增强现实设备11通过虚拟成像获得虚拟标定物145，该虚拟标定物145为与标定物14对应的虚拟物体。例如，该标定物14为棋盘格时，该虚拟标定物145是虚拟的棋盘格。

该虚拟标定物145显示在增强现实设备11的眼镜上，通过增强现实设备11的光学系统，可以使佩戴该增强现实设备11的用户15感知到该虚拟物体145位于空间中。其中，增强现实设备11基于标定物14相对于增强现实设备11的位置信息和形态信息来确定将该虚拟标定物145展示于空间的位置和形态。用户15可以通过该增强现实设备11感知到的该虚拟标定物145在空间中的位置和形态。

当增强现实设备11虚拟成像获得虚拟标定物145时，利用摄像头12朝向用户15的眼球40进行拍照，可以拍摄到眼球40虚拟标定物145投射在在眼球40中反射成像52。以此方式，可以获得眼球40的第二图像51，其中该第二图像51包括了虚拟标定物145的第二反射成像52。

图6示意性示出了根据本公开实施例的比较第一图像41和第二图像51的过程示意。

结合图4～6，根据本公开的实施例，操作S240中基于第一图像41和第二图像51的对比，评估对增强现实设备11的标定的准确性，具体地可以是比较第一图像41和第二图像51中第一反射成像42与第二反射成像52在眼球40中的分布差异。例如，确定第一反射成像42与第二反射成像52中对应位置的位置偏差，或者确定第一反射成像42与第二反射成像52中的对应位置的图像重合度。

根据本公开的实施例，确定第一反射成像42与第二反射成像52中对应位置的位置偏差，例如可以是根据第一反射成像42与第二反射成像52中至少一个对应位置的坐标来计算位置偏差。例如，参考图4～6，第一反射成像42中的角点421与第二反射成像52中的角点521为相互对应的角点。根据本公开的实施例，可以根据角点421在第一图像41中的坐标与角点521在第二图像51中的坐标，计算出角点421与角点521的位置偏差(例如，计算两个角点坐标之间的欧氏距离)；或者根据本公开的另一实施例，例如对于第一反射成像42中的每个角点均按照与角点421类似的方式，计算每个角点与第二反射成像52中的对应角点的位置偏差，然后对计算得到的所有角点的位置偏差进行统计处理例如，取平均)，从而统计得到第一反射成像42与第二反射成像52之间对应位置的统计偏差。

根据本公开的实施例，确定第一反射成像42与第二反射成像52中的对应位置的图像重合度，例如可以是计算第一反射成像42和第二反射成像52中至少一个对应区域的图像重合比例。例如，参考图4～6，第一反射成像42中的方格422与与第二反射成像52中的方格522为相互对应的区域。根据本公开的实施例，可以根据方格422在第一图像41中分布的像素坐标、与方格522在第二图像51中分布的像素坐标，计算出方格422和方格522的相重合的区域的面积占方格422或方格522的面积的比例；或者根据本公开的另一实施例，例如可以对于第一反射成像42中的每个方格均按照与方格422类似的方式，计算每个方格与第二反射成像52中的对应方格的重合的比例，然后对计算得到的所有方格的重合的比例进行统计处理(例如，取平均)，从而统计得到第一反射成像42与第二反射成像52之间对应位置的图像重合度的统计偏差。

图7示意性示出了根据本公开一实施例的操作S230中获取第二图像的流程图。

如图7所示，根据本公开的实施例操作S230可以包括操作S231和操作S232。

在操作S231，在标定物14为通过屏幕显示的画面的情况下，关闭屏幕中显示的画面。在操作S232，在关闭屏幕中显示的画面之后采集第二图像。以此方式，可以减少甚至完全避免标定物14的存在对采集的第二图像的干扰。

结合图4和图5，为了避免拍摄第二图像51时标定物14对眼球40的图像的影响，可以通过在拍摄的瞬间通过移除或折遮挡等方式屏蔽标定物14来降低标定物14对第二图像51中第二反射成像52的干扰，提高第二图像51中第二反射成像52的清晰度。根据本公开的实施例，当标定物14为通过屏幕显示的画面时，可以在采集第二图像的瞬间关闭屏幕上呈现的标定物14的画面。

图8示意性示出了根据本公开再一实施例的用于评估增强现实设备标定准确性的方法的流程图。

如图8所示，根据本公开的实施例，该用于评估增强现实设备标定准确性的方法除了前述操作S210～操作S240以外，还可以包括操作S850和操作S860。

在操作S850，基于评估的结果，展示用于调节增强现实设备11的至少一个参数的交互控件。

在操作S860，基于对交互控件的操作，调节至少一个参数。

根据本公开的实施例，无论是在生产增强现实设备11的过程中，还是在用户15在使用增强现实设备11过程中，可以根据中对增强现实设备11标定准确性的评估结果，对增强现实设备11的至少一个参数进行调节。例如，可以根据评估结果显示交互控件，通过交互控件来指导用户15对增强现实设备11的参数标定结果的调节，为用户自主调节增强现实设备11的展示效果提供了便利，提高了用户体验。

图9示意性示出了根据本公开实施例的用于评估增强现实设备标定准确性的装置900的方框图。

如图9所示，该装置900可以包括第一图像获取模块910、获得模块920、第二图像获取模块930、以及评估模块940。该装置900可以用于实现参考图2～图8所描述的用于评估增强现实设备11标定准确性的方法。根据本公开实施例，装置900可以是处理设备13的一个具体实施例。

第一图像获取模块910用于获取眼球的第一图像，第一图像包括标定物14在眼球中的第一反射成像。根据本公开的一个实施例，第一图像获取模块910可以用于在用户15佩戴增强现实设备11并且增强现实设备11关闭虚拟成像的情况下，利用摄像头12采集第一图像。

获得模块920用于利用增强现实设备11虚拟成像来获得虚拟标定物；其中，虚拟标定物为标定物14对应的虚拟物体；虚拟标定物被展示为位于由标定物14的位置信息所确定的位置，并具有标定物14的形态信息所确定的形态。根据本公开的一个实施例，第二图像获取模块920具体用于在采集第一图像之后的预定时间间隔内，利用摄像头12采集眼球的第二图像，其中，摄像头12与增强现实设备11的相对位置、以及摄像头12的参数与采集第一图像时一致。

第二图像获取模块930用于获取眼球的第二图像，第二图像包括虚拟标定物在眼球中的第二反射成像。

评估模块940用于基于第一图像和第二图像的对比，评估对增强现实设备11的标定的准确性。根据本公开的实施例，评估模块940具体用于比较第一图像和第二图像中第一反射成像与第二反射成像在眼球中的分布差异，包括确定第一反射成像与第二反射成像中对应位置的位置偏差，或者确定第一反射成像与第二反射成像中的对应位置的图像重合度。

根据本公开的另一实施例，所述第二图像获取模块920还用于在所述标定物14为通过屏幕显示的画面的情况下，关闭所述屏幕中显示的所述画面，以及在关闭所述屏幕中显示的所述画面之后采集所述第二图像。

根据本公开的实施例，所述装置900还可以包括标定物信息获取模块950。所述标定物信息获取模块950用于在所述利用所述增强现实设备11虚拟成像来获得虚拟标定物之前，利用所述增强现实设备11识别所述标定物14的所述位置信息和所述形态信息。

根据本公开的实施例，所述装置900还可以包括参数调节模块960。所述参数调节模块960用于基于所述评估的结果，展示用于调节所述增强现实设备11的至少一个参数的交互控件，以及基于对所述交互控件的操作，调节所述至少一个参数。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一图像获取模块910、获得模块920、第二图像获取模块930、评估模块940、标定物信息获取模块950、以及参数调节模块960中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一图像获取模块910、获得模块920、第二图像获取模块930、评估模块940、标定物信息获取模块950、以及参数调节模块960中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一图像获取模块910、获得模块920、第二图像获取模块930、评估模块940、标定物信息获取模块950、以及参数调节模块960中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了适于实现根据本公开实施例的用于评估增强现实设备标定准确性的方法的系统1000的框图。图10示出的计算机系统1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，系统1000包括处理器1010和计算机可读存储介质1020。根据本公开的一些实施例，该系统1000还可以包括摄像头1030、以及AR眼镜1040。该系统1000可以执行根据本公开实施例的方法。

具体地，处理器1010例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1010还可以包括用于缓存用途的板载存储器。处理器1010可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。处理器1010可以是处理设备13的一种具体实施例。

计算机可读存储介质1020，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质1020可以包括计算机程序1021，该计算机程序1021可以包括代码/计算机可执行指令，其在由处理器1010执行时使得处理器1010执行根据本公开实施例的方法或其任何变形。

计算机程序1021可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1021中的代码可以包括一个或多个程序模块，例如包括1021A、模块1021B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1010执行时，使得处理器1010可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，处理器1010可以与摄像头1030和AR眼镜1040进行交互，来执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，第一图像获取模块910、获得模块920、第二图像获取模块930、评估模块940、标定物信息获取模块950、以及参数调节模块960中的至少一个可以实现为参考图10描述的计算机程序模块，其在被处理器1010执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征在不冲突的情况下可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种用于评估增强现实设备标定准确性的方法，包括：

获取眼球的第一图像，所述第一图像包括标定物在所述眼球中的第一反射成像；

利用所述增强现实设备虚拟成像来获得虚拟标定物；其中，所述虚拟标定物为所述标定物对应的虚拟物体；所述虚拟标定物被展示为位于由所述标定物的位置信息所确定的位置，并具有所述标定物的形态信息所确定的形态；

获取所述眼球的第二图像，所述第二图像包括所述虚拟标定物在所述眼球中的第二反射成像；以及

基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性。

2.根据权利要求1所述的方法，其中：

所述眼球为使用所述增强现实设备的用户的眼球；或者

所述眼球为在工业假人头上安装的仿制眼球。

3.根据权利要求1所述的方法，其中，所述获取眼球的第一图像包括：

在用户佩戴所述增强现实设备并且所述增强现实设备关闭虚拟成像的情况下，利用摄像头采集所述第一图像。

4.根据权利要求3所述的方法，其中，所述获取所述眼球的第二图像包括：

在采集所述第一图像之后的预定时间间隔内，利用所述摄像头采集所述眼球的第二图像，其中，所述摄像头与所述增强现实设备的相对位置、以及所述摄像头的参数与采集所述第一图像时一致。

5.根据权利要求1或4所述的方法，其中，所述基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性包括：

比较所述第一图像和所述第二图像中所述第一反射成像与所述第二反射成像在所述眼球中的分布差异，包括：

确定所述第一反射成像与所述第二反射成像中对应位置的位置偏差；或者

确定所述第一反射成像与所述第二反射成像中的对应位置的图像重合度。

6.根据权利要求1或4所述的方法，其中，所述标定物为通过屏幕显示的画面，所述获取所述第二图像包括：

关闭所述屏幕中显示的所述画面；以及

在关闭所述屏幕中显示的所述画面之后采集所述第二图像。

7.根据权利要求1所述的方法，其中，在所述利用所述增强现实设备虚拟成像来获得虚拟标定物之前，所述方法还包括：

利用所述增强现实设备识别所述标定物的所述位置信息和所述形态信息。

8.根据权利要求1所述的方法，其中，所述标定物包括棋盘格。

9.根据权利要求1所述的方法，其中，在所述基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性之后，所述方法还包括：

基于所述评估的结果，展示用于调节所述增强现实设备的至少一个参数的交互控件；以及

基于对所述交互控件的操作，调节所述至少一个参数。

10.一种用于评估增强现实设备标定准确性的装置，包括：

第一图像获取模块，用于获取眼球的第一图像，所述第一图像包括标定物在所述眼球中的第一反射成像；

获得模块，用于利用所述增强现实设备虚拟成像来获得虚拟标定物；其中，所述虚拟标定物为所述标定物对应的虚拟物体；所述虚拟标定物被展示为位于由所述标定物的位置信息所确定的位置，并具有所述标定物的形态信息所确定的形态；

第二图像获取模块，用于获取所述眼球的第二图像，所述第二图像包括所述虚拟标定物在所述眼球中的第二反射成像；以及

评估模块，用于基于所述第一图像和所述第二图像的对比，评估对所述增强现实设备的标定的准确性。

Images