CN115937102A - 用于瞳距测量的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了一种用于瞳距测量的方案，具体涉及用于瞳距测量的方法、装置、设备和存储介质。根据在此描述的实施例，在瞳距测量的过程中，控制单元将两个相机分别由各自的初始位置移动至各自的结束位置，在移动的过程中，控制两个相机分别拍摄左眼图像和右眼图像。进一步地，控制单元确定用于获得瞳距的相应标定参数，并基于相应的标定参数和所捕获的图像来获取用户的瞳距。以此方式，提高了瞳距测量的精度，降低了瞳距测量的硬件成本。

Description

用于瞳距测量的方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及测量技术，并且更具体地，涉及用于瞳距测量的方法、装置、设备和计算机可读存储介质。

背景技术

瞳距是指双眼瞳孔之间的距离。当人们佩戴诸如眼镜、虚拟现实头盔等可穿戴设备时，如果可穿戴设备不能与用户的瞳距相匹配，则会引起用户佩戴的不适并会降低视觉效果。因此，在使用可穿戴设备时，快速准确地获得用户的瞳距是提高用户体验的关键技术之一。

发明内容

在本公开的第一方面，提供一种用于瞳距测量的方法，包括：将第一相机和第二相机分别设置在第一初始位置和第二初始位置，所述第一相机被配置为拍摄用户的左眼的图像、并且与第一组光源相关联，所述第二相机被配置为拍摄所述用户的右眼的图像、并且与第二组光源相关联；在使所述第一相机和所述第二相机分别移动到第一结束位置和第二结束位置的过程中，控制所述第一相机和所述第二相机分别捕获所述用户的左眼和右眼的第一组图像和第二组图像；获取与所述第一组图像对应的所述第一相机和所述第一组光源的第一组参数，以及与所述第二组图像对应的所述第二相机和所述第二组光源的第二组参数；以及至少部分地基于所述第一组图像、所述第一组参数、所述第二组图像和所述第二组参数，获取所述用户的瞳距。

在本公开的第二方面，提供一种用于瞳距测量的装置，包括：位置控制模块，被配置为将第一相机和第二相机分别设置在第一初始位置和第二初始位置，所述第一相机被配置为拍摄用户的左眼的图像、并且与第一组光源相关联，所述第二相机被配置为拍摄所述用户的右眼的图像、并且与第二组光源相关联；相机控制模块，被配置为在使所述第一相机和所述第二相机分别移动到第一结束位置和第二结束位置的过程中，控制所述第一相机和所述第二相机分别捕获所述用户的左眼和右眼的第一组图像和第二组图像；参数获取模块，被配置为获取与所述第一组图像对应的所述第一相机和所述第一组光源的第一组参数，以及与所述第二组图像对应的所述第二相机和所述第二组光源的第二组参数；以及瞳距测量模块，被配置为至少部分地基于所述第一组图像、所述第一组参数、所述第二组图像和所述第二组参数，获取所述用户的瞳距。

在本公开的第三方面，提供一种电子设备，包括：第一相机，被配置为拍摄用户的左眼的图像；第二相机，被配置为拍摄所述用户的右眼的图像；第一组光源，与所述第一相机相关联；第二组光源，与所述第二相机相关联；控制单元，其被配置为执行根据上述第一方面所述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本公开一些实施例的用于瞳距测量的电子设备的框图；

图2示出了根据本公开一些实施例的用于瞳距测量方法的流程图；图3示出了根据本公开一些实施例的调节相机位置的示意框图；

图4示出了根据本公开一些实施例的用于获取第一组参数和第二组参数的方法的流程图；

图5示出了根据本公开一些实施例的用于瞳距测量的装置的框图；以及

图6示出了能够被用来实现本公开一些实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。

术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。

在本公开的实施例的描述中，术语“组”表示一个或多个元素的集合。作为示例，“一组图像”应被理解为一个或多个图像，“一组参数”应被理解为一个或多个参数。换言之，本公开的实施例中所使用的术语“组”在其所包含的元素的数目方面不受限制。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

如上文所有讨论的，在使用可穿戴设备时，快速且精确地获得用户的瞳距是提高用户体验的关键技术之一。传统的瞳距测量技术需要进行视线估计和眼球位置估计，并且支持使用单个固定相机和多个固定相机来进行瞳距测量。

当使用单个固定相机进行瞳距测量时，视线估计和眼球位置估计依赖于所构建的眼球模型。然而，眼球属于用户的生物特征之一，因此不同用户的眼球各不相同。因此，当用户眼球的生理特性与所构建的眼球模型差异较大时，瞳距测量结果的误差较大。进一步地，当使用单个固定相机进行瞳距测量时，需要相机的拍摄方向垂直于两眼的连线，以降低深度估计误差对瞳距测量结果的影响。然而，调节相机的拍摄方向通常需要增加热镜(hotmirror)等光学元件，而热镜等光学元件的引入则增加了瞳距测量装置的硬件的成本和设计的复杂度。

相比于单个固定相机，在使用多个固定相机来进行瞳距测量虽然提高了瞳距测量的精度，但是其硬件成本相对较高。

根据本公开的实施例，提供了一种基于移动相机的瞳距测量方案。根据本公开的各个实施例，在瞳距测量的过程中，控制单元将两个相机分别由各自的初始位置移动至各自的结束位置，在移动的过程中，控制两个相机分别拍摄左眼图像和右眼图像。控制单元进一步确定用于获得瞳距的相应标定参数，并基于相应的标定参数和所捕获的图像来获取用户的瞳距。以此方式，提高了瞳距测量的精度，降低了瞳距测量的硬件成本。下面参考附图描述本公开的示例实施例。

图1示出了根据本公开一些实施例的用于瞳距测量的电子设备100的框图。如图1所示，电子设备100包括被配置为拍摄用户的左眼图像的第一相机120-1，以及被配置为拍摄用户的右眼图像的第二相机120-2。为便于讨论，第一相机120-1和第二相机120-2可以被统称相机120。

在一些实施例中，为便于拍摄左眼图像和右眼图像，相机120可以以倾斜的方式被布置在电子设备110上。

在一些实施例中，为增加瞳距测量的精度，可以配置多个相机以拍摄左眼图像，并相应地可以配置多个相机以拍摄右眼图像。

在一些实施例中，电子设备100包括可移动组件，第一相机120-1和第二相机120-2被配置在可移动组件上。以此方式，区别于传统技术中的固定相机，根据本公开各个实施例的相机120可以在电子设备110内移动，以捕获多张左眼图像和右眼图像。

作为一特定实施例，电子设备100为虚拟现实设备，该第一相机120-1被设置在虚拟现实设备的左眼镜筒140-1上，而第二相机120-2被设置在虚拟现实设备的右眼镜筒140-2上(为便于讨论，左眼镜筒140-1和右眼镜筒140-2可以被统称镜筒140)。进一步地，左眼镜筒140-1和右眼镜筒140-2被布置在滑轨上。以此方式，第一相机120-1和第二相机120-2可以随着左眼镜筒140-1和右眼镜筒140-2在滑轨上移动(即，发生平移)。

进一步地，在该特定实施例中，滑轨可以被标注有相应的刻度，当第一相机120-1和第二相机120-2随着左眼镜筒140-1和右眼镜筒140-2在滑轨上移动时，左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2的位置可以通过滑轨的刻度来标识。

在一些实施例中，可以通过传感器来获取左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2的位置信息。

备选地，在一些实施例中，左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2的位置信息可以基于相应的一个或多个参数来确定。例如，在已知初始位置的情况下，可以基于左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2在滑轨上的移动轨迹和/或移动速度等参数来确定左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2的位置信息。

应当理解，上述用于标识位置信息的实施例仅仅是示例性的，在其他实施例中，可以采用其他方式来标识左眼镜筒140-1/第一相机120-1和右眼镜筒140-2/第二相机120-2的位置信息。本公开在此方面不受限制。

如图1所示，电子设备100进一步包括控制单元110。在一些实施例中，控制单元100可以运行相应的逻辑、运算，并且可以与电子设备100的其他组件进行通信以交互控制消息和数据。

在电子设备100为虚拟现实设备的特定实施例中，控制单元100可以控制左眼镜筒140-1和右眼镜筒140-2在滑轨上移动。以此方式，控制单元110可以通过控制左眼镜筒140-1的位置来实现对第一相机120-1位置的控制，相应地通过控制右眼镜筒140-2的位置来实现对第二相机120-2位置的控制。

在一些实施例中，电子设备100包括至少一个光源。进一步地，至少一个光源可以为可移动光源，也可以为不可移动光源。在一些实施例中，可移动光源被设置在电子设备100的可移动组件上，而不可移动光源被设置在电子设备100的不可以移动组件上。

在电子设备100为虚拟现实设备的特定实施例中，可以将可移动光源布置在左眼镜筒140-1和右眼镜筒上140-2。在图1的特定实施例中，可移动光源130-1被配置在左眼镜筒140-1，可移动光源130-2被配置在右眼镜筒140-2上，而不可移动光源被配置在左眼镜筒140-1和右眼镜筒140-2的背板上(如图1所示的光源130-3)。为便于讨论，光源130-1、130-2以及光源130-3可以被统称为光源130。

在一些实施例中，至少一个光源中的第一组光源与第一相机120-1相关联，至少一个光源中的第二组光源与第二相机120-2相关联。

在一些实施例中，相机120与光源间的关联关系可以是预定义的。例如，在电子设备100的出厂设置中，将第一组光源预先关联至第一相机120-1，将第二组光源预先关联至第二相机120-2。

备选地或附加地，在一些实施例中，相机120与光源间的关联关系可以与相机120与光源间的位置关系相关联。作为一示例实施例，装配在相同可移动组件(诸如，镜筒140)上的相机120和光源可以彼此关联。在另一示例实施例中，当相机120与光源之间的距离小于阈值距离时，相机120与光源彼此关联。

备选地或附加地，在一些实施例中，相机120与光源间的关联关系可以与特定的功能相关联。作为一示例实施例，当光源与第一相机120-1协作捕获用户的左眼图像时，该光源与第一相机120-1彼此关联。相应地，当光源与第二相机120-2协作捕获用户的右眼图像时，该光源与第二相机120-2彼此关联。

简言之，相机120与光源间的关联关系可以被基于一定的规则被预先定义或配置。本公开在此方面不受限制。

在一些实施例中，与第一相机120-1/第二相机120-2关联的光源的数目为1。以此方式，设备的硬件成本效益将得到优化。备选地，在另一些实施例中，与第一相机120-1/第二相机120-2关联的光源的数目大于1。以此方式，瞳距测量结果的精度将得到提升。

在一些实施例中，光源130为发光二极管LED。此外，由于相比于其他波段，红外波段受到的外界干扰较低。因此，在一些实施例中，相机120为红外相机，光源为红外LED。以此方式，瞳距测量的结果的精度将被提升。备选地，在一些其他实施例中，相机120和光源130也可以被配置为在其他波段进行操作。

在一些实施例中，可以预先对相机120和光源130的参数进行标定。示例的标定参数包括但不限于相机120的内参，不可移动光源130(诸如，光源130-3)相对于设备坐标系的外参，移动光源130(诸如，光源130-1和130-2)相对于各自镜筒140上相机130的外参。设备坐标系的示例为惯性测量单元(Inertial Measurement Unit，IMU)。

在一些实施例中，相机120和光源130的一些标定参数与特定的位置相关联(在本公开中，将其简称为“标定参数”)。作为一特定实施例，将左眼镜筒140-1和右眼镜筒140-2的距离调整到第一预定距离(诸如，最长距离，也称为最远镜筒位置)，记录相机120和光源130的各个标定参数以及此刻镜筒140/相机120的位置(诸如，滑轨的刻度)。进一步地，将左眼镜筒140-1和右眼镜筒140-2的距离调整到第二预定距离(诸如，最短距离，也称为最短镜筒位置)，记录相机120和光源130的各个标定参数并记录此刻镜筒140/相机120的位置(诸如，滑轨的刻度)。

在一些实施例中，与第一预定距离和第二预定距离相对应的相机120和光源130的标定参数可以作为出厂参数被标定和记录。

应当理解，图1仅示出了用于瞳距测量的电子设备100的示例。换句话说，图1所示出的组件的数目及其关联关系可以根据特定的应用场景而被改变。本公开的实施例在此方面不受限制。

图2描述了根据本公开一些实施例的用于瞳距测量方法200的流程图。为便于讨论，参考图1的电子设备100来进行讨论方法200。方法200可由图1中的控制单元110执行。

在框210，控制单元110将第一相机120-1和第二相机120-2分别设置在第一初始位置和第二初始位置。

在一特定实施例中，第一初始位置和第二初始位置对应于左眼镜筒140-1和右眼镜筒140-2之间的最长距离。备选地，在又一特定实施例中，第一初始位置和第二初始位置对应于左眼镜筒140-1和右眼镜筒140-2之间的最短距离。应当理解，在其他特定实施例中，第一初始位置和第二初始位置可以与左眼镜筒140-1和右眼镜筒140-2之间的任意距离相对应。本公开的实施例在此方面不受限制。

在一些实施例中，第一相机120-1被配置为拍摄用户的左眼的图像、并且与第一组光源相关联，第二相机120-2被配置为拍摄用户的右眼的图像、并且与第二组光源相关联。

在接下来所描述的一些实施描述中，被布置在左眼镜筒140-1上的光源130-1被作为第一组光源的示例，被布置在右眼镜筒140-2上的光源130-2被作为第二组光源的示例。在这种情况下，光源130-1也被称为第一组光源130-1，光源130-2也被称为第二组光源130-2。

应当理解，上述光源130与相机120之间的关联关系仅仅作为示例，在其他实施例中，光源130与相机120之间的关联关系可以根据实际需要而被任意配置。本公开的各个实施例在此方面不受限制。

在框220，控制单元110控制第一相机120-1由第一初始位置移动到第一结束位置，并控制第一相机120-1捕获用户的左眼以获得第一组图像。相应地，控制单元110控制第二相机120-2由第二初始位置移动到第二结束位置，并控制第二相机120-2捕获用户的右眼以获得第二组图像。

也就是说，在控制第一相机120-1和第二相机120-2分别由第一初始位置和第二初始位置移动到第一结束位置和第二结束位置的过程中，控制单元110控制第一相机120-1和第二相机120-2分别捕获用户的左眼和右眼的第一组图像和第二组图像。应当理解，第一初始位置、第二初始位置、第一结束位置和第二结束位置可以属于/不属于相机120移动过程的一部分。换句话说，本公开在如何定义相机120的移动过程的初始位置和/或结束位置方面不受限制。

在一些实施例中，第一组图像至少包括在第一时间点捕捉的第一图像和在第二时间点捕捉的第二图像，并且第二组图像至少包括在第三时间点捕捉的第三图像和在第四时间点捕捉的第四图像。换句话说，第一/二组图像至少包括在两个不同的时间点捕获的图像。以此方式，可以确保所捕获的图像的数量可以满足确定瞳距所需的最少图像数目的要求。

在一些实施例中，第一时间点与第三时间点不同，第二时间点与第四时间点不同。以此方式，第一相机120-1和第二相机120-2的移动过程可以被独立地控制，使得瞳距测量过程将更加灵活。备选地，在另一些实施例中，第一时间点与第三时间点相同，第二时间点与第四时间点相同。以此方式，瞳距测量所需的总时长将被缩短。

在一特定实施例中，第一初始位置和第二初始位置与左眼镜筒140-1和右眼镜筒140-2之间的最长距离相对应，此时第一结束位置和第二结束位置可以与左眼镜筒140-1和右眼镜筒140-2之间的最短距离相对应。

备选地，当第一初始位置和第二初始位置与左眼镜筒140-1和右眼镜筒140-2之间的最短距离相对应时，第一结束位置和第二结束位置可以与左眼镜筒140-1和右眼镜筒140-2之间的最长距离相对应。

应当理解，上述特定实施例中的第一结束位置和第二结束位置仅作为示例，其不应理解为对本公开的任何限定。在其他实施例中，第一结束位置和第二结束位置可以根据实际需要被设置在任意其他位置。本公开的实施例在此方面不受限制。

在一些实施例中，第一相机120-1和第二相机120-2以较快的速度由第一初始位置和第二初始位置移动至第一结束位置和第二结束位置，例如，在半秒之内。以此方式，减少了在拍摄过程中用户发生眨眼和视线偏移的概率。

在一些实施例中，第一相机120-1和第二相机120-2的移动可以被独立地控制。换句话说，第一相机120-1和第二相机120-2的移动初始时间和/或移动结束时间可以不同。以此方式，瞳距测量过程将更加灵活。

备选地或附加地，在一些实施例中，第一相机120-1和第二相机120-2的移动可以被协同地控制，即，相机120-1移动初始时间和移动结束时间与相机120-2移动初始时间和移动结束时间相同。以此方式，瞳距测量所需的总时长将被缩短。

在一些实施例中，第一相机120-1和第二相机120-2以一较高的预定帧率(例如，大于60FPS)捕获相机120移动期间的左眼图像和右眼图像。以此方式，增加了所捕获的图像的数量，相应地瞳距测量的精度将得到了提高。

参考图3以更好地理解相机位置的移动。图3示出了根据本公开一些实施例的调节相机位置的示意框图300。在图3的特定实施例中，第一初始位置和第二初始位置对应于左眼镜筒140-1和右眼镜筒140-1之间的最长距离。第一结束位置和第二结束位置对应于左眼镜筒140-1和右眼镜筒140-1之间的最短距离。

在电子设备为虚拟现实设备的特定实施例中，用户佩戴上虚拟现实设备后，虚拟现实设备将左眼镜筒和右眼镜筒调节至最远位置(可以为最近位置)。接下来，虚拟现实设备将左眼镜筒140-1和右眼镜筒140-2从最远位置调节到最近位置。在左眼镜筒140-1和右眼镜筒140-2的移动过程中，第一相机120-1和第二相机120-2分别在至少两个时刻拍摄用户的左眼和右眼以获得第一组图像和第二组图像。

在框250，控制单元110获取计算瞳距所需要的相应参数。在图2的特定实施例中，在框256，控制单元110获取与第一组图像对应的第一相机120-1和第一组光源130-1的第一组参数，以及与第二组图像对应的第二相机120-2和第二组光源130-2的第二组参数。

接下来，将参考图4来详细描述获得第一组参数和第二组参数的过程。图4示出了根据本公开一些实施例的用于获取第一组参数和第二组参数的方法400的流程图。

在框410，控制单元110确定第一相机120-1在捕获第一组图像时所在的第一组位置，以及第二相机120-2在捕获第二组图像时所在的第二组位置。

在一特定实施例中，控制单元110在将第一相机120-1和第二相机120-2由第一初始位置和第二初始位置移动至第一结束位置和第二结束位置的过程中，控制第一相机120-1和第二相机120-2分别捕获左眼和右眼的图像，同时记录每个拍摄时刻镜筒140的位置(诸如，滑轨的坐标，也即相机120的位置)。

在框420，控制单元110获取第一相机120-1和第一组光源130-1针对第一位置的第一组标定参数以及针对第二位置的第二组标定参数。

在框430，控制单元110获取第二相机120-2和第二组光源130-2针对第三位置的第三组标定参数以及针对第四位置的第四组标定参数。

在一些实施例中，第一位置为第一初始位置，第二位置为第一结束位置，第三位置为第二初始位置，并且第四位置为第二结束位置。

在框440，控制单元110基于第一组标定参数、第二组标定参数以及第一组位置，计算第一组参数。

在框450，控制单元110基于第三组标定参数、第四组标定参数以及第二组位置，计算第二组参数。

在一些实施例中，标定参数包括但不限于相机120的内参，不可移动光源130(诸如，光源130-3)相对于设备坐标系的外参，可移动光源130(诸如，光源130-1和130-2)相对于各自镜筒140上相机130的外参。

在一些实施例中，第一组标定参数、第二组标定参数、第三组标定参数和第四组标定参数为已知的标定参数(例如，被记录在出厂设置中)。作为一特定实施例，已知的标定参数包括与左眼镜筒140-1和右眼镜筒140-2之间的距离为第一预定距离(诸如，最长距离)时的标定参数，即，与第一相机120-1的第一初始位置和第二相机120-2的第二初始位置对应的第一组标定参数和第三组标定参数。

相应地，已知的标定参数还包括与左眼镜筒140-1和右眼镜筒140-2之间的距离为第二预定距离(诸如，最短距离)时的标定参数，即，与第一相机120-1的第一结束位置和第二相机120-2的第二结束位置对应的第二组标定参数和第四组标定参数。

如上文所讨论的，控制单元110在将第一相机120-1和第二相机120-2由第一初始位置和第二初始位置移动至第一结束位置和第二结束位置的过程中，同时记录每个拍摄时刻镜筒140的位置(诸如，滑轨的坐标)。由于镜筒140在滑轨上的移动为平移运动，因此，可以以已知的第一组标定参数、第二组标定参数、第三组标定参数和第四组标定参数作为运算基础，经由插值运算获得相机120和光源13-0在其他拍摄时刻的标定参数。因此方式，实现基于第一组标定参数、第二组标定参数以及第一组位置来计算第一组参数，以及基于第三组标定参数、第四组标定参数以及第二组位置来计算第二组参数。

具体而言，在一些实施例中，针对每个镜筒14-0的位置(即，相机120的位置)，基于已知标定参数，对相机120的外参进行插值，得到该位置下的相机外参。对于可移动光源130(诸如，光源130-1和130-2)，如果其外参是相对于各自镜筒140上的相机120而被原始标定的，则需要将其相对各自镜筒140上的相机120的外参转换为相对于设备坐标系的外参。

以此方式，控制单元110可以获得用于计算瞳距的第一组参数和第二组参数。应当理解，上述获取第一组参数和第二组参数的过程仅仅是示例性的，其不应理解为对本公开各实施例的限定。在其他实施中，还可以采用其他方式获得第一组参数和第二组参数，包括但不限于，实时测量等。

继续参考图2，在框260，控制单元110至少部分地基于第一组图像、第一组参数、第二组图像和第二组参数，来获取所述用户的瞳距。

根据本公开的一些实施例，相机120由初始位置移动到结束位置的时间较短，由此可以认为眼球的空间位置没有发生改变。在这种情况下，同一相机120在不同时刻拍摄的图像可以被等同于多个不同位置的相机同时拍摄的眼球图像。

在这种情况下，可以通过任何基于多目相机的算法来测量用户的瞳距。一种示例算法为瞳孔角膜反射法。另一种示例算法为三角重建算法。应当理解，上述算法仅作为示例，本公开的各个实施例可以使用任何已有的或未来提出的基于多目相机的算法来测量用户的瞳距。本公开的各个实施例在此方面不受限制。

在一些实施例中，为了提高瞳距测量的精度，还可以在测量期间引导用户注视一引导点。如图2所示，在框220，控制单元110将引导点呈现在显示设备的预定位置。进一步地，在框230，控制单元110向用户提供与引导点相关联的提示信息，提示信息指示用户保持注视引导点。提示信息可以以文本、语音等任意方式提供给用户。本公开在提示信息的提供方式方面不受限制。

在电子设备110为虚拟现实设备的特定实施例中，可以在虚拟现实界面里显示一个引导点位，并提示用户注视引导点位并保持不动。

此外，用户在测量过程中可能会发生眨眼或者视线偏移等，此时将导致无法基于拍摄的图像来获得用户的瞳距，即在测量中会产生无效的第一组图像和第二组图像。鉴于此，在一些实施例中，可以对所捕获的图像的有效性进行检测。

图如3所示，在框252，控制单元110检测第一组图像和第二组图像的有效性。在框254，控制单元110判断第一组图像和第二组图像是否有效，若第一组图像和第二组图像有效，则执行框256，若第一组图像和第二组图像有效，则返回执行框210。

在一些实施例中，针对第一组图像和第二组图像的全部图像来执行有效性检测。

备选地，在一些实施例中，为提高检测效率，可以选取第一组图像中的部分图像和第二组图像中的部分图像来执行有效性的检测。

在一些实施例中，如果第一组图像中的至少部分图像和/或第二组图像中的至少部分图像显示用户在测量期间发生眨眼或者视线偏移，则判断第一组图像和第二组图像无效。

在一些实施例中，控制单元110根据瞳孔检测模型在第一组图像的至少部分图像和第二组图像的至少部分图像中分别检测用户的左眼瞳孔和右眼瞳孔，如果在第一组图像中的至少部分图像未检测到左眼瞳孔(或在第二组图像的至少部分图像中未检测到右眼瞳孔)，可以推定用户眨眼，此时确定第一组图像和第二组图像无效。

作为一特定实施例，如果在第一组图像的任一图像中未检测到左眼瞳孔(或在第二组图像的任一图像中未检测到右眼瞳孔)，则确定第一组图像和第二组图像无效。

如果在第一组图像中的至少部分图像检测到左眼瞳孔，则检测左眼瞳孔的位置在第一组图像的至少部分图像中的相对位置变化。相应地，如果在第一组图像的至少部分图像中检测到右眼瞳孔，检测右眼瞳孔的位置在第二组图像的至少部分图像中的相对位置变化。如果左/右眼瞳孔的位置发生了变化，则推定用户视线发生偏移，此时确定第一组图像和第二组图像无效，否则确定第一组图像和第二组图像有效。

在一些实施例中，检测左/右眼瞳孔的位置在第一/二组图像的至少部分图像中的相对位置变化包括，检测左/右眼瞳孔的位置在第一/二组图像的至少部分图像中的每对相邻图像中的位置变化。

备选地，在一些实施例中，检测左/右眼瞳孔的位置在第一/二组图像的至少部分图像中的相对位置变化包括，检测左/右眼瞳孔的位置在第一/二组图像的至少部分图像中的至少一对相邻图像中的位置变化。

在一些实施例中，对于全部输入的图像或选取的部分输入图像，使用瞳孔检测模型，检测出瞳孔的椭圆，如果存在两个相邻图像，这两个相邻图像的瞳孔椭圆中心位移大于第一预定像素数目(诸如，2个像素)，则确定第一组图像和第二组图像无效。在一些实施例中，第一预定像素数目与以下至少一项相关联：相机120的分辨率以及相机120与用户的左/右眼之间的距离。

根据本公开的各个实施例，提出了一种基于移动相机的瞳距测量方法。在本公开的实施例中，通过移动单个相机的位置来实现多目相机的效果。以此方式，降低了瞳距测量所需的硬件成本，提高了瞳距测量的精度。

图5示出了根据本公开一些实施例的用于瞳距测量的装置500的框图。装置500可以被实现为或者被包括在控制单元110中。装置500中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置500包括位置控制模块510，被配置为将第一相机120-1和第二相机120-2分别设置在第一初始位置和第二初始位置，所述第一相机120-1被配置为拍摄用户的左眼的图像、并且与第一组光源130-1相关联，所述第二相机120-2被配置为拍摄所述用户的右眼的图像、并且与第二组光源130-2相关联。

装置500进一步包括相机控制模块520，被配置为在使所述第一相机120-1和所述第二相机120-2分别移动到第一结束位置和第二结束位置的过程中，控制所述第一相机120-1和所述第二相机120-2分别捕获所述用户的左眼和右眼的第一组图像和第二组图像。

装置500还包括参数获取模块530，被配置为获取与所述第一组图像对应的所述第一相机120-1和所述第一组光源130-1的第一组参数，以及与所述第二组图像对应的所述第二相机120-2和所述第二组光源130-2的第二组参数。

装置500还包括瞳距测量模块540，被配置为至少部分地基于所述第一组图像、所述第一组参数、所述第二组图像和所述第二组参数，获取所述用户的瞳距。

在一些实施例中，所述第一组图像至少包括在第一时间点捕捉的第一图像和在第二时间点捕捉的第二图像，并且所述第二组图像至少包括在第三时间点捕捉的第三图像和在第四时间点捕捉的第四图像。

在一些实施例中，参数获取模块530包括：位置确定模块，被配置为确定所述第一相机120-1在捕获所述第一组图像时所在的第一组位置，以及所述第二相机120-2在捕获所述第二组图像时所在的第二组位置；第一标定参数获取模块，被配置为获取所述第一相机120-1和所述第一组光源130-1针对第一位置的第一组标定参数以及针对第二位置的第二组标定参数；第二标定参数获取模块，被配置为获取所述第二相机120-2和所述第二组光源130-2针对第三位置的第三组标定参数以及针对第四位置的第四组标定参数；第一参数计算模块，被配置为基于所述第一组标定参数、所述第二组标定参数以及所述第一组位置，计算所述第一组参数；以及第二参数计算模块，被配置为基于所述第三组标定参数、所述第四组标定参数以及所述第二组位置，计算所述第二组参数。

在一些实施例中，所述第一位置为所述第一初始位置，所述第二位置为所述第一结束位置，所述第三位置为所述第二初始位置，并且所述第四位置为所述第二结束位置。

在一些实施例中，装置500还包括：引导点呈现模块，被配置为使引导点被呈现在显示设备的预定位置；以及提示模块，被配置为向所述用户提供与所述引导点相关联的提示信息，所述提示信息指示所述用户保持注视所述引导点。

在一些实施例中，参数获取模块530包括：有效性检测模块，被配置为检测所述第一组图像和所述第二组图像的有效性；以及参数获取子模块，被配置为响应于所述第一组图像和所述第二组图像均被检测为有效，获取所述第一组参数和所述第二组参数。

在一些实施例中，有效性检测模块包括：瞳孔检测模块，被配置为根据瞳孔检测模型在所述第一组图像的至少部分图像和所述第二组图像的至少部分图像中分别检测用户的左眼瞳孔和右眼瞳孔；左眼位置变化检测模块，被配置为响应于在所述第一组图像的至少部分图像中检测到所述左眼瞳孔，检测所述左眼瞳孔的位置在所述第一组图像的至少部分图像中的相对位置变化；以及右眼位置变化检测模块，被配置为响应于在所述第二组图像的至少部分图像中检测到所述右眼瞳孔，检测所述右眼瞳孔的位置在所述第二组图像的至少部分图像中的相对位置变化。

在一些实施例中，所述第一相机120-1被设置在虚拟现实设备的左眼镜筒140-1上，所述第二相机120-2被设置在所述虚拟现实设备的右眼镜筒140-2上，其中所述第一相机120-1的位置通过控制所述左眼镜筒140-1的位置而被控制，并且其中所述第二相机120-2的位置通过控制所述右眼镜筒140-2的位置而被控制。

装置500中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置500中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图6出了其中可以实施本公开的一个或多个实施例的电子设备600的框图。图6所示出的电子设备600仅仅是示例性的，而不构成对本文所描述的实施例的功能和范围的任何限制。

如图6所示，电子设备/服务器600是通用电子设备的形式。电子设备/服务器600的组件可以包括但不限于一个或多个处理器或处理单元610、存储器620、存储设备630、一个或多个通信单元640、一个或多个输入设备650以及一个或多个输出设备660。处理单元610可以是实际或虚拟处理器并且能够根据存储器620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备/服务器600的并行处理能力。

电子设备/服务器600通常包括多个计算机存储介质。这样的介质可以是电子设备/服务器600可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备/服务器600内被访问。

电子设备/服务器600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图6中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器620可以包括计算机程序产品625，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元640实现通过通信介质与其他电子设备进行通信。附加地，电子设备/服务器600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备/服务器600可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备/服务器600还可以根据需要通过通信单元640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备/服务器600交互的设备进行通信，或者与使得电子设备/服务器600与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

Claims (19)

1.一种用于瞳距测量的方法，包括：

将第一相机和第二相机分别设置在第一初始位置和第二初始位置，所述第一相机被配置为拍摄用户的左眼的图像、并且与第一组光源相关联，所述第二相机被配置为拍摄所述用户的右眼的图像、并且与第二组光源相关联；

在使所述第一相机和所述第二相机分别移动到第一结束位置和第二结束位置的过程中，控制所述第一相机和所述第二相机分别捕获所述用户的左眼和右眼的第一组图像和第二组图像；

获取与所述第一组图像对应的所述第一相机和所述第一组光源的第一组参数，以及与所述第二组图像对应的所述第二相机和所述第二组光源的第二组参数；以及

至少部分地基于所述第一组图像、所述第一组参数、所述第二组图像和所述第二组参数，获取所述用户的瞳距。

2.根据权利要求1所述的方法，其中所述第一组图像至少包括在第一时间点捕捉的第一图像和在第二时间点捕捉的第二图像，并且所述第二组图像至少包括在第三时间点捕捉的第三图像和在第四时间点捕捉的第四图像。

3.根据权利要求1所述的方法，其中获取所述第一组参数和所述第二组参数包括：

确定所述第一相机在捕获所述第一组图像时所在的第一组位置，以及所述第二相机在捕获所述第二组图像时所在的第二组位置；

获取所述第一相机和所述第一组光源针对第一位置的第一组标定参数以及针对第二位置的第二组标定参数；

获取所述第二相机和所述第二组光源针对第三位置的第三组标定参数以及针对第四位置的第四组标定参数；

基于所述第一组标定参数、所述第二组标定参数以及所述第一组位置，计算所述第一组参数；以及

基于所述第三组标定参数、所述第四组标定参数以及所述第二组位置，计算所述第二组参数。

4.根据权利要求3所述的方法，其中所述第一位置为所述第一初始位置，所述第二位置为所述第一结束位置，所述第三位置为所述第二初始位置，并且所述第四位置为所述第二结束位置。

5.根据权利要求1所述的方法，还包括：

使引导点被呈现在显示设备的预定位置；以及

向所述用户提供与所述引导点相关联的提示信息，所述提示信息指示所述用户保持注视所述引导点。

6.根据权利要求1所述的方法，其中获取所述第一组参数和所述第二组参数包括：

检测所述第一组图像和所述第二组图像的有效性；以及

响应于所述第一组图像和所述第二组图像均被检测为有效，获取所述第一组参数和所述第二组参数。

7.根据权利要求6所述的方法，其中检测所述第一组图像和所述第二组图像的有效性包括：

根据瞳孔检测模型在所述第一组图像的至少部分图像和所述第二组图像的至少部分图像中分别检测用户的左眼瞳孔和右眼瞳孔；

响应于在所述第一组图像的至少部分图像中检测到所述左眼瞳孔，检测所述左眼瞳孔的位置在所述第一组图像的至少部分图像中的相对位置变化；以及

响应于在所述第二组图像的至少部分图像中检测到所述右眼瞳孔，检测所述右眼瞳孔的位置在所述第二组图像的至少部分图像中的相对位置变化。

8.根据权利要求1所述的方法，其中所述第一相机被设置在虚拟现实设备的左眼镜筒上，所述第二相机被设置在所述虚拟现实设备的右眼镜筒上，

其中所述第一相机的位置通过控制所述左眼镜筒的位置而被控制，并且

其中所述第二相机的位置通过控制所述右眼镜筒的位置而被控制。

9.一种用于瞳距测量的装置，包括：

位置控制模块，被配置为将第一相机和第二相机分别设置在第一初始位置和第二初始位置，所述第一相机被配置为拍摄用户的左眼的图像、并且与第一组光源相关联，所述第二相机被配置为拍摄所述用户的右眼的图像、并且与第二组光源相关联；

相机控制模块，被配置为在使所述第一相机和所述第二相机分别移动到第一结束位置和第二结束位置的过程中，控制所述第一相机和所述第二相机分别捕获所述用户的左眼和右眼的第一组图像和第二组图像；

参数获取模块，被配置为获取与所述第一组图像对应的所述第一相机和所述第一组光源的第一组参数，以及与所述第二组图像对应的所述第二相机和所述第二组光源的第二组参数；以及

瞳距测量模块，被配置为至少部分地基于所述第一组图像、所述第一组参数、所述第二组图像和所述第二组参数，获取所述用户的瞳距。

10.根据权利要求9所述的装置，其中所述第一组图像至少包括在第一时间点捕捉的第一图像和在第二时间点捕捉的第二图像，并且所述第二组图像至少包括在第三时间点捕捉的第三图像和在第四时间点捕捉的第四图像。

11.根据权利要求9所述的装置，其中所述参数获取模块包括：

位置确定模块，被配置为确定所述第一相机在捕获所述第一组图像时所在的第一组位置，以及所述第二相机在捕获所述第二组图像时所在的第二组位置；

第一标定参数获取模块，被配置为获取所述第一相机和所述第一组光源针对第一位置的第一组标定参数以及针对第二位置的第二组标定参数；

第二标定参数获取模块，被配置为获取所述第二相机和所述第二组光源针对第三位置的第三组标定参数以及针对第四位置的第四组标定参数；

第一参数计算模块，被配置为基于所述第一组标定参数、所述第二组标定参数以及所述第一组位置，计算所述第一组参数；以及

第二参数计算模块，被配置为基于所述第三组标定参数、所述第四组标定参数以及所述第二组位置，计算所述第二组参数。

12.根据权利要求11所述的装置，其中所述第一位置为所述第一初始位置，所述第二位置为所述第一结束位置，所述第三位置为所述第二初始位置，并且所述第四位置为所述第二结束位置。

13.根据权利要求9所述的装置，还包括：

引导点呈现模块，被配置为使引导点被呈现在显示设备的预定位置；以及

提示模块，被配置为向所述用户提供与所述引导点相关联的提示信息，所述提示信息指示所述用户保持注视所述引导点。

14.根据权利要求9所述的装置，其中所述参数获取模块包括：

有效性检测模块，被配置为检测所述第一组图像和所述第二组图像的有效性；以及

参数获取子模块，被配置为响应于所述第一组图像和所述第二组图像均被检测为有效，获取所述第一组参数和所述第二组参数。

15.根据权利要求14所述的装置，其中所述有效性检测模块包括：

瞳孔检测模块，被配置为根据瞳孔检测模型在所述第一组图像的至少部分图像和所述第二组图像的至少部分图像中分别检测用户的左眼瞳孔和右眼瞳孔；

左眼位置变化检测模块，被配置为响应于在所述第一组图像的至少部分图像中检测到所述左眼瞳孔，检测所述左眼瞳孔的位置在所述第一组图像的至少部分图像中的相对位置变化；以及

右眼位置变化检测模块，被配置为响应于在所述第二组图像的至少部分图像中检测到所述右眼瞳孔，检测所述右眼瞳孔的位置在所述第二组图像的至少部分图像中的相对位置变化。

16.根据权利要求9所述的装置，其中所述第一相机被设置在虚拟现实设备的左眼镜筒上，所述第二相机被设置在所述虚拟现实设备的右眼镜筒上，

其中所述第一相机的位置通过控制所述左眼镜筒的位置而被控制，并且

其中所述第二相机的位置通过控制所述右眼镜筒的位置而被控制。

17.一种电子设备，包括：

第一相机，被配置为拍摄用户的左眼的图像；

第二相机，被配置为拍摄所述用户的右眼的图像；

第一组光源，与所述第一相机相关联；

第二组光源，与所述第二相机相关联；以及

控制单元，其被配置为执行根据权利要求1至8中任一项所述的方法。

18.根据权利要求17所述的电子设备，其中所述电子设备为头戴式显示设备。

19.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至8中任一项所述的方法。

Images